Teachers who want to assess student learning and provide quality feedback are faced with a challenge when trying to grade assignments quickly. There is currently no system which will provide both a fast-to-grade quiz and a rich testing experience. Previous attempts to speed up grading time include NLP-based text analysis to automate grading and scanning in documents for manual grading with recyclable feedback. However, automated NLP systems all focus solely on text-based problems, and manual grading is still linear in the number of students. Machine learning algorithms exist which can interactively train a computer quickly classify digital ink strokes. We used stroke recognition and interactive machine learning concepts to build a grading interface for digital ink quizzes, to allow non-text open-ended questions that can then be semiautomatically graded. We tested this system on a Computer Science class with 361 students using a set of quiz questions which their teacher provided, evaluated its effectiveness, and determined some of its limitations. Adaptations to the interface and the training process as well as further work to resolve intrinsic stroke perversity are required to make this a truly effective system. However, using the system we were able to reduce grading time by as much as 10x for open-ended responses.

Submitted by Cláudia Bueno (claudiamoura18@gmail.com) on 2016-03-03T19:14:52Z No. of bitstreams: 2 Dissertação - Cleon Xavier Pereira Júnior - 2015.pdf: 1262859 bytes, checksum: 35b1053bbf6dfda4e73013526fab8f6b (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2016-03-04T11:15:57Z (GMT) No. of bitstreams: 2 Dissertação - Cleon Xavier Pereira Júnior - 2015.pdf: 1262859 bytes, checksum: 35b1053bbf6dfda4e73013526fab8f6b (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Made available in DSpace on 2016-03-04T11:15:57Z (GMT). No. of bitstreams: 2 Dissertação - Cleon Xavier Pereira Júnior - 2015.pdf: 1262859 bytes, checksum: 35b1053bbf6dfda4e73013526fab8f6b (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) Previous issue date: 2015-10-13 / Digital ink technology is available in several electronic devices and can bring contributions to the evaluation process as it allows access to information that was not available in assessments carried out using traditional methods. It is particularly interesting in evaluations involving drawings, since it offers an environment quite similar to pencil and paper, with the advantage of allowing process automation. Thus, the first step is to provide resources to capture, store and reproduce the design done. Then, it is necessary to analyze the collected data. However, analysis of drawings is a complex task and focus of several research projects. Thus, as an initial contribution, this work focuses on the analysis of simple traces. In order to explore digital ink as a means of evaluation, a tool was developed to automate the capture, storage and reproduction of drawings, and test the features and limitations of the analysis of digital ink in order to extract relevant knowledge for the evaluator to make decisions. To test the tool, psychological tests were selected, since in this knowledge domain the use of drawings for assessment is widespread. The tool was developed in two stages. The first, more general, offers resources for test application, storage and later playback for an analysis by the evaluator, not providing resources for automatic analysis of results. Though simple, these resources offer a great contribution, because in addition to storing the final result, which can be visualized as an image, it also stores the design process (allowing the evaluator to follow step by step how the test was performed) in addition to storing other information such as time spent to perform certain steps, the use of rubber etc. The second stage of the tool is the analysis of the stored data. This analysis is test dependent, and should be implemented according to it’s evaluation requirements. As a case study, a test, that uses simple traces, was implemented. The result showed that the digital ink has advantages for carrying out evaluations using drawings as a medium, and should be subject to further research aimed at automating tests with more complex drawings. / A tinta digital está presente em vários dispositivos eletrônicos e pode trazer contribuições para o processo de avaliação por permitir acesso a informações que não estavam disponíveis quando realizadas usando métodos tradicionais. Ela é particularmente interessante em avaliações que envolvem desenhos, já que oferece um meio bastante similar ao lápis e papel com a vantagem de permitir a automatização do processo. Sendo assim, o primeiro passo é oferecer recursos para capturar, armazenar e reproduzir o desenho realizado. Em seguida, é necessário analisar os dados coletados. No entanto, a análise de desenhos é uma tarefa complexa e alvo de diversas pesquisas. Assim, como uma contribuição inicial, este trabalho foca a análise de traços simples (retas). Com o objetivo de explorar a tinta digital como meio de avaliação foi desenvolvida uma ferramenta para automatizar a captura, armazenamento e reprodução de desenhos, e testar as funcionalidades e limitações da análise da tinta digital visando extrair conhecimento relevante para o avaliador poder tomar decisões. Para testar a ferramenta foram selecionados testes psicológicos, já que neste domínio de conhecimento o uso do desenho é bastante difundido. A ferramenta foi desenvolvida em duas etapas. A primeira, mais geral, oferece recursos para a aplicação do teste, seu armazenamento e posterior reprodução para uma análise feita pelo avaliador, não oferecendo recursos para a análise automática dos resultados. Apesar de simples, estes recursos já oferecem uma grande contribuição, pois além de armazenar como imagem o resultado final, armazena também o processo do desenho (permitindo que o avaliador acompanhe passo a passo como o teste foi realizado) e informações adicionais como tempo gasto para atividades, uso da borracha, etc. A segunda etapa da ferramenta é a análise dos dados armazenados. Esta análise é dependente do teste, e deve ser implementada de acordo com os requisitos da avaliação. Como estudo de caso foi implementado um teste que usa traços simples. O resultado mostrou que a tinta digital apresenta vantagens para a realização de avaliações que usam desenhos como meio, e deve ser alvo de futuras pesquisas visando a automatização de testes com desenhos mais complexos.

<p>U disertaciji su predstavljena istraživanja uticajnih parametara<br />digitalne štampe na toplotna svojstva odjevnih predmeta, pri čemu su<br />kao parametri procesa štampe ispitani uticaji različitog broja<br />nanosa boje u štampi i različite tonske pokrivenosti. Odštampani<br />uzorci podvrgnuti su ispitivanjima toplotnih karakteristika<br />štampanih tekstilnih materijala. Na bazi analize izabranih<br />parametara razvijen je model toplotnih svojstava štampanih odjevnih<br />predmeta koji ima poseban značaj za predviđanje toplotno fiziološke<br />udobnosti odjeće tokom upotrebe.</p> / <p>У дисертацији су представљена истраживања утицајних параметара<br />дигиталне штампе на топлотна својства одјевних предмета, при чему су<br />као параметри процеса штампе испитани утицаји различитог броја<br />наноса боје у штампи и различите тонске покривености. Одштампани<br />узорци подвргнути су испитивањима топлотних карактеристика<br />штампаних текстилних материјала. На бази анализе изабраних<br />параметара развијен је модел топлотних својстава штампаних одјевних<br />предмета који има посебан значај за предвиђање топлотно физиолошке<br />удобности одјеће током употребе.</p>

Diversos pesquisadores vêm investigando métodos e técnicas para tornar possível às pessoas anotarem vídeos de modo transparente. A anotação pode ser realizada com a fala, com o uso de tinta digital ou algum outro meio que possa ser capturado enquanto a pessoa assiste ao vídeo. Tais anotações podem ser compartilhadas com outras pessoas, que podem estar assistindo ao mesmo vídeo em um mesmo instante ou em momentos diferentes, sendo interessante ainda que as anotações possam ser realizadas por várias pessoas de modo colaborativo. O paradigma Watch-and-Comment (WaC) propõe a captura transparente de anotações multimodais de usuários enquanto os mesmos assistem e comentam um vídeo. Como resultado desse processo, é gerado um vídeo digital interativo integrando o conteúdo original às anotações realizadas. Esta dissertação tem por objetivo explorar conceitos de computação ubíqua, redes sociais, redes peer-to-peer e TV interativa na proposta de um modelo arquitetural de ciência de informações de contexto para aplicações definidas segundo o paradigma WaC. O modelo explora a integração de um serviço ao paradigma, que auxilie ou forneça alternativas para que aplicações, do momento da captura ao acesso das anotações, utilizem informações de contexto do usuário, do vídeo e das anotações. O modelo também auxilia no estudo de colaboração entre usuários que realizam anotações em vídeos. Outra contribuição da dissertação é a prototipação de aplicações para avaliar e refinar o modelo proposto. São apresentadas extensões para a aplicação WaCTool, considerando o uso de redes sociais e de alternativas para a anotação em vídeos / Researchers have been investigating methods and techniques to allow people to annotate videos ubiquitously. Annotations can be made using voice, digital ink or some other media that can be captured while a person watches a video. These annotations can be shared with other people, who can be watching a video on the same time or at a different one. Also, these annotations can be made by many people collaboratively. The Watch-and-Comment (WaC) paradigm aims at capturing multimodal annotations in an ubiquitous way, while users watch and comment some video. As a result, an interactive digital video is generated combining the original content and the annotations. The work reported on this thesis explores concepts such as ubiquitous computing, social networks, peer-to-peer networks and interactive digital TV, to propose an architectural context-aware model to the applications defined by WaC paradigm. The model proposes the integration of a new service to the paradigm, supporting applications on the annotation process by offering capture alternatives and using context information from user, video and annotations. Also, the model provides a study in collaborative annotation process. Another contribution of this thesis is the prototypes built to evaluate and upgrade the proposed model. The prototypes are extensions from WaCTool, considering the use of social networks and alternatives to annotate in videos

Diversos pesquisadores vêm investigando métodos e técnicas para tornar possível às pessoas anotarem vídeos de modo transparente. A anotação pode ser realizada com a fala, com o uso de tinta digital ou algum outro meio que possa ser capturado enquanto a pessoa assiste ao vídeo. Tais anotações podem ser compartilhadas com outras pessoas, que podem estar assistindo ao mesmo vídeo em um mesmo instante ou em momentos diferentes, sendo interessante ainda que as anotações possam ser realizadas por várias pessoas de modo colaborativo. O paradigma Watch-and-Comment (WaC) propõe a captura transparente de anotações multimodais de usuários enquanto os mesmos assistem e comentam um vídeo. Como resultado desse processo, é gerado um vídeo digital interativo integrando o conteúdo original às anotações realizadas. Esta dissertação tem por objetivo explorar conceitos de computação ubíqua, redes sociais, redes peer-to-peer e TV interativa na proposta de um modelo arquitetural de ciência de informações de contexto para aplicações definidas segundo o paradigma WaC. O modelo explora a integração de um serviço ao paradigma, que auxilie ou forneça alternativas para que aplicações, do momento da captura ao acesso das anotações, utilizem informações de contexto do usuário, do vídeo e das anotações. O modelo também auxilia no estudo de colaboração entre usuários que realizam anotações em vídeos. Outra contribuição da dissertação é a prototipação de aplicações para avaliar e refinar o modelo proposto. São apresentadas extensões para a aplicação WaCTool, considerando o uso de redes sociais e de alternativas para a anotação em vídeos / Researchers have been investigating methods and techniques to allow people to annotate videos ubiquitously. Annotations can be made using voice, digital ink or some other media that can be captured while a person watches a video. These annotations can be shared with other people, who can be watching a video on the same time or at a different one. Also, these annotations can be made by many people collaboratively. The Watch-and-Comment (WaC) paradigm aims at capturing multimodal annotations in an ubiquitous way, while users watch and comment some video. As a result, an interactive digital video is generated combining the original content and the annotations. The work reported on this thesis explores concepts such as ubiquitous computing, social networks, peer-to-peer networks and interactive digital TV, to propose an architectural context-aware model to the applications defined by WaC paradigm. The model proposes the integration of a new service to the paradigm, supporting applications on the annotation process by offering capture alternatives and using context information from user, video and annotations. Also, the model provides a study in collaborative annotation process. Another contribution of this thesis is the prototypes built to evaluate and upgrade the proposed model. The prototypes are extensions from WaCTool, considering the use of social networks and alternatives to annotate in videos

La technologie de numérisation des données manuscrites a atteint son essor après l’invention du stylo numérique. Les recherches se sont concentrées alors sur le développement des applications IHM qui facilitent la manipulation des données encre numérique. Dans un contexte de recherche, la technologie du papier et stylo numériques s’avère utile pour la collecte des données expérimentales dans différents domaines. Notre but est de fournir une aide pour le traitement et la visualisation des données, notamment les données temps, recueillies avec un stylo numérique dans deux cas d’usage en sciences de l’éducation à savoir les tests d’évaluation et la prise de notes d’observation. Notre démarche consiste à étudier ces cas d’usage en terme de besoin dans quatre expériences concrètes et à développer, en participation avec l’utilisateur, des prototypes de système de traitement et de visualisation des données. Dans le but de concevoir un modèle général de tel système, nous avons analysé l’interface d’utilisation des prototypes en terme de fonctionnalités, de visualisation et d’interaction. Notre modèle décrit le processus de visualisation en mettant en œuvre trois types de tâches d’utilisateur à savoir les tâches d’analyses, les tâches de manipulation et les tâches d’interaction. / Scanning technology for handwritten data has reached its momentum after the invention of the digital pen. Research work focused on the development of HMI applications that facilitate digital ink data manipulation. In a research context, digital pen and paper technology is useful for collecting experimental data in various fields. Our goal is to provide support for the processing and the visualization of time stamped data collected by a digital pen in two cases of use : on one hand, in the educational science field, and especially for assessment tests and, on another hand, for taking observation notes. Our approach is to study these cases of use through four concrete experiences and to develop, with the participation of the user, prototypes for a system that aid to process and to visualize collected data. In order to abstract a general model of such a system, we analyzed prototypes user interfaces in terms of functionality, visualization and interaction. Our model describes the visualization process by implementing three types of user tasks namely analytic tasks, handling tasks and interaction tasks.