Orientador: Hermes Renato Hildebrand / Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Artes / Made available in DSpace on 2018-08-22T09:23:29Z (GMT). No. of bitstreams: 1 Gregolin_MairaValencise_D.pdf: 3943869 bytes, checksum: e510258e58d7bae6614659520ba86238 (MD5) Previous issue date: 2012 / Resumo: Esta tese tem como tema central as articulações entre a comunicação móvel e a cultura participativa e suas consequências sobre as transformações da ação social contemporânea. Para investigar essas articulações, traçamos como objetivo geral compreender as inter-relações entre o desenvolvimento das mídias digitais, o fenômeno da convergência e a emergência da sociedade participativa. A fim de efetivar esse objetivo geral, tomamos como objeto de estudos dois fenômenos típicos da cultura participativa, denominados por Jenkins (2008) como "convergência corporativa" e "convergência alternativa". Do primeiro fenômeno, analisamos a telenovela Viver a Vida, exibida pela Rede Globo de Televisão (2009-2010); do segundo, analisamos o ativismo digital ou ativismo transmídia durante a Primavera Árabe - a fim de estudar as conexões entre a comunicação móvel e a emergência de práticas de ação social, no interior de uma sociedade participativa. A discussão inicia-se com o delineamento das transformações no desenvolvimento das mídias, focalizando as mutações tecnológicas que operaram a passagem dos dispositivos fixos aos móveis. A análise da telenovela Viver a Vida evidenciou mudanças no formato tradicional desse gênero televisivo, instaurando-se uma narrativa que se desenvolve entre a televisão e o meio digital; ao mesmo tempo, transforma-se a relação entre os consumidores e a telenovela, com novas formas de se assistirem aos capítulos (que migram para o computador e os dispositivos móveis) e de interagir com a narrativa (o telespectador pode acompanhar a história que se desenrola complementarmente tanto na televisão quanto nos sites e blogs). Quanto à análise do ativismo digital durante a Primavera Árabe, salientamos sua inextricável ligação com as redes sociais digitais e analisamos os deslocamentos nas práticas de ativismo político propiciadas pelo uso de mídias móveis e do compartilhamento de fotos e textos via smartphone. A análise mostra que os ativistas conseguem burlar a censura imposta aos meios de comunicação tradicionais e dão visibilidade aos acontecimentos, denunciando crimes por meio de imagens chocantes, que expõem ao olhar do mundo as atrocidades cometidas pelos governos ditatoriais. Usando desses mesmos recursos da telefonia móvel e das redes sociais digitais, os governos ditatoriais postam imagens e textos que exaltam seus feitos e condenam as ações dos manifestantes e rebeldes, travando uma batalha materializada nas imagens e textos que circulam nas redes sociais e que dão dimensão planetária aos acontecimentos. O compartilhamento de imagens e textos, via smartphone, salienta novas práticas estabelecidas pelo uso do aplicativo Instagram, tanto em termos de recursos de tratamento das imagens, quanto no que diz respeito à instantaneidade de postagem de fotografias e textos (legendas, etiquetas) em plataformas e redes sociais digitais. O uso do Instagram está modificando a produção e circulação de textos e imagens realizadas por fotógrafos amadores, na medida em que oferece recursos para refinamento das imagens realizadas pelo smartphone, tratadas pelo aplicativo e postadas em plataformas e redes sociais. O uso desse aplicativo está modificando também as práticas de produção no campo do fotojornalismo, sendo cada vez mais utilizado por fotógrafos profissionais de agências de notícias e bancos de imagens, instalando nova estética para a produção fotográfica na imprensa. Demonstramos, assim, que na ecologia contemporânea das mídias, deslocam-se as fronteiras entre o político e o estético e a comunicação móvel se transforma em arena para novas formas de ação social / Abstract: This thesis is focused on the links between mobile communication and participatory culture and their consequences on the contemporary transformations of social action. To investigate these articulations, we traced as the general objective to understand the inter-relationships between the development of digital media, the phenomenon of convergence and the emergence of participatory society. In order to accomplish this general goal, we take as the object of study two phenomena typical of participatory culture, called by Jenkins (2008) as "corporate convergence" and " alternative convergence". For the first phenomenon, we analyze the soap opera "Viver a Vida", aired by Globo Television Network (2009-2010). For the second, we investigate the digital activism or transmedia activism during the Arab Spring - to study the connections between mobile communication and the emergence of social activism within a participatory society. The discussion begins with the outlining of the changes in media development, focusing on the technological development that operated the transition from fixed to mobile devices. The analysis of the soap opera "Viver a Vida" showed changes in the traditional format of this television genre, establishing up a narrative that develops between television and digital media; while transforming the relationship between consumers and the soap opera, with new forms of watching chapters (which migrate to the computer and mobile devices) and interact with the narrative (the viewer can follow the story as it unfolds on television, complemented by the websites and blogs). As we analyze the digital activism during the Arab Spring, we emphasize its inextricable link with social networks and observe the shifts in practices of political activism enabled by the use of mobile media, by sharing photos and texts via smartphone. The analysis shows that activists can circumvent the censorship imposed on traditional media and provide visibility to events, denouncing crimes through shocking images that expose to the world the atrocities committed by dictatorial governments. Using the same mobile and social resources, dictatorial governments post images and texts that exalt their accomplishments and condemn the actions of the protesters and rebels, waging a battle materialized in texts and images circulating on social networking and giving global dimension to the events. The sharing of images and texts via smartphones highlights new practices established by using the Instagram app, both in terms of resources for processing images, as in the case of the instant posting of photos and text (captions, tags) on platforms and digital social networks. The use of Instagram is changing the production and circulation of texts and images taken by amateur photographers, as it provides image refinement features for smartphones, handled by the application and posted on social networks and platforms. The use of this application is also modifying production practices in the field of photojournalism, being increasingly used by professional photographers from news agencies and image banks, introducing new aesthetics for the photographic production in the press. We demonstrate, therefore, that the ecology of contemporary media move the boundaries between the political and the aesthetic, as mobile communication becomes arena for new forms of social action / Doutorado / Artes Visuais / Doutora em Artes

Orientador: Rodolfo Jardim de Azevedo / Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação / Made available in DSpace on 2018-08-27T04:45:04Z (GMT). No. of bitstreams: 1 Caceffo_RicardoEdgard_D.pdf: 9419075 bytes, checksum: 471d33da09caeddcc57b6039b579fbac (MD5) Previous issue date: 2015 / Resumo: O modelo do Aprendizado Ativo defende uma maior participação, motivação e colaboração entre os alunos no ambiente de ensino e aprendizagem. Usualmente o Aprendizado Ativo é suportado através de elementos tecnológicos, como os sistemas de resposta em sala de aula. Neste ambiente, o professor propõe aos alunos questões de múltipla escolha, que são respondidas através de clickers, sendo os dados organizados por um software gerenciado pelo professor. Ocorre que, apesar do crescente desenvolvimento da tecnologia, este suporte ainda é limitado, não considerando variáveis importantes do contexto, histórico e ambiente de ensino e aprendizagem, apresentando ainda problemas em sua aplicação, como a distração dos alunos. Nesta tese é proposta uma Arquitetura Ubíqua de Suporte ao Aprendizado Ativo (AUSAA), em que é desenvolvido um framework para promoção do Aprendizado Ativo através do uso de dispositivos móveis. A AUSAA incorpora elementos da Computação Ubíqua, como sensibilidade ao contexto, localização e análise do histórico dos usuários, permitindo a criação de funcionalidades que se adaptam ao ambiente e necessidades dos participantes. A AUSAA suporta ainda o modelo de estilos de aprendizagem de Felder & Silverman, que afirma que cada aluno possui preferências individuais em relação à percepção, processamento e manipulação da informação. Parte da AUSAA foi implementada através de um software (LSQuiz). Nele é proposto um processo colaborativo em que o professor disponibiliza um conjunto de questões de múltipla escolha aos alunos, que podem, a qualquer instante, informar ao sistema que estão com dificuldades. A partir disso, através da análise de fatores de contexto e da localização dos estudantes, é escolhido um aluno para ser convidado a ajudar. O LSQuiz foi aplicado e avaliado em um ambiente de ensino, sendo identificados pontos de melhoria em seu design, como a necessidade de identificação automática da localização dos alunos e ajustes pontuais no algoritmo do processo colaborativo. Verificou-se que é válida a premissa de que a aplicação da Computação Ubíqua neste ambiente viabiliza de uma forma mais efetiva o modelo do Aprendizado Ativo, sendo a autonomia dos alunos um elemento positivo neste processo. Por fim, identificou-se que não é possível inferir os estilos de aprendizagem dos alunos através do seu desempenho nos questionários, sendo inviável a aplicação do modelo de Felder & Silverman neste contexto / Abstract: The Active Learning model advocates greater participation, motivation and collaboration between students in the teaching and learning environment. Usually, the Active Learning is supported by technology through the classroom response systems. In this environment, the teacher asks students multiple-choice questions, which are answered trough clickers, being the data organized by a software managed by the teacher. Despite the increasing development of technology, its use is still limited, not being considered important variables related to the context, user's history and the learning environment. In addition, its application presented some problems, like the ones related to the distraction and attention loss of the students. This thesis proposes a Ubiquitous Classroom Response System (UCRS), developed as a framework to support the Active Learning using mobile devices. The UCRS incorporates elements of ubiquitous computing like context awareness, location and historical analysis of users' data, allowing the development of features that adapt to the environment and needs of the participants. The UCRS further supports the Felder and Silverman Learning Styles Model (FSM), which states that each student has individual preferences in relation to perception, processing and manipulation of information. Part of the UCRS was implemented through software (LSQuiz). The LSQuiz supports a collaborative process in which the teacher submits a multiple-choice quiz to students, who may at any time ask for the help of other students. Then, the LSQuiz analyses context factors, like the location affinity among students, verifying which student should be invited to help. The LSQuiz was implemented and evaluated in a learning environment, being identified some issues, like the need for automatic student's location and specific changes in the collaborative process algorithm. In addition, it was found valid the assumption that Ubiquitous Computing enables a more effective way to support the Active Learning model, being the student's autonomy a positive element in this process. Finally, was identified that it is not possible to assume the learning styles of students through their performance in the questionnaires. Thus, it is unfeasible the application of the FSM in this context / Doutorado / Ciência da Computação / Doutor em Ciência da Computação

Estudos atuais na área de Interação Humano-Computador evidenciam a importância de se considerar aspectos emocionais na interação com sistemas computacionais. Acredita-se que ao permitir agentes artificiais identificar emoções de usuários, em uma interação humano-computador, torna-se possível induzir e despertar emoções a fim de estimulá-los em suas atividades. Um dos grandes desafios dos pesquisadores em Interação humano-computador é prover sistemas capazes de reconhecer, interpretar e reagir de modo inteligente e sensível às emoções do usuário, para atender aos requisitos do maior número possível de indivíduos; um dos caminhos que se apresenta é o desenvolvimento de sistemas flexíveis. O principal objetivo de se promover essa interação emotiva é contribuir para o aumento da coerência, consistência e credibilidade das reações e respostas computacionais providas durante a interação humana via interface humano-computador. Nesse contexto, surge a oportunidade de explorar sistemas computacionais capazes de identificar e inferir o estado emocional do usuário em tempo de execução. Este projeto tem como objetivo desenvolver e avaliar um modelo que possa: i.) identificar o estado emocional do usuário; ii.) prover um mecanismo de persuasão com vistas a mudar o estado emocional do usuário (com um estudo de caso em player de música) e; iii.) explorar a abordagem flexível na persuasão (de acordo com o estado emocional particular de cada usuário) através de mecanismos persuasivos que poderão variar entre um player de música, jogos e/ou vídeos. Assim, ao longo do estudo, o modelo baseado em Comitê de Classificação se mostrou eficiente na identificação das emoções básicas (alegria, aversão, medo, neutro, raiva, surpresa e tristeza) com média de acurácia superior a 80% e, ainda, observou-se a satisfação dos usuários mediante a aplicação do modelo com o player de música. / Current studies in the field of Human-Computer Interaction highlight the relevance of emotional aspects while interacting with computers systems. It is believed that allowing intelligent agents to identify users emotions, they can induce and awaken emotions in order to stimulate them while interacting with computers. A major challenge for researchers in human-computer interaction is to provide systems capable of recognizing, interpreting and reacting intelligently and sensitively to the emotions of the user, to meet the requirements of the largest possible number of individuals. One of the ways presented in this project is the development of flexible systems to meet a large number of emotions/behaviors. The main objective of promoting this emotional interaction is to contribute to increasing the coherence, consistency and credibility of reactions and computational responses provided during human interaction via human-computer interface. In this context, the opportunity arises to explore computational systems able to identify and infer the emotional state of the user at runtime. This project aims to develop and evaluate a model that can: i.) identify the emotional state of the user/developer; ii.) provide a mechanism of persuasion in order to change the emotional state of the user (with a case study in music player) and; iii.) explore the flexible approach in persuasion (according to the particular emotional state of each user) through persuasive mechanisms that may vary from a music player, games and/or videos. Thus, throughout the study, the Rating Committee based model is efficient for identification of basic emotions (happiness, disgust, fear, neutral, anger, surprise and sadness) with average accuracy higher than 80% and also noted himself to user satisfaction by applying the model to the music player.

A computação ubíqua explora o fato de que é possível embutir em um ambiente sistemas computacionais que transparentemente apóiem tarefas cotidianas do usuário. Sistemas desse tipo podem ser aplicados a diferentes domínios contribuindo, por exemplo, com atividades educacionais, médicas ou administrativas. A captura automática de informação em ambientes de computação ubíqua visa documentar atividades cotidianas de modo a possibilitar, posteriormente, o acesso às informações capturadas. O nível de transparência da interação do usuário com as chamadas aplicações ubíquas de captura e acesso é um desafio para projetistas, uma vez que os requisitos da aplicação devem ser conhecidos em profundidade para que a interação usuário-ambiente seja eficiente, eficaz e satisfatória. O trabalho realizado teve por objetivo especificar uma versão da aplicação para comunicação síncrona entre usuários que participem de reuniões distribuídas usando o DiGaE (Distributed Gathering Environment), desenvolver protótipos de interfaces, avaliá-los e sugerir soluções que facilitem a interação do usuário, aproximando o modelo conceitual da aplicação de seu modelo mental. Foram utilizados conceitos de Engenharia de Software para especificação e modelagem do sistema, e de Interação Humano-Computador para o desenvolvimento e a avaliação das interfaces. O projeto realizado orientou a implementação de um protótipo do ambiente DiGaE pela equipe do Projeto TIDIA-Ae, em cujo contexto este trabalho se insere. A principal contribuição do trabalho é um projeto que considera usabilidade em ambientes ubíquos para comunicação remota entre usuários, de modo a tornar a interação fácil, eficiente, eficaz e satisfatória até mesmo para usuários não especialistas em informática / Ubiquitous computing explores the possibility of instrumenting an environment with computational infrastructure that transparently supports users in their daily tasks. This kind of systems can be applied in different contexts contributing in medical, educational or administrative activities, for instance. The automatic capture of information in ubiquitous computing environments aims at documenting daily activities so that the corresponding information can be later accessed for review. Achieving a high level of transparency concerning the user interaction in such environments is a challenge to designers, since many users\' requirements must be gathered so that the user-environment interaction is efficient, effective and satisfactory. The main objective of the work reported is the specification of a version of the DiGaE (Distributed Gathering Environment) application which allows the synchronous communication among remote users in distributed meetings developing interfaces prototypes, evaluating them and suggesting solutions to facilitate users\' interaction. Concepts from Software Engineering were employed to specify and model the application, and Human-Computer Interaction concepts were employed to develop and evaluate the interfaces. The project guided the implementation of a DiGaE prototype by TIDIA-Ae Project team, in which context this work is inserted. The main contribution of this work is a project which considers usability in ubiquitous distributed gathering environments in order to make the interaction easy, efficient, effective and satisfactory, even for non-expert users

Durante séculos, cosméticos têm sido utilizados nas mais diversas sociedades. Entretanto, quando se trata de maquiagem facial, o processo de escolha de um produto ainda é um desafio, pois é um trabalho manual que demanda tempo, além de consumir a maquiagem em si e outros materiais para aplicação e limpeza. Esse processo manual também dificulta a experimentação de vários produtos diferentes devido à necessidade de limpeza da pele para retirada de um produto aplicado anteriormente. Assim, um sistema de simulação de maquiagem utilizando realidade aumentada pode facilitar esse processo, permitindo a experimentação com a combinação de produtos e a comparação dos resultados, além de permitir experimentar os produtos virtualmente, pela internet por exemplo. Trabalhos existentes sobre esse tema permitem ao usuário aplicar a maquiagem sobre uma foto, ou mesmo um vídeo, do próprio usuário. A interação é feita por meio de mouse ou toque de um dedo sobre um monitor sensível a toques como se o usuário aplicasse maquiagem em uma terceira pessoa. Nesta dissertação propomos o desenvolvimento do SelfMakeup, um sistema de realidade aumentada que permite a autoaplicação de maquiagem virtual por meio de toques feitos diretamente na face ao invés de toques no monitor. A nossa hipótese é que essa forma de interação seja mais natural e forneça ao usuário uma melhor experiência ao testar produtos virtuais de maquiagem. O primeiro passo para viabilizar o SelfMakeup foi o desenvolvimento de um método para estimar a po- sição de toques na face utilizando uma câmera RGBD. Realizamos testes para avaliar o desempenho desse método e verificamos que a sua acurácia e precisão se mostraram adequadas para o propósito desta pesquisa. Em seguida, projetamos a interface gráfica do sistema para aplicação de maquiagem virtual. A interface per- mite efeitos de destaque e sombreamento que simulam os efeitos provocados pela aplicação de produtos reais de maquiagem. Resultados de um teste piloto do nosso protótipo com 32 usuários sugerem que o SelfMa- keup, por utilizar toques diretamente na face, oferece uma melhor experiência ao usuário na experimentação de produtos virtuais de maquiagem. / For centuries, cosmetics have been used in the most diverse societies. However, when it comes to facial makeup, the process of choosing a product is still a challenge because it is a manual work that takes time, to consumes the makeup itself and other materials for application and cleaning. This manual process also makes it difficult to experiment a number of different products due to the need to clean the face to remove a previously applied product. Thus, a makeup simulation system using augmented reality can facilitate this process, allowing experimentation with the combination of products and the comparison of the results, as well as allowing to experience the products virtually and remotely, through the internet for example. Exis- ting works on this theme allow the user to apply the makeup on a photo or even a video of the user himself by means of a mouse or touch of a finger on a touch-sensitive monitor, as if the user applied makeup on a third person. In this dissertation we propose the development of SelfMakeup, an augmented reality system that allows the self-application of virtual makeup by means of touches made directly on the face, rather than touches on the monitor. Our hypothesis is that this interaction form is more natural and gives the user a better experience when testing virtual make-up products. The first step in enabling SelfMakeup was the develop- ment of a method to estimate the applicator touch position on the face using an RGBD camera. We performed tests to evaluate the performance of this method and verified that its accuracy and precision was adequate for the purpose of this research. Next, we designed the graphical interface of the system for applying vir- tual makeup. The interface allows highlighting and shading effects that simulate the effects of real makeup products. Results from a pilot experiment of our prototype with 32 volunteers suggest that SelfMakeup, by using touches directly on the face, provides a better user experience to try on virtual makeup products.

As interações entre humanos e animais silvestres são frequentes em parques e outras áreas verdes ao redor do mundo, causando impactos positivos e negativos para ambos. Compreender a natureza psicológica dessas interações é fundamental para lidar com os conflitos que surgem. Essa dissertação está dividida em dois estudos que tratam dessa questão. O primeiro é um ensaio em que defendemos que a abordagem psicoetológica possui ferramentas teóricas e metodológicas que podem ajudar a lidar com esses conflitos. Concluímos que a observação naturalística das interações com a diversidade animal é importante para se compreender os mecanismos regulatórios e a dinâmica das interações, e assim propor intervenções que sejam específicas aos contextos em que elas se inserem. O segundo é um estudo naturalístico em que são investigadas interações de visitantes com diferentes animais em um parque. Partindo da hipótese de que há um viés filogenético em nossa interação com outros animais, testamos se, no parque estudado, os visitantes exibem comportamentos potencialmente afiliativos dirigidos àquelas categorias animais filogeneticamente mais próximas aos humanos. Um viés filogenético foi identificado, mas características físicas e comportamentais de humanos e nãohumanos dentro do ambiente do parque podem afetar a dinâmica de interação, e devem ser tratadas em futuras investigações. Concluímos levantamos possibilidades de intervenção na dinâmica interacional do parque que promovam relações mais saudáveis com os animais silvestres / Human-wildlife interactions are common in parks and other green areas around the world, causing positive and negative impacts. Understanding the psychological nature of these interactions is critical to overcome conflicts. This work is divided into two studies about this question. The first is an essay in which we argue that the psychoethological approach has theoretical and methodological tools which can help to solve conflicts. We conclude that naturalistic observations of the diversity of human-animal interactions are important to comprehend regulatory mechanisms and interaction dynamics, and thus to propose interventions to specific contexts. The second is a naturalistic study in which we investigate human interactions with different animals in a park. We hypothesize that there is a phylogenetic bias in our relations with other animals, and we tested whether visitants exhibit more affiliative-like behaviors toward animals phylogenetically related to humans. The phylogenetic bias has been identified, but physic and behavioral characteristics of humans and nonhumans within the park might affect interaction dynamics and should be addressed in future investigations. We conclude raising possibilities of intervention in the park to promote healthier relations with wildlife

A robótica social representa um ramo da interação humano-robô que visa desenvolver robôs para atuar em ambientes não estruturados em parceria direta com seres humanos. O relatório A Roadmap for U.S. Robotics From Internet to Robotics, de 2013, preconiza a obtenção de resultados promissores em 12 anos desde que condições apropriadas sejam disponibilizadas para a área. Uma das condições envolve a utilização de ambiente de referência para desenvolver, avaliar e comparar o desempenho de sistemas cognitivos. Este ambiente é denominado Robot City com atores, cenários (casas, ruas, cidade) e auditores. Até o momento esse complexo ambiente não se concretizou, possivelmente devido ao elevado custo de implantação e manutenção de uma instalação desse porte. Nesta dissertação é proposto um caminho alternativo através da definição e implementação do simulador de sistemas cognitivos denominado Robot House Simulator (RHS). O simulador RHS tem como objetivo disponibilizar um ambiente residencial composto por sala e cozinha, no qual convivem dois agentes, um robô humanoide e um avatar humano. O agente humano é controlado pelo usuário do sistema e o robô é controlado por uma arquitetura cognitiva que determina o comportamento do robô. A arquitetura cognitiva estabelece sua percepção do ambiente através de informações sensoriais supridas pelo RHS e modeladas por uma ontologia denominada OntSense. A utilização de uma ontologia garante rigidez formal aos dados sensoriais além de viabilizar um alto nivel de abstração. O RHS tem como base a ferramenta de desenvolvimento de jogos Unity sendo aderente ao conceito de código aberto com disponibilização pelo repositório online GitHub. A validação do sistema foi realizada através de experimentos que demonstraram a capacidade do simulador em prover um ambiente de validação para arquiteturas cognitivas voltadas à robótica social. O RHS é pioneiro na integração de um simulador e uma arquitetura cognitiva, além disto, é um dos poucos direcionados para robótica social provendo rica informação sensorial, destacando-se o modelamento inédito disponibilizado para os sentidos de olfato e paladar. / Social robotics represents a branch of human-robot interaction that aims to develop robots to work in unstructured environments in direct partnership with humans. The Roadmap for Robotics from the Internet to Robotics, 2013, predicts achieving promising results in 12 years as long as appropriate conditions are made available to the area. One of the conditions involves the use of a reference environment to develop, evaluate and compare the performance of cognitive systems. This environment is called Robot City with actors, scenarios (houses, streets, city) and auditors. To date, this complex environment has not been materialized, possibly due to its high cost of installing and maintaining. In this dissertation an alternative way is proposed through the definition and implementation of the simulator of cognitive systems called Robot House Simulator (RHS). The RHS simulator aims to provide a residential environment composed of living room and kitchen, in which two agents live together, a humanoid robot and a human avatar. The human avatar is controlled by the user of the system and the robot is controlled by a cognitive architecture that determines the behavior of the robot. The cognitive architecture establishes its perception of the environment through sensorial information supplied by the RHS and modeled by an ontology called OntSense. The use of an ontology guarantees formal rigidity to the sensory data in addition to enabling a high level of abstraction. The RHS simulator is based on the Unity game engine and is adheres to the open source concept, available on the GitHub online repository. The validation of the system was performed through experiments that demonstrated the simulators ability to provide a validation environment for cognitive architectures aimed at social robotics. The RHS simulator is a pioneer in the integration of a simulator and a cognitive architecture. In addition, it is one of the few for social robotics to provide rich sensory information where it is worth noting the unprecedented modeling available to the senses of smell and taste.

O objetivo deste trabalho é tornar possível a inserção de um robô humanoide para auxiliar pacientes em sessões de fisioterapia. Um sistema robótico é proposto que utiliza um robô humanoide, denominado NAO, visando analisar os movimentos feitos pelos pacientes e corrigi-los se necessário, além de motivá-los durante uma sessão de fisioterapia. O sistema desenvolvido permite que o robô, em primeiro lugar, aprenda um exercício correto de fisioterapia observando sua execução por um fisioterapeuta; em segundo lugar, que ele demonstre o exercício para que um paciente possa imitá-lo; e, finalmente, corrija erros cometidos pelo paciente durante a execução do exercício. O exercício correto é capturado por um sensor Kinect e dividido em uma sequência de estados em dimensão espaço-temporal usando k-means clustering. Estes estados então formam uma máquina de estados finitos para verificar se os movimentos do paciente estão corretos. A transição de um estado para o próximo corresponde a movimentos parciais que compõem o movimento aprendido, e acontece somente quando o robô observa o mesmo movimento parcial executado corretamente pelo paciente; caso contrário o robô sugere uma correção e pede que o paciente tente novamente. O sistema foi testado com vários pacientes em tratamento fisioterapêutico para problemas motores. Os resultados obtidos, em termos de precisão e recuperação para cada movimento, mostraram-se muito promissores. Além disso, o estado emocional dos pacientes foi também avaliado por meio de um questionário aplicado antes e depois do tratamento e durante o tratamento com um software de reconhecimento facial de emoções e os resultados indicam um impacto emocional bastante positivo e que pode vir a auxiliar pacientes durante tratamento fisioterapêuticos. / This dissertation develops a robotic system to guide patients through physiotherapy sessions. The proposed system uses the humanoid robot NAO, and it analyses patients movements to guide, correct, and motivate them during a session. Firstly, the system learns a correct physiotherapy exercise by observing a physiotherapist perform it; secondly, it demonstrates the exercise so that the patient can reproduce it; and finally, it corrects any mistakes that the patient might make during the exercise. The correct exercise is captured via Kinect sensor and divided into a sequence of states in spatial-temporal dimension using k-means clustering. Those states compose a finite state machine that is used to verify whether the patients movements are correct. The transition from one state to the next corresponds to partial movements that compose the learned exercise. If the patient executes the partial movement incorrectly, the system suggests a correction and returns to the same state, asking that the patient try again. The system was tested with multiple patients undergoing physiotherapeutic treatment for motor impairments. Based on the results obtained, the system achieved high precision and recall across all partial movements. The emotional impact of treatment on patients was also measured, via before and after questionnaires and via a software that recognizes emotions from video taken during treatment, showing a positive impact that could help motivate physiotherapy patients, improving their motivation and recovery.

Um motor de jogo é uma ferramenta que facilita a criação de jogos eletrônicos garantindo a reutilização de softwares. Por sua origem tecnológica, os motores de jogo atuais, tanto comerciais quanto acadêmicos, tendem a primar pelo número de funcionalidades específicas, em detrimento da usabilidade, o que amplia o período de tempo necessário para seu aprendizado. Com o objetivo de melhor adaptar um motor de jogo didático às necessidades pedagógicas, este trabalho propõe uma interface interativa para motores denominada Game Wrench e criada através de métodos de Interação Humano-Computador. Como se tratam de áreas multidisciplinares, é também apresentado um embasamento teórico sobre os diversos aspectos envolvidos, a começar pela adoção de uma definição precisa para o conceito de jogo. O cenário específico para o qual este ambiente de programação (motor e interface) foi desenvolvido é composto pelos alunos da disciplina Computação Gráfica da Escola Politécnica da USP, que programam sobre um motor de jogo didático chamado enJine. Através de um protótipo em papel, testes de usabilidade foram realizados com parte desses alunos, o que gerou diversas diretrizes para a programação final da interface. Uma versão preliminar dessa interface usando plataforma Java foi desenvolvida, gerando diversos resultados e contribuições ao longo do processo, como artefatos de projeto (personas, cenários), ferramentas de desenvolvimento (estrutura GAML, classes para enJine, widgets especializados) e diretrizes sobre a metodologia utilizada (avaliação heurística, prototipagem em papel, teste de usabilidade). / Game engines are tools to aid the development of computer and video games through software reuse. Once born in a technological environment, present game engines, either commercial or not, are normally worried more about the number of implemented features than usability issues. These characteristics may extend the period of learning-time. To address the goal of better adapting a didactic game engine to pedagogical needs, this study proposes an interactive interface for engines called Game Wrench, following Computer-Human Interface methods. Being multidisciplinary fields, a theoretical base on the related subjects is presented, starting with a precise definition for the concept of gaming. Undergraduate students of Escola Politecnica da USP enrolled in a Computer Graphics course where they develop games using a didactic engine called enJine, compose the specific scenario for which this programming environment was developed. Using paper prototypes, usability tests were conducted with some of these students, generating a list of guidelines for implementing this interface. A preliminary Java version of the interface was made available, generating results and contribution throughout the design process, such as design artifacts (personas, scenarios), programming tools (GAML specification, enJine classes, specialized widgets) and guidelines for the methodology adopted (heuristic evaluation, paper prototypes, usability tests).

É crescente o investimento de educadores em enfermagem em pesquisa e produção de objetos digitais de qualidade porque consideram que esta tecnologia oferece um futuro promissor para o processo ensino-aprendizagem. A interação homem-computador acontece através da interface, que deve ser amigável. Sabendo da importância dessa interação sentimo-nos instigadas em avaliar a interface de uma tecnologia educacional digital, junto ao usuário. Objetivo: Avaliar a interface da tecnologia educacional digital Cuidando do ambiente sensorial na unidade neonatal: ruído, luminosidade e manipulação com base em critérios ergonômicos, junto a graduandos em Enfermagem. Trata-se de um estudo descritivo, relacionado à avaliação de uma tecnologia educacional digital sobre o ambiente neonatal. Nesta avaliação, foram utilizados os critérios do Ergolist (2008), um instrumento tipo Likert online na própria tecnologia educacional e em ambiente virtual de aprendizagem como ferramenta para avaliação em que foram levantados problemas e qualidades da interface. Para a avaliação da interface, foram convidados a participar alunos de graduação da EERP-USP que cursaram as disciplinas que oferecem conteúdos de enfermagem neonatal. A descrição dos dados relativos à caracterização dos sujeitos e a avaliação de interface se apresentaram mediante uso de estatística descritiva e foram utilizadas tabelas de frequência para os dados quantitativos. Todos os itens foram avaliados positivamente por mais de 70% dos 58 estudantes participantes do estudo. Assim, considera-se que a tecnologia educacional está adequada, segundo os critérios ergonômicos, e pode ser disponibilizada para o ensino de estudantes de enfermagem, sobre o ambiente sensorial das unidades neonatais. / Nursing educators are investing more in quality digital objects\' research and production because they consider that this technology provides a promising future for the teaching-learning process. The interaction between human and computer happens through the interface, which should be friendly. Considering the importance of this interaction, we crave to evaluate the customer (user) experience with a digital education technology interface. Objectives: Evaluate the experience of nursing students with the interface of the digital education technology \"Cuidando do ambiente sensorial na unidade neonatal: ruído, luminosidade e manipulação\" considering ergonomics criteria. This is a descriptive study about the student evaluation of a digital education technology made for the physical neonatal environment. The Ergolist\'s criteria (2008) is a type of Likert online toll available in the digital education technology. This questionary was used as an instrument to evaluate the interface. Nursing students from the EERP-USP who were registered in neonatal disciplines were invited to know and evaluate the digital educational technology. Descriptive statistic was used to present the data of the subjects\' characteristics and the interface evaluation. Quantitative data was presented in frequency tables. All items were positively evaluated for more than 70% of the 58 students. Thereby, according to the ergonomic criteria the educational technology was considered adequate and can be used as an instrument for teaching nursing students about sensory environment in neonatal units.