Sistemas de Interação Humano-Computador baseados em toque são uma tecnologia disseminada em tablets, smartphones e notebooks. Trata-se de um grande avanço que aumenta a facilidade de comunicação e, ao mesmo tempo, diminui a necessidade de interfaces como mouse e teclado. Entretanto, a superfície de interação utilizada por esses sistemas normalmente é equipada com sensores para a captação dos movimentos realizados pelo usuário, o que impossibilita transformar uma superfície planar qualquer (uma mesa, por exemplo) em uma superfície de interação. Por outro lado, a popularização de sensores de profundidade a partir do lançamento do Microsoft Kinect propiciou o desenvolvimento de sistemas que adotam objetos do dia a dia como superfícies de interação. Nesta dissertação é proposta uma interface natural para interação com superfícies planares utilizando uma câmera RGB-D em posição descendente. Inicialmente, o plano de interação é localizado na nuvem de pontos 3D através de uma variação do algoritmo RANSAC com coerência temporal. Objetos acima do plano são segmentados a partir da transformada watershed baseada em uma função de energia que combina cor, profundidade e informação de confiança. A cor de pele é utilizada para isolar as mãos, e os dedos que interagem com o plano são identificados por um novo processo de esqueletonização 2D. Finalmente, as pontas dos dedos são rastreadas com o uso do algoritmo Húngaro, e o filtro de Kalman é usado para produzir trajetórias mais suaves. Para demonstrar a utilidade da técnica, foi desenvolvido um protótipo que permite ao usuário desenhar em uma superfície de forma natural e intuitiva. / Touch-based Human-Computer Interfaces (HCIs) are a widespread technology present in tablets, smartphones, and notebooks. This is a breakthrough which increases the ease of communication and at the same time reduces the need for interfaces such as mouse and keyboard. However, the interaction surface used by these systems is usually equipped with sensors to capture the movements made by the user, making it impossible to substitute this surface by any other such as a table, for example. On the other hand, the progress of commercial 3D depth sensing technologies in the past five years, having as a keystone Microsoft’s Kinect sensor, has increased the interest in 3D hand gesture recognition using depth data. In this dissertation, we present a natural Human-Computer Interface (HCI) for interaction with planar surfaces using a topdown RGB-D camera. Initially, the interaction plane is located in the 3D point cloud by using a variation of RANSAC with temporal coherence. Off-plane objects are segmented using the watershed transform based on an energy function that combines color, depth and confidence information. Skin color information is used to isolate the hand(s), and a novel 2D skeletonization process identifies the interaction fingers. Finally, the fingertips are tracked using the Hungarian algorithm, and a Kalman filter is applied to produce smoother trajectories. To demonstrate the usefulness of the technique, we also developed a prototype in which the user can draw on the surface using lines and sprays in a natural way.

Esta tese de doutorado tem como base uma pesquisa exploratória que investigou as possibilidades e os elementos envolvidos na utilização de dispositivos móveis de consumo (consumer mobile devices) como ferramentas para atividades musicais. Dispositivos móveis comuns de informação e comunicação – telefones celulares, smartphones e computadores de mão – têm incorporado cada vez mais funcionalidades através do fenômeno da convergência, e tendem a se tornar plataformas de computação móvel genérica. Neste sentido, seu uso na música já vem sendo investigado por outros pesquisadores, tendo sido inclusive proposta uma área própria de pesquisa denominada Mobile Music (música em dispositivos móveis). Entretanto o tema ainda é emergente, justificando a abordagem exploratória adotada aqui. Os trabalhos existentes apresentam soluções específicas, havendo a necessidade de uma proposta de organização de conceitos gerais e de fundamentação para o design de interação nesta área. Do ponto de vista da área de Interação Humano-Computador, um problema central neste contexto é como realizar o design de interação de um sistema para atividades musicais que envolve dispositivos móveis não-específicos, ou seja, que não foram projetados originalmente para tarefas musicais. É o que identificamos neste trabalho como o problema do “reaproveitamento de dispositivos” (device repurposing). A solução envolve não modificar os dispositivos, e sim encontrar maneiras próprias e variadas (alternativas) de manipular dados e informações musicais utilizando os recursos já existentes nos aparelhos. Além disso, o design da interação musical não deve considerar apenas o paradigma instrumental – baseado na interação com instrumentos musicais tradicionais – mas sim incluir no espaço de design outros paradigmas de interação, muitos deles originados e já adotados na área de Computação Musical. Neste trabalho, esses diversos paradigmas ou formas de interação musical são identificados e formalizados como proto-patterns de interação. A coleta e o refinamento dos patterns foi possível por meio de uma metodologia exploratória baseada na experiência de desenvolvimento de vários protótipos musicais móveis, e que incluiu também uma extensa revisão bibliográfica e a análise de sistemas existentes. O resultado deste processo foi organizado na forma de uma infraestrutura composta por conceitos e princípios, patterns de interação e ferramentas para o apoio ao design de sistemas interativos musicais envolvendo dispositivos móveis de consumo. / The present thesis is an exploratory research on the possibilities and on the elements that may be relevant for making use of consumer mobile devices as tools for musical activities. Ordinary mobile information and communication devices – cell phones, smartphones, and PDAs – have been integrating more and more functionalities as a result of the “convergence” phenomenon. Today, these devices also tend to become generic mobile computing platforms. In this sense, their use in musicmaking is already being studied by other researchers, and even a specific research field has been proposed, called Mobile Music. Nevertheless, this topic is still emergent, which is the reason for adopting an exploratory approach in this thesis. Current papers tend to present particular solutions, and thus there is a need for proposals that deal with organizing general concepts, and also with the foundations for interaction design within this new field. From the perspective of Human-Computer Interaction, a basic problem in such context is how to carry out the interaction design of a system for musical activities which involves non-specific mobile devices. That is, these devices were not originally designed for musical tasks. This is what we identify in this work as the “device repurposing” problem. The answer lies not on adapting the device, but on finding unique and multiple (i.e., alternative) ways to manipulate data and musical information by using the features that the devices already provide. Additionally, musical interaction design should not consider just the instrumental paradigm – based on interaction with traditional musical instruments – but should also include other interaction models in the design space, most of which are well-known in the Computer Music domain. In this thesis, those various models or paradigms of musical interaction are identified and formalized as interaction design proto-patterns. Collecting and refining these patterns was made possible through an exploratory methodology, based on the experience of developing several mobile music prototypes, and which also included an extensive literature review and the analysis of existing systems. The product of this research was combined into an infrastructure, composed of concepts and principles, interaction design patterns, and tools, to support the design of interactive musical systems which involve consumer mobile devices.

Em projetos arquitetônicos, lápis e papel continuam sendo os instrumentos mais usados para elaborar desenhos à mão livre para dar suporte às atividades das etapas iniciais de projeto. Ferramentas digitais convencionalmente utilizadas por arquitetos carecem de funcionalidade apropriada e não oferecem interfaces amigáveis para os estágios iniciais de concepção arquitetônica. A solução para estes problemas fundamenta-se em dois apoios tecnológicos: (i) em dispositivos de hardware já disponíveis que podem ajudar projetistas a expressar suas ideias através de sketches à mão livre; e (ii) em princípios de funcionalidade presentes em softwares experimentais os quais, combinados com hardware apropriados, poderiam oferecer interações humano-computador amigáveis e intuitivas nas etapas iniciais de projetos arquitetônicos. Esta pesquisa revisa e sintetiza literatura relevante à esta hipótese, especialmente quanto às formas como projetistas de arquitetura interagem com os computadores, como dispositivos de entrada restringem possíveis interações e como diferentes funcionalidades podem ser exploradas através dessas interações. A revisão do estado da arte dos softwares experimentais de modelagem baseada em sketch para projetos arquitetônicos permitiu descrever em detalhe as funcionalidades oferecidas e argumentar que, se combinadas, essas funcionalidades forneceriam um apoio mais adequado para as etapas iniciais de projeto arquitetônico. Cenários de uso são desenvolvidos para explorar tais combinações e demonstrar possibilidades atuais e futuras das ferramentas digitais durante a fase de concepção do projeto arquitetônico. / In architectural design, pencil and paper remain the most used media to create freehand drawings to support the activities of early designing stages. Digital tools conventionally used by architects lack of appropriated functionality and do not offer friendly interfaces for early stages of architectural designing. The solutions for these problems are twofold: (i) hardware already available can help designers to express their first ideas by freehand sketches; and (ii) functionality principles are present in experimental software and, combined with appropriate hardware, could successfully provide a friendly and intuitive human-computer interaction in the early stages of architectural designing. This research revises and synthesizes literature relevant to this hypothesis, taking special attention to the way architectural designers interact with computers, how input devices constrain possible interactions and how functionalities can be explored through these interactions. The update to the state-of-the-art studies in experimental, sketch-based modeling software for architectural design allowed detailed descriptions of the functionality they offer and allowed to argue that, combined, this functionality would provide a more adequate support for initial stages of architectural designing. Scenarios of use are developed, exploring such combination and demonstrating current and future possibilities for digital tools to use during initial stages of architectural designing.

Em projetos arquitetônicos, lápis e papel continuam sendo os instrumentos mais usados para elaborar desenhos à mão livre para dar suporte às atividades das etapas iniciais de projeto. Ferramentas digitais convencionalmente utilizadas por arquitetos carecem de funcionalidade apropriada e não oferecem interfaces amigáveis para os estágios iniciais de concepção arquitetônica. A solução para estes problemas fundamenta-se em dois apoios tecnológicos: (i) em dispositivos de hardware já disponíveis que podem ajudar projetistas a expressar suas ideias através de sketches à mão livre; e (ii) em princípios de funcionalidade presentes em softwares experimentais os quais, combinados com hardware apropriados, poderiam oferecer interações humano-computador amigáveis e intuitivas nas etapas iniciais de projetos arquitetônicos. Esta pesquisa revisa e sintetiza literatura relevante à esta hipótese, especialmente quanto às formas como projetistas de arquitetura interagem com os computadores, como dispositivos de entrada restringem possíveis interações e como diferentes funcionalidades podem ser exploradas através dessas interações. A revisão do estado da arte dos softwares experimentais de modelagem baseada em sketch para projetos arquitetônicos permitiu descrever em detalhe as funcionalidades oferecidas e argumentar que, se combinadas, essas funcionalidades forneceriam um apoio mais adequado para as etapas iniciais de projeto arquitetônico. Cenários de uso são desenvolvidos para explorar tais combinações e demonstrar possibilidades atuais e futuras das ferramentas digitais durante a fase de concepção do projeto arquitetônico. / In architectural design, pencil and paper remain the most used media to create freehand drawings to support the activities of early designing stages. Digital tools conventionally used by architects lack of appropriated functionality and do not offer friendly interfaces for early stages of architectural designing. The solutions for these problems are twofold: (i) hardware already available can help designers to express their first ideas by freehand sketches; and (ii) functionality principles are present in experimental software and, combined with appropriate hardware, could successfully provide a friendly and intuitive human-computer interaction in the early stages of architectural designing. This research revises and synthesizes literature relevant to this hypothesis, taking special attention to the way architectural designers interact with computers, how input devices constrain possible interactions and how functionalities can be explored through these interactions. The update to the state-of-the-art studies in experimental, sketch-based modeling software for architectural design allowed detailed descriptions of the functionality they offer and allowed to argue that, combined, this functionality would provide a more adequate support for initial stages of architectural designing. Scenarios of use are developed, exploring such combination and demonstrating current and future possibilities for digital tools to use during initial stages of architectural designing.

Esta tese de doutorado tem como base uma pesquisa exploratória que investigou as possibilidades e os elementos envolvidos na utilização de dispositivos móveis de consumo (consumer mobile devices) como ferramentas para atividades musicais. Dispositivos móveis comuns de informação e comunicação – telefones celulares, smartphones e computadores de mão – têm incorporado cada vez mais funcionalidades através do fenômeno da convergência, e tendem a se tornar plataformas de computação móvel genérica. Neste sentido, seu uso na música já vem sendo investigado por outros pesquisadores, tendo sido inclusive proposta uma área própria de pesquisa denominada Mobile Music (música em dispositivos móveis). Entretanto o tema ainda é emergente, justificando a abordagem exploratória adotada aqui. Os trabalhos existentes apresentam soluções específicas, havendo a necessidade de uma proposta de organização de conceitos gerais e de fundamentação para o design de interação nesta área. Do ponto de vista da área de Interação Humano-Computador, um problema central neste contexto é como realizar o design de interação de um sistema para atividades musicais que envolve dispositivos móveis não-específicos, ou seja, que não foram projetados originalmente para tarefas musicais. É o que identificamos neste trabalho como o problema do “reaproveitamento de dispositivos” (device repurposing). A solução envolve não modificar os dispositivos, e sim encontrar maneiras próprias e variadas (alternativas) de manipular dados e informações musicais utilizando os recursos já existentes nos aparelhos. Além disso, o design da interação musical não deve considerar apenas o paradigma instrumental – baseado na interação com instrumentos musicais tradicionais – mas sim incluir no espaço de design outros paradigmas de interação, muitos deles originados e já adotados na área de Computação Musical. Neste trabalho, esses diversos paradigmas ou formas de interação musical são identificados e formalizados como proto-patterns de interação. A coleta e o refinamento dos patterns foi possível por meio de uma metodologia exploratória baseada na experiência de desenvolvimento de vários protótipos musicais móveis, e que incluiu também uma extensa revisão bibliográfica e a análise de sistemas existentes. O resultado deste processo foi organizado na forma de uma infraestrutura composta por conceitos e princípios, patterns de interação e ferramentas para o apoio ao design de sistemas interativos musicais envolvendo dispositivos móveis de consumo. / The present thesis is an exploratory research on the possibilities and on the elements that may be relevant for making use of consumer mobile devices as tools for musical activities. Ordinary mobile information and communication devices – cell phones, smartphones, and PDAs – have been integrating more and more functionalities as a result of the “convergence” phenomenon. Today, these devices also tend to become generic mobile computing platforms. In this sense, their use in musicmaking is already being studied by other researchers, and even a specific research field has been proposed, called Mobile Music. Nevertheless, this topic is still emergent, which is the reason for adopting an exploratory approach in this thesis. Current papers tend to present particular solutions, and thus there is a need for proposals that deal with organizing general concepts, and also with the foundations for interaction design within this new field. From the perspective of Human-Computer Interaction, a basic problem in such context is how to carry out the interaction design of a system for musical activities which involves non-specific mobile devices. That is, these devices were not originally designed for musical tasks. This is what we identify in this work as the “device repurposing” problem. The answer lies not on adapting the device, but on finding unique and multiple (i.e., alternative) ways to manipulate data and musical information by using the features that the devices already provide. Additionally, musical interaction design should not consider just the instrumental paradigm – based on interaction with traditional musical instruments – but should also include other interaction models in the design space, most of which are well-known in the Computer Music domain. In this thesis, those various models or paradigms of musical interaction are identified and formalized as interaction design proto-patterns. Collecting and refining these patterns was made possible through an exploratory methodology, based on the experience of developing several mobile music prototypes, and which also included an extensive literature review and the analysis of existing systems. The product of this research was combined into an infrastructure, composed of concepts and principles, interaction design patterns, and tools, to support the design of interactive musical systems which involve consumer mobile devices.

Submitted by Fabio Sobreira Campos da Costa (fabio.sobreira@ufpe.br) on 2016-03-15T13:17:52Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertacao_AlainRosemberg_Mestrado.pdf: 2190332 bytes, checksum: 646eab9f3f8199a8f7b003398354b6ea (MD5) / Made available in DSpace on 2016-03-15T13:17:52Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertacao_AlainRosemberg_Mestrado.pdf: 2190332 bytes, checksum: 646eab9f3f8199a8f7b003398354b6ea (MD5) Previous issue date: 2015-08-06 / A interação com computadores através de gestos há algum tempo vem sendo explorada pelos pesquisadores. Os gestos, no que se refere ao processo de compreensão, não sofre interferência de ruído ocasionado por um determinado ambiente e faz uso de um canal distinto do utilizado na comunicação verbal. Porém, as principais desvantagens se resumem na dificuldade em manipular e interpretar as informações referentes ao processamento e mapeamento de gestos. Além disso, as várias soluções existentes, voltadas para a língua de sinais, ou são de cunho proprietário ou de nível acadêmico. E ainda são limitadas a um pequeno e restrito conjunto de gestos. Os gestos presentes nestas soluções, ora são apenas estáticos ou ora apenas dinâmicos, o que poderá afetar diretamente no nível de dificuldade de uso por parte dos usuários. O aperfeiçoamento acelerado das tecnologias vem melhorando o acesso a dispositivos de captura e processamento de imagens, mais robustos. Os avanços permitiram o uso livre das mãos, sem que haja a necessidade de equipamentos diretamente interligados aos usuários. Com o intuito de contribuir no estreitamento da barreira comunicacional através do uso da tecnologia, este trabalho tem por principal objetivo identificar e estudar a viabilidade de uma tecnologia específica de reconhecimento de gestos, o Leap Motion. Que a partir do desenvolvimento de uma solução desenvolvida especificamente para essa tecnologia, seja possível propor uma abordagem que possibilite implementar, mapear e testar gestos. Com isso possibilitar a validação e interação com a solução comercial denominada ProDeaf. Isto voltado para as pessoas surdas, especificamente no contexto da Língua Brasileira de Sinais (Libras). / The interaction with computers through gestures has been explored by researchers for some time. The gestures, as in regards of the process to understanding, do not suffer noise interference caused by a given environment, and use a different channel from verbal communication. However, the main disadvantages are summarized in the difficulty of manipulating and interpreting the information regarding processing and mapping of the gestures. In addition, various existing solutions are in the owner level or academic level, and are still limited to a small and restricted set of gestures. The gestures presented by these solutions, sometimes are just static or sometimes are just dynamic, which may directly affect the level of difficulty of use. The technology evolution improves the access to more robust capture devices and image processors. The advances allowed free use of hands, without requiring an equipment directly connected to users. In order to contribute to the narrowing of the communication barrier through the use of technology, this work has the main objective to identify and study the feasibility of a specific technology of gesture recognition, the Leap Motion. And from the development of a solution specific for that technology show that it could be possible to propose an approach that allows coding, testing and mapping gestures. With this, allow the validation and interaction with the commercial solution called ProDeaf. Specially to the deaf people, specifically in the context of Brazilian Sign Language (Libras).

A presente pesquisa se constitui na intersecção entre os estudos da cognição propostos por Humberto Maturana e Francisco Varela, a cultura dos videogames e a mobilidade das tecnologias de informação e comunicação. Considerando que tal intersecção constitui espaços híbridos físico-digitais, o estudo aborda processos de produção de sentido em oficinas com adolescentes e com professoras de uma escola de ensino fundamental do município de Porto Alegre, nas quais os participantes jogaram um jogo digital baseado em localização. A compreensão dos processos de produção de sentido é sugerida a partir de três modulações performáticas da cognição que se constituem como pistas que movem a pesquisa: (1) a existência de afetos e disposições para a ação, (2) as coordenações de ações e a dinâmica de acoplamentos estruturais e (3) a emergência da função observador e a produção de distinções. Ao longo de três meses, foram realizados cinco encontros no formato de oficinas com o jogo “Um Dia no Jardim Botânico”, desenvolvido pelo Núcleo de Ecologias e Políticas Cognitivas (NUCOGS) da Universidade Federal do Rio Grande do Sul. Os encontros tiveram a participação de 33 estudantes (18 meninas e 15 meninos) que tinham entre 11 e 15 anos e frequentavam o 4º e 5º ano; e cinco professoras do 1º ao 5º ano do ensino fundamental. A partir da análise dos registros, o estudo sugere que a experiência emocional exerce uma função importante em processos de produção de sentidos relacionados às práticas de jogo compartilhadas pelos jogadores, assim como para a composição de espaços percebidos como híbridos físico-digitais. / The following research brings forth the intersection between cognitive studies proposed by Humberto Maturana and Francisco Varela, videogame culture and the mobility of communication and information technologies. Considering that such intersection consists of hybrid physical-digital spaces, this paper aims to investigate sense-making processes by school teenagers and teachers from Porto Alegre during workshops in which participants play a locative digital game. Comprehension of the sense-making processes is brought to light from three performatic modulations of cognitive sense-making that provide clues and push the research forward: (1) the existence of affects and dispositions for action, (2) action coordination and structural dynamic coupling and (3) the emergent function of observer and the creation of distinctions. Across three months, five workshop meetings were arranged where participants would play the game “A Day in the Botanic Garden”, developed by the Federal University of Rio Grande do Sul’s Cognitive Policy and Ecology Nucleus (Núcleo de Ecologias e Políticas Cognitivas – NUCOGS). With a total of 33 participant students (18 girls and 15 boys), between the ages of 11 and 15 years old as well as five 4th and 5th elementary grade school teachers. From the analysis of the workshop’s records our study suggests that emotional experience plays an important role in sense-making processes related to play activities shared between players just as well as for the creation of spaces perceived as physical-digital hybrids.

Esta dissertação trata do planejamento de serviços de governo em mídia cruzada. O conceito de x-gov governo em mídia cruzada é entendido como a disponibilização de serviços públicos em múltiplas mídias e dispositivos, tais como celulares, TV digital interativa, mídia impressa e a própria Internet. A sinergia entre as diversas mídias resulta em uma campanha que envolve o cidadão de maneira que o governo é inserido no fluxo dos eventos da sua vida, passando a fazer parte dela. X-gov é uma importante alternativa para o Governo Eletrônico, na medida em que amplia o alcance dos serviços de governo pela maior divulgação e alternativas de acesso. No entanto, o desenvolvimento de aplicações em mídia cruzada tende a crescer em proporção fatorial ao número de mídias envolvidas. A necessidade de racionalizar a distribuição da narrativa de governo nas múltiplas mídias exige um trabalho de planejamento, que é o foco desta pesquisa. Propõe-se então, um método que funciona como ferramenta de planejamento, da qual faz parte uma prova de conceito, para o planejamento de oferecimento e divulgação de serviços públicos eletrônicos, identificando-se os canais mais adequados às etapas de um serviço. O método proposto é constituído de etapas que contemplam desde a especificação do serviço a ser planejado até a escolha das mídias de suporte mais adequadas para o mesmo. Visando discutir a aplicabilidade do conceito, e a sua adequação a um método de planejamento, é apresentado aqui um estudo de caso sobre o planejamento em si e sobre a viabilidade da ferramenta, por meio da prova de conceito. Como resultados deste trabalho, além da especificação dos passos do método, foi modelada, implementada e documentada uma solução de software baseada em Lógica Fuzzy que realiza a adequação das mídias aos serviços. Foram conduzidos testes comparativos de planejamento com experiências anteriores e com a ferramenta proposta, com documentação e conclusões acerca dos resultados. / This dissertation explores the planning of crossmedia-based government services. The x-gov concept can be understood as public services delivered by multiple media and devices, such as cell phones, interactive television, printed folders and Internet. The synergy among multiple media can result on a campaign or story that involves citizens by making government appear at some time in their lives, making it meaningful for them. X-gov is an important alternative for e-gov, since it enables government services to reach a larger number of users by increasing the means to access them and enhancing its exposure with better advertisement. However, application development for crossmedia services tends to be factorialy increased in proportion to the number of media involved in the process. The need of balance distribution of government storytelling on multiple media demands a serious planning job, which is the focus of this work. As a tool for supporting the planning process for distribution and advertisement of government services, a method is proposed in this research, containing a proof of concept, aiming to identify the best set of channels for services tasks. The method is composed of four parts, from the study and analysis of the subject (e-gov service) until the presentation of which media set is suitable to the referred service. It is also presented a case study in order to discuss the applicability of the concept and its viability for suiting the planning method for real services. Some results of this work are: the method steps specification were made, and a proof of concept was modeled, implemented and documented based on fuzzy logic that performs the adequacy of media to services. Comparative tests were conducted with a real e-gov service using the proposed tool, with documentation of the results and conclusions.

Este estudo, inserido no contexto das transformações e novas alfabetizações possibilitadas pela cultura digital, busca contribuir para a compreensão de processos de aprendizagem envolvidos na atividade de programação de jogos em Etoys (software de autoria multimídia desenvolvido em linguagem orientada a objetos). Foram realizadas quatorze Oficinas de construção de jogos em uma escola estadual de Porto Alegre com seis sujeitos de 5º ano do Ensino Fundamental cuja turma se inseria na modalidade um computador por aluno (1:1). As intervenções que sustentam o trabalho são guiadas pelo Método Clínico de Piaget. A análise dos processos de construção de jogos digitais pelos sujeitos é fundamentada em conceitos do campo do estudo da cognição, videogames (Game Studies) e da programação. O Etoys se mostrou um dispositivo interessante para a pesquisa desses processos. Através da observação e análise das produções desenvolvidas, pôde-se observar a dinâmica de estratégias, noções de programação e de jogos envolvidas na atividade de programar. / These study, placed in context of the digital age's transformations and possibilities, aims to contribute to the compreehsion of learning processes involved in programming games with Etoys (multimidia authoring software developed in object oriented language). Fourteen weekly workshops were given for a group of six students (which the class had one laptop per child) from a state public school in Porto Alegre. The interventions were carried out guided by Piaget Clinical Method. The processes of creating a game are grounded on the fields of Cognition, Game Studies and programming. The Etoys has proved to be an interesting tool for researching these processes. Through the analysis of the games produced, the dinamic of strategies, programming and game concepts could be observed.

Orientador: Prof. Dr. Guiou Kobayashi / Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Engenharia da Informação, 2014. / A computação atual vem demandando, cada vez mais, formas avançadas de interação com os computadores. A interface do humano com seus dispositivos móveis carece de métodos mais avançados, e um recurso automático de reconhecimento de expressões faciais seria uma maneira de alcançar patamares maiores nessa escala de evolução. A forma como se dá o reconhecimento de emoções humanas e o que as expressões faciais representam em uma comunicação face-a-face vem sendo referência no desenvolvimento desses sistemas computacionais e com isso, pode-se elencar três grandes desafios para implementar o algoritmo de analise de expressões: Localizar o rosto na imagem, extrair os elementos faciais relevantes e classificar os estados de emoções. O melhor método de resolução de cada um desses sub-desafios, que se relacionam fortemente, determinará a viabilidade, a eficiência e a relevância de um novo sistema de análise de expressões embarcada nos dispositivos portáteis. Este estudo tem como objetivo avaliar a viabilidade da implantação de um sistema automático de reconhecimento de expressões faciais por imagens, em dispositivo móvel, utilizando a plataforma iOS da Apple, integrada com a biblioteca de código aberto e muito utilizada na comunidade da computação visual, o OpenCV. O algoritmo Local Binary Pattern, implementado pelo OpenCV, foi escolhido como lógica de rastreamento da face. Os algorítmos Adaboost e Eigenface foram ,respectivamente, adotados para extração e classificação da emoção e ambos são também suportados pela mencionada biblioteca. O Módulo de Classificação Eigenface demandou um treinamento adicional em um ambiente de maior capacidade de processamento e externo a plataforma móvel; posteriormente, apenas o arquivo de treino foi exportado e consumido pelo aplicativo modelo. O estudo permitiu concluir que o Local Binary Pattern é muito robusto a variações de iluminação e muito eficiente no rastreamento da face; o Adaboost e Eigenface produziram eficiência de aproximadamente 65% na classificação da emoção, quando utilizado apenas as imagens de pico no treino do módulo, condição essa, necessária para manutenção do arquivo de treino em um tamanho compatível com o armazenamento disponível nos dispositivos dessa categoria. / The actual computing is demanding, more and more, advanced forms of interaction with computers. The interfacing from man with their mobile devices lacks more advanced methods, and automatic facial expression recognition would be a way to achieve greater levels in this scale of evolution. The way how is the human emotion recognition and what facial expressions represents in a face to face communication is being reference for development of these computer systems and thus, it can list three major implementation challenges for algorithm analysis of expressions: location of the face in the image, extracting the relevant facial features and emotions¿ states classification. The best method to solve each of these strongly related sub- challenges, determines the feasibility, the efficiency and the relevance of a new expressions analysis system, embedded in portable devices. To evaluate the feasibility of developing an automatic recognition of facial expressions in images, we implemented a mobile system model in the iOS platform with integration to an open source library that is widely used in visual computing community: the OpenCV. The Local Binary Pattern algorithm implemented by OpenCV, was chosen as the face tracking logic; the Eigenface and AdaBoost, respectively, were adopted for extraction and classification of emotion and both are also supported by the library. The Eigenface Classification Module was trained in a more robust and external environment to the mobile platform and subsequently only the training file was exported and consumed by the model application. With this experiment it was concluded that the Local Binary Pattern is very robust to lighting variations and very efficient to tracking the face; the Adaboot and Eigenface resulted in approximately 65% of efficiency when used only maximum emotion images to training the module, a condition necessary for maintenance of the cascade file in a compatible size to available storage on the mobile platform.