The aim of this master's thesis was to create a user interface that allows controlling the PC using voice commands, static poses and dynamic gestures. It contains an implementation of a natural user interface that emulates the functionality of the keyboard and the mouse. In this thesis for detecting and tracking the user was used the sensor Kinect. For implementation I have chosen platform Windows and the Kinect for Windows SDK with programming language C#. During the implementation and testing of the interface, sensor Kinect for Xbox 360 was used. The result of this master's thesis is a natural user interface that allows controlling desktop applications without using keyboard or mouse, and that is comfortable and user-friendly.

L’affinage technique et l’adoption récente des technologies tactiles multi-points par les industriels et les utilisateurs ont fixé l’attention des designers d’interaction sur ces technologies. Tandis que de nombreuses études en interaction homme-machine se sont intéressées à comparer la performance de ces interfaces à celle des interfaces WIMP traditionnelles, peu se sont attachées à intégrer dans leur approche les spécificités du canal gestuel et les modalités d’interactions multi-tactiles. Dans cette étude, je défends l’idée que le design de telles interactions ne peut être approché qu’en suivant un modèle d’interaction spécifique intégrant l’ensemble des composantes physiques, cognitives, sensorielles et motrices du geste dans le couplage homme-machine. J’articule ma recherche autour d’un espace de conception, courte analyse sociotechnique de mon objet d’étude, dans lequel je définis un modèle d’interaction descriptif et génératif. Je détermine un ensemble de principes conceptuels et techniques permettant l’évaluation et la conception du design d’interfaces multi-tactiles de manière systémique et extensible. Au cours de cette étude, je précise les limites du paradigme d’ « interface naturelle » en nuançant les effets du réalisme des interactions dans l’efficacité de tels systèmes. Enfin, je présente les travaux de conception et de développement d’un environnement de développement réalisé dans le cadre d’un dispositif CIFRE qui a accompagné cette étude et permis d’enrichir le modèle théorique. / The technical refinement and the recent adoption of multi-touch technologies by both the industry and users made these technologies a major concern for interaction designers. While many studies on human-computer interaction have started to compare this type of interface with traditional WIMP interfaces performance-wise, few have included in their approach the gestural and system mapping specificities of multi-touch interactions. In this study, I defend the idea that such interaction design should follow a specific interaction model taking into account physical, cognitive, sensitive and motor aspects of gestures in the human-computer relation. I define a design space, sort of socio-technical approach, which participates in the definition of a descriptive and generative interaction model. I establish a set of conceptual and technical principles that allow the evaluation and conception of multi-touch interfaces, in a systemic and extensible way. Throughout this study, I emphasize the limits of the « natural user interface » paradigm by having a better understanding of how interaction realism affects system efficiency. Finally, I present a multi-touch framework developed as part of a CIFRE collaboration, which helped this study in the design and the extension of the conceptual model.

Submitted by Regiane Relva Romano (regiane@vip-systems.com.br) on 2011-12-28T12:03:36Z No. of bitstreams: 1 Tese Regiane Relva Romano - dezembro 2011-Versao Final.pdf: 4192254 bytes, checksum: 786a11620fac456f482835d77b815ce8 (MD5) / Rejected by Gisele Isaura Hannickel (gisele.hannickel@fgv.br), reason: Prezada Regiane, Está pendente a capa e a ficha catalográfica. Favor retirar o logotipo das primeiras folhas. Segue a sequencia: 1º capa 2º contra capa (que na sua postagem está como 1ª folha) 3º ficha catalográfica 4º folha de assinaturas 5º sequencia do trabalho..... Em caso de dúvidas favor verificar no site da biblioteca / serviços / manuais / normalização de trabalhos academicos. Att, Secretaria de Registro on 2011-12-28T12:09:43Z (GMT) / Submitted by Regiane Relva Romano (regiane@vip-systems.com.br) on 2012-01-04T01:31:23Z No. of bitstreams: 1 Tese Regiane Relva Romano - Versao Final Entregue.pdf: 4264628 bytes, checksum: 5cde922f780d99b751abbf306d16f982 (MD5) / Approved for entry into archive by Gisele Isaura Hannickel (gisele.hannickel@fgv.br) on 2012-01-04T11:12:52Z (GMT) No. of bitstreams: 1 Tese Regiane Relva Romano - Versao Final Entregue.pdf: 4264628 bytes, checksum: 5cde922f780d99b751abbf306d16f982 (MD5) / Made available in DSpace on 2012-01-04T11:16:03Z (GMT). No. of bitstreams: 1 Tese Regiane Relva Romano - Versao Final Entregue.pdf: 4264628 bytes, checksum: 5cde922f780d99b751abbf306d16f982 (MD5) Previous issue date: 2011-12-09 / Este trabalho objetivou identificar as principais tecnologias disponíveis de TI (Tecnologia da Informação) e de AIDC (Identificação e Captura Automática de Dados) para a área de varejo de autosserviço, para preencher a lacuna existente na literatura, sobre os benefícios de se usar novas tecnologias no ponto de venda, com vistas a otimizar sua operação. Para tanto, foram estudados os principais processos operacionais de uma loja de varejo de autosserviço, com vistas a identificar como as Tecnologias da Informação (TI) e de Identificação e Captura Automática de Dados (AIDC), poderiam ajudar a melhorar os resultados operacionais e agregar valor ao negócio. Para analisar suas proposições (de que o uso de TI e de AIDC podem ajudar na: redução dos tempos dos processos de retaguarda; redução do número de operações no ponto de venda; prevenção de perdas; redução dos custos e dos tempos para a realização dos inventários; redução do número de funcionários nas lojas; redução do tempo de fila no caixa; redução de rupturas e no aumento da eficiência operacional da loja), foram pesquisados diversos estudos de casos mundiais de empresas do segmento de varejo, que implementaram as tecnologias de AIDC e TI, principalmente a de RFID, para saber quais foram os impactos do uso destas tecnologias em suas operações e, em seguida, foi desenvolvido um Estudo de Caso abrangente, por meio do qual se objetivou entender os benefícios empresariais reais do uso destas tecnologias para o varejo de autosserviço. Como resultado final, foi possível identificar as mudanças nos processos operacionais do varejo de autosserviço, bem como os benefícios gerados em termos de custo, produtividade, qualidade, flexibilidade e inovação. O trabalho também evidenciou os pontos críticos de sucesso para a implementação da TI e das AIDC no varejo, que são: a revisão dos processos operacionais; a correta definição do hardware; dos insumos; do software; das interferências do ambiente físico; da disponibilização dos dados/informações dos produtos; das pessoas/funcionários e dos parceiros de negócios/fornecedores. De maneira mais específica, este trabalho buscou contribuir para o enriquecimento do campo de estudos no segmento de varejo e para o uso da tecnologia da informação, no Brasil, já que o assunto sobre o uso e o impacto de novas tecnologias no ponto de vendas, ainda permanece pouco explorado academicamente. / This study sought to identify the main IT technologies available for the AIDC and retail self-service area, to fill the gap in the literature about the real advantages of using new technologies at the point of sale, in order to optimize its operation. In order to do this, we studied the main operational processes of a self-service retail store bearing in mind to identify how the technologies of Automatic Identification and Data Capture and IT could help to improve the operating results and add value to the business. To analyze these proposals we have surveyed several global case studies of retail companies, which implemented the AIDC and IT technologies to investigate what were the impacts of using these technologies in their operations and then designed a comprehensive and innovative Case Study, through which we sought to understand the real business benefits. As a final result, it was possible to identify the changes and the benefits in terms of cost, productivity, quality, flexibility and innovation. The work also highlighted the critical points of success for the implementation of AIDC and IT Retail, which are: the review of operating processes, the correct definition of the hardware; inputs; software; interferences of the physical environment, the availability of data / information of products, of people / employees and of business partners / suppliers. More specifically, this study sought to contribute to the enrichment of the field studies in the retail segment and for the use of information technology in Brazil, since the issue on the use and impact of new technologies at the point of sales, still remains unexplored academically.