This report has the purpose of exploring the area of developing a natural interaction game using Microsoft Kinect. The launch of Kinect for Microsoft Xbox 360 has given us hardware for tracking humans, face recognition, speech recognition and 3D reconstruction for a relatively cheap price. This has created other areas of usage for Kinect than just in the area of games for Xbox. In this report I find out which development tools that are available today for developing applications for the PC platform and what they offer. I also choose one of them and develop a game with it with the purpose of evaluating the tool and also for getting the experience of creating an application with a natural user interface. The report is also part of a pre-study to introduce natural user interface applications into a game course at the university. This raises some requirements on the tools and therefore many of the discussions and results are with those requirements in mind. Those requirements being mainly that the tools should be available on the Windows platform and that they should be easy to use. The results shows that the area of developing natural interaction applications is new and therefore the tools available today are not totally mature yet. There are free tools from open source communities and tools from companies that you have to purchase to use. Both of them are trying to find their own way when it comes to the features and distribution of the tools and therefore which way to take is not obvious. Also developing a natural user interface is not always that straight forward. When there are no buttons available at all, it changes what you can do and how you do things. I will share my experiences and thoughts of both the development tools and the game I created throughout the report.

Com o constante crescimento tecnológico, é bastante comum deparar-se com um display público em lugares de grande concentração de pessoas, como aeroportos e cinemas. Apesar de possuírem informações úteis, esses displays poderiam ser melhor aproveitados se fossem interativos. Baseando-se em pesquisas sobre a interação com displays grandes e as características próprias de um display colocado em um espaço público, busca-se uma maneira de interação que seja adequada a esse tipo de situação. O presente trabalho introduz um método de interação por gestos sem necessitar que o usuário interagente segure ou tenha nele acoplado qualquer dispositivo ao interagir com um display público. Para realizar as tarefas que deseja, o usuário só precisa posicionar-se frente ao display e interagir com as informações na tela com suas mãos. São suportados gestos para navegação, seleção e manipulação de objetos, bem como para transladar a tela de visualização e ampliá-la ou diminui-la. O sistema proposto é construído de forma que possa funcionar em aplicações diferentes sem um grande custo de implantação. Para isso, é utilizado um sistema do tipo cliente-servidor que integra a aplicação que contém as informações de interesse do usuário e a que interpreta os seus gestos. É utilizado o Microsoft Kinect para a leitura dos movimentos do usuário e um pós-processamento de imagens é realizado de modo a detectar se as mãos do usuário se encontram abertas os fechadas. Após, essa informação é interpretada por uma máquina de estados que identifica o que o usuário está querendo executar na aplicação cliente. Afim de avaliar o quão robusto o sistema se portaria em um ambiente público real, são avaliados critérios que poderiam interferir na tarefa interativa, como a diferença de luminosidade do ambiente e a presença de mais pessoas no mesmo local de interação. Foram desenvolvidas três aplicações a título de estudo de caso e cada uma delas foi avaliada de forma diferente, sendo uma delas utiliza para fins de avaliação formal com usuários. Demonstrados os resultados da avaliação realizada, conclui-se que o sistema, apesar de não se portar corretamente em todas situações, tem potencial de uso desde que sejam contornadas suas deficiências, a maior parte das quais originária das próprias limitações inerentes ao Kinect. O sistema proposto funciona suficientemente bem para seleção e manipulação de objetos grandes e para aplicações baseadas em interação do tipo pan & zoom, como navegação em mapas, por exemplo, e não é influenciado por diferenças de iluminação ou presença de outras pessoas no ambiente. / With the constant technological growth, it is quite common to come across a public display in places with high concentration of people, such as airports and theaters. Although they provide useful information, these displays could be better employed if they were interactive. Based on research on topics of interaction with large displays and the characteristics of a display placed in a public space, a way of interaction that is suitable for this kind of situation is searched. This paper introduces a method of interaction by gestures without requiring that the interacting user take hold or have to him attached any device to interact with a public display. To accomplish the tasks he wants, he needs just to position himself in front of the display and to interact with the information on the screen with his hands. Gestures supported provide navigation, selection and manipulation of objects as well as to pan and zoom at the screen. The proposed system is constructed so that it works in different applications without a large installation cost. In order to achieve this, the system implements a client-server model application that is able to integrate the part that contains the useful information to the user and the one that interprets his gestures. The Microsoft Kinect is used for reading the user’s movements and techniques of image processing are performed to detect if the user’s hands are open or closed. After this information is obtained, it runs through a state machine that identifies what the user is trying to do in the application. In order to evaluate how robust the system is in a real public environment, some criteria that could interfere with the interactive task are evaluated, as the difference in brightness in the environment and the presence of another people in the same place of interaction. Three applications were developed as a case study and each one was evaluated differently, one of them being used for formal user evaluation. Given the results of the performed tasks, it is possible to conclude that the system, although not behaving correctly in all situations, has potential use if its difficulties are circumvented, most of which come from Kinect’s own inherent limitations. The proposed system works well enough for selection and manipulation of large objects and for use in applications based on pan & zoom, like those that supports map navigation, for example, and difference of ilumination or the presence of other persons on the environment does not interfere with the interaction process.

Doctor of Philosophy (PhD) / Large displays are everywhere, and have been shown to provide higher productivity gain and user satisfaction compared to traditional desktop monitors. The computer mouse remains the most common input tool for users to interact with these larger displays. Much effort has been made on making this interaction more natural and more intuitive for the user. The use of computer vision for this purpose has been well researched as it provides freedom and mobility to the user and allows them to interact at a distance. Interaction that relies on monocular computer vision, however, has not been well researched, particularly when used for depth information recovery. This thesis aims to investigate the feasibility of using monocular computer vision to allow bare-hand interaction with large display systems from a distance. By taking into account the location of the user and the interaction area available, a dynamic virtual touchscreen can be estimated between the display and the user. In the process, theories and techniques that make interaction with computer display as easy as pointing to real world objects is explored. Studies were conducted to investigate the way human point at objects naturally with their hand and to examine the inadequacy in existing pointing systems. Models that underpin the pointing strategy used in many of the previous interactive systems were formalized. A proof-of-concept prototype is built and evaluated from various user studies. Results from this thesis suggested that it is possible to allow natural user interaction with large displays using low-cost monocular computer vision. Furthermore, models developed and lessons learnt in this research can assist designers to develop more accurate and natural interactive systems that make use of human’s natural pointing behaviours.

Doctor of Philosophy (PhD) / Large displays are everywhere, and have been shown to provide higher productivity gain and user satisfaction compared to traditional desktop monitors. The computer mouse remains the most common input tool for users to interact with these larger displays. Much effort has been made on making this interaction more natural and more intuitive for the user. The use of computer vision for this purpose has been well researched as it provides freedom and mobility to the user and allows them to interact at a distance. Interaction that relies on monocular computer vision, however, has not been well researched, particularly when used for depth information recovery. This thesis aims to investigate the feasibility of using monocular computer vision to allow bare-hand interaction with large display systems from a distance. By taking into account the location of the user and the interaction area available, a dynamic virtual touchscreen can be estimated between the display and the user. In the process, theories and techniques that make interaction with computer display as easy as pointing to real world objects is explored. Studies were conducted to investigate the way human point at objects naturally with their hand and to examine the inadequacy in existing pointing systems. Models that underpin the pointing strategy used in many of the previous interactive systems were formalized. A proof-of-concept prototype is built and evaluated from various user studies. Results from this thesis suggested that it is possible to allow natural user interaction with large displays using low-cost monocular computer vision. Furthermore, models developed and lessons learnt in this research can assist designers to develop more accurate and natural interactive systems that make use of human’s natural pointing behaviours.

Com o constante crescimento tecnológico, é bastante comum deparar-se com um display público em lugares de grande concentração de pessoas, como aeroportos e cinemas. Apesar de possuírem informações úteis, esses displays poderiam ser melhor aproveitados se fossem interativos. Baseando-se em pesquisas sobre a interação com displays grandes e as características próprias de um display colocado em um espaço público, busca-se uma maneira de interação que seja adequada a esse tipo de situação. O presente trabalho introduz um método de interação por gestos sem necessitar que o usuário interagente segure ou tenha nele acoplado qualquer dispositivo ao interagir com um display público. Para realizar as tarefas que deseja, o usuário só precisa posicionar-se frente ao display e interagir com as informações na tela com suas mãos. São suportados gestos para navegação, seleção e manipulação de objetos, bem como para transladar a tela de visualização e ampliá-la ou diminui-la. O sistema proposto é construído de forma que possa funcionar em aplicações diferentes sem um grande custo de implantação. Para isso, é utilizado um sistema do tipo cliente-servidor que integra a aplicação que contém as informações de interesse do usuário e a que interpreta os seus gestos. É utilizado o Microsoft Kinect para a leitura dos movimentos do usuário e um pós-processamento de imagens é realizado de modo a detectar se as mãos do usuário se encontram abertas os fechadas. Após, essa informação é interpretada por uma máquina de estados que identifica o que o usuário está querendo executar na aplicação cliente. Afim de avaliar o quão robusto o sistema se portaria em um ambiente público real, são avaliados critérios que poderiam interferir na tarefa interativa, como a diferença de luminosidade do ambiente e a presença de mais pessoas no mesmo local de interação. Foram desenvolvidas três aplicações a título de estudo de caso e cada uma delas foi avaliada de forma diferente, sendo uma delas utiliza para fins de avaliação formal com usuários. Demonstrados os resultados da avaliação realizada, conclui-se que o sistema, apesar de não se portar corretamente em todas situações, tem potencial de uso desde que sejam contornadas suas deficiências, a maior parte das quais originária das próprias limitações inerentes ao Kinect. O sistema proposto funciona suficientemente bem para seleção e manipulação de objetos grandes e para aplicações baseadas em interação do tipo pan & zoom, como navegação em mapas, por exemplo, e não é influenciado por diferenças de iluminação ou presença de outras pessoas no ambiente. / With the constant technological growth, it is quite common to come across a public display in places with high concentration of people, such as airports and theaters. Although they provide useful information, these displays could be better employed if they were interactive. Based on research on topics of interaction with large displays and the characteristics of a display placed in a public space, a way of interaction that is suitable for this kind of situation is searched. This paper introduces a method of interaction by gestures without requiring that the interacting user take hold or have to him attached any device to interact with a public display. To accomplish the tasks he wants, he needs just to position himself in front of the display and to interact with the information on the screen with his hands. Gestures supported provide navigation, selection and manipulation of objects as well as to pan and zoom at the screen. The proposed system is constructed so that it works in different applications without a large installation cost. In order to achieve this, the system implements a client-server model application that is able to integrate the part that contains the useful information to the user and the one that interprets his gestures. The Microsoft Kinect is used for reading the user’s movements and techniques of image processing are performed to detect if the user’s hands are open or closed. After this information is obtained, it runs through a state machine that identifies what the user is trying to do in the application. In order to evaluate how robust the system is in a real public environment, some criteria that could interfere with the interactive task are evaluated, as the difference in brightness in the environment and the presence of another people in the same place of interaction. Three applications were developed as a case study and each one was evaluated differently, one of them being used for formal user evaluation. Given the results of the performed tasks, it is possible to conclude that the system, although not behaving correctly in all situations, has potential use if its difficulties are circumvented, most of which come from Kinect’s own inherent limitations. The proposed system works well enough for selection and manipulation of large objects and for use in applications based on pan & zoom, like those that supports map navigation, for example, and difference of ilumination or the presence of other persons on the environment does not interfere with the interaction process.

Submitted by Viviane Lima da Cunha (viviane@biblioteca.ufpb.br) on 2016-02-17T11:09:41Z No. of bitstreams: 1 arquivototal.pdf: 4834002 bytes, checksum: f0331c6b2571d3be48cc51c4638926da (MD5) / Made available in DSpace on 2016-02-17T11:09:41Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 4834002 bytes, checksum: f0331c6b2571d3be48cc51c4638926da (MD5) Previous issue date: 2015-06-23 / Procedure Simulators have been used in several areas to help the execution of various tasks. The use of an interface that facilitates the manipulation of the actions at different stages of execution of a task, in the context of the simulator, can be an important component to ease the use by the professionals. As the electricity sector consists of several high-risk procedures, there is a great need for the good training of their operators. Seeking to support this training, the work described here aims, design and implement the integration of natural interaction in procedure simulators for the electricity sector, conducting tests with volunteers of the sector. As a case study, scenarios already developed in ATreVEE 3D simulator were analyzed and a new version of the simulator was developed, called ATreVEE IN, this time using the Leap Motion Controller, a device used for tracking hands. The ATreVEE IN consists of virtual environments whose user interface is performed via gestural commands, using a virtual representation of the user's hands within the environment. After the development of the new version, the two simulators were tested by users of electrical engineering, using the application of questionnaires to collect data. With these data it was observed that both versions had satisfactory performance, showing a potential to aid training. And although the first version of the simulator have obtained better results than the version with natural interaction, it is believed that this occurs in part because of the lack of user experience with this type of device. Users who already have experience with gestural interaction performed better in executing the tasks with ATreVEE IN than other users. / Simuladores de procedimentos têm sido utilizados em diversas áreas para auxiliar a execução de diversas tarefas. O uso de interfaces que facilitem a manipulação das ações, nas diversas fases da execução da tarefa, no contexto do simulador, pode ser um importante componente para facilitar o uso por partes dos profissionais. Sendo o setor elétrico composto por diversos procedimentos de alto risco, há uma grande necessidade do bom treinamento dos seus operadores. Visando auxiliar esse treinamento, o trabalho aqui descrito tem como principal objetivo projetar e executar a integração de interação natural em simuladores de procedimentos para o setor elétrico, realizando testes com voluntários do setor. Como estudo de caso, foram analisados cenários já desenvolvidos no simulador ATreVEE 3D e desenvolvida uma nova versão do simulador, chamada ATreVEE IN, dessa vez usando o controle Leap Motion, um dispositivo usado para o rastreio das mãos. O ATreVEE IN é composto por ambientes virtuais cuja interface com o usuário é realizada via comandos gestuais, utilizando uma representação virtual das mãos do usuário dentro do ambiente. Após o desenvolvimento da nova versão, os dois simuladores foram testados por usuários da área de engenharia elétrica, utilizando a aplicação de questionários para a coleta de dados. Com esses resultados foi possível observar que ambas as versões tiveram desempenho satisfatório, mostrando um potencial para auxiliar o treinamento. E apesar da primeira versão do simulador ter obtido resultados melhores que a versão com interação natural, acredita-se que isso se dá, em parte, pela falta de experiência dos usuários com esse tipo de dispositivo. Usuários que já possuíam experiência com interação gestual obtiveram melhor desempenho na execução das tarefas com o ATreVEE IN do que os demais usuários.

Submitted by Viviane Lima da Cunha (viviane@biblioteca.ufpb.br) on 2017-07-07T13:25:51Z No. of bitstreams: 1 arquivototal.pdf: 3014133 bytes, checksum: a5351135b9fcc4acc3f1cd0f8344dd7a (MD5) / Made available in DSpace on 2017-07-07T13:25:51Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 3014133 bytes, checksum: a5351135b9fcc4acc3f1cd0f8344dd7a (MD5) Previous issue date: 2017-02-22 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / One of the strategies being used in recent years to increase the commitment and motivation of patients undergoing rehabilitation is the use of computer systems, such as virtual environments and serious games. In addition to contributing to the motivation, these systems can simulate real life activities and provide means to measure and assess user performance. The use of natural interaction devices originally conceived for the game market has allowed the development of low cost and minimally invasive rehabilitation systems. With the advent of natural interaction devices based on electromyography, the user's eletromyographic data could also be used to build these systems. Therefore, the goal of this work is to build a low-cost serious game to aid in the rehabilitation process of patients with hand motor problems, allowing that the system contribute to patient motivation during the treatment. The systems uses an electromyography device to recognize the gestures being performed by the user through the incorporation of an decision model based on neural networks, which is responsible for interpreting the signals. / Uma das estratégias que vem sendo utilizadas nos últimos anos para aumentar o comprometimento e a motivação de usuários em processo de reabilitação motora é o uso de sistemas computacionais como ambiente virtuais e serious games. Além de contribuírem para a motivação, estes sistemas podem simular atividades da vida real e prover meios para medir e a avaliar a performance do usuário. O uso de dispositivos de interação natural originalmente desenvolvidos para o mercado de jogos permitiu o desenvolvimento de sistemas de reabilitação de baixo custo e pouco invasivos. Com o advento de dispositivos de interação natural baseados em eletromiografia, os sinais eletromiográficos do usuário também puderam ser utilizados para construção destes sistemas. Assim, o objetivo deste trabalho é a construção de um serious game de baixo custo para auxiliar no processo de reabilitação de pacientes com problemas motores nas mãos, permitindo que o sistema contribua para a motivação do paciente no decorrer do tratamento. O sistema utiliza um dispositivo de eletromiografia para realizar captura dos sinais eletromiográficos do usuário e realiza o reconhecimento dos gestos através da incorporação de um modelo de decisão baseado em redes neurais, responsável por realizar a interpretação dos sinais.

Com o constante crescimento tecnológico, é bastante comum deparar-se com um display público em lugares de grande concentração de pessoas, como aeroportos e cinemas. Apesar de possuírem informações úteis, esses displays poderiam ser melhor aproveitados se fossem interativos. Baseando-se em pesquisas sobre a interação com displays grandes e as características próprias de um display colocado em um espaço público, busca-se uma maneira de interação que seja adequada a esse tipo de situação. O presente trabalho introduz um método de interação por gestos sem necessitar que o usuário interagente segure ou tenha nele acoplado qualquer dispositivo ao interagir com um display público. Para realizar as tarefas que deseja, o usuário só precisa posicionar-se frente ao display e interagir com as informações na tela com suas mãos. São suportados gestos para navegação, seleção e manipulação de objetos, bem como para transladar a tela de visualização e ampliá-la ou diminui-la. O sistema proposto é construído de forma que possa funcionar em aplicações diferentes sem um grande custo de implantação. Para isso, é utilizado um sistema do tipo cliente-servidor que integra a aplicação que contém as informações de interesse do usuário e a que interpreta os seus gestos. É utilizado o Microsoft Kinect para a leitura dos movimentos do usuário e um pós-processamento de imagens é realizado de modo a detectar se as mãos do usuário se encontram abertas os fechadas. Após, essa informação é interpretada por uma máquina de estados que identifica o que o usuário está querendo executar na aplicação cliente. Afim de avaliar o quão robusto o sistema se portaria em um ambiente público real, são avaliados critérios que poderiam interferir na tarefa interativa, como a diferença de luminosidade do ambiente e a presença de mais pessoas no mesmo local de interação. Foram desenvolvidas três aplicações a título de estudo de caso e cada uma delas foi avaliada de forma diferente, sendo uma delas utiliza para fins de avaliação formal com usuários. Demonstrados os resultados da avaliação realizada, conclui-se que o sistema, apesar de não se portar corretamente em todas situações, tem potencial de uso desde que sejam contornadas suas deficiências, a maior parte das quais originária das próprias limitações inerentes ao Kinect. O sistema proposto funciona suficientemente bem para seleção e manipulação de objetos grandes e para aplicações baseadas em interação do tipo pan & zoom, como navegação em mapas, por exemplo, e não é influenciado por diferenças de iluminação ou presença de outras pessoas no ambiente. / With the constant technological growth, it is quite common to come across a public display in places with high concentration of people, such as airports and theaters. Although they provide useful information, these displays could be better employed if they were interactive. Based on research on topics of interaction with large displays and the characteristics of a display placed in a public space, a way of interaction that is suitable for this kind of situation is searched. This paper introduces a method of interaction by gestures without requiring that the interacting user take hold or have to him attached any device to interact with a public display. To accomplish the tasks he wants, he needs just to position himself in front of the display and to interact with the information on the screen with his hands. Gestures supported provide navigation, selection and manipulation of objects as well as to pan and zoom at the screen. The proposed system is constructed so that it works in different applications without a large installation cost. In order to achieve this, the system implements a client-server model application that is able to integrate the part that contains the useful information to the user and the one that interprets his gestures. The Microsoft Kinect is used for reading the user’s movements and techniques of image processing are performed to detect if the user’s hands are open or closed. After this information is obtained, it runs through a state machine that identifies what the user is trying to do in the application. In order to evaluate how robust the system is in a real public environment, some criteria that could interfere with the interactive task are evaluated, as the difference in brightness in the environment and the presence of another people in the same place of interaction. Three applications were developed as a case study and each one was evaluated differently, one of them being used for formal user evaluation. Given the results of the performed tasks, it is possible to conclude that the system, although not behaving correctly in all situations, has potential use if its difficulties are circumvented, most of which come from Kinect’s own inherent limitations. The proposed system works well enough for selection and manipulation of large objects and for use in applications based on pan & zoom, like those that supports map navigation, for example, and difference of ilumination or the presence of other persons on the environment does not interfere with the interaction process.

Submitted by Clebson Anjos (clebson.leandro54@gmail.com) on 2016-02-16T22:01:14Z No. of bitstreams: 1 arquivototal.pdf: 4433829 bytes, checksum: 4713f292d2686f95f4ec248322aee517 (MD5) / Made available in DSpace on 2016-02-16T22:01:14Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 4433829 bytes, checksum: 4713f292d2686f95f4ec248322aee517 (MD5) Previous issue date: 2015-05-26 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / The use of our body language to communicate with computer systems is an increas-ingly possible and applicable feature in the real world. This fact is potentiated by the evolution of gesture recognition based commercial solutions. A gesture interface complements or replaces navigation in a conventional interface, it is up to each developer to choose the most appropriate option for their application. Therefore when opting for gesture usage, the gestures will be re-sponsible to activate the systems functions. This work presents a gesture development process that can be used to be used to aid the construction of gesture interfaces. The proposed process should help interface designers to incorporate gesture based natural interaction into their appli-cations in a more systematic way. In order to illustrate the Process, gestures for the actions "Select", "Rotate", "Translate", "Scale" and "Stop" were developed. / A utilização da nossa linguagem corporal para nos comunicarmos com sistemas computacionais é uma característica cada vez mais possível e aplicável no mundo real. Esse fato é potencializado pela evolução das soluções comerciais baseadas em reconhecimentos de gestos. Uma interface de gestos complementa ou substitui a forma de navegação de uma interface convencional, neste cenário cabe ao desenvolvedor escolher a opção mais adequada para a sua aplicação. Assim, quando se opta pelo uso de gestos, esses serão responsáveis por acionar as funções oferecidas pelos sistemas. O presente trabalho apresenta um processo de desenvolvimento de gestos que tem potencial para ser aplicado em qualquer interface em desenvolvimento que deseje agregar interação gestual. O processo proposto deve auxiliar designers de interfaces a integrarem interação natural por gestos em suas aplicações de forma mais sistemática. Como caso de uso foram gerados gestos para as funções: “Selecionar”, “Rotacionar”, “Transladar”, “Escalonar” e “Parar”.

Made available in DSpace on 2015-05-14T12:36:44Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 1670996 bytes, checksum: 9be5212c02d773cb0ad80034cc42c182 (MD5) Previous issue date: 2014-04-29 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / In the field of human-computer interaction, Natural Interaction methods has been gaining importance because they provide communication between user and machine through an easy and intuitive way, by interpreting the natural actions of persons. Optical tracking devices are important in this context, because it provides the tracking of human body, obtaining information that can be used to provide the interaction by a natural way. In the development of Virtual Reality systems for health, there is a need to produce forms of interaction that are similar to the commonly performed by people in daily activities. Because of its intuitive features, the Natural Interaction can perform an important role in this scenario, benefiting the process of human-computer communication. It is important to emphasize that some natural behaviors can be of cultural origin, creating the need to identify specific features target audience for an interaction with applications that provide natural interfaces. The general goal of this work is to discuss a set of techniques for Natural Interaction by gestures for use in tracking systems by optical devices to support professors in health teaching activities. It is also presents the development and validation of a Natural Interaction module for a framework for developing Virtual Reality systems for health. / No campo de interação humano-computador, métodos de Interação Natural vêm ganhando destaque por proporcionarem a comunicação entre usuário e máquina de maneira fácil e intuitiva, por meio da interpretação de ações naturais das pessoas. Dispositivos de rastreamento óptico são importantes nesse contexto, pois proporcionam o rastreamento do corpo humano, obtendo informações que podem ser usadas para prover a interação de forma natural. No âmbito de desenvolvimento de sistemas de Realidade Virtual para saúde, há a necessidade de se produzirem formas de interação que se assemelhem àquelas comumente realizadas pelas pessoas em atividades do dia-a-dia. Devido às suas características intuitivas, a Interação Natural pode exercer um papel importante nesse cenário, beneficiando o processo de comunicação humano-computador. É relevante destacar que alguns comportamentos naturais podem ser de origem cultural, gerando a necessidade de se identificar as especificidades do público-alvo no que diz respeito à interação com aplicações que proveem interfaces naturais. O objetivo geral deste trabalho é discutir um conjunto de técnicas de Interação Natural por meio de gestos para uso em sistemas de rastreamento por dispositivos ópticos para apoio a docentes de saúde em atividades letivas. Este trabalho inclui o desenvolvimento e validação de um módulo de Interação Natural para um framework de desenvolvimento de sistemas de Realidade Virtual para saúde.