Durante séculos, cosméticos têm sido utilizados nas mais diversas sociedades. Entretanto, quando se trata de maquiagem facial, o processo de escolha de um produto ainda é um desafio, pois é um trabalho manual que demanda tempo, além de consumir a maquiagem em si e outros materiais para aplicação e limpeza. Esse processo manual também dificulta a experimentação de vários produtos diferentes devido à necessidade de limpeza da pele para retirada de um produto aplicado anteriormente. Assim, um sistema de simulação de maquiagem utilizando realidade aumentada pode facilitar esse processo, permitindo a experimentação com a combinação de produtos e a comparação dos resultados, além de permitir experimentar os produtos virtualmente, pela internet por exemplo. Trabalhos existentes sobre esse tema permitem ao usuário aplicar a maquiagem sobre uma foto, ou mesmo um vídeo, do próprio usuário. A interação é feita por meio de mouse ou toque de um dedo sobre um monitor sensível a toques como se o usuário aplicasse maquiagem em uma terceira pessoa. Nesta dissertação propomos o desenvolvimento do SelfMakeup, um sistema de realidade aumentada que permite a autoaplicação de maquiagem virtual por meio de toques feitos diretamente na face ao invés de toques no monitor. A nossa hipótese é que essa forma de interação seja mais natural e forneça ao usuário uma melhor experiência ao testar produtos virtuais de maquiagem. O primeiro passo para viabilizar o SelfMakeup foi o desenvolvimento de um método para estimar a po- sição de toques na face utilizando uma câmera RGBD. Realizamos testes para avaliar o desempenho desse método e verificamos que a sua acurácia e precisão se mostraram adequadas para o propósito desta pesquisa. Em seguida, projetamos a interface gráfica do sistema para aplicação de maquiagem virtual. A interface per- mite efeitos de destaque e sombreamento que simulam os efeitos provocados pela aplicação de produtos reais de maquiagem. Resultados de um teste piloto do nosso protótipo com 32 usuários sugerem que o SelfMa- keup, por utilizar toques diretamente na face, oferece uma melhor experiência ao usuário na experimentação de produtos virtuais de maquiagem. / For centuries, cosmetics have been used in the most diverse societies. However, when it comes to facial makeup, the process of choosing a product is still a challenge because it is a manual work that takes time, to consumes the makeup itself and other materials for application and cleaning. This manual process also makes it difficult to experiment a number of different products due to the need to clean the face to remove a previously applied product. Thus, a makeup simulation system using augmented reality can facilitate this process, allowing experimentation with the combination of products and the comparison of the results, as well as allowing to experience the products virtually and remotely, through the internet for example. Exis- ting works on this theme allow the user to apply the makeup on a photo or even a video of the user himself by means of a mouse or touch of a finger on a touch-sensitive monitor, as if the user applied makeup on a third person. In this dissertation we propose the development of SelfMakeup, an augmented reality system that allows the self-application of virtual makeup by means of touches made directly on the face, rather than touches on the monitor. Our hypothesis is that this interaction form is more natural and gives the user a better experience when testing virtual make-up products. The first step in enabling SelfMakeup was the develop- ment of a method to estimate the applicator touch position on the face using an RGBD camera. We performed tests to evaluate the performance of this method and verified that its accuracy and precision was adequate for the purpose of this research. Next, we designed the graphical interface of the system for applying vir- tual makeup. The interface allows highlighting and shading effects that simulate the effects of real makeup products. Results from a pilot experiment of our prototype with 32 volunteers suggest that SelfMakeup, by using touches directly on the face, provides a better user experience to try on virtual makeup products.

Durante séculos, cosméticos têm sido utilizados nas mais diversas sociedades. Entretanto, quando se trata de maquiagem facial, o processo de escolha de um produto ainda é um desafio, pois é um trabalho manual que demanda tempo, além de consumir a maquiagem em si e outros materiais para aplicação e limpeza. Esse processo manual também dificulta a experimentação de vários produtos diferentes devido à necessidade de limpeza da pele para retirada de um produto aplicado anteriormente. Assim, um sistema de simulação de maquiagem utilizando realidade aumentada pode facilitar esse processo, permitindo a experimentação com a combinação de produtos e a comparação dos resultados, além de permitir experimentar os produtos virtualmente, pela internet por exemplo. Trabalhos existentes sobre esse tema permitem ao usuário aplicar a maquiagem sobre uma foto, ou mesmo um vídeo, do próprio usuário. A interação é feita por meio de mouse ou toque de um dedo sobre um monitor sensível a toques como se o usuário aplicasse maquiagem em uma terceira pessoa. Nesta dissertação propomos o desenvolvimento do SelfMakeup, um sistema de realidade aumentada que permite a autoaplicação de maquiagem virtual por meio de toques feitos diretamente na face ao invés de toques no monitor. A nossa hipótese é que essa forma de interação seja mais natural e forneça ao usuário uma melhor experiência ao testar produtos virtuais de maquiagem. O primeiro passo para viabilizar o SelfMakeup foi o desenvolvimento de um método para estimar a po- sição de toques na face utilizando uma câmera RGBD. Realizamos testes para avaliar o desempenho desse método e verificamos que a sua acurácia e precisão se mostraram adequadas para o propósito desta pesquisa. Em seguida, projetamos a interface gráfica do sistema para aplicação de maquiagem virtual. A interface per- mite efeitos de destaque e sombreamento que simulam os efeitos provocados pela aplicação de produtos reais de maquiagem. Resultados de um teste piloto do nosso protótipo com 32 usuários sugerem que o SelfMa- keup, por utilizar toques diretamente na face, oferece uma melhor experiência ao usuário na experimentação de produtos virtuais de maquiagem. / For centuries, cosmetics have been used in the most diverse societies. However, when it comes to facial makeup, the process of choosing a product is still a challenge because it is a manual work that takes time, to consumes the makeup itself and other materials for application and cleaning. This manual process also makes it difficult to experiment a number of different products due to the need to clean the face to remove a previously applied product. Thus, a makeup simulation system using augmented reality can facilitate this process, allowing experimentation with the combination of products and the comparison of the results, as well as allowing to experience the products virtually and remotely, through the internet for example. Exis- ting works on this theme allow the user to apply the makeup on a photo or even a video of the user himself by means of a mouse or touch of a finger on a touch-sensitive monitor, as if the user applied makeup on a third person. In this dissertation we propose the development of SelfMakeup, an augmented reality system that allows the self-application of virtual makeup by means of touches made directly on the face, rather than touches on the monitor. Our hypothesis is that this interaction form is more natural and gives the user a better experience when testing virtual make-up products. The first step in enabling SelfMakeup was the develop- ment of a method to estimate the applicator touch position on the face using an RGBD camera. We performed tests to evaluate the performance of this method and verified that its accuracy and precision was adequate for the purpose of this research. Next, we designed the graphical interface of the system for applying vir- tual makeup. The interface allows highlighting and shading effects that simulate the effects of real makeup products. Results from a pilot experiment of our prototype with 32 volunteers suggest that SelfMakeup, by using touches directly on the face, provides a better user experience to try on virtual makeup products.