A tecnologia tem estado presente cada vez mais no dia-a-dia e trouxe avanços notáveis para a área de visão computacional. Uma das áreas de visão, a detecção de características humanas, sempre foi importante para tarefas de reconhecimento, vigilância, controle e outras. Há um grande potencial de uso na área de acessibilidade, podendo ser benéfica para um grupo de pessoas com necessidades especiais, para proporcionar uma maior interação com o ambiente e com as pessoas. Uma dessas características, os lábios, é útil para o reconhecimento visual e/ou auditivo da fala e pode ser usada para aplicações em acessibilidade de deficientes auditivos e surdos, como por exemplo para a leitura labial. Com a crescente popularização dos dispositivos móveis e avanços no hardware, além do custo cada vez mais acessível, torna-se possível a implementação de métodos rápidos e eficientes para detecção e seu posterior rastreamento. Assim, é possível o uso em tempo real nos dispositivos móveis. Esta dissertação descreve um sistema desenvolvido para a detecção e rastreamento da região dos lábios nesse contexto. A detecção da região dos lábios é feita pelo algoritmo de Viola-Jones, com o diferencial do uso de conjuntos de imagens sintéticas para o treinamento e geração do detector proposto. O rastreamento é baseado no Camshift com modificações, um método de rastreamento de objeto por kernel. A implementação é descrita em detalhes e são mostrados resultados obtidos por sequências gravadas em um dispositivo móvel. As sequências são capturadas em uma configuração não frontal, o que pode ser útil em aplicações específicas. Métricas baseadas no número de acertos, de erros e de falsos positivos são usadas para avaliar os resultados, além da taxa de quadros por segundo. / Technology has been increasingly present and brought remarkable advances in the computer vision area. One of such areas, the detection and analysis of human behaviour, has been important for tasks of recognition, surveillance, control, and others. There is great potential for use in the area of accessibility, and it may benefit a group of people with special needs, to provide greater interaction with the environment and with people. Facial feature detection plays a central role in this context. One of these features, the lips, is useful for speech recognition and can be used for applications in accessibility of deaf and hearing impaired, such as for lip reading. With the growing popularity of mobile devices and advances in hardware, as well as more affordable costs, it becomes possible to implement rapid and reliable methods for lip detection and subsequent tracking. So it is possible the real-time use of mobile devices. This thesis describes a system developed for the detection and tracking lips region in this context. The detection of the lips region is carried out by the Viola-Jones algorithm, but with the use of sets of synthetic images for the detector training and generation. Tracking is based on Camshift with modifications, a kernel-based object tracking method. The implementation is described in details and results are shown from sequences recorded on a mobile device. The sequences are not captured on a frontal configuration, which may be useful in specific applications. Performance assessment in terms of metrics based on number of hits, errors and false positives are used to evaluate the results, in addition to the frame rate per second.

A tecnologia tem estado presente cada vez mais no dia-a-dia e trouxe avanços notáveis para a área de visão computacional. Uma das áreas de visão, a detecção de características humanas, sempre foi importante para tarefas de reconhecimento, vigilância, controle e outras. Há um grande potencial de uso na área de acessibilidade, podendo ser benéfica para um grupo de pessoas com necessidades especiais, para proporcionar uma maior interação com o ambiente e com as pessoas. Uma dessas características, os lábios, é útil para o reconhecimento visual e/ou auditivo da fala e pode ser usada para aplicações em acessibilidade de deficientes auditivos e surdos, como por exemplo para a leitura labial. Com a crescente popularização dos dispositivos móveis e avanços no hardware, além do custo cada vez mais acessível, torna-se possível a implementação de métodos rápidos e eficientes para detecção e seu posterior rastreamento. Assim, é possível o uso em tempo real nos dispositivos móveis. Esta dissertação descreve um sistema desenvolvido para a detecção e rastreamento da região dos lábios nesse contexto. A detecção da região dos lábios é feita pelo algoritmo de Viola-Jones, com o diferencial do uso de conjuntos de imagens sintéticas para o treinamento e geração do detector proposto. O rastreamento é baseado no Camshift com modificações, um método de rastreamento de objeto por kernel. A implementação é descrita em detalhes e são mostrados resultados obtidos por sequências gravadas em um dispositivo móvel. As sequências são capturadas em uma configuração não frontal, o que pode ser útil em aplicações específicas. Métricas baseadas no número de acertos, de erros e de falsos positivos são usadas para avaliar os resultados, além da taxa de quadros por segundo. / Technology has been increasingly present and brought remarkable advances in the computer vision area. One of such areas, the detection and analysis of human behaviour, has been important for tasks of recognition, surveillance, control, and others. There is great potential for use in the area of accessibility, and it may benefit a group of people with special needs, to provide greater interaction with the environment and with people. Facial feature detection plays a central role in this context. One of these features, the lips, is useful for speech recognition and can be used for applications in accessibility of deaf and hearing impaired, such as for lip reading. With the growing popularity of mobile devices and advances in hardware, as well as more affordable costs, it becomes possible to implement rapid and reliable methods for lip detection and subsequent tracking. So it is possible the real-time use of mobile devices. This thesis describes a system developed for the detection and tracking lips region in this context. The detection of the lips region is carried out by the Viola-Jones algorithm, but with the use of sets of synthetic images for the detector training and generation. Tracking is based on Camshift with modifications, a kernel-based object tracking method. The implementation is described in details and results are shown from sequences recorded on a mobile device. The sequences are not captured on a frontal configuration, which may be useful in specific applications. Performance assessment in terms of metrics based on number of hits, errors and false positives are used to evaluate the results, in addition to the frame rate per second.

Main stream automatic speech recognition (ASR) makes use of audio data to identify spoken words, however visual speech recognition (VSR) has recently been of increased interest to researchers. VSR is used when audio data is corrupted or missing entirely and also to further enhance the accuracy of audio-based ASR systems. In this research, we present both a framework for building 3D feature cubes of lip data from videos and a 3D convolutional neural network (CNN) architecture for performing classification on a dataset of 100 spoken words, recorded in an uncontrolled envi- ronment. Our 3D-CNN architecture achieves a testing accuracy of 64%, comparable with recent works, but using an input data size that is up to 75% smaller. Overall, our research shows that 3D-CNNs can be successful in finding spatial-temporal features using unsupervised feature extraction and are a suitable choice for VSR-based systems.

Performance of automatic speech recognition (ASR) systems utilizing only acoustic information degrades significantly in noisy environments such as a car cabins. Incorporating audio and visual information together can improve performance in these situations. This work proposes a lip detection and tracking algorithm to serve as a visual front end to an audio-visual automatic speech recognition (AVASR) system. Several color spaces are examined that are effective for segmenting lips from skin pixels. These color components and several features are used to characterize lips and to train cascaded lip detectors. Pre- and post-processing techniques are employed to maximize detector accuracy. The trained lip detector is incorporated into an adaptive mean-shift tracking algorithm for tracking lips in a car cabin environment. The resulting detector achieves 96.8% accuracy, and the tracker is shown to recover and adapt in scenarios where mean-shift alone fails.