Há um crescente incentivo ao uso da tecnologia biométrica para melhorar, e até mesmo substituir os métodos tradicionais de segurança. O campo da Biometria refere-se a uma grande variedade de tecnologias usadas para identicar ou vericar a identidade de uma pessoa por meio da mensuração e análise de vários aspectos físicos e comportamentais do ser humano. Modalidades biométricas são características extraídas do corpo humano, que são únicas para cada indivíduo e que podem ser usadas para estabelecer sua identidade numa população. As principais modalidades biométricas empregadas na literatura são: impressão digital, face, voz, palma da mão e íris. Dentre as modalidades biométricas, a face é a mais comumente vista e usada em nossa vida diária. Em aplicações de mundo real, sistemas de reconhecimento facial, frequentemente, têm que lidar com condições não controladas e não previsíveis, tais como mudança na iluminação, pose, expressão e oclusão, as quais introduzem variações intraclasse e degradam a performance do reconhecimento. Comparada com problemas de pose, iluminação e expressão, o problema relacionado à oclusão é relativamente pouco estudado na área. As abordagens empregadas para atacar o problema de reconhecimento facial na presença de oclusões parciais podem ser categorizadas em: i) abordagens baseadas em reconstrução, que formulam o reconhecimento biométrico baseado em imagens de face parcialmente ocluídas como um problema de reconstrução; ii) abordagens baseadas em correspondência local, que extraem características locais da face; iii) abordagens baseadas em características insensíveis, que extraem características da face que são robustas à oclusão. O objetivo desta dissertação é realizar um estudo comparativo detalhado das abordagens baseadas em reconstrução visando reconhecimento biométrico facial na presença de oclusão. As abordagens baseadas em reconstrução foram aplicadas a duas bases de dados (AR e Yale) contendo quatro tipos diferentes de oclusões e avaliadas usando a performance obtida no reconhecimento biométrico. Com base no estudo comparativo realizado, foram propostas três técnicas baseadas em reconstrução, que correspondem a uma modicação e/ou combinação de técnicas já conhecidas na literatura. Os resultados experimentais mostraram que as técnicas propostas alcançaram desempenhos melhores ou similares as técnicas descritas na literatura / There is a growing incentive to use biometric technology to improve, even replace, traditional security methods. The eld of Biometrics refers to a wide variety of technologies used to identify or verify a persons identity by measuring and analyzing various physical and behavioral aspects of the human being. Biometric modalities are characteristics drawn from the human body, which are unique to each individual and can be used to establish their identity in a population. The main biometric modalities used in the literature are: fingerprint, face, voice, palm, and iris. The main biometric modalities used in the literature are: fingerprint, face, voice, palm and iris. Among the biometric modalities, the face is the most commonly seen and used in our daily life. In real-world applications, facial recognition systems often have to deal with uncontrolled and unpredictable conditions such as change in illumination, pose, expression, and occlusion, which introduce intraclass variations and degrade recognition performance. Compared with problems of pose, illumination and expression, the problem related to occlusion is relatively little studied in the area. The approaches used to tackle facial recognition in the presence of partial occlusions can be categorized into: (i) reconstruction-based approaches that formulate recognition of occluded faces as a reconstruction problem; ii) approaches based on local correspondence, which extract local face characteristics; iii) approaches based on insensitive characteristics, which extract features of the face that are robust to occlusion. The objective of this dissertation is to perform a detailed comparative study of reconstruction-based approaches aiming at facial recognition in the presence of occlusion. Reconstruction-based approaches were applied to two databases (AR and Yale) containing four dierent types of occlusions and evaluated using the performance obtained in the biometric recognition. Based on the comparative study, three reconstruction-based techniques were proposed, which correspond to a change in the formulation and/or combination of techniques already known in the literature. The experimental results showed that the proposed techniques achieved better or similar performances than the techniques described in the literature

Depuis 50 ans, une évolution permanente de l’interaction homme-machine a permis qu’aujourd’hui, nous tendions vers des systèmes temps réel proposant une interaction simple et intuitive à l’utilisateur et s’adaptant automatiquement à l’activité observée et interprétée. L’utilisateur peut dorénavant interagir avec un système informatique, volontairement ou de manière non consciente, par le biais de plusieurs modalités, comme il ferait dans la vie courante. Actuellement, les systèmes les plus développés sont ceux permettant à l’utilisateur d’interagir par le biais de gestuelles, qu’elles soient explicites ou implicites. Ces systèmes sont intégrés de plus en plus dans notre environnement, la plupart du temps invisibles pour nous, et s’adaptent en fonction d’un scénario qui définit les objectifs que nous devons atteindre.Plusieurs domaines d’application sont le cadre du développement de tels systèmes, comme celui du jeu vidéo ou encore de la surveillance vidéo. Nous proposons, dans ces travaux de thèse, l’architecture d’un système interactif, sur lequel s’exécute une application scénarisée de type jeu vidéo. L’interactivité est alimentée par les gestuelles du corps d’un unique utilisateur, en temps réel et de manière non invasive. Le système réagit également à divers événements prenant place au sein de la scène réelle, qui sont dus au dynamisme de cette dernière et dont l’utilisateur n’est pas directement responsable (changement d’éclairage, présence de spectateurs, etc.). L’utilisateur est immergé au sein d’un environnement virtuel qui traduit la réponse interactive du système. Ce dernier répond également, en temps réel, à l’activité observée et interprétée, de manière adaptative, adaptant à la fois sa réponse interactive et son fonctionnement global.Nos travaux se basent sur l’hypothèse que l’activité observée au sein de la scène est caractérisée par le contexte d’interaction qui l’englobe. Notre système reconnaît ainsi l’activité en modélisant le contexte d’interaction au sein duquel elle prend place. Notre contribution principale se traduit donc par l’introduction de la notion de contexte au sein des processus interactif et adaptatif. La modélisation du contexte d’interaction que nous proposons nous a servi de base pour celle du scénario d’une application. La gestion et l’analyse de ce contexte au cours de l’interactivité permettent au système d’interpréter l’activité observée et de paramétrer les différents mécanismes adaptatifs qui en découlent. L’activité est capturée et codifiée par un système étendu, adopté en accord avec le cadre industriel de cette thèse (convention CIFRE avec la société XD Productions). Initialement dédié à la capture, invasive et en milieu contrôlé, des mouvements de l’utilisateur, nos travaux ont permis l’augmentation du processus vers une capture plus générale de l’activité globale,de manière non invasive et en environnement dynamique. Enfin, nous avons développé une application immergeant l’utilisateur au sein d’une simulation virtuelle d’entrainement au tennis. Par le biais d’études de cas extraites de ce scénario, nous avons implémenté les processus interactif et adaptatif prenant place entre le système et l’utilisateur. L’adaptativité du système, supportée par le scénario de l’application, est concrétisée par la mise en place de mécanismes spécifiques à tous les niveaux de l’architecture, en fonction de l’activité observée et interprétée. Nous mettons en évidence un ensemble de boucles logicielles, appelées « boucles vertueuses », générées par l’accumulation des effets d’adaptation du système et améliorant en permanence l’interactivité. Les perspectives à ces travaux de thèse concernent la normalisation et la gestion haut niveau de notre modèle de contexte, la complexification de notre scénario et l’amélioration de notre système de capture dans le cadre de nouvelles applications scénarisées. / For 50 years, human-computer interaction has evolved permanently. Nowadays, real-time systems offer the user simple and intuitive interaction and adapt automatically to the observed and interpreted activity. From now on, the user can interact with computer systems, voluntarily or unconsciously, by several modalities, as he would do it in his everyday life.Currently, the most developed systems are the ones allowing the user to interact by his explicit or implicit body language. These systems are more and more integrated in our environment, are invisible, and adapt according to the scenario that defines the objectives the user has to achieve. Several application fields are the development frameworks of such systems, like video games or video surveillance. We define in this work the architecture of an interactive system, upon which runs a scripted application such as a video game. The interactivity is fed by an only user body language, in real-time and without markers. The system reacts as well to various events taking place within the real scene. These events aredue to the scene dynamism for which the user is not directly responsible (illumination changes, spectators, etc.).The user is immersed within a virtual environment that renders the system interactive response. The system responds adaptively as well, in real-time, to the observed and interpreted activity, adapting at the same time its interactive response and its global functioning. Our work is based on the following hypothesis: the activity, observed within the scene, is characterized by the interaction context that includes it. Thus, our system recognizes the activity by modelling the interaction context within which it takes place. Our main contribution is then the introduction of the notion of context within the interactive and adaptive processes. We use our interaction context modelling to model the application scenario. The context management and analysis during the interactivity allow the system to interpret the observed activity and to configure the different adaptive mechanisms which follow it. The activity is captured and codified by an extended system, chosen according to our work industrial framework (Industrial Convention of Formation by Research – CIFRE – with XDProductions). Initially dedicated to the invasive capture of the user movements in a controlled environment, our work enhances the process towards the general capture of the global activity, without markers and within an uncontrolled environment. Finally, we have developed an application immersing the user within a virtual simulation of tennis training. Thanks to different case studies extracted from this scenario, we have implemented the interactive and adaptive processes taking place between the system and the user. The system adaptivity, supported by the application scenario, is materialized by the implementation of specific mechanisms at every level of the architecture, according to the observed and interpreted activity. We have brought to light a set of software loops, called virtuous loops, generated by the accumulation of the system adaptation effects and improving the interactivity permanently. Our work perspectives concern the formalization and the high-level management of our context model, the complexity of our scenario and the improvement of our capture systemwithin the framework of new scripted applications.

Com o avanço da tecnologia, as estratégias tradicionais para identificação de pessoas se tornaram mais suscetíveis a falhas. De forma a superar essas dificuldades algumas abordagens vêm sendo propostas na literatura. Dentre estas abordagens destaca-se a Biometria. O campo da Biometria abarca uma grande variedade de tecnologias usadas para identificar ou verificar a identidade de uma pessoa por meio da mensuração e análise de aspectos físicos e/ou comportamentais do ser humano. Em função disso, a biometria tem um amplo campo de aplicações em sistemas que exigem uma identificação segura de seus usuários. Os sistemas biométricos mais populares são baseados em reconhecimento facial ou em impressões digitais. Entretanto, existem sistemas biométricos que utilizam a íris, varredura de retina, voz, geometria da mão e termogramas faciais. Atualmente, tem havido progresso significativo em reconhecimento automático de face em condições controladas. Em aplicações do mundo real, o reconhecimento facial sofre de uma série de problemas nos cenários não controlados. Esses problemas são devidos, principalmente, a diferentes variações faciais que podem mudar muito a aparência da face, incluindo variações de expressão, de iluminação, alterações da pose, assim como oclusões parciais. Em comparação com o grande número de trabalhos na literatura em relação aos problemas de variação de expressão/iluminação/pose, o problema de oclusão é relativamente negligenciado pela comunidade científica. Embora tenha sido dada pouca atenção ao problema de oclusão na literatura de reconhecimento facial, a importância deste problema deve ser enfatizada, pois a presença de oclusão é muito comum em cenários não controlados e pode estar associada a várias questões de segurança. Por outro lado, a Multibiométria é uma abordagem relativamente nova para representação de conhecimento biométrico que visa consolida múltiplas fontes de informação visando melhorar a performance do sistema biométrico. Multibiométria é baseada no conceito de que informações obtidas a partir de diferentes modalidades ou da mesma modalidade capturada de diversas formas se complementam. Consequentemente, uma combinação adequada dessas informações pode ser mais útil que o uso de informações obtidas a partir de qualquer uma das modalidades individualmente. A fim de melhorar a performance dos sistemas biométricos faciais na presença de oclusão parciais será investigado o emprego de diferentes técnicas de reconstrução de oclusões parciais de forma a gerar diferentes imagens de face, as quais serão combinadas no nível de extração de característica e utilizadas como entrada para um classificador neural. Os resultados demonstram que a abordagem proposta é capaz de melhorar a performance dos sistemas biométricos baseados em face parcialmente ocluídas / With the advancement of technology, traditional strategies for identifying people have become more susceptible to failures. In order to overcome these difficulties, some approaches have been proposed in the literature. Among these approaches, Biometrics stands out. The field of biometrics covers a wide range of technologies used to identify or verify a person\'s identity by measuring and analyzing physical and / or behavioral aspects of the human being. As a result, a biometry has a wide field of applications in systems that require a secure identification of its users. The most popular biometric systems are based on facial recognition or fingerprints. However, there are biometric systems that use the iris, retinal scan, voice, hand geometry, and facial thermograms. Currently, there has been significant progress in automatic face recognition under controlled conditions. In real world applications, facial recognition suffers from a number of problems in uncontrolled scenarios. These problems are mainly due to different facial variations that can greatly change the appearance of the face, including variations in expression, illumination, posture, as well as partial occlusions. Compared with the large number of papers in the literature regarding problems of expression / illumination / pose variation, the occlusion problem is relatively neglected by the research community. Although attention has been paid to the occlusion problem in the facial recognition literature, the importance of this problem should be emphasized, since the presence of occlusion is very common in uncontrolled scenarios and may be associated with several safety issues. On the other hand, multibiometry is a relatively new approach to biometric knowledge representation that aims to consolidate multiple sources of information to improve the performance of the biometric system. Multibiometry is based on the concept that information obtained from different modalities or from the same modalities captured in different ways complement each other. Accordingly, a suitable combination of such information may be more useful than the use of information obtained from any of the individuals modalities. In order to improve the performance of facial biometric systems in the presence of partial occlusion, the use of different partial occlusion reconstruction techniques was investigated in order to generate different face images, which were combined at the feature extraction level and used as input for a neural classifier. The results demonstrate that the proposed approach is capable of improving the performance of biometric systems based on partially occluded faces

Com o avanço da tecnologia, as estratégias tradicionais para identificação de pessoas se tornaram mais suscetíveis a falhas. De forma a superar essas dificuldades algumas abordagens vêm sendo propostas na literatura. Dentre estas abordagens destaca-se a Biometria. O campo da Biometria abarca uma grande variedade de tecnologias usadas para identificar ou verificar a identidade de uma pessoa por meio da mensuração e análise de aspectos físicos e/ou comportamentais do ser humano. Em função disso, a biometria tem um amplo campo de aplicações em sistemas que exigem uma identificação segura de seus usuários. Os sistemas biométricos mais populares são baseados em reconhecimento facial ou em impressões digitais. Entretanto, existem sistemas biométricos que utilizam a íris, varredura de retina, voz, geometria da mão e termogramas faciais. Atualmente, tem havido progresso significativo em reconhecimento automático de face em condições controladas. Em aplicações do mundo real, o reconhecimento facial sofre de uma série de problemas nos cenários não controlados. Esses problemas são devidos, principalmente, a diferentes variações faciais que podem mudar muito a aparência da face, incluindo variações de expressão, de iluminação, alterações da pose, assim como oclusões parciais. Em comparação com o grande número de trabalhos na literatura em relação aos problemas de variação de expressão/iluminação/pose, o problema de oclusão é relativamente negligenciado pela comunidade científica. Embora tenha sido dada pouca atenção ao problema de oclusão na literatura de reconhecimento facial, a importância deste problema deve ser enfatizada, pois a presença de oclusão é muito comum em cenários não controlados e pode estar associada a várias questões de segurança. Por outro lado, a Multibiométria é uma abordagem relativamente nova para representação de conhecimento biométrico que visa consolida múltiplas fontes de informação visando melhorar a performance do sistema biométrico. Multibiométria é baseada no conceito de que informações obtidas a partir de diferentes modalidades ou da mesma modalidade capturada de diversas formas se complementam. Consequentemente, uma combinação adequada dessas informações pode ser mais útil que o uso de informações obtidas a partir de qualquer uma das modalidades individualmente. A fim de melhorar a performance dos sistemas biométricos faciais na presença de oclusão parciais será investigado o emprego de diferentes técnicas de reconstrução de oclusões parciais de forma a gerar diferentes imagens de face, as quais serão combinadas no nível de extração de característica e utilizadas como entrada para um classificador neural. Os resultados demonstram que a abordagem proposta é capaz de melhorar a performance dos sistemas biométricos baseados em face parcialmente ocluídas / With the advancement of technology, traditional strategies for identifying people have become more susceptible to failures. In order to overcome these difficulties, some approaches have been proposed in the literature. Among these approaches, Biometrics stands out. The field of biometrics covers a wide range of technologies used to identify or verify a person\'s identity by measuring and analyzing physical and / or behavioral aspects of the human being. As a result, a biometry has a wide field of applications in systems that require a secure identification of its users. The most popular biometric systems are based on facial recognition or fingerprints. However, there are biometric systems that use the iris, retinal scan, voice, hand geometry, and facial thermograms. Currently, there has been significant progress in automatic face recognition under controlled conditions. In real world applications, facial recognition suffers from a number of problems in uncontrolled scenarios. These problems are mainly due to different facial variations that can greatly change the appearance of the face, including variations in expression, illumination, posture, as well as partial occlusions. Compared with the large number of papers in the literature regarding problems of expression / illumination / pose variation, the occlusion problem is relatively neglected by the research community. Although attention has been paid to the occlusion problem in the facial recognition literature, the importance of this problem should be emphasized, since the presence of occlusion is very common in uncontrolled scenarios and may be associated with several safety issues. On the other hand, multibiometry is a relatively new approach to biometric knowledge representation that aims to consolidate multiple sources of information to improve the performance of the biometric system. Multibiometry is based on the concept that information obtained from different modalities or from the same modalities captured in different ways complement each other. Accordingly, a suitable combination of such information may be more useful than the use of information obtained from any of the individuals modalities. In order to improve the performance of facial biometric systems in the presence of partial occlusion, the use of different partial occlusion reconstruction techniques was investigated in order to generate different face images, which were combined at the feature extraction level and used as input for a neural classifier. The results demonstrate that the proposed approach is capable of improving the performance of biometric systems based on partially occluded faces