Orientadores: Alexandre Xavier Falcão, Anderson de Rezende Rocha / Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação / Made available in DSpace on 2018-08-23T15:41:33Z (GMT). No. of bitstreams: 1 Chiachia_Giovani_D.pdf: 4376963 bytes, checksum: 8f7d18d591f2a5d943313d89416f96d4 (MD5) Previous issue date: 2013 / Resumo: Os seres humanos são especialistas natos em reconhecimento de faces, com habilidades que excedem em muito as dos métodos automatizados vigentes, especialmente em cenários não controlados, onde não há a necessidade de colaboração por parte do indivíduo sendo reconhecido. No entanto, uma característica marcante do reconhecimento de face humano é que nós somos substancialmente melhores no reconhecimento de faces familiares, provavelmente porque somos capazes de consolidar uma grande quantidade de experiência prévia com a aparência de certo indivíduo e de fazer uso efetivo dessa experiência para nos ajudar no reconhecimento futuro. De fato, pesquisadores em psicologia têm até mesmo sugeridos que a representação interna que fazemos das faces pode ser parcialmente adaptada ou otimizada para rostos familiares. Enquanto isso, a situação análoga no reconhecimento facial automatizado | onde um grande número de exemplos de treinamento de um indivíduo está disponível | tem sido muito pouco explorada, apesar da crescente relevância dessa abordagem na era das mídias sociais. Inspirados nessas observações, nesta tese propomos uma abordagem em que a representação da face de cada pessoa é explicitamente adaptada e realçada com o intuito de reconhecê-la melhor. Apresentamos uma coleção de métodos de aprendizado que endereça e progressivamente justifica tal abordagem. Ao aprender e operar com representações específicas para face de cada pessoa, nós somos capazes de consistentemente melhorar o poder de reconhecimento dos nossos algoritmos. Em particular, nós obtemos resultados no estado da arte na base de dados PubFig83, uma desafiadora coleção de imagens instituída e tornada pública com o objetivo de promover o estudo do reconhecimento de faces familiares. Nós sugerimos que o aprendizado de representações específicas para face de cada pessoa introduz uma forma intermediária de regularização ao problema de aprendizado, permitindo que os classificadores generalizem melhor através do uso de menos |, porém mais relevantes | características faciais / Abstract: Humans are natural face recognition experts, far outperforming current automated face recognition algorithms, especially in naturalistic, \in-the-wild" settings. However, a striking feature of human face recognition is that we are dramatically better at recognizing highly familiar faces, presumably because we can leverage large amounts of past experience with the appearance of an individual to aid future recognition. Researchers in psychology have even suggested that face representations might be partially tailored or optimized for familiar faces. Meanwhile, the analogous situation in automated face recognition, where a large number of training examples of an individual are available, has been largely underexplored, in spite of the increasing relevance of this setting in the age of social media. Inspired by these observations, we propose to explicitly learn enhanced face representations on a per-individual basis, and we present a collection of methods enabling this approach and progressively justifying our claim. By learning and operating within person-specific representations of faces, we are able to consistently improve performance on both the constrained and the unconstrained face recognition scenarios. In particular, we achieve state-of-the-art performance on the challenging PubFig83 familiar face recognition benchmark. We suggest that such person-specific representations introduce an intermediate form of regularization to the problem, allowing the classifiers to generalize better through the use of fewer | but more relevant | face features / Doutorado / Ciência da Computação / Doutor em Ciência da Computação

[pt] Em termos de novas tecnologias de policiamento e prevenção da violência urbana, a China é uma referência global. São novas tecnologias digitais advindas da Quarta Revolução Industrial, como IA e Big Data, que resolveriam desde desigualdades sociais a déficits em infraestrutura urbana. A China, por meio de projetos de cidades inteligentes, planeja liderar a revolução digital para se tornar exemplo de sociedade avançada e inteligente. Pretende com isso não só implementar esse projeto domesticamente, mas também exportá-lo como modelo de desenvolvimento baseado em inovação e tecnologia. No entanto, há resistências a esse modelo, visto pelos EUA e boa parte de seus aliados como estratégia da China para ascender globalmente, mas de forma predatória e autoritária, ao estabelecer novos padrões de dependência externa via comércio, investimento e tecnologia. A China, como nova potência digital, também representaria uma ameaça ao tentar replicar sistemas de controle social e vigilância em massa por meio de seus sistemas de vigilância pública e reconhecimento facial. Uma vez que a China vem firmando parcerias estratégicas pelo mundo, é preciso que empresas e governos tenham uma posição clara diante de uma eventual reconfiguração global e estejam preparados para o desafio de se adaptar à revolução digital, levando em conta os impactos que o modelo chinês poderá causar, não só em termos de oportunidades, mas também de custo-benefício e riscos socioeconômicos, em virtude de especificidades locais, crises históricas e problemas estruturais. / [en] In terms of new technologies for policing and prevention of urban violence, China is a global benchmark. These are new digital technologies from the Fourth Industrial Revolution, such as AI e Big Data, which would solve from social inequalities to deficits in urban infrastructure. China, through smart cities projects, plans to lead the digital revolution to become an example of prosperous and intelligent society. It intends not only to implement this project domestically, but also to export it as a development model based on innovation and technology. However, there are resistance to this model, seen by the US and many of its allies as China s strategy to move globally, but in a predatory and authoritarian way, by establishing new patterns of external dependence through trade, investment and technology. China, as a new digital power, would also be a threat in attempting to replicate social control and mass surveillance systems through its public surveillance and facial recognition systems. Once China has been closing strategic partnerships around the world, firms and governments need to have a clear position in the face of a possible global reconfiguration and be prepared for the challenge of adapting itselves to the digital revolution, taking into account the impacts that the Chinese model can cause not only in terms of opportunities, but also cost-benefit and socioeconomic risks, due to local specificities, historical crises and structural problems.

Com o avanço da tecnologia, as estratégias tradicionais para identificação de pessoas se tornaram mais suscetíveis a falhas. De forma a superar essas dificuldades algumas abordagens vêm sendo propostas na literatura. Dentre estas abordagens destaca-se a Biometria. O campo da Biometria abarca uma grande variedade de tecnologias usadas para identificar ou verificar a identidade de uma pessoa por meio da mensuração e análise de aspectos físicos e/ou comportamentais do ser humano. Em função disso, a biometria tem um amplo campo de aplicações em sistemas que exigem uma identificação segura de seus usuários. Os sistemas biométricos mais populares são baseados em reconhecimento facial ou em impressões digitais. Entretanto, existem sistemas biométricos que utilizam a íris, varredura de retina, voz, geometria da mão e termogramas faciais. Atualmente, tem havido progresso significativo em reconhecimento automático de face em condições controladas. Em aplicações do mundo real, o reconhecimento facial sofre de uma série de problemas nos cenários não controlados. Esses problemas são devidos, principalmente, a diferentes variações faciais que podem mudar muito a aparência da face, incluindo variações de expressão, de iluminação, alterações da pose, assim como oclusões parciais. Em comparação com o grande número de trabalhos na literatura em relação aos problemas de variação de expressão/iluminação/pose, o problema de oclusão é relativamente negligenciado pela comunidade científica. Embora tenha sido dada pouca atenção ao problema de oclusão na literatura de reconhecimento facial, a importância deste problema deve ser enfatizada, pois a presença de oclusão é muito comum em cenários não controlados e pode estar associada a várias questões de segurança. Por outro lado, a Multibiométria é uma abordagem relativamente nova para representação de conhecimento biométrico que visa consolida múltiplas fontes de informação visando melhorar a performance do sistema biométrico. Multibiométria é baseada no conceito de que informações obtidas a partir de diferentes modalidades ou da mesma modalidade capturada de diversas formas se complementam. Consequentemente, uma combinação adequada dessas informações pode ser mais útil que o uso de informações obtidas a partir de qualquer uma das modalidades individualmente. A fim de melhorar a performance dos sistemas biométricos faciais na presença de oclusão parciais será investigado o emprego de diferentes técnicas de reconstrução de oclusões parciais de forma a gerar diferentes imagens de face, as quais serão combinadas no nível de extração de característica e utilizadas como entrada para um classificador neural. Os resultados demonstram que a abordagem proposta é capaz de melhorar a performance dos sistemas biométricos baseados em face parcialmente ocluídas / With the advancement of technology, traditional strategies for identifying people have become more susceptible to failures. In order to overcome these difficulties, some approaches have been proposed in the literature. Among these approaches, Biometrics stands out. The field of biometrics covers a wide range of technologies used to identify or verify a person\'s identity by measuring and analyzing physical and / or behavioral aspects of the human being. As a result, a biometry has a wide field of applications in systems that require a secure identification of its users. The most popular biometric systems are based on facial recognition or fingerprints. However, there are biometric systems that use the iris, retinal scan, voice, hand geometry, and facial thermograms. Currently, there has been significant progress in automatic face recognition under controlled conditions. In real world applications, facial recognition suffers from a number of problems in uncontrolled scenarios. These problems are mainly due to different facial variations that can greatly change the appearance of the face, including variations in expression, illumination, posture, as well as partial occlusions. Compared with the large number of papers in the literature regarding problems of expression / illumination / pose variation, the occlusion problem is relatively neglected by the research community. Although attention has been paid to the occlusion problem in the facial recognition literature, the importance of this problem should be emphasized, since the presence of occlusion is very common in uncontrolled scenarios and may be associated with several safety issues. On the other hand, multibiometry is a relatively new approach to biometric knowledge representation that aims to consolidate multiple sources of information to improve the performance of the biometric system. Multibiometry is based on the concept that information obtained from different modalities or from the same modalities captured in different ways complement each other. Accordingly, a suitable combination of such information may be more useful than the use of information obtained from any of the individuals modalities. In order to improve the performance of facial biometric systems in the presence of partial occlusion, the use of different partial occlusion reconstruction techniques was investigated in order to generate different face images, which were combined at the feature extraction level and used as input for a neural classifier. The results demonstrate that the proposed approach is capable of improving the performance of biometric systems based on partially occluded faces

Com o avanço da tecnologia, as estratégias tradicionais para identificação de pessoas se tornaram mais suscetíveis a falhas. De forma a superar essas dificuldades algumas abordagens vêm sendo propostas na literatura. Dentre estas abordagens destaca-se a Biometria. O campo da Biometria abarca uma grande variedade de tecnologias usadas para identificar ou verificar a identidade de uma pessoa por meio da mensuração e análise de aspectos físicos e/ou comportamentais do ser humano. Em função disso, a biometria tem um amplo campo de aplicações em sistemas que exigem uma identificação segura de seus usuários. Os sistemas biométricos mais populares são baseados em reconhecimento facial ou em impressões digitais. Entretanto, existem sistemas biométricos que utilizam a íris, varredura de retina, voz, geometria da mão e termogramas faciais. Atualmente, tem havido progresso significativo em reconhecimento automático de face em condições controladas. Em aplicações do mundo real, o reconhecimento facial sofre de uma série de problemas nos cenários não controlados. Esses problemas são devidos, principalmente, a diferentes variações faciais que podem mudar muito a aparência da face, incluindo variações de expressão, de iluminação, alterações da pose, assim como oclusões parciais. Em comparação com o grande número de trabalhos na literatura em relação aos problemas de variação de expressão/iluminação/pose, o problema de oclusão é relativamente negligenciado pela comunidade científica. Embora tenha sido dada pouca atenção ao problema de oclusão na literatura de reconhecimento facial, a importância deste problema deve ser enfatizada, pois a presença de oclusão é muito comum em cenários não controlados e pode estar associada a várias questões de segurança. Por outro lado, a Multibiométria é uma abordagem relativamente nova para representação de conhecimento biométrico que visa consolida múltiplas fontes de informação visando melhorar a performance do sistema biométrico. Multibiométria é baseada no conceito de que informações obtidas a partir de diferentes modalidades ou da mesma modalidade capturada de diversas formas se complementam. Consequentemente, uma combinação adequada dessas informações pode ser mais útil que o uso de informações obtidas a partir de qualquer uma das modalidades individualmente. A fim de melhorar a performance dos sistemas biométricos faciais na presença de oclusão parciais será investigado o emprego de diferentes técnicas de reconstrução de oclusões parciais de forma a gerar diferentes imagens de face, as quais serão combinadas no nível de extração de característica e utilizadas como entrada para um classificador neural. Os resultados demonstram que a abordagem proposta é capaz de melhorar a performance dos sistemas biométricos baseados em face parcialmente ocluídas / With the advancement of technology, traditional strategies for identifying people have become more susceptible to failures. In order to overcome these difficulties, some approaches have been proposed in the literature. Among these approaches, Biometrics stands out. The field of biometrics covers a wide range of technologies used to identify or verify a person\'s identity by measuring and analyzing physical and / or behavioral aspects of the human being. As a result, a biometry has a wide field of applications in systems that require a secure identification of its users. The most popular biometric systems are based on facial recognition or fingerprints. However, there are biometric systems that use the iris, retinal scan, voice, hand geometry, and facial thermograms. Currently, there has been significant progress in automatic face recognition under controlled conditions. In real world applications, facial recognition suffers from a number of problems in uncontrolled scenarios. These problems are mainly due to different facial variations that can greatly change the appearance of the face, including variations in expression, illumination, posture, as well as partial occlusions. Compared with the large number of papers in the literature regarding problems of expression / illumination / pose variation, the occlusion problem is relatively neglected by the research community. Although attention has been paid to the occlusion problem in the facial recognition literature, the importance of this problem should be emphasized, since the presence of occlusion is very common in uncontrolled scenarios and may be associated with several safety issues. On the other hand, multibiometry is a relatively new approach to biometric knowledge representation that aims to consolidate multiple sources of information to improve the performance of the biometric system. Multibiometry is based on the concept that information obtained from different modalities or from the same modalities captured in different ways complement each other. Accordingly, a suitable combination of such information may be more useful than the use of information obtained from any of the individuals modalities. In order to improve the performance of facial biometric systems in the presence of partial occlusion, the use of different partial occlusion reconstruction techniques was investigated in order to generate different face images, which were combined at the feature extraction level and used as input for a neural classifier. The results demonstrate that the proposed approach is capable of improving the performance of biometric systems based on partially occluded faces

nÃo hà / A Teoria da Mente (ToM), a habilidade de compreender estados mentais, à considerada indispensÃvel no estabelecimento das interaÃÃes sociais para o desenvolvimento da linguagem. Estudos de Wimmer e Perner (1983), Baron-Cohen, Leslie e Frith (1985) e Frith (1995) investigaram a vinculaÃÃo entre ToM, DÃficits Especificamente LinguÃsticos (DEL) e Transtorno do Espectro do Autismo (TEA), buscando encontrar relaÃÃes de interdependÃncia. IndivÃduos diagnosticados com TEA apresentam atrasos no processamento da ToM, o que pode resultar, de acordo com nossa hipÃtese, em dificuldades referentes à compreensÃo de enunciados que expressem estados mentais de emoÃÃo. Para investigar esta relaÃÃo, estudamos crianÃas com TEA leve e comparamos com um grupo controle. Realizamos a Escala de Tarefas de Teoria da Mente (Wellman e Liu, 2004) para avaliar o nÃvel de ToM dos grupos estudados e uma tarefa experimental. A tarefa consistia na identificaÃÃo de uma frase ouvida com a figura correspondente (alvo) em meio a trÃs figuras, uma competitiva e duas distratoras. A movimentaÃÃo ocular dos participantes foi registrada. As frases foram manipuladas para a posiÃÃo do adjetivo que expressa o estado mental, com duas condiÃÃes experimentais: adjetivo na oraÃÃo relativa; adjetivo na oraÃÃo matriz. Os resultados sugerem uma correlaÃÃo entre o nÃvel de ToM e o tempo de reaÃÃo de cada grupo. O grupo com TEA reflete uma movimentaÃÃo ocular de padrÃo diferente do controle, em funÃÃo das mÃtricas registradas. Como à apontado na literatura, existe uma relaÃÃo entre ToM e TEA e entre ToM e DEL, nosso interesse foi o de investigar se no autismo as possÃveis dificuldades de processamento das oraÃÃes relativas teriam alguma semelhanÃa com o processamento em DEL. A busca por evidÃncias de DEL em grupos com TEA leve ou de altas habilidades tem por finalidade precÃpua uma adequada e precisa compreensÃo da patologia com vistas à producÃo de materiais didÃticos inclusivos para esta populaÃÃo. / Theory of Mind (ToM), the ability to understand mental states, is considered indispensable in the establishment of social interactions and for the development of language. Wimmer and Perner (1983), Baron-Cohen, Leslie and Frith (1985) and Frith (1995) investigated the link between ToM, Specific Language Impairments (SLI) and the Autism Spectrum Disorder (ASD), seeking to find relations of interdependence. Individuals diagnosed with ASD have delays in the processing of ToM, which may, according to our hypothesis, result in difficulties regarding the understanding of statements that express mental states of emotion. To investigate this possibility, we studied children with mild ASD and compared their results with a control group. We performed the ToM Scale (Wellman and Liu, 2004) to assess the ToM level of our groups, as well as an experimental task. The task consisted in matching a sentence the participants heard with the corresponding figure (target) among other three figures, in which one competed with the target and the other two were distractors. The ocular movement of all participants was recorded. The sentences were manipulated regarding the position of the adjective that expressed the mental state. Therefore, we had two experimental conditions: adjective in the relative sentence and the adjective in the main sentence. The results suggest a correlation between the ToM level and the reaction time of each group. The ASD group shows a different ocular movement pattern than the control group, according to the metrics recorded. As it is pointed out in the literature, there is a relationship between ToM and ASD, as well as between ToM and SLI. Our interest was to investigate whether in autism the possible difficulties of processing the relative clauses would have some similarity to the processing in SLI. The search for evidence of SLI in patients with mild ASD or highly functional autism has the adequate and precise final objective of understanding the pathology in hopes of producing appropriate educational material for this population.