Submitted by HENRIQUE CANDIDO DE OLIVEIRA null (henrique.cartografia@gmail.com) on 2016-06-20T14:13:55Z No. of bitstreams: 1 [2016]OLIVEIRA_HC_tese.pdf: 4404064 bytes, checksum: 0993dde10f9daa72330a53e2281c1c45 (MD5) / Approved for entry into archive by Ana Paula Grisoto (grisotoana@reitoria.unesp.br) on 2016-06-22T16:34:05Z (GMT) No. of bitstreams: 1 oliveria_hc_dr_prud.pdf: 4404064 bytes, checksum: 0993dde10f9daa72330a53e2281c1c45 (MD5) / Made available in DSpace on 2016-06-22T16:34:05Z (GMT). No. of bitstreams: 1 oliveria_hc_dr_prud.pdf: 4404064 bytes, checksum: 0993dde10f9daa72330a53e2281c1c45 (MD5) Previous issue date: 2016-04-29 / Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) / A utilização de ortoimagem verdadeira, em projetos executados em áreas urbanas, é essencial para certas aplicações. Para a geração de tal produto é necessária a detecção de áreas de oclusão, assim como a compensação destas áreas, usando-se imagens adjacentes. Este trabalho apresenta um novo método de detecção de oclusão denominado SGBM (Surface- Gradient-Based Method), por meio da identificação de gradientes de superfície sobre representação poliédrica. A diferença desse método para os demais encontrados na literatura, como estado da arte, é a utilização de um conjunto de pontos, organizados de acordo com a estrutura de dados TIN (Triangulated Irregular Network). Essa representação, por ser formada por pontos tridimensionais irregularmente espaçados, permite o uso de uma nuvem de pontos com diferentes densidades e, em determinadas situações, a obtenção de bons resultados por meio do uso de um modelo digital de superfície composto por uma quantidade menor de pontos, o que implica menor tempo de processamento. Nesta tese, apresentam-se diferentes experimentos para validar a metodologia proposta, por meio de análise quantitativa (índice de completude, alinhamento de feições lineares e tempo de processamento) e qualitativa (coerência visual dos resultados obtidos). Foram utilizados três conjuntos de dados aéreos obtidos por plataformas à baixa altura de voo. Esses dados são oriundos de sistemas acoplados a veículos aéreos não tripulados e helicóptero. Os conjuntos de pontos tridimensionais foram obtidos por sistemas de varredura a LASER (Light Amplification by Stimulated Emission of Radiation) aerotransportado e por técnicas fotogramétricas. Selecionou-se esse conjunto de dados, devido à grande presença de áreas de oclusão, ao aumento da utilização destas plataformas em levantamentos fotogramétricos e à atual qualidade da extração de nuvem de pontos via correspondência densa de imagens. Os resultados, assim como comparações com métodos existentes, indicam que o método proposto apresenta contribuição ao estado da arte na detecção de oclusão visando à geração de ortoimagem verdadeira, visto que a utilização de uma malha triangular, para análise da superfície, evita certas limitações encontradas nos métodos atuais, assim como, permite uma representação mais eficiente dos elementos presentes na área de interesse. / The usage of true-orthophoto in projects performed over urban areas is essential for certain applications. To generate this type of product it is necessary a procedure for occlusion detection, as well as, a proper radiometric compensation for the occluded areas, using adjacent images from the aerial image block. The main objective of this thesis is to present a new method for occlusion detection named SGBM (Surface-Gradient-Based Method), using a surface gradient identification over a polyhedral surface. The main difference among this method and the others, presented as state of the art, is the usage of a point cloud arranged as a triangular data structure (TIN: Triangulated Irregular Network). This surface representation is formed by an irregularly-spaced 3D point cloud, which allows the use of different point density along the surface. This characteristic supports obtaining good results by using a less dense point cloud - situation that requires a reduced computational effort. Several experiments were carried out, seeking for the validation of the proposed method, by using quantitative analyzes (completeness index, mosaic alignment and time of processing) and qualitative analyzes (visual coherence of the obtained results). Three datasets were used, being all acquired by a low-altitude flight configuration (helicopter and unmanned aerial vehicles), which make possible the identification of large occlusion areas. The point cloud was obtained by airborne LASER (Light Amplification by Stimulated Emission of Radiation) scanning system and by dense image matching. These dataset were used due to the incidence of occlusions and the growth of unmanned platform usage. The results indicate that the proposed method has some contribution to the state of the art in occlusion detection, aiming the generation of true-orthophoto. The use of an irregularly-spaced point cloud avoids some limitations found on the other methodologies, along with, a better representation of objects in the surface of interest. / FAPESP: 2013/21647-2

Há um crescente incentivo ao uso da tecnologia biométrica para melhorar, e até mesmo substituir os métodos tradicionais de segurança. O campo da Biometria refere-se a uma grande variedade de tecnologias usadas para identicar ou vericar a identidade de uma pessoa por meio da mensuração e análise de vários aspectos físicos e comportamentais do ser humano. Modalidades biométricas são características extraídas do corpo humano, que são únicas para cada indivíduo e que podem ser usadas para estabelecer sua identidade numa população. As principais modalidades biométricas empregadas na literatura são: impressão digital, face, voz, palma da mão e íris. Dentre as modalidades biométricas, a face é a mais comumente vista e usada em nossa vida diária. Em aplicações de mundo real, sistemas de reconhecimento facial, frequentemente, têm que lidar com condições não controladas e não previsíveis, tais como mudança na iluminação, pose, expressão e oclusão, as quais introduzem variações intraclasse e degradam a performance do reconhecimento. Comparada com problemas de pose, iluminação e expressão, o problema relacionado à oclusão é relativamente pouco estudado na área. As abordagens empregadas para atacar o problema de reconhecimento facial na presença de oclusões parciais podem ser categorizadas em: i) abordagens baseadas em reconstrução, que formulam o reconhecimento biométrico baseado em imagens de face parcialmente ocluídas como um problema de reconstrução; ii) abordagens baseadas em correspondência local, que extraem características locais da face; iii) abordagens baseadas em características insensíveis, que extraem características da face que são robustas à oclusão. O objetivo desta dissertação é realizar um estudo comparativo detalhado das abordagens baseadas em reconstrução visando reconhecimento biométrico facial na presença de oclusão. As abordagens baseadas em reconstrução foram aplicadas a duas bases de dados (AR e Yale) contendo quatro tipos diferentes de oclusões e avaliadas usando a performance obtida no reconhecimento biométrico. Com base no estudo comparativo realizado, foram propostas três técnicas baseadas em reconstrução, que correspondem a uma modicação e/ou combinação de técnicas já conhecidas na literatura. Os resultados experimentais mostraram que as técnicas propostas alcançaram desempenhos melhores ou similares as técnicas descritas na literatura / There is a growing incentive to use biometric technology to improve, even replace, traditional security methods. The eld of Biometrics refers to a wide variety of technologies used to identify or verify a persons identity by measuring and analyzing various physical and behavioral aspects of the human being. Biometric modalities are characteristics drawn from the human body, which are unique to each individual and can be used to establish their identity in a population. The main biometric modalities used in the literature are: fingerprint, face, voice, palm, and iris. The main biometric modalities used in the literature are: fingerprint, face, voice, palm and iris. Among the biometric modalities, the face is the most commonly seen and used in our daily life. In real-world applications, facial recognition systems often have to deal with uncontrolled and unpredictable conditions such as change in illumination, pose, expression, and occlusion, which introduce intraclass variations and degrade recognition performance. Compared with problems of pose, illumination and expression, the problem related to occlusion is relatively little studied in the area. The approaches used to tackle facial recognition in the presence of partial occlusions can be categorized into: (i) reconstruction-based approaches that formulate recognition of occluded faces as a reconstruction problem; ii) approaches based on local correspondence, which extract local face characteristics; iii) approaches based on insensitive characteristics, which extract features of the face that are robust to occlusion. The objective of this dissertation is to perform a detailed comparative study of reconstruction-based approaches aiming at facial recognition in the presence of occlusion. Reconstruction-based approaches were applied to two databases (AR and Yale) containing four dierent types of occlusions and evaluated using the performance obtained in the biometric recognition. Based on the comparative study, three reconstruction-based techniques were proposed, which correspond to a change in the formulation and/or combination of techniques already known in the literature. The experimental results showed that the proposed techniques achieved better or similar performances than the techniques described in the literature

Com o avanço da tecnologia, as estratégias tradicionais para identificação de pessoas se tornaram mais suscetíveis a falhas. De forma a superar essas dificuldades algumas abordagens vêm sendo propostas na literatura. Dentre estas abordagens destaca-se a Biometria. O campo da Biometria abarca uma grande variedade de tecnologias usadas para identificar ou verificar a identidade de uma pessoa por meio da mensuração e análise de aspectos físicos e/ou comportamentais do ser humano. Em função disso, a biometria tem um amplo campo de aplicações em sistemas que exigem uma identificação segura de seus usuários. Os sistemas biométricos mais populares são baseados em reconhecimento facial ou em impressões digitais. Entretanto, existem sistemas biométricos que utilizam a íris, varredura de retina, voz, geometria da mão e termogramas faciais. Atualmente, tem havido progresso significativo em reconhecimento automático de face em condições controladas. Em aplicações do mundo real, o reconhecimento facial sofre de uma série de problemas nos cenários não controlados. Esses problemas são devidos, principalmente, a diferentes variações faciais que podem mudar muito a aparência da face, incluindo variações de expressão, de iluminação, alterações da pose, assim como oclusões parciais. Em comparação com o grande número de trabalhos na literatura em relação aos problemas de variação de expressão/iluminação/pose, o problema de oclusão é relativamente negligenciado pela comunidade científica. Embora tenha sido dada pouca atenção ao problema de oclusão na literatura de reconhecimento facial, a importância deste problema deve ser enfatizada, pois a presença de oclusão é muito comum em cenários não controlados e pode estar associada a várias questões de segurança. Por outro lado, a Multibiométria é uma abordagem relativamente nova para representação de conhecimento biométrico que visa consolida múltiplas fontes de informação visando melhorar a performance do sistema biométrico. Multibiométria é baseada no conceito de que informações obtidas a partir de diferentes modalidades ou da mesma modalidade capturada de diversas formas se complementam. Consequentemente, uma combinação adequada dessas informações pode ser mais útil que o uso de informações obtidas a partir de qualquer uma das modalidades individualmente. A fim de melhorar a performance dos sistemas biométricos faciais na presença de oclusão parciais será investigado o emprego de diferentes técnicas de reconstrução de oclusões parciais de forma a gerar diferentes imagens de face, as quais serão combinadas no nível de extração de característica e utilizadas como entrada para um classificador neural. Os resultados demonstram que a abordagem proposta é capaz de melhorar a performance dos sistemas biométricos baseados em face parcialmente ocluídas / With the advancement of technology, traditional strategies for identifying people have become more susceptible to failures. In order to overcome these difficulties, some approaches have been proposed in the literature. Among these approaches, Biometrics stands out. The field of biometrics covers a wide range of technologies used to identify or verify a person\'s identity by measuring and analyzing physical and / or behavioral aspects of the human being. As a result, a biometry has a wide field of applications in systems that require a secure identification of its users. The most popular biometric systems are based on facial recognition or fingerprints. However, there are biometric systems that use the iris, retinal scan, voice, hand geometry, and facial thermograms. Currently, there has been significant progress in automatic face recognition under controlled conditions. In real world applications, facial recognition suffers from a number of problems in uncontrolled scenarios. These problems are mainly due to different facial variations that can greatly change the appearance of the face, including variations in expression, illumination, posture, as well as partial occlusions. Compared with the large number of papers in the literature regarding problems of expression / illumination / pose variation, the occlusion problem is relatively neglected by the research community. Although attention has been paid to the occlusion problem in the facial recognition literature, the importance of this problem should be emphasized, since the presence of occlusion is very common in uncontrolled scenarios and may be associated with several safety issues. On the other hand, multibiometry is a relatively new approach to biometric knowledge representation that aims to consolidate multiple sources of information to improve the performance of the biometric system. Multibiometry is based on the concept that information obtained from different modalities or from the same modalities captured in different ways complement each other. Accordingly, a suitable combination of such information may be more useful than the use of information obtained from any of the individuals modalities. In order to improve the performance of facial biometric systems in the presence of partial occlusion, the use of different partial occlusion reconstruction techniques was investigated in order to generate different face images, which were combined at the feature extraction level and used as input for a neural classifier. The results demonstrate that the proposed approach is capable of improving the performance of biometric systems based on partially occluded faces

Com o avanço da tecnologia, as estratégias tradicionais para identificação de pessoas se tornaram mais suscetíveis a falhas. De forma a superar essas dificuldades algumas abordagens vêm sendo propostas na literatura. Dentre estas abordagens destaca-se a Biometria. O campo da Biometria abarca uma grande variedade de tecnologias usadas para identificar ou verificar a identidade de uma pessoa por meio da mensuração e análise de aspectos físicos e/ou comportamentais do ser humano. Em função disso, a biometria tem um amplo campo de aplicações em sistemas que exigem uma identificação segura de seus usuários. Os sistemas biométricos mais populares são baseados em reconhecimento facial ou em impressões digitais. Entretanto, existem sistemas biométricos que utilizam a íris, varredura de retina, voz, geometria da mão e termogramas faciais. Atualmente, tem havido progresso significativo em reconhecimento automático de face em condições controladas. Em aplicações do mundo real, o reconhecimento facial sofre de uma série de problemas nos cenários não controlados. Esses problemas são devidos, principalmente, a diferentes variações faciais que podem mudar muito a aparência da face, incluindo variações de expressão, de iluminação, alterações da pose, assim como oclusões parciais. Em comparação com o grande número de trabalhos na literatura em relação aos problemas de variação de expressão/iluminação/pose, o problema de oclusão é relativamente negligenciado pela comunidade científica. Embora tenha sido dada pouca atenção ao problema de oclusão na literatura de reconhecimento facial, a importância deste problema deve ser enfatizada, pois a presença de oclusão é muito comum em cenários não controlados e pode estar associada a várias questões de segurança. Por outro lado, a Multibiométria é uma abordagem relativamente nova para representação de conhecimento biométrico que visa consolida múltiplas fontes de informação visando melhorar a performance do sistema biométrico. Multibiométria é baseada no conceito de que informações obtidas a partir de diferentes modalidades ou da mesma modalidade capturada de diversas formas se complementam. Consequentemente, uma combinação adequada dessas informações pode ser mais útil que o uso de informações obtidas a partir de qualquer uma das modalidades individualmente. A fim de melhorar a performance dos sistemas biométricos faciais na presença de oclusão parciais será investigado o emprego de diferentes técnicas de reconstrução de oclusões parciais de forma a gerar diferentes imagens de face, as quais serão combinadas no nível de extração de característica e utilizadas como entrada para um classificador neural. Os resultados demonstram que a abordagem proposta é capaz de melhorar a performance dos sistemas biométricos baseados em face parcialmente ocluídas / With the advancement of technology, traditional strategies for identifying people have become more susceptible to failures. In order to overcome these difficulties, some approaches have been proposed in the literature. Among these approaches, Biometrics stands out. The field of biometrics covers a wide range of technologies used to identify or verify a person\'s identity by measuring and analyzing physical and / or behavioral aspects of the human being. As a result, a biometry has a wide field of applications in systems that require a secure identification of its users. The most popular biometric systems are based on facial recognition or fingerprints. However, there are biometric systems that use the iris, retinal scan, voice, hand geometry, and facial thermograms. Currently, there has been significant progress in automatic face recognition under controlled conditions. In real world applications, facial recognition suffers from a number of problems in uncontrolled scenarios. These problems are mainly due to different facial variations that can greatly change the appearance of the face, including variations in expression, illumination, posture, as well as partial occlusions. Compared with the large number of papers in the literature regarding problems of expression / illumination / pose variation, the occlusion problem is relatively neglected by the research community. Although attention has been paid to the occlusion problem in the facial recognition literature, the importance of this problem should be emphasized, since the presence of occlusion is very common in uncontrolled scenarios and may be associated with several safety issues. On the other hand, multibiometry is a relatively new approach to biometric knowledge representation that aims to consolidate multiple sources of information to improve the performance of the biometric system. Multibiometry is based on the concept that information obtained from different modalities or from the same modalities captured in different ways complement each other. Accordingly, a suitable combination of such information may be more useful than the use of information obtained from any of the individuals modalities. In order to improve the performance of facial biometric systems in the presence of partial occlusion, the use of different partial occlusion reconstruction techniques was investigated in order to generate different face images, which were combined at the feature extraction level and used as input for a neural classifier. The results demonstrate that the proposed approach is capable of improving the performance of biometric systems based on partially occluded faces