No description available.

Submitted by HENRIQUE CANDIDO DE OLIVEIRA null (henrique.cartografia@gmail.com) on 2016-06-20T14:13:55Z No. of bitstreams: 1 [2016]OLIVEIRA_HC_tese.pdf: 4404064 bytes, checksum: 0993dde10f9daa72330a53e2281c1c45 (MD5) / Approved for entry into archive by Ana Paula Grisoto (grisotoana@reitoria.unesp.br) on 2016-06-22T16:34:05Z (GMT) No. of bitstreams: 1 oliveria_hc_dr_prud.pdf: 4404064 bytes, checksum: 0993dde10f9daa72330a53e2281c1c45 (MD5) / Made available in DSpace on 2016-06-22T16:34:05Z (GMT). No. of bitstreams: 1 oliveria_hc_dr_prud.pdf: 4404064 bytes, checksum: 0993dde10f9daa72330a53e2281c1c45 (MD5) Previous issue date: 2016-04-29 / Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) / A utilização de ortoimagem verdadeira, em projetos executados em áreas urbanas, é essencial para certas aplicações. Para a geração de tal produto é necessária a detecção de áreas de oclusão, assim como a compensação destas áreas, usando-se imagens adjacentes. Este trabalho apresenta um novo método de detecção de oclusão denominado SGBM (Surface- Gradient-Based Method), por meio da identificação de gradientes de superfície sobre representação poliédrica. A diferença desse método para os demais encontrados na literatura, como estado da arte, é a utilização de um conjunto de pontos, organizados de acordo com a estrutura de dados TIN (Triangulated Irregular Network). Essa representação, por ser formada por pontos tridimensionais irregularmente espaçados, permite o uso de uma nuvem de pontos com diferentes densidades e, em determinadas situações, a obtenção de bons resultados por meio do uso de um modelo digital de superfície composto por uma quantidade menor de pontos, o que implica menor tempo de processamento. Nesta tese, apresentam-se diferentes experimentos para validar a metodologia proposta, por meio de análise quantitativa (índice de completude, alinhamento de feições lineares e tempo de processamento) e qualitativa (coerência visual dos resultados obtidos). Foram utilizados três conjuntos de dados aéreos obtidos por plataformas à baixa altura de voo. Esses dados são oriundos de sistemas acoplados a veículos aéreos não tripulados e helicóptero. Os conjuntos de pontos tridimensionais foram obtidos por sistemas de varredura a LASER (Light Amplification by Stimulated Emission of Radiation) aerotransportado e por técnicas fotogramétricas. Selecionou-se esse conjunto de dados, devido à grande presença de áreas de oclusão, ao aumento da utilização destas plataformas em levantamentos fotogramétricos e à atual qualidade da extração de nuvem de pontos via correspondência densa de imagens. Os resultados, assim como comparações com métodos existentes, indicam que o método proposto apresenta contribuição ao estado da arte na detecção de oclusão visando à geração de ortoimagem verdadeira, visto que a utilização de uma malha triangular, para análise da superfície, evita certas limitações encontradas nos métodos atuais, assim como, permite uma representação mais eficiente dos elementos presentes na área de interesse. / The usage of true-orthophoto in projects performed over urban areas is essential for certain applications. To generate this type of product it is necessary a procedure for occlusion detection, as well as, a proper radiometric compensation for the occluded areas, using adjacent images from the aerial image block. The main objective of this thesis is to present a new method for occlusion detection named SGBM (Surface-Gradient-Based Method), using a surface gradient identification over a polyhedral surface. The main difference among this method and the others, presented as state of the art, is the usage of a point cloud arranged as a triangular data structure (TIN: Triangulated Irregular Network). This surface representation is formed by an irregularly-spaced 3D point cloud, which allows the use of different point density along the surface. This characteristic supports obtaining good results by using a less dense point cloud - situation that requires a reduced computational effort. Several experiments were carried out, seeking for the validation of the proposed method, by using quantitative analyzes (completeness index, mosaic alignment and time of processing) and qualitative analyzes (visual coherence of the obtained results). Three datasets were used, being all acquired by a low-altitude flight configuration (helicopter and unmanned aerial vehicles), which make possible the identification of large occlusion areas. The point cloud was obtained by airborne LASER (Light Amplification by Stimulated Emission of Radiation) scanning system and by dense image matching. These dataset were used due to the incidence of occlusions and the growth of unmanned platform usage. The results indicate that the proposed method has some contribution to the state of the art in occlusion detection, aiming the generation of true-orthophoto. The use of an irregularly-spaced point cloud avoids some limitations found on the other methodologies, along with, a better representation of objects in the surface of interest. / FAPESP: 2013/21647-2

Há um crescente incentivo ao uso da tecnologia biométrica para melhorar, e até mesmo substituir os métodos tradicionais de segurança. O campo da Biometria refere-se a uma grande variedade de tecnologias usadas para identicar ou vericar a identidade de uma pessoa por meio da mensuração e análise de vários aspectos físicos e comportamentais do ser humano. Modalidades biométricas são características extraídas do corpo humano, que são únicas para cada indivíduo e que podem ser usadas para estabelecer sua identidade numa população. As principais modalidades biométricas empregadas na literatura são: impressão digital, face, voz, palma da mão e íris. Dentre as modalidades biométricas, a face é a mais comumente vista e usada em nossa vida diária. Em aplicações de mundo real, sistemas de reconhecimento facial, frequentemente, têm que lidar com condições não controladas e não previsíveis, tais como mudança na iluminação, pose, expressão e oclusão, as quais introduzem variações intraclasse e degradam a performance do reconhecimento. Comparada com problemas de pose, iluminação e expressão, o problema relacionado à oclusão é relativamente pouco estudado na área. As abordagens empregadas para atacar o problema de reconhecimento facial na presença de oclusões parciais podem ser categorizadas em: i) abordagens baseadas em reconstrução, que formulam o reconhecimento biométrico baseado em imagens de face parcialmente ocluídas como um problema de reconstrução; ii) abordagens baseadas em correspondência local, que extraem características locais da face; iii) abordagens baseadas em características insensíveis, que extraem características da face que são robustas à oclusão. O objetivo desta dissertação é realizar um estudo comparativo detalhado das abordagens baseadas em reconstrução visando reconhecimento biométrico facial na presença de oclusão. As abordagens baseadas em reconstrução foram aplicadas a duas bases de dados (AR e Yale) contendo quatro tipos diferentes de oclusões e avaliadas usando a performance obtida no reconhecimento biométrico. Com base no estudo comparativo realizado, foram propostas três técnicas baseadas em reconstrução, que correspondem a uma modicação e/ou combinação de técnicas já conhecidas na literatura. Os resultados experimentais mostraram que as técnicas propostas alcançaram desempenhos melhores ou similares as técnicas descritas na literatura / There is a growing incentive to use biometric technology to improve, even replace, traditional security methods. The eld of Biometrics refers to a wide variety of technologies used to identify or verify a persons identity by measuring and analyzing various physical and behavioral aspects of the human being. Biometric modalities are characteristics drawn from the human body, which are unique to each individual and can be used to establish their identity in a population. The main biometric modalities used in the literature are: fingerprint, face, voice, palm, and iris. The main biometric modalities used in the literature are: fingerprint, face, voice, palm and iris. Among the biometric modalities, the face is the most commonly seen and used in our daily life. In real-world applications, facial recognition systems often have to deal with uncontrolled and unpredictable conditions such as change in illumination, pose, expression, and occlusion, which introduce intraclass variations and degrade recognition performance. Compared with problems of pose, illumination and expression, the problem related to occlusion is relatively little studied in the area. The approaches used to tackle facial recognition in the presence of partial occlusions can be categorized into: (i) reconstruction-based approaches that formulate recognition of occluded faces as a reconstruction problem; ii) approaches based on local correspondence, which extract local face characteristics; iii) approaches based on insensitive characteristics, which extract features of the face that are robust to occlusion. The objective of this dissertation is to perform a detailed comparative study of reconstruction-based approaches aiming at facial recognition in the presence of occlusion. Reconstruction-based approaches were applied to two databases (AR and Yale) containing four dierent types of occlusions and evaluated using the performance obtained in the biometric recognition. Based on the comparative study, three reconstruction-based techniques were proposed, which correspond to a change in the formulation and/or combination of techniques already known in the literature. The experimental results showed that the proposed techniques achieved better or similar performances than the techniques described in the literature

The move from Standard Definition (SD) to High Definition (HD) represents a six times increases in data, which needs to be processed. With expanding resolutions and evolving compression, there is a need for high performance with flexible architectures to allow for quick upgrade ability. The technology advances in image display resolutions, advanced compression techniques, and video intelligence. Software implementation of these systems can attain accuracy with tradeoffs among processing performance (to achieve specified frame rates, working on large image data sets), power and cost constraints. There is a need for new architectures to be in pace with the fast innovations in video and imaging. It contains dedicated hardware implementation of the pixel and frame rate processes on Field Programmable Gate Array (FPGA) to achieve the real-time performance. The following outlines the contributions of the dissertation. (1) We develop a target detection system by applying a novel running average mean threshold (RAMT) approach to globalize the threshold required for background subtraction. This approach adapts the threshold automatically to different environments (indoor and outdoor) and different targets (humans and vehicles). For low power consumption and better performance, we design the complete system on FPGA. (2) We introduce a safe distance factor and develop an algorithm for occlusion occurrence detection during target tracking. A novel mean-threshold is calculated by motion-position analysis. (3) A new strategy for gesture recognition is developed using Combinational Neural Networks (CNN) based on a tree structure. Analysis of the method is done on American Sign Language (ASL) gestures. We introduce novel point of interests approach to reduce the feature vector size and gradient threshold approach for accurate classification. (4) We design a gesture recognition system using a hardware/ software co-simulation neural network for high speed and low memory storage requirements provided by the FPGA. We develop an innovative maximum distant algorithm which uses only 0.39% of the image as the feature vector to train and test the system design. Database set gestures involved in different applications may vary. Therefore, it is highly essential to keep the feature vector as low as possible while maintaining the same accuracy and performance

Le dévracage robotisé est une tâche industrielle en forte croissance visant à automatiser le déchargement par unité d’une pile d’instances d'objet en vrac pour faciliter des traitements ultérieurs tels que la formation de kits ou l’assemblage de composants. Cependant, le modèle explicite des objets est souvent indisponible dans de nombreux secteurs industriels, notamment alimentaire et automobile, et les instances d'objet peuvent présenter des variations intra-classe, par exemple en raison de déformations élastiques.Les techniques d’estimation de pose, qui nécessitent un modèle explicite et supposent des transformations rigides, ne sont donc pas applicables dans de tels contextes. L'approche alternative consiste à détecter des prises sans notion explicite d’objet, ce qui pénalise fortement le dévracage lorsque l’enchevêtrement des instances est important. Ces approches s’appuient aussi sur une reconstruction multi-vues de la scène, difficile par exemple avec des emballages alimentaires brillants ou transparents, ou réduisant de manière critique le temps de cycle restant dans le cadre d’applications à haute cadence.En collaboration avec Siléane, une entreprise française de robotique industrielle, l’objectif de ce travail est donc de développer une solution par apprentissage pour la localisation des instances les plus prenables d’un vrac à partir d’une seule image, en boucle ouverte, sans modèles d'objet explicites. Dans le contexte du dévracage industriel, notre contribution est double.Premièrement, nous proposons un nouveau réseau pleinement convolutionnel (FCN) pour délinéer les instances et inférer un ordre spatial à leurs frontières. En effet, les méthodes état de l'art pour cette tâche reposent sur deux flux indépendants, respectivement pour les frontières et les occultations, alors que les occultations sont souvent sources de frontières. Plus précisément, l'approche courante, qui consiste à isoler les instances dans des boîtes avant de détecter les frontières et les occultations, se montre inadaptée aux scénarios de dévracage dans la mesure où une région rectangulaire inclut souvent plusieurs instances. A contrario, notre architecture sans détection préalable de régions détecte finement les frontières entre instances, ainsi que le bord occultant correspondant, à partir d'une représentation unifiée de la scène.Deuxièmement, comme les FCNs nécessitent de grands ensembles d'apprentissage qui ne sont pas disponibles dans les applications de dévracage, nous proposons une procédure par simulation pour générer des images d'apprentissage à partir de moteurs physique et de rendu. Plus précisément, des vracs d'instances sont simulés et rendus avec les annotations correspondantes à partir d'ensembles d'images de texture et de maillages auxquels sont appliquées de multiples déformations aléatoires. Nous montrons que les données synthétiques proposées sont vraisemblables pour des applications réelles au sens où elles permettent l'apprentissage de représentations profondes transférables à des données réelles. A travers de nombreuses expériences sur une maquette réelle avec robot, notre réseau entraîné sur données synthétiques surpasse la méthode industrielle de référence, tout en obtenant des performances temps réel. L'approche proposée établit ainsi une nouvelle référence pour le dévracage orienté-objet sans modèle d'objet explicite. / Referred to as robotic random bin-picking, a fast-expanding industrial task consists in robotizing the unloading of many object instances piled up in bulk, one at a time, for further processing such as kitting or part assembling. However, explicit object models are not always available in many bin-picking applications, especially in the food and automotive industries. Furthermore, object instances are often subject to intra-class variations, for example due to elastic deformations.Object pose estimation techniques, which require an explicit model and assume rigid transformations, are therefore not suitable in such contexts. The alternative approach, which consists in detecting grasps without an explicit notion of object, proves hardly efficient when the object geometry makes bulk instances prone to occlusion and entanglement. These approaches also typically rely on a multi-view scene reconstruction that may be unfeasible due to transparent and shiny textures, or that reduces critically the time frame for image processing in high-throughput robotic applications.In collaboration with Siléane, a French company in industrial robotics, we thus aim at developing a learning-based solution for localizing the most affordable instance of a pile from a single image, in open loop, without explicit object models. In the context of industrial bin-picking, our contribution is two-fold.First, we propose a novel fully convolutional network (FCN) for jointly delineating instances and inferring the spatial layout at their boundaries. Indeed, the state-of-the-art methods for such a task rely on two independent streams for boundaries and occlusions respectively, whereas occlusions often cause boundaries. Specifically, the mainstream approach, which consists in isolating instances in boxes before detecting boundaries and occlusions, fails in bin-picking scenarios as a rectangle region often includes several instances. By contrast, our box proposal-free architecture recovers fine instance boundaries, augmented with their occluding side, from a unified scene representation. As a result, the proposed network outperforms the two-stream baselines on synthetic data and public real-world datasets.Second, as FCNs require large training datasets that are not available in bin-picking applications, we propose a simulation-based pipeline for generating training images using physics and rendering engines. Specifically, piles of instances are simulated and rendered with their ground-truth annotations from sets of texture images and meshes to which multiple random deformations are applied. We show that the proposed synthetic data is plausible for real-world applications in the sense that it enables the learning of deep representations transferable to real data. Through extensive experiments on a real-world robotic setup, our synthetically trained network outperforms the industrial baseline while achieving real-time performances. The proposed approach thus establishes a new baseline for model-free object-oriented bin-picking.

Com o avanço da tecnologia, as estratégias tradicionais para identificação de pessoas se tornaram mais suscetíveis a falhas. De forma a superar essas dificuldades algumas abordagens vêm sendo propostas na literatura. Dentre estas abordagens destaca-se a Biometria. O campo da Biometria abarca uma grande variedade de tecnologias usadas para identificar ou verificar a identidade de uma pessoa por meio da mensuração e análise de aspectos físicos e/ou comportamentais do ser humano. Em função disso, a biometria tem um amplo campo de aplicações em sistemas que exigem uma identificação segura de seus usuários. Os sistemas biométricos mais populares são baseados em reconhecimento facial ou em impressões digitais. Entretanto, existem sistemas biométricos que utilizam a íris, varredura de retina, voz, geometria da mão e termogramas faciais. Atualmente, tem havido progresso significativo em reconhecimento automático de face em condições controladas. Em aplicações do mundo real, o reconhecimento facial sofre de uma série de problemas nos cenários não controlados. Esses problemas são devidos, principalmente, a diferentes variações faciais que podem mudar muito a aparência da face, incluindo variações de expressão, de iluminação, alterações da pose, assim como oclusões parciais. Em comparação com o grande número de trabalhos na literatura em relação aos problemas de variação de expressão/iluminação/pose, o problema de oclusão é relativamente negligenciado pela comunidade científica. Embora tenha sido dada pouca atenção ao problema de oclusão na literatura de reconhecimento facial, a importância deste problema deve ser enfatizada, pois a presença de oclusão é muito comum em cenários não controlados e pode estar associada a várias questões de segurança. Por outro lado, a Multibiométria é uma abordagem relativamente nova para representação de conhecimento biométrico que visa consolida múltiplas fontes de informação visando melhorar a performance do sistema biométrico. Multibiométria é baseada no conceito de que informações obtidas a partir de diferentes modalidades ou da mesma modalidade capturada de diversas formas se complementam. Consequentemente, uma combinação adequada dessas informações pode ser mais útil que o uso de informações obtidas a partir de qualquer uma das modalidades individualmente. A fim de melhorar a performance dos sistemas biométricos faciais na presença de oclusão parciais será investigado o emprego de diferentes técnicas de reconstrução de oclusões parciais de forma a gerar diferentes imagens de face, as quais serão combinadas no nível de extração de característica e utilizadas como entrada para um classificador neural. Os resultados demonstram que a abordagem proposta é capaz de melhorar a performance dos sistemas biométricos baseados em face parcialmente ocluídas / With the advancement of technology, traditional strategies for identifying people have become more susceptible to failures. In order to overcome these difficulties, some approaches have been proposed in the literature. Among these approaches, Biometrics stands out. The field of biometrics covers a wide range of technologies used to identify or verify a person\'s identity by measuring and analyzing physical and / or behavioral aspects of the human being. As a result, a biometry has a wide field of applications in systems that require a secure identification of its users. The most popular biometric systems are based on facial recognition or fingerprints. However, there are biometric systems that use the iris, retinal scan, voice, hand geometry, and facial thermograms. Currently, there has been significant progress in automatic face recognition under controlled conditions. In real world applications, facial recognition suffers from a number of problems in uncontrolled scenarios. These problems are mainly due to different facial variations that can greatly change the appearance of the face, including variations in expression, illumination, posture, as well as partial occlusions. Compared with the large number of papers in the literature regarding problems of expression / illumination / pose variation, the occlusion problem is relatively neglected by the research community. Although attention has been paid to the occlusion problem in the facial recognition literature, the importance of this problem should be emphasized, since the presence of occlusion is very common in uncontrolled scenarios and may be associated with several safety issues. On the other hand, multibiometry is a relatively new approach to biometric knowledge representation that aims to consolidate multiple sources of information to improve the performance of the biometric system. Multibiometry is based on the concept that information obtained from different modalities or from the same modalities captured in different ways complement each other. Accordingly, a suitable combination of such information may be more useful than the use of information obtained from any of the individuals modalities. In order to improve the performance of facial biometric systems in the presence of partial occlusion, the use of different partial occlusion reconstruction techniques was investigated in order to generate different face images, which were combined at the feature extraction level and used as input for a neural classifier. The results demonstrate that the proposed approach is capable of improving the performance of biometric systems based on partially occluded faces

Com o avanço da tecnologia, as estratégias tradicionais para identificação de pessoas se tornaram mais suscetíveis a falhas. De forma a superar essas dificuldades algumas abordagens vêm sendo propostas na literatura. Dentre estas abordagens destaca-se a Biometria. O campo da Biometria abarca uma grande variedade de tecnologias usadas para identificar ou verificar a identidade de uma pessoa por meio da mensuração e análise de aspectos físicos e/ou comportamentais do ser humano. Em função disso, a biometria tem um amplo campo de aplicações em sistemas que exigem uma identificação segura de seus usuários. Os sistemas biométricos mais populares são baseados em reconhecimento facial ou em impressões digitais. Entretanto, existem sistemas biométricos que utilizam a íris, varredura de retina, voz, geometria da mão e termogramas faciais. Atualmente, tem havido progresso significativo em reconhecimento automático de face em condições controladas. Em aplicações do mundo real, o reconhecimento facial sofre de uma série de problemas nos cenários não controlados. Esses problemas são devidos, principalmente, a diferentes variações faciais que podem mudar muito a aparência da face, incluindo variações de expressão, de iluminação, alterações da pose, assim como oclusões parciais. Em comparação com o grande número de trabalhos na literatura em relação aos problemas de variação de expressão/iluminação/pose, o problema de oclusão é relativamente negligenciado pela comunidade científica. Embora tenha sido dada pouca atenção ao problema de oclusão na literatura de reconhecimento facial, a importância deste problema deve ser enfatizada, pois a presença de oclusão é muito comum em cenários não controlados e pode estar associada a várias questões de segurança. Por outro lado, a Multibiométria é uma abordagem relativamente nova para representação de conhecimento biométrico que visa consolida múltiplas fontes de informação visando melhorar a performance do sistema biométrico. Multibiométria é baseada no conceito de que informações obtidas a partir de diferentes modalidades ou da mesma modalidade capturada de diversas formas se complementam. Consequentemente, uma combinação adequada dessas informações pode ser mais útil que o uso de informações obtidas a partir de qualquer uma das modalidades individualmente. A fim de melhorar a performance dos sistemas biométricos faciais na presença de oclusão parciais será investigado o emprego de diferentes técnicas de reconstrução de oclusões parciais de forma a gerar diferentes imagens de face, as quais serão combinadas no nível de extração de característica e utilizadas como entrada para um classificador neural. Os resultados demonstram que a abordagem proposta é capaz de melhorar a performance dos sistemas biométricos baseados em face parcialmente ocluídas / With the advancement of technology, traditional strategies for identifying people have become more susceptible to failures. In order to overcome these difficulties, some approaches have been proposed in the literature. Among these approaches, Biometrics stands out. The field of biometrics covers a wide range of technologies used to identify or verify a person\'s identity by measuring and analyzing physical and / or behavioral aspects of the human being. As a result, a biometry has a wide field of applications in systems that require a secure identification of its users. The most popular biometric systems are based on facial recognition or fingerprints. However, there are biometric systems that use the iris, retinal scan, voice, hand geometry, and facial thermograms. Currently, there has been significant progress in automatic face recognition under controlled conditions. In real world applications, facial recognition suffers from a number of problems in uncontrolled scenarios. These problems are mainly due to different facial variations that can greatly change the appearance of the face, including variations in expression, illumination, posture, as well as partial occlusions. Compared with the large number of papers in the literature regarding problems of expression / illumination / pose variation, the occlusion problem is relatively neglected by the research community. Although attention has been paid to the occlusion problem in the facial recognition literature, the importance of this problem should be emphasized, since the presence of occlusion is very common in uncontrolled scenarios and may be associated with several safety issues. On the other hand, multibiometry is a relatively new approach to biometric knowledge representation that aims to consolidate multiple sources of information to improve the performance of the biometric system. Multibiometry is based on the concept that information obtained from different modalities or from the same modalities captured in different ways complement each other. Accordingly, a suitable combination of such information may be more useful than the use of information obtained from any of the individuals modalities. In order to improve the performance of facial biometric systems in the presence of partial occlusion, the use of different partial occlusion reconstruction techniques was investigated in order to generate different face images, which were combined at the feature extraction level and used as input for a neural classifier. The results demonstrate that the proposed approach is capable of improving the performance of biometric systems based on partially occluded faces