We present a new method to perform reliable matching between different images. This method exploits a projective invariant property between concentric circles and the corresponding projected ellipses to find complete region correspondences centered on interest points. The method matches interest points allowing for a full perspective transformation and exploiting all the available luminance information in the regions. Experiments have been conducted on many different data sets to compare our approach to SIFT local descriptors. The results show the new method offers increased robustness to partial visibility, object rotation in depth, and viewpoint angle change. / Singapore-MIT Alliance (SMA)

No description available.

A textura da íris humana é uma das peculiaridades biométricas mais confiáveis, pois os padrões que compõem sua estrutura são considerados únicos e estáveis por longos anos. No entanto, amostras de íris capturadas em ambiente não cooperativo como reconhecimento de íris a distância, por exemplo, estão sujeitas a conter variações na textura, devido a mudanças comportamentais da membrana da íris. Outro problema é a complexidade do algoritmo, que o torna inviável para aplicações práticas ou em tempo real. O objetivo deste trabalho foi avaliar alguns descritores de textura locais para o reconhecimento biométrico de íris, considerando os efeitos de dilatação e contração da pupila. Para a comprovação da hipótese desta tese de doutoramento, foi utilizada uma base de dados contendo amostras de íris com a pupila contraída e dilatada, simulando assim, a aquisição natural em ambiente não cooperativo. Além disso, foram propostos dois novos descritores, denominados como Median Local Mapped Pattern (Median-LMP) e Modified Median Local Mapped Pattern (MM-LMP), que foram comparados com o método de Daugman, o Local Mapped Pattern (LMP), o Completed Modeling of Local Binary Pattern (CLBP), o Median Binary Pattern (MBP) e o Weber Law Descriptor (WLD). Os resultados da avaliação de desempenho mostraram que o algoritmo de Daugman é o melhor para o reconhecimento de íris quando é realizada a comparação entre amostras de íris com pupilas contraídas. No entanto, se a pupila está dilatada, os descritores propostos apresentaram o melhor desempenho, principalmente se uma amostra de íris com uma pupila contraída é comparada com outra íris com a pupila dilatada. Além disso, os descritores propostos e o LMP obtiveram os menores tempos de processamento, sendo mais adequados do que os demais para aplicações em tempo preditivo com implementação em hardware. / The texture of the human iris is one of the most reliable biometric traits, so the patterns that make up its structure are the only criteria and stable for long time. However, iris samples captured in a noncooperative environment as recognition of nature, for example, subject to contain variations in texture, due to behavioral changes of the iris membrane. Another problem is an algorithm complexity, which makes it impractical for practical or in real-time applications. The objective of this work is to evaluate some local texture descriptors for the biometric iris recognition, considering the effects of dilation and contraction of the pupil. In order to prove the hypothesis of this doctoral question, a database was used containing iris samples with a contracted and dilated pupil, thus simulating a natural acquisition in a noncooperative environment. In addition, two new descriptors, named Median-Local Standard Mapped (Median-LMP) and Modified Modified Local Standard Mapped (MM-LMP) were proposed, which were compared with the Daugman method, the Mapped Local Pattern (LMP), the Complete Local Binary Pattern Modeling (CLBP), the Median Binary Standard (MBP) and Weber Law Descriptor (WLD). The results of the performance evaluation show that the Daugman algorithm is the best for iris recognition when a study of iris samples with the students is performed. However, if a pupil is dilated, the proposed descriptors show the best performance, especially a sample of iris with a contracted pupil is compared to another iris with a dilated pupil. In addition, the proposed descriptors and the LMP obtained the shortest processing times, being more adequate than the others for predictive time applications with hardware implementation.

A textura da íris humana é uma das peculiaridades biométricas mais confiáveis, pois os padrões que compõem sua estrutura são considerados únicos e estáveis por longos anos. No entanto, amostras de íris capturadas em ambiente não cooperativo como reconhecimento de íris a distância, por exemplo, estão sujeitas a conter variações na textura, devido a mudanças comportamentais da membrana da íris. Outro problema é a complexidade do algoritmo, que o torna inviável para aplicações práticas ou em tempo real. O objetivo deste trabalho foi avaliar alguns descritores de textura locais para o reconhecimento biométrico de íris, considerando os efeitos de dilatação e contração da pupila. Para a comprovação da hipótese desta tese de doutoramento, foi utilizada uma base de dados contendo amostras de íris com a pupila contraída e dilatada, simulando assim, a aquisição natural em ambiente não cooperativo. Além disso, foram propostos dois novos descritores, denominados como Median Local Mapped Pattern (Median-LMP) e Modified Median Local Mapped Pattern (MM-LMP), que foram comparados com o método de Daugman, o Local Mapped Pattern (LMP), o Completed Modeling of Local Binary Pattern (CLBP), o Median Binary Pattern (MBP) e o Weber Law Descriptor (WLD). Os resultados da avaliação de desempenho mostraram que o algoritmo de Daugman é o melhor para o reconhecimento de íris quando é realizada a comparação entre amostras de íris com pupilas contraídas. No entanto, se a pupila está dilatada, os descritores propostos apresentaram o melhor desempenho, principalmente se uma amostra de íris com uma pupila contraída é comparada com outra íris com a pupila dilatada. Além disso, os descritores propostos e o LMP obtiveram os menores tempos de processamento, sendo mais adequados do que os demais para aplicações em tempo preditivo com implementação em hardware. / The texture of the human iris is one of the most reliable biometric traits, so the patterns that make up its structure are the only criteria and stable for long time. However, iris samples captured in a noncooperative environment as recognition of nature, for example, subject to contain variations in texture, due to behavioral changes of the iris membrane. Another problem is an algorithm complexity, which makes it impractical for practical or in real-time applications. The objective of this work is to evaluate some local texture descriptors for the biometric iris recognition, considering the effects of dilation and contraction of the pupil. In order to prove the hypothesis of this doctoral question, a database was used containing iris samples with a contracted and dilated pupil, thus simulating a natural acquisition in a noncooperative environment. In addition, two new descriptors, named Median-Local Standard Mapped (Median-LMP) and Modified Modified Local Standard Mapped (MM-LMP) were proposed, which were compared with the Daugman method, the Mapped Local Pattern (LMP), the Complete Local Binary Pattern Modeling (CLBP), the Median Binary Standard (MBP) and Weber Law Descriptor (WLD). The results of the performance evaluation show that the Daugman algorithm is the best for iris recognition when a study of iris samples with the students is performed. However, if a pupil is dilated, the proposed descriptors show the best performance, especially a sample of iris with a contracted pupil is compared to another iris with a dilated pupil. In addition, the proposed descriptors and the LMP obtained the shortest processing times, being more adequate than the others for predictive time applications with hardware implementation.

Descritores de características locais de imagens utilizados na representação de objetos têm se tornado muito populares nos últimos anos. Tais descritores têm a capacidade de caracterizar o conteúdo da imagem em dados compactos e discriminativos. As informações extraídas dos descritores são representadas por meio de vetores de características e são utilizados em várias aplicações, tais como reconhecimento de faces, cenas complexas e texturas. Neste trabalho foi explorada a análise e modelagem de descritores locais para caracterização de imagens invariantes a escala, rotação, iluminação e mudanças de ponto de vista. Esta tese apresenta três novos descritores locais que contribuem com o avanço das pesquisas atuais na área de visão computacional, desenvolvendo novos modelos para a caracterização de imagens e reconhecimento de imagens. A primeira contribuição desta tese é referente ao desenvolvimento de um descritor de imagens baseado no mapeamento das diferenças de nível de cinza, chamado Center-Symmetric Local Mapped Pattern (CS-LMP). O descritor proposto mostrou-se robusto a mudanças de escala, rotação, iluminação e mudanças parciais de ponto de vista, e foi comparado aos descritores Center-Symmetric Local Binary Pattern (CS-LBP) e Scale-Invariant Feature Transform (SIFT). A segunda contribuição é uma modificação do descritor CS-LMP, e foi denominada Modified Center-Symmetric Local Mapped Pattern (MCS-LMP). O descritor inclui o cálculo do pixel central na modelagem matemática, caracterizando melhor o conteúdo da mesma. O descritor proposto apresentou resultados superiores aos descritores CS-LMP, SIFT e LIOP na avaliação de reconhecimento de cenas complexas. A terceira contribuição é o desenvolvimento de um descritor de imagens chamado Mean-Local Mapped Pattern (M-LMP) que captura de modo mais fiel pequenas transições dos pixels na imagem, resultando em um número maior de \"matches\" corretos do que os descritores CS-LBP e SIFT. Além disso, foram realizados experimentos para classificação de objetos usando as base de imagens Caltech e Pascal VOC2006, apresentando melhores resultados comparando aos outros descritores em questão. Tal descritor foi proposto com a observação de que o descritor LBP pode gerar ruídos utilizando apenas a comparação dos vizinhos com o pixel central. O descritor M-LMP insere em sua modelagem matemática o cálculo da média dos pixels da vizinhança, com o objetivo de evitar ruídos e deixar as características mais robustas. Os descritores foram desenvolvidos de tal forma que seja possível uma redução de dimensionalidade de maneira simples e sem a necessidade de aplicação de técnicas como o PCA. Os resultados desse trabalho mostraram que os descritores propostos foram robustos na descrição das imagens, quantificando a similaridade entre as imagens por meio da abordagem Bag-of-Features (BoF), e com isso, apresentando resultados computacionais relevantes para a área de pesquisa. / Local feature descriptors used in objects representation have become very popular in recent years. Such descriptors have the ability to characterize the image content in compact and discriminative data. The information extracted from descriptors is represented by feature vectors and is used in various applications such as face recognition, complex scenes and textures. In this work we explored the analysis and modeling of local descriptors to characterize invariant scale images, rotation, changes in illumination and viewpoint. This thesis presents three new local descriptors that contribute to the current research advancement in computer vision area, developing new models for the characterization of images and image recognition. The first contribution is the development of a descriptor based on the mapping of gray-level-differences, called Center-Symmetric Local Mapped Pattern (CS-LMP). The proposed descriptor showed to be invariant to scale change, rotation, illumination and partial changes of viewpoint and compared to the descriptors Center-Symmetric Local Binary Pattern (CS-LBP) and Scale-Invariant Feature Trans- form (SIFT). The second contribution is a modification of the CS-LMP descriptor, which we call Modified Center-Symmetric Local Mapped Pattern (MCS-LMP). The descriptor includes the central pixel in mathematical modeling to better characterize the image content. The proposed descriptor presented superior results to CS-LMP , SIFT and LIOP descriptors in evaluating recognition of complex scenes. The third proposal includes the development of an image descriptor called Mean-Local Mapped Pattern (M-LMP) capturing more accurately small transitions of pixels in the image, resulting in a greater number of \"matches\" correct than CS-LBP and SIFT descriptors. In addition, experiments for classifying objects have been achieved by using the images based Caltech and Pascal VOC2006, presenting better results compared to other descriptors in question. This descriptor was proposed with the observation that the LBP descriptor can gene- rate noise using only the comparison of the neighbors to the central pixel. The M-LMP descriptor inserts in their mathematical modeling the averaging of the pixels of the neighborhood, in order to avoid noise and leave the more robust features. The results of this thesis showed that the proposed descriptors were robust in the description of the images, quantifying the similarity between images using the Bag-of-Features approach (BoF), and thus, presenting relevant computational results for the research area.

Descritores de características locais de imagens utilizados na representação de objetos têm se tornado muito populares nos últimos anos. Tais descritores têm a capacidade de caracterizar o conteúdo da imagem em dados compactos e discriminativos. As informações extraídas dos descritores são representadas por meio de vetores de características e são utilizados em várias aplicações, tais como reconhecimento de faces, cenas complexas e texturas. Neste trabalho foi explorada a análise e modelagem de descritores locais para caracterização de imagens invariantes a escala, rotação, iluminação e mudanças de ponto de vista. Esta tese apresenta três novos descritores locais que contribuem com o avanço das pesquisas atuais na área de visão computacional, desenvolvendo novos modelos para a caracterização de imagens e reconhecimento de imagens. A primeira contribuição desta tese é referente ao desenvolvimento de um descritor de imagens baseado no mapeamento das diferenças de nível de cinza, chamado Center-Symmetric Local Mapped Pattern (CS-LMP). O descritor proposto mostrou-se robusto a mudanças de escala, rotação, iluminação e mudanças parciais de ponto de vista, e foi comparado aos descritores Center-Symmetric Local Binary Pattern (CS-LBP) e Scale-Invariant Feature Transform (SIFT). A segunda contribuição é uma modificação do descritor CS-LMP, e foi denominada Modified Center-Symmetric Local Mapped Pattern (MCS-LMP). O descritor inclui o cálculo do pixel central na modelagem matemática, caracterizando melhor o conteúdo da mesma. O descritor proposto apresentou resultados superiores aos descritores CS-LMP, SIFT e LIOP na avaliação de reconhecimento de cenas complexas. A terceira contribuição é o desenvolvimento de um descritor de imagens chamado Mean-Local Mapped Pattern (M-LMP) que captura de modo mais fiel pequenas transições dos pixels na imagem, resultando em um número maior de \"matches\" corretos do que os descritores CS-LBP e SIFT. Além disso, foram realizados experimentos para classificação de objetos usando as base de imagens Caltech e Pascal VOC2006, apresentando melhores resultados comparando aos outros descritores em questão. Tal descritor foi proposto com a observação de que o descritor LBP pode gerar ruídos utilizando apenas a comparação dos vizinhos com o pixel central. O descritor M-LMP insere em sua modelagem matemática o cálculo da média dos pixels da vizinhança, com o objetivo de evitar ruídos e deixar as características mais robustas. Os descritores foram desenvolvidos de tal forma que seja possível uma redução de dimensionalidade de maneira simples e sem a necessidade de aplicação de técnicas como o PCA. Os resultados desse trabalho mostraram que os descritores propostos foram robustos na descrição das imagens, quantificando a similaridade entre as imagens por meio da abordagem Bag-of-Features (BoF), e com isso, apresentando resultados computacionais relevantes para a área de pesquisa. / Local feature descriptors used in objects representation have become very popular in recent years. Such descriptors have the ability to characterize the image content in compact and discriminative data. The information extracted from descriptors is represented by feature vectors and is used in various applications such as face recognition, complex scenes and textures. In this work we explored the analysis and modeling of local descriptors to characterize invariant scale images, rotation, changes in illumination and viewpoint. This thesis presents three new local descriptors that contribute to the current research advancement in computer vision area, developing new models for the characterization of images and image recognition. The first contribution is the development of a descriptor based on the mapping of gray-level-differences, called Center-Symmetric Local Mapped Pattern (CS-LMP). The proposed descriptor showed to be invariant to scale change, rotation, illumination and partial changes of viewpoint and compared to the descriptors Center-Symmetric Local Binary Pattern (CS-LBP) and Scale-Invariant Feature Trans- form (SIFT). The second contribution is a modification of the CS-LMP descriptor, which we call Modified Center-Symmetric Local Mapped Pattern (MCS-LMP). The descriptor includes the central pixel in mathematical modeling to better characterize the image content. The proposed descriptor presented superior results to CS-LMP , SIFT and LIOP descriptors in evaluating recognition of complex scenes. The third proposal includes the development of an image descriptor called Mean-Local Mapped Pattern (M-LMP) capturing more accurately small transitions of pixels in the image, resulting in a greater number of \"matches\" correct than CS-LBP and SIFT descriptors. In addition, experiments for classifying objects have been achieved by using the images based Caltech and Pascal VOC2006, presenting better results compared to other descriptors in question. This descriptor was proposed with the observation that the LBP descriptor can gene- rate noise using only the comparison of the neighbors to the central pixel. The M-LMP descriptor inserts in their mathematical modeling the averaging of the pixels of the neighborhood, in order to avoid noise and leave the more robust features. The results of this thesis showed that the proposed descriptors were robust in the description of the images, quantifying the similarity between images using the Bag-of-Features approach (BoF), and thus, presenting relevant computational results for the research area.

In this thesis, the performance of four state-of-the-art feature detectors along with SIFT and SURF descriptors in matching object features of mid-wave infrared, long-wave infrared and visual-band images is evaluated across viewpoints and changing distance conditions. The utilized feature detectors are Scale Invariant Feature Transform (SIFT), multiscale Harris-Laplace, multiscale Hessian-Laplace and Speeded Up Robust Features (SURF) detectors, all of which are invariant to image scale and rotation. Features on different blackbodies, human face and vehicle images are extracted and performance of reliable matching is explored between different views of these objects each in their own category. All of these feature detectors provide good matching performance results in infrared-band images compared with visual-band images. The comparison of matching performance for mid-wave and long-wave infrared images is also explored in this study and it is observed that long-wave infrared images provide good matching performance for objects at lower temperatures, whereas mid-wave infrared-band images provide good matching performance for objects at higher temperatures. The matching performance of SURF detector and descriptor for human face images in long-wave infrared-band is found to be outperforming than other detectors and descriptors.

Cette thèse traite de l’utilisation de la couleur en vision par ordinateur. Deux problèmes sont étudiés : - l’estimation d’illuminants, - la mise en correspondance de descripteurs locaux pour la comparaison d’images couleur. Les surfaces achromatiques renvoient un spectre lumineux ayant la même distribution fréquentielle que le spectre de l’illuminant. Les détecter permet donc de recouvrer l'illuminant. En supposant que l’ensemble des couleurs que peut prendre un illuminant est limité (équation de Planck), il est possible de sélectionner les pixels appartenant à une surface potentiellement grise. Une méthode de vote est alors appliquée, permettant de sélectionner un ou plusieurs illuminants. L’algorithme final possède de nombreux avantages : il est efficace, intuitif, ne nécessite pas de phase d’apprentissage et requiert peu de paramètres, qui s’avèrent stables. De plus, la méthode de vote permet de s’adapter aux cas où plusieurs sources lumineuses éclairent la scène photographiée. Les descripteurs locaux sont des outils puissants pour comparer les images. Cependant, le rôle de la couleur dans l’étape d’appariement a fait l’objet de peu d’études. Le problème principal que nous considérons ici est celui de l’apport de la couleur pour l’appariement de descripteurs locaux. Un usage local de la couleur permet-il de désambiguïser les situations où la luminance seule est insuffisante ? Et si oui, dans quelles proportions ? Nous proposons quatre descripteurs permettant de décrire de manière détaillée le contexte local de points clés dans l’optique de les apparier. Les expériences proposées montrent clairement l’apport de la couleur pour la mise en correspondance locale. / This thesis addresses the use of color in image processing and computer vision. Two problems are studied: - illuminant estimation, - local descriptors matching for color images comparison. Achromatic surfaces are defined as surfaces reflecting a spectrum with the same frequency dsitribution than the illuminant. Consequently, revovering these surfaces allows to estimate the illuminant. Assuming that the range of colors taken by an illuminant is limited (Planck equation), it is possible to select the pixels belonging to a potentially gray surface. A voting procedure is then applied to select one or more illuminants. The proposed algorithm has many advantages: it is effective, intuitive, does not rely on a learning phase and requires only few parameters. In addition, the voting procedure can be adapted to handle cases where multiple light sources of different colors illuminate the scene. Local descriptors are powerful tools to compare images. However, few studies concern the influence of color in the matching step. The main problem that we consider here is the contribution of the color matching of local descriptors. Does the local use of color allow to disambiguate situations where the luminance alone is insufficient ? And if so, how much? We propose four descriptors to precisely describe the local context of key points in the matching step. The main idea developed here is that accurate information can only be obtained by describing both the color distributions and transitions between colors. The many experiences presented clearly show the positive contribution of color to the reliability of the local matching.

Pairwise alignment between point clouds is an important task in building 3D maps of indoor environments with partial information. The combination of 2D local features with depth information provided by RGB-D cameras are often used to improve such alignment. However, under varying lighting or low visual texture, indoor pairwise frame registration with sparse 2D local features is not a particularly robust method. In these conditions, features are hard to detect, thus leading to misalignment between consecutive pairs of frames. The use of 3D local features can be a solution as such features come from the 3D points themselves and are resistant to variations in visual texture and illumination. Because varying conditions in real indoor scenes are unavoidable, we propose a new framework to improve the pairwise frame alignment using an adaptive combination of sparse 2D and 3D features based on both the levels of geometric structure and visual texture contained in each scene. Experiments with datasets including unrestricted RGB-D camera motion and natural changes in illumination show that the proposed framework convincingly outperforms methods using 2D or 3D features separately, as reflected in better level of alignment accuracy. / O alinhamento entre pares de nuvens de pontos é uma tarefa importante na construção de mapas de ambientes em 3D. A combinação de características locais 2D com informação de profundidade fornecida por câmeras RGB-D são frequentemente utilizadas para melhorar tais alinhamentos. No entanto, em ambientes internos com baixa iluminação ou pouca textura visual o método usando somente características locais 2D não é particularmente robusto. Nessas condições, as características 2D são difíceis de serem detectadas, conduzindo a um desalinhamento entre pares de quadros consecutivos. A utilização de características 3D locais pode ser uma solução uma vez que tais características são extraídas diretamente de pontos 3D e são resistentes a variações na textura visual e na iluminação. Como situações de variações em cenas reais em ambientes internos são inevitáveis, essa tese apresenta um novo sistema desenvolvido com o objetivo de melhorar o alinhamento entre pares de quadros usando uma combinação adaptativa de características esparsas 2D e 3D. Tal combinação está baseada nos níveis de estrutura geométrica e de textura visual contidos em cada cena. Esse sistema foi testado com conjuntos de dados RGB-D, incluindo vídeos com movimentos irrestritos da câmera e mudanças naturais na iluminação. Os resultados experimentais mostram que a nossa proposta supera aqueles métodos que usam características 2D ou 3D separadamente, obtendo uma melhora da precisão no alinhamento de cenas em ambientes internos reais.

Pairwise alignment between point clouds is an important task in building 3D maps of indoor environments with partial information. The combination of 2D local features with depth information provided by RGB-D cameras are often used to improve such alignment. However, under varying lighting or low visual texture, indoor pairwise frame registration with sparse 2D local features is not a particularly robust method. In these conditions, features are hard to detect, thus leading to misalignment between consecutive pairs of frames. The use of 3D local features can be a solution as such features come from the 3D points themselves and are resistant to variations in visual texture and illumination. Because varying conditions in real indoor scenes are unavoidable, we propose a new framework to improve the pairwise frame alignment using an adaptive combination of sparse 2D and 3D features based on both the levels of geometric structure and visual texture contained in each scene. Experiments with datasets including unrestricted RGB-D camera motion and natural changes in illumination show that the proposed framework convincingly outperforms methods using 2D or 3D features separately, as reflected in better level of alignment accuracy. / O alinhamento entre pares de nuvens de pontos é uma tarefa importante na construção de mapas de ambientes em 3D. A combinação de características locais 2D com informação de profundidade fornecida por câmeras RGB-D são frequentemente utilizadas para melhorar tais alinhamentos. No entanto, em ambientes internos com baixa iluminação ou pouca textura visual o método usando somente características locais 2D não é particularmente robusto. Nessas condições, as características 2D são difíceis de serem detectadas, conduzindo a um desalinhamento entre pares de quadros consecutivos. A utilização de características 3D locais pode ser uma solução uma vez que tais características são extraídas diretamente de pontos 3D e são resistentes a variações na textura visual e na iluminação. Como situações de variações em cenas reais em ambientes internos são inevitáveis, essa tese apresenta um novo sistema desenvolvido com o objetivo de melhorar o alinhamento entre pares de quadros usando uma combinação adaptativa de características esparsas 2D e 3D. Tal combinação está baseada nos níveis de estrutura geométrica e de textura visual contidos em cada cena. Esse sistema foi testado com conjuntos de dados RGB-D, incluindo vídeos com movimentos irrestritos da câmera e mudanças naturais na iluminação. Os resultados experimentais mostram que a nossa proposta supera aqueles métodos que usam características 2D ou 3D separadamente, obtendo uma melhora da precisão no alinhamento de cenas em ambientes internos reais.