This thesis proposes a novel chroma keying method based on stereo images, which can be applied to post-process the alpha matte generated by any existing matting approach. Given a pair of stereo images, a new matting Laplacian matrix is constructed based on the affinities between matching pixels and their neighbors from two frames. Based on the new matting Laplacian matrix, a new cost function is also formulated to estimate alpha values of the reference image through the propagation between stereo images.

L'objectif de cette thèse est de proposer une solution au problème de la constance des couleurs entre les images d'une même scène acquises selon un même point de vue ou selon différents points de vue. Ce problème constitue un défi majeur en vision par ordinateur car d'un point de vue à l'autre, on peut être confronté à des variations des conditions d'éclairage (spectre de l'éclairage, intensité de l'éclairage) et des conditions de prise de vue (point de vue, type de caméra, paramètres d'acquisition tels que focus, exposition, balance des blancs, etc.). Ces variations induisent alors des différences d'apparence couleur entre les images acquises qui touchent soit sur l'ensemble de la scène observée soit sur une partie de celle-ci. Dans cette thèse, nous proposons une solution à ce problème qui permet de modéliser puis de compenser, de corriger, ces variations de couleur à partir d'une méthode basée sur quatre étapes : (1) calcul des correspondances géométriques à partir de points d'intérêt (SIFT et MESR) ; (2) calculs des correspondances couleurs à partir d'une approche locale; (3) modélisation de ces correspondances par une méthode de type RANSAC; (4) compensation des différences de couleur par une méthode polynomiale à partir de chacun des canaux couleur, puis par une méthode d'approximation linéaire conjuguée à une méthode d'estimation de l'illuminant de type CAT afin de tenir compte des intercorrélations entre canaux couleur et des changements couleur dus à l'illuminant. Cette solution est comparée aux autres approches de l'état de l'art. Afin d'évaluer quantitativement et qualitativement la pertinence, la performance et la robustesse de cette solution, nous proposons deux jeux d'images spécialement conçus à cet effet. Les résultats de différentes expérimentations que nous avons menées prouvent que la solution que nous proposons est plus performante que toutes les autres solutions proposées jusqu'alors / The objective of this thesis is to propose a solution to the problem of color consistency between images originate from the same scene irrespective of acquisition conditions. Therefore, we present a new color mapping framework that is able to compensate color differences and achieve color consistency between views of the same scene. Our proposed, new framework works in two phases. In the first phase, we propose a new method that can robustly collect color correspondences from the neighborhood of sparse feature correspondences, despite the low accuracy of feature correspondences. In the second phase, from these color correspondences, we introduce a new, two-step, robust estimation of the color mapping model: first, nonlinear channel-wise estimation; second, linear cross-channel estimation. For experimental assessment, we propose two new image datasets: one with ground truth for quantitative assessment; another, without the ground truth for qualitative assessment. We have demonstrated a series of experiments in order to investigate the robustness of our proposed framework as well as its comparison with the state of the art. We have also provided brief overview, sample results, and future perspectives of various applications of color mapping. In experimental results, we have demonstrated that, unlike many methods of the state of the art, our proposed color mapping is robust to changes of: illumination spectrum, illumination intensity, imaging devices (sensor, optic), imaging device settings (exposure, white balance), viewing conditions (viewing angle, viewing distance)

Este trabalho aborda a utilização de tecnologias para a criação de ambientes virtuais baseados em imagens, com uma aplicação na praça central da cidade de Pelotas/RS. Possibilita que o usuário realize interativamente um passeio no entorno da praça com recursos que permitem avaliações arquitetônicas e urbanísticas por meio de simulações de troca de cor nos prédios, inserção de novas construções e análise do estado de conservação de imóveis, com vantagens sobre métodos tradicionais de análises em montagens fotográficas estáticas. Enfatiza a pesquisa de soluções para visualização interativa de ambientes, focado na identificação de fontes de informação e não na sua modelagem matemática. Para a apresentação do trabalho, além da seleção das cenas urbanas que seriam estudadas, foram consideradas técnicas para a modelagem dos elementos arquitetônicos de forma que se obtivesse a máxima preservação das características naturais (estado de conservação, cores e riqueza de detalhes), formas para a visualização destes dados de maneira integrada com dados bibliográficos (histórico, técnicas construtivas e localização) e também a utilização de objetos multimídia para o enriquecimento na apresentação de conteúdos. Na busca de soluções, foram investigadas as técnicas de modelagem fotogramétrica como forma de obtenção de objetos realísticos com a manutenção das características do objeto original em modelos geométricos simplificados. Foram feitos estudos sobre as formas de apresentação de ambientes virtuais navegáveis através de panoramas interativos e também foi estudada uma forma de aproximar a visualização dos conteúdos com a visão natural humana, através da estereoscopia. O trabalho culmina com a fusão de todas as tecnologias estudadas em uma aplicação denominada “Praça República Virtual – PRV” (para resgatar o antigo nome da atual Praça Coronel Pedro Osório), que funciona como um canteiro de provas na medida que abre um leque de opções para utilização em estudos na área de Arquitetura e Urbanismo. / This work approaches the uses of technologies for creation of virtual environments based on images, with an application to the central square of the city of Pelotas/RS. It makes possible to the user to accomplish an interactive walkthrough with resources that allows architectural and urban planning evaluations through simulations of color changes in the buildings, insertion of new constructions and analysis of the conservation condition of the buildings, with advantages if compared to traditional methods of analysis with static photographic assemblies. It emphasizes the research of solutions for interactive visualization of environments, focused in the identification of sources of information and not in mathematical modeling. Besides the selection of the urban scenes to be studied, it was considered techniques for modeling the architectural elements to obtain the maximal preservation of their natural characteristics (conservation state, colors and wealth of details), ways of visualization of nowadays conservation, but integrated with bibliographical dates (historical, constructive techniques and location). It also includes the uses of multimedia objects to the presentation of contents. In the search of solutions, techniques of photogrammetric modeling were investigated, looking for the construction of realistic objects and maintenance of the characteristics of the original object but using simplified geometric models. It was done a search about forms of presentation of navigable virtual environments through interactive panoramas and also using a prototype of stereoscopy. The work culminates with the coalition of all studied technologies in a prototype of the central square of Pelotas called “Praça República Virtual–PRV” (to rescue the old name of the current Square Cel. Pedro Osório). It works like a stonemason of proofs in the measure that opens various options of use in studies in the area of Architecture and Urban Planning.

Este trabalho aborda a utilização de tecnologias para a criação de ambientes virtuais baseados em imagens, com uma aplicação na praça central da cidade de Pelotas/RS. Possibilita que o usuário realize interativamente um passeio no entorno da praça com recursos que permitem avaliações arquitetônicas e urbanísticas por meio de simulações de troca de cor nos prédios, inserção de novas construções e análise do estado de conservação de imóveis, com vantagens sobre métodos tradicionais de análises em montagens fotográficas estáticas. Enfatiza a pesquisa de soluções para visualização interativa de ambientes, focado na identificação de fontes de informação e não na sua modelagem matemática. Para a apresentação do trabalho, além da seleção das cenas urbanas que seriam estudadas, foram consideradas técnicas para a modelagem dos elementos arquitetônicos de forma que se obtivesse a máxima preservação das características naturais (estado de conservação, cores e riqueza de detalhes), formas para a visualização destes dados de maneira integrada com dados bibliográficos (histórico, técnicas construtivas e localização) e também a utilização de objetos multimídia para o enriquecimento na apresentação de conteúdos. Na busca de soluções, foram investigadas as técnicas de modelagem fotogramétrica como forma de obtenção de objetos realísticos com a manutenção das características do objeto original em modelos geométricos simplificados. Foram feitos estudos sobre as formas de apresentação de ambientes virtuais navegáveis através de panoramas interativos e também foi estudada uma forma de aproximar a visualização dos conteúdos com a visão natural humana, através da estereoscopia. O trabalho culmina com a fusão de todas as tecnologias estudadas em uma aplicação denominada “Praça República Virtual – PRV” (para resgatar o antigo nome da atual Praça Coronel Pedro Osório), que funciona como um canteiro de provas na medida que abre um leque de opções para utilização em estudos na área de Arquitetura e Urbanismo. / This work approaches the uses of technologies for creation of virtual environments based on images, with an application to the central square of the city of Pelotas/RS. It makes possible to the user to accomplish an interactive walkthrough with resources that allows architectural and urban planning evaluations through simulations of color changes in the buildings, insertion of new constructions and analysis of the conservation condition of the buildings, with advantages if compared to traditional methods of analysis with static photographic assemblies. It emphasizes the research of solutions for interactive visualization of environments, focused in the identification of sources of information and not in mathematical modeling. Besides the selection of the urban scenes to be studied, it was considered techniques for modeling the architectural elements to obtain the maximal preservation of their natural characteristics (conservation state, colors and wealth of details), ways of visualization of nowadays conservation, but integrated with bibliographical dates (historical, constructive techniques and location). It also includes the uses of multimedia objects to the presentation of contents. In the search of solutions, techniques of photogrammetric modeling were investigated, looking for the construction of realistic objects and maintenance of the characteristics of the original object but using simplified geometric models. It was done a search about forms of presentation of navigable virtual environments through interactive panoramas and also using a prototype of stereoscopy. The work culminates with the coalition of all studied technologies in a prototype of the central square of Pelotas called “Praça República Virtual–PRV” (to rescue the old name of the current Square Cel. Pedro Osório). It works like a stonemason of proofs in the measure that opens various options of use in studies in the area of Architecture and Urban Planning.

Este trabalho aborda a utilização de tecnologias para a criação de ambientes virtuais baseados em imagens, com uma aplicação na praça central da cidade de Pelotas/RS. Possibilita que o usuário realize interativamente um passeio no entorno da praça com recursos que permitem avaliações arquitetônicas e urbanísticas por meio de simulações de troca de cor nos prédios, inserção de novas construções e análise do estado de conservação de imóveis, com vantagens sobre métodos tradicionais de análises em montagens fotográficas estáticas. Enfatiza a pesquisa de soluções para visualização interativa de ambientes, focado na identificação de fontes de informação e não na sua modelagem matemática. Para a apresentação do trabalho, além da seleção das cenas urbanas que seriam estudadas, foram consideradas técnicas para a modelagem dos elementos arquitetônicos de forma que se obtivesse a máxima preservação das características naturais (estado de conservação, cores e riqueza de detalhes), formas para a visualização destes dados de maneira integrada com dados bibliográficos (histórico, técnicas construtivas e localização) e também a utilização de objetos multimídia para o enriquecimento na apresentação de conteúdos. Na busca de soluções, foram investigadas as técnicas de modelagem fotogramétrica como forma de obtenção de objetos realísticos com a manutenção das características do objeto original em modelos geométricos simplificados. Foram feitos estudos sobre as formas de apresentação de ambientes virtuais navegáveis através de panoramas interativos e também foi estudada uma forma de aproximar a visualização dos conteúdos com a visão natural humana, através da estereoscopia. O trabalho culmina com a fusão de todas as tecnologias estudadas em uma aplicação denominada “Praça República Virtual – PRV” (para resgatar o antigo nome da atual Praça Coronel Pedro Osório), que funciona como um canteiro de provas na medida que abre um leque de opções para utilização em estudos na área de Arquitetura e Urbanismo. / This work approaches the uses of technologies for creation of virtual environments based on images, with an application to the central square of the city of Pelotas/RS. It makes possible to the user to accomplish an interactive walkthrough with resources that allows architectural and urban planning evaluations through simulations of color changes in the buildings, insertion of new constructions and analysis of the conservation condition of the buildings, with advantages if compared to traditional methods of analysis with static photographic assemblies. It emphasizes the research of solutions for interactive visualization of environments, focused in the identification of sources of information and not in mathematical modeling. Besides the selection of the urban scenes to be studied, it was considered techniques for modeling the architectural elements to obtain the maximal preservation of their natural characteristics (conservation state, colors and wealth of details), ways of visualization of nowadays conservation, but integrated with bibliographical dates (historical, constructive techniques and location). It also includes the uses of multimedia objects to the presentation of contents. In the search of solutions, techniques of photogrammetric modeling were investigated, looking for the construction of realistic objects and maintenance of the characteristics of the original object but using simplified geometric models. It was done a search about forms of presentation of navigable virtual environments through interactive panoramas and also using a prototype of stereoscopy. The work culminates with the coalition of all studied technologies in a prototype of the central square of Pelotas called “Praça República Virtual–PRV” (to rescue the old name of the current Square Cel. Pedro Osório). It works like a stonemason of proofs in the measure that opens various options of use in studies in the area of Architecture and Urban Planning.

L’objectif de cette thèse de doctorat était de concevoir et développer un système permettant de caractériser les épandeurs et de prédire la répartition d’engrais au sol. Nous avons proposé deux approches basées respectivement sur l’imagerie 2D et 3D.Le système 2D a permis de déterminer les déplacements dans les images avec une très haute précision où 90% des estimations ont uniquement moins de 0,2 pixels d’erreur. Cependant cette précision n’était applicable que dans le cas d’un épandeur équipé de disques plats pour lequel la plupart des engrais est éjectée dans le plan horizontal parallèle au plan d’image de la camera. Par conséquent nous avons proposé un système d’imagerie 3D qui a permis de déterminer le mouvement 3D des engrais. Ainsi il peut être appliqué sur des épandeurs équipés de disque concave.Ce nouveau système peut : Caractériser les épandeurs dans un hall avec des conditions contrôlées ;Evaluer les effets de différents réglages des épandeurs ;Etudier le comportement des granulés et améliorer le modèle de vol balistique.Un tel système, moyennant quelques modifications, est envisagé à long terme sur un épandeur, permettant une gestion en temps réel de l’épandage et une rétroaction potentielle sur le fonctionnement de l’épandeur. [extrait du résumé] / The characterization of the fertilizer centrifugal spreading has become an important agriculture scientific issue in order to help farmers having a higher fertilization precision hence higher production efficiency. The ejected fertilizer grains are comparable to projectiles; hence, by using a ballistic flight model, predicting the spread pattern on the ground relies on an estimation of the trajectories and velocities of ejected grains. To estimate those parameters two approaches were proposed. First a two-steps zero mean normalized cross-correlation based algorithm for motion estimation was used to determine the displacement of the grains in the 2D images. The efficiency of this algorithm was evaluated by the mean of a grain images’ simulator. The results showed a high accuracy with an error of less than 0.2 pixels for 90% of the estimated velocities. However, the vertical ejection angle cannot be determined. This limits the use of the technique to spreaders equipped with flat disks where the trajectories of the grains will mostly be in a horizontal plane. This restriction was handled by the second approach. It is based on a 3D stereovision imaging system. A region based stereo matching algorithm with uniqueness and ordering constraints was introduced. It was validated using a grains’ stereo images simulator. 90% of the disparities were estimated with errors less than 2 pixels (around 1%). Moreover a 3D motion estimation algorithm was developed. It is based on an improvement of the previous 2D motion estimation algorithm combined with the estimated 3D coordinates. The efficiency of the whole system was approved via a comparison of its results and a real distribution obtained from a developed cylindrical collector.