A detecção e reconhecimento de objetos em ambiente não controlado tem aplicações diversas no campo da visão computacional, e juntamente com o georreferenciamento de objetos de forma automática propicia uma variedade de aplicações, como por exemplo, o mapeamento da sinalização de trânsito. Os sinais de trânsito são muito importantes por proverem regras de navegação nas ruas e estradas. Um sistema para a determinação das posições geográficas de placas de sinalização de trânsito em áreas urbanas de forma automática constitui uma ferramenta útil para a gestão municipal podendo servir para tomadas de decisão, como por exemplo, fluxo de tráfego e definição de sinalização nas vias terrestres. Do ponto de vista prático, um sistema com estas características tem uma grande complexidade na implementação o que caracteriza um grande desafio. Diante do contexto exposto, nesta tese, é tratada a computação da detecção, o reconhecimento de sinais e o georreferenciamento de placas de trânsito. A implementação deste trabalho consistiu na coleta de conjuntos de dados e a aplicação de algoritmos para a extração dos descritores de pontos chave e para realizar a correspondências dos pontos chave entre duas imagens (imagem de uma via contendo uma ou mais placas e imagem de um template de uma placa de sinalização). Uma vez obtidos apenas os pontos em comuns referentes aos seus descritores, na sequência foram aplicados algoritmos para a detecção, reconhecimento e georreferenciamento das placas de trânsito. Para a obtenção do conjunto de dados foi utilizado um sistema móvel de mapeamento terrestre, equipado com sensores de imageamento digital, que além de obter conjuntos de sequências de imagens, também capturam informações de navegação e posicionamento. Para a detecção e reconhecimento foram utilizados algoritmos já consolidados na literatura (SIFT e BBF) e também algoritmos definidos e implementados para a realização da metodologia proposta. Para a extração de pontos chave condizentes com a placa a ser detectada, foi desenvolvido um algoritmo, pelo fato dos algoritmos citados na literatura não serem adequados para imagens que apresentam poucos pontos de correspondência, como é o caso do algoritmo RANSAC. Foi também definido e implementado um algoritmo para o reconhecimento de caracteres para o caso de placas de sinalização que especificam limite de velocidade. Com o conhecimento das fotocoordenadas centrais referentes às placas detectadas e reconhecidas e os dados de navegação e posicionamento, é realizado o georreferenciamento a fim de determinar as posições das placas no terreno por meio das equações de colinearidade. Foram realizados experimentos iniciais comprovando que a metodologia proposta é adequada para os objetivos definidos. As taxas de acerto na detecção e reconhecimento das placas de sinalização atingiram valores superiores a 80%, mesmo utilizando imagens com cenas complexas. O trabalho desenvolvido contribui com a metodologia proposta destinada à determinação das posições das feições dos sinais de trânsito em áreas urbanas, e na Área de Visão Computacional, contribui com novos algoritmos para a detecção e reconhecimento de placas de sinalização, bem como um novo algoritmo para o reconhecimento de caracteres. / The detection and object recognition in uncontrolled environment has several applications in the field of computer vision, and together with automatic georeferencing of objects provides a variety of applications, for example, the mapping of traffic signs. Traffic signs are very important because they provide navigation rules in streets and roads. A system for the automatic determining of the geographic positions of traffic sign plates in urban areas constitutes a useful tool for municipal management, it can be used for decision making, such as traffic flow and sign location on roads. From a practical point of view, a system with these characteristics has a great complexity in the implementation that characterizes a great challenge. Considering the exposed context, this thesis treats the computation of detection, recognition and georeferencing of traffic signs. The implementation of this work consisted in collecting data sets and application of algorithms for extracting keypoint features and performing the keypoint matching between two images (image of a road containing one or more plates and image of a template from a traffic sign). Once only the points in common in relation to their descriptors had been obtained, in the sequence, some algorithms were applied to the detection, recognition and georeferencing of traffic signs. To obtain the data set a landbase mobile mapping system was used, equipped with digital imaging sensors, which in addition to obtaining sets of image sequences, they also capture navigation information and positioning. For detection and recognition algorithms already established in literature (SIFT and BBF) were used and algorithms defined and implemented to the realization of the proposed methodology were also used. For the extraction of keypoints suitable with the plateto be detected, an algorithm was developed, because of the algorithms mentioned in literature are not appropriate for images that have few points of matching such as the RANSAC algorithm. An algorithm for recognition of characters for the case of signs which specify the speed limit was also defined and implemented. With the knowledge of the central photo coordinates referring to plates detected and recognized and navigation and positioning data,the georeferencing is performed to determine the positions of the plates on the ground through the collinearity equations. Initial experiments were performed demonstrating that the proposed methodology is appropriate for the defined goals. The hit rates of detection and recognition of sign plates reached values above 80%, even using images with complex scenes. The developed work contributes with the proposed methodology destined to the determination of traffic signs positions in urban areas, and in the Computer Vision Area, it contributes with new algorithms for the detection and recognition of traffic signs and a new algorithm for character recognition.

A detecção e reconhecimento de objetos em ambiente não controlado tem aplicações diversas no campo da visão computacional, e juntamente com o georreferenciamento de objetos de forma automática propicia uma variedade de aplicações, como por exemplo, o mapeamento da sinalização de trânsito. Os sinais de trânsito são muito importantes por proverem regras de navegação nas ruas e estradas. Um sistema para a determinação das posições geográficas de placas de sinalização de trânsito em áreas urbanas de forma automática constitui uma ferramenta útil para a gestão municipal podendo servir para tomadas de decisão, como por exemplo, fluxo de tráfego e definição de sinalização nas vias terrestres. Do ponto de vista prático, um sistema com estas características tem uma grande complexidade na implementação o que caracteriza um grande desafio. Diante do contexto exposto, nesta tese, é tratada a computação da detecção, o reconhecimento de sinais e o georreferenciamento de placas de trânsito. A implementação deste trabalho consistiu na coleta de conjuntos de dados e a aplicação de algoritmos para a extração dos descritores de pontos chave e para realizar a correspondências dos pontos chave entre duas imagens (imagem de uma via contendo uma ou mais placas e imagem de um template de uma placa de sinalização). Uma vez obtidos apenas os pontos em comuns referentes aos seus descritores, na sequência foram aplicados algoritmos para a detecção, reconhecimento e georreferenciamento das placas de trânsito. Para a obtenção do conjunto de dados foi utilizado um sistema móvel de mapeamento terrestre, equipado com sensores de imageamento digital, que além de obter conjuntos de sequências de imagens, também capturam informações de navegação e posicionamento. Para a detecção e reconhecimento foram utilizados algoritmos já consolidados na literatura (SIFT e BBF) e também algoritmos definidos e implementados para a realização da metodologia proposta. Para a extração de pontos chave condizentes com a placa a ser detectada, foi desenvolvido um algoritmo, pelo fato dos algoritmos citados na literatura não serem adequados para imagens que apresentam poucos pontos de correspondência, como é o caso do algoritmo RANSAC. Foi também definido e implementado um algoritmo para o reconhecimento de caracteres para o caso de placas de sinalização que especificam limite de velocidade. Com o conhecimento das fotocoordenadas centrais referentes às placas detectadas e reconhecidas e os dados de navegação e posicionamento, é realizado o georreferenciamento a fim de determinar as posições das placas no terreno por meio das equações de colinearidade. Foram realizados experimentos iniciais comprovando que a metodologia proposta é adequada para os objetivos definidos. As taxas de acerto na detecção e reconhecimento das placas de sinalização atingiram valores superiores a 80%, mesmo utilizando imagens com cenas complexas. O trabalho desenvolvido contribui com a metodologia proposta destinada à determinação das posições das feições dos sinais de trânsito em áreas urbanas, e na Área de Visão Computacional, contribui com novos algoritmos para a detecção e reconhecimento de placas de sinalização, bem como um novo algoritmo para o reconhecimento de caracteres. / The detection and object recognition in uncontrolled environment has several applications in the field of computer vision, and together with automatic georeferencing of objects provides a variety of applications, for example, the mapping of traffic signs. Traffic signs are very important because they provide navigation rules in streets and roads. A system for the automatic determining of the geographic positions of traffic sign plates in urban areas constitutes a useful tool for municipal management, it can be used for decision making, such as traffic flow and sign location on roads. From a practical point of view, a system with these characteristics has a great complexity in the implementation that characterizes a great challenge. Considering the exposed context, this thesis treats the computation of detection, recognition and georeferencing of traffic signs. The implementation of this work consisted in collecting data sets and application of algorithms for extracting keypoint features and performing the keypoint matching between two images (image of a road containing one or more plates and image of a template from a traffic sign). Once only the points in common in relation to their descriptors had been obtained, in the sequence, some algorithms were applied to the detection, recognition and georeferencing of traffic signs. To obtain the data set a landbase mobile mapping system was used, equipped with digital imaging sensors, which in addition to obtaining sets of image sequences, they also capture navigation information and positioning. For detection and recognition algorithms already established in literature (SIFT and BBF) were used and algorithms defined and implemented to the realization of the proposed methodology were also used. For the extraction of keypoints suitable with the plateto be detected, an algorithm was developed, because of the algorithms mentioned in literature are not appropriate for images that have few points of matching such as the RANSAC algorithm. An algorithm for recognition of characters for the case of signs which specify the speed limit was also defined and implemented. With the knowledge of the central photo coordinates referring to plates detected and recognized and navigation and positioning data,the georeferencing is performed to determine the positions of the plates on the ground through the collinearity equations. Initial experiments were performed demonstrating that the proposed methodology is appropriate for the defined goals. The hit rates of detection and recognition of sign plates reached values above 80%, even using images with complex scenes. The developed work contributes with the proposed methodology destined to the determination of traffic signs positions in urban areas, and in the Computer Vision Area, it contributes with new algorithms for the detection and recognition of traffic signs and a new algorithm for character recognition.

Made available in DSpace on 2014-06-11T19:23:30Z (GMT). No. of bitstreams: 0 Previous issue date: 2004Bitstream added on 2014-06-13T19:09:21Z : No. of bitstreams: 1 ruy_rs_me_prud.pdf: 1282803 bytes, checksum: 215286fc5792de43deaba801a4b4da8b (MD5) / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / Com a disponibilidade de câmaras digitais, dados de posicionamento por satélites (GPS) e sistemas inerciais (INS), tornaram-se possíveis novas aplicações que envolvem a obtenção de produtos cartográficos em quase tempo real (após o processamento dos dados coletados em vôo), como o monitoramento de desastres ambientais. Tais aplicações necessitam de informações georreferenciadas com características de rapidez e confiabilidade, que podem ser obtidas pela técnica fotogramétrica digital, apoiada pelos sensores que fornecem a orientação direta da câmara. Em geral, os parâmetros fornecidos pelos sensores de orientação utilizados para mapeamento não possuem a acurácia necessária para eliminar totalmente a paralaxe vertical do modelo e, por conseguinte, a visualização estereoscópica da cena fica prejudicada. Para resolver este problema, propôs-se uma metodologia que é baseada na compatibilização dos parâmetros de orientação direta (GPS + INS), mediante um modelo de coplanaridade modificado, num ajustamento pelo método dos Mínimos Quadrados. Os valores observados correspondem a pontos homólogos medidos automaticamente no modelo por técnicas de correlação por área. Após o refinamento dos parâmetros de orientação exterior (OE), as imagens são normalizadas por meio de uma reamostragem epipolar, com intuito de proporcionar uma melhor visualização estereoscópica da cena e auxiliar o processo de geração automática de Modelos Digitais de Terreno. Neste sentido, módulos computacionais foram desenvolvidos em linguagem C++ para a geração totalmente automática de estereomodelos em quase tempo real. Experimentos com dados simulados e reais foram conduzidos, na ordem de verificar a eficácia da metodologia com respeito a eliminação da paralaxe vertical do modelo e a acurácia das coordenadas no espaço objeto calculadas por intersecção... / With the availability of digital cameras, satellite positioning systems (GPS) and inertial navigation systems (INS), new applications such as fast cartography and real time environmental monitoring became feasible. Such applications require georeferenced information with characteristics of speed and reliability that can be obtained by digital photogrammetry, using additional data from sensors of direct orientation. Generally, the parameters supplied by the sensors are under the required accuracy to elimine the vertical parallax in the model. To solve this problem, the methodology proposed in this project is based on the reprocessing of the parameters of orientation supplied by the sensors, using a modified coplanarity model. The observations are the images coordinates automatically measured in each image using an area-based correspondence method. After the EO parameters refinement, using the modified coplanarity model, the images are normalized through an epipolar resampling, in order to provide a confortable stereoscopic visualization of the model, since vertical parallax is eliminated, and to facilitate the process of automatic Digital Terrain Model generation. In order to test the proposed approach, computational programs were developed in C++ language, enabling the full automatic generation of estereomodelos in almost real time. Experiments with simulated and real data were performed, in order to verify the performance of the method with respect to y-parallax elimination and accuracy of reconstructed object space coordinates. These experiments are presented and discussed showing the effectiveness of the proposed approach for automatic generation of stereo models.

A agricultura de precisão tem agregado alto valor para os agricultores por causa das tecnologias que estão ligadas a ela. Sistemas que extraem informações de imagens digitais são extremamente utilizados para que o agricultor tome decisões a fim de aumentar sua produtividade. Uma das técnicas de realizar o monitoramento é a construção de um mosaico de imagens aéreas, onde são utilizadas aeronaves voando em baixa altitude. Esta técnica pode levar dezenas de horas para ser concluída, dependendo da configuração do computador que a executa. Com o intuito de reduzir o tempo nessa construção e tornar possível o embarque a essa aplicação, este trabalho apresenta uma maneira simplificada de construir o mosaico de imagens aéreas baseada na técnica de georreferenciamento direto, no qual utiliza a computação heterogênea para acelerar o desempenho. Essa abordagem é composta por apenas três técnicas que também compõem a abordagem clássica para a construção de mosaicos (warping, extração de características e combinação de características), além de inserir em seus cálculos os dados fornecidos pelos sensores GPS e IMU com a finalidade de direcionar e posicionar cada imagem pertencente ao conjunto que formará o mosaico. A plataforma de computação heterogênea utilizada neste trabalho é a NVIDIA Jetson TK1 escolhida pelo fato de disponibilizar de uma GPU que suporta a linguagem de programação CUDA. Utilizando esta abordagem, a falta de correção da perspectiva do conteúdo (geometria) da imagem gera um resultado inesperado, pois os dados fornecidos pela IMU, ao contrário do que se imagina, apenas servem para corrigir a posição das coordenadas do GPS registradas no momento de captura de cada imagem que compõem o mosaico. O tempo de execução da aplicação desenvolvida é satisfatório tornando possível a adoção desta abordagem. / Accuracy agriculture has added value to farmers thanks to the new technologies that are linked to it. Systems that extract information from digital images are very usefull to help farmers making decisions in order to increase their productivity. One of the techniques to perform this kind of monitoring is the construction of an aerial imagery mosaic where aircrafts flies in low altitude. This technique may take hours to be completed, depending on computer\'s configuration. With the purpose of reducing time in this construction, this thesis presents a simplified way to make aerial imagery mosaic based on direct georeferencing. This approach is composed by three techniques that also make up the classic approach to building mosaics (warping, extraction of characteristics and combination of characteristics), the difference is with this technique here presented is also possible to insert into the calculations the data provided by the GPS and IMU sensors with the purpose of directing and positioning each image to the belonging set to form the mosaic. The heterogeneous computing platform used in this work is the NVIDIA JetsonTK1, this platform was chosen because it offers a GPU that supports the language of CUDA programming. If the images\' geometry errors weren\'t rectfyed, using this approach, an unexpected result happens, because the data provided by IMU, contrary to what is imagined, only serve to correct the position of the GPS coordinates recorded at the moment of capture of each image that composes the mosaic. The developing time in this application is satisfactory making the adoption of this approch favorable.