Uma câmera pan-tilt é capaz de se movimentar em torno de dois eixos de rotação (pan e tilt), permitindo que sua lente possa ser apontada para um ponto qualquer no espaço. Uma aplicação possível dessa câmera é mantê-la apontada para um determinado alvo em movimento, através de posicionamentos angulares pan e tilt adequados. Este trabalho apresenta uma técnica de controle servo visual, em que, inicialmente, as imagens capturadas pela câmera são utilizadas para determinar a posição do alvo. Em seguida, calculam-se as rotações necessárias para manter a projeção do alvo no centro da imagem, em um sistema em tempo real e malha fechada. A técnica de rastreamento visual desenvolvida se baseia em comparação de uma região de referência, utilizando a soma dos quadrados das diferenças (SSD) como critério de correspondência. Sobre essa técnica, é adicionada uma extensão baseada no princípio de estimação incremental e, em seguida, o algoritmo é mais uma vez modificado através do princípio de estimação em multiresolução. Para cada uma das três configurações, são realizados testes para comparar suas performances. O sistema é modelado através do princípio de fluxo óptico e dois controladores são apresentados para realimentar o sistema: um proporcional integral (PI) e um proporcional com estimação de perturbações externas através de um filtro de Kalman (LQG). Ambos são calculados utilizando um critério linear quadrático e os desempenhos deles também são analisados comparativamente. / A pan-tilt camera can move around two rotational axes (pan and tilt), allowing its lens to be pointed to any point in space. A possible application of the camera is to keep it pointed to a certain moving target, through appropriate angular pan-tilt positioning. This work presents a visual servoing technique, which uses first the images captured by the camera to determinate the target position. Then the method calculates the proper rotations to keep the target position in image center, establishing a real-time and closed-loop system. The developed visual tracking technique is based on template region matching, and makes use of the sum of squared differences (SSD) as similarity criterion. An extension based on incremental estimation principle is added to the technique, and then the algorithm is modified again by multiresolution estimation method. Experimental results allow a performance comparison between the three configurations. The system is modeled through optical flow principle and this work presents two controllers to accomplish the system feedback: a proportional integral (PI) and a proportional with external disturbances estimation by a Kalman filter (LQG). Both are determined using a linear quadratic method and their performances are also analyzed comparatively.

Rastreamento visual em sequências de imagens tem sido muito estudado nos últimos 30 anos devido às inúmeras aplicações que possui em sistemas de visão computacional em tempo real; entretanto, poucos são os algoritmos disponíveis para que tal tarefa seja realizada com sucesso. Esta dissertação apresenta um método e uma arquitetura eficazes e eficientes para rastrear jogadores em jogos de futebol. A entrada do sistema consiste de vídeos capturados por câmeras estáticas instaladas em estádios de futebol. A saída é a trajetória descrita pelo jogador durante uma partida de futebol, dada no plano de imagem. O sistema possui dois estágios de processamento: inicialização e rastreamento. A inicialização do sistema é crítica no desempenho do rastreador e seu objetivo consiste em produzir uma estimativa aproximada da configuração e características de cada alvo, a qual é usada como uma estimativa inicial do estado pelo rastreador. O sistema de rastreamento utiliza Filtros de Kalman para modelar o contorno, posição e velocidade dos jogadores. Resultados são apresentados usando dados reais. Avaliações quantitativas são fornecidas e o sistema proposto é comparado com outro sistema correlato. Os experimentos mostram que o sistema proposto apresenta resultados bastante promissores. / Visual tracking in image sequences has been extensively studied in the last 30 years because of the many applications it has in real-time computer vision systems; however, there are few algorithms available for this task so that it is performed successfully. This work presents an effective and efficient system architecture and method to track players in soccer games. The system input consists of videos captured by static cameras installed in soccer stadiums. The output is the trajectory described by the player during a soccer match, given in the image plane. The system comprises two processing stages: initialization and tracking. The system startup is critical in the tracking performance and its goal is to produce a rough estimate of the configuration and characteristics of each target, which is used as an initial estimate of the state by the visual tracker. The tracking system uses Kalman filters to model the shape, position and speed of the players. Results are presented using real data. Quantitative assessments are provided and the proposed system is compared with related systems. The experiments show that our system can achieve very promising results.

Sistemas de visão omnidirecional produzem imagens de 360º do ambiente podendo ser utilizados em navegação, tele-operação e controle servo visual de robôs. Este tipo de sistema dispensa o movimento da câmera para determinada direção de atenção mas requer processamento não convencional da imagem, uma vez que a imagem adquirida se encontra mapeada em coordenadas polares não lineares. Uma maneira efetiva de se obter uma imagem em um sistema omnidirecional é com o uso combinado de lentes e espelhos. Várias formas de espelhos convexos podem ser utilizadas montando-se uma câmera com o seu eixo óptico alinhado com o centro do espelho. Dentre as formas usadas, tem-se os cônicos, parabólicos, hiperbólicos e esféricos. Neste trabalho foi implementado um sistema de visão omnidirecional utilizando um espelho hiperbólico. Este sistema de visão desenvolvido é embarcado em um robô móvel e aplicado em uma tarefa de controle. A tarefa de controle de interesse neste trabalho é a de fazer com que o robô mantenha uma distância constante de um determinado alvo móvel. Esta tarefa é realizada com a realimentação em tempo real de informações visuais do alvo obtidas pelo sistema de visão para controle do robô utilizando uma abordagem de controle servo visual. / Omnidirectional vision systems can get images with a 360-degree of field of view. This type of system is very well suited for tasks such as robotic navigation, tele-operation and visual servoing. Such systems do not require the movement of the camera to the direction of attention of the robot. On the other hand, it requires a non-conventional image processing as the image captured by this vision system is mapped on a non-linear polar coordinate system. One effective way to obtain an image in an omnidirectional system is through the use of lenses and mirrors. Several different shapes of convex mirrors can be used, mounting the center of the mirror aligned with the camera optical axis. The most commonly used mirror shapes are conic, parabolic, hyperbolic and spherical. In this work a hyperbolical mirror was used to build an omnidirectional vision system. This system was mounted on a mobile robot and used in a control task. The task of interest here is the tracking in real time of a moving target keeping the distance between the robot and the target constant. This task is accomplished with data acquisition from the omnidirectional vision system, that is used as feedback to control the mobile robot in a visual servo approach.

Sistemas de visão omnidirecional produzem imagens de 360º do ambiente podendo ser utilizados em navegação, tele-operação e controle servo visual de robôs. Este tipo de sistema dispensa o movimento da câmera para determinada direção de atenção mas requer processamento não convencional da imagem, uma vez que a imagem adquirida se encontra mapeada em coordenadas polares não lineares. Uma maneira efetiva de se obter uma imagem em um sistema omnidirecional é com o uso combinado de lentes e espelhos. Várias formas de espelhos convexos podem ser utilizadas montando-se uma câmera com o seu eixo óptico alinhado com o centro do espelho. Dentre as formas usadas, tem-se os cônicos, parabólicos, hiperbólicos e esféricos. Neste trabalho foi implementado um sistema de visão omnidirecional utilizando um espelho hiperbólico. Este sistema de visão desenvolvido é embarcado em um robô móvel e aplicado em uma tarefa de controle. A tarefa de controle de interesse neste trabalho é a de fazer com que o robô mantenha uma distância constante de um determinado alvo móvel. Esta tarefa é realizada com a realimentação em tempo real de informações visuais do alvo obtidas pelo sistema de visão para controle do robô utilizando uma abordagem de controle servo visual. / Omnidirectional vision systems can get images with a 360-degree of field of view. This type of system is very well suited for tasks such as robotic navigation, tele-operation and visual servoing. Such systems do not require the movement of the camera to the direction of attention of the robot. On the other hand, it requires a non-conventional image processing as the image captured by this vision system is mapped on a non-linear polar coordinate system. One effective way to obtain an image in an omnidirectional system is through the use of lenses and mirrors. Several different shapes of convex mirrors can be used, mounting the center of the mirror aligned with the camera optical axis. The most commonly used mirror shapes are conic, parabolic, hyperbolic and spherical. In this work a hyperbolical mirror was used to build an omnidirectional vision system. This system was mounted on a mobile robot and used in a control task. The task of interest here is the tracking in real time of a moving target keeping the distance between the robot and the target constant. This task is accomplished with data acquisition from the omnidirectional vision system, that is used as feedback to control the mobile robot in a visual servo approach.

Rastreamento visual em sequências de imagens tem sido muito estudado nos últimos 30 anos devido às inúmeras aplicações que possui em sistemas de visão computacional em tempo real; entretanto, poucos são os algoritmos disponíveis para que tal tarefa seja realizada com sucesso. Esta dissertação apresenta um método e uma arquitetura eficazes e eficientes para rastrear jogadores em jogos de futebol. A entrada do sistema consiste de vídeos capturados por câmeras estáticas instaladas em estádios de futebol. A saída é a trajetória descrita pelo jogador durante uma partida de futebol, dada no plano de imagem. O sistema possui dois estágios de processamento: inicialização e rastreamento. A inicialização do sistema é crítica no desempenho do rastreador e seu objetivo consiste em produzir uma estimativa aproximada da configuração e características de cada alvo, a qual é usada como uma estimativa inicial do estado pelo rastreador. O sistema de rastreamento utiliza Filtros de Kalman para modelar o contorno, posição e velocidade dos jogadores. Resultados são apresentados usando dados reais. Avaliações quantitativas são fornecidas e o sistema proposto é comparado com outro sistema correlato. Os experimentos mostram que o sistema proposto apresenta resultados bastante promissores. / Visual tracking in image sequences has been extensively studied in the last 30 years because of the many applications it has in real-time computer vision systems; however, there are few algorithms available for this task so that it is performed successfully. This work presents an effective and efficient system architecture and method to track players in soccer games. The system input consists of videos captured by static cameras installed in soccer stadiums. The output is the trajectory described by the player during a soccer match, given in the image plane. The system comprises two processing stages: initialization and tracking. The system startup is critical in the tracking performance and its goal is to produce a rough estimate of the configuration and characteristics of each target, which is used as an initial estimate of the state by the visual tracker. The tracking system uses Kalman filters to model the shape, position and speed of the players. Results are presented using real data. Quantitative assessments are provided and the proposed system is compared with related systems. The experiments show that our system can achieve very promising results.

Uma câmera pan-tilt é capaz de se movimentar em torno de dois eixos de rotação (pan e tilt), permitindo que sua lente possa ser apontada para um ponto qualquer no espaço. Uma aplicação possível dessa câmera é mantê-la apontada para um determinado alvo em movimento, através de posicionamentos angulares pan e tilt adequados. Este trabalho apresenta uma técnica de controle servo visual, em que, inicialmente, as imagens capturadas pela câmera são utilizadas para determinar a posição do alvo. Em seguida, calculam-se as rotações necessárias para manter a projeção do alvo no centro da imagem, em um sistema em tempo real e malha fechada. A técnica de rastreamento visual desenvolvida se baseia em comparação de uma região de referência, utilizando a soma dos quadrados das diferenças (SSD) como critério de correspondência. Sobre essa técnica, é adicionada uma extensão baseada no princípio de estimação incremental e, em seguida, o algoritmo é mais uma vez modificado através do princípio de estimação em multiresolução. Para cada uma das três configurações, são realizados testes para comparar suas performances. O sistema é modelado através do princípio de fluxo óptico e dois controladores são apresentados para realimentar o sistema: um proporcional integral (PI) e um proporcional com estimação de perturbações externas através de um filtro de Kalman (LQG). Ambos são calculados utilizando um critério linear quadrático e os desempenhos deles também são analisados comparativamente. / A pan-tilt camera can move around two rotational axes (pan and tilt), allowing its lens to be pointed to any point in space. A possible application of the camera is to keep it pointed to a certain moving target, through appropriate angular pan-tilt positioning. This work presents a visual servoing technique, which uses first the images captured by the camera to determinate the target position. Then the method calculates the proper rotations to keep the target position in image center, establishing a real-time and closed-loop system. The developed visual tracking technique is based on template region matching, and makes use of the sum of squared differences (SSD) as similarity criterion. An extension based on incremental estimation principle is added to the technique, and then the algorithm is modified again by multiresolution estimation method. Experimental results allow a performance comparison between the three configurations. The system is modeled through optical flow principle and this work presents two controllers to accomplish the system feedback: a proportional integral (PI) and a proportional with external disturbances estimation by a Kalman filter (LQG). Both are determined using a linear quadratic method and their performances are also analyzed comparatively.

Made available in DSpace on 2016-03-15T19:40:30Z (GMT). No. of bitstreams: 1 Renata de Lima Velloso.pdf: 575032 bytes, checksum: 2ded8ecbcde5b280b54ac0be7c3a6a35 (MD5) Previous issue date: 2008-01-29 / Fundo Mackenzie de Pesquisa / Children with Rett Syndrome (RS) are supposed to present progressive regression of psychomotor development and speech abilities as well as spontaneous hand movement loss, resulting in severe difficulties for their communication. Several studies have been reporting that RS girls use the eyes with intentional purpose for communicating or expressing desires, and these findings make possible the use of eyes movements as a tool for assessing other RS aspects, such as the cognitive aspects. Ten girls aged 4y8m to 12y10m with RS were assessed for this investigation with a computer system for visual tracking regarding their ability of recognizing concepts of color (red, yellow and blue), shape (circle, square and triangle), size (big and small) and spatial position (over and under). Results from comparing the time of eyes fixation on required and not required concepts did not differ significantly. Correlation between age advancement and ability for recognizing the concept of the color "blue" could be observed. Children did not show to recognize the most part of the required concepts when assessed with eye tracking system. / Crianças com Síndrome de Rett (SR) apresentam regressão progressiva do desenvolvimento psicomotor e das habilidades de linguagem verbal e perda das habilidades manuais voluntárias, o que lhes dificulta a comunicação. Estudos relatam que meninas com SR utilizam o olhar com finalidade intencional, como forma de comunicação ou de expressão de desejos, o que levanta a possibilidade de avaliação de outros aspectos por meio do olhar, como os aspectos cognitivos. O objetivo deste estudo foi avaliar, em crianças com SR, o reconhecimento dos conceitos de cor (vermelho, amarelo e azul), forma (círculo, quadrado e triângulo), tamanho (grande e pequeno) e posição espacial (em cima e embaixo), com a utilização de equipamento computadorizado de rastreamento ocular. Participaram do estudo 10 crianças com diagnóstico de SR com idade entre 4 anos e 8 meses e 12 anos e 10 meses. Comparando-se o tempo de fixação do olhar das crianças para o conceito solicitado com o tempo de fixação para outros conceitos não solicitados, os resultados não indicaram muitas diferenças significativas. Houve correlação entre o conceito cor "azul" e o aumento da idade, indicando que as crianças mais velhas aprendem o conceito "azul". Concluiu-se que, com o método de avaliação utilizado, as crianças não reconheceram a maior parte dos conceitos de cor, forma, tamanho e posição.

Este trabalho propõe uma abordagem para o rastreamento de objetos observados em seqüências de imagens. O objetivo principal é o desenvolvimento de uma metodologia eficiente, capaz de realizar o rastreamento de um ou mais alvos heterogêneos, usando pouca informação a priori sobre os mesmos. Para alcançar este objetivo é proposta a descrição dos alvos livre de um modelo explícito de forma, através de uma representação baseada em contornos, a qual é interessante pois tem a capacidade de adaptar-se dinamicamente a alvos com formas heterogêneas de modo eficaz. Além disso, é usado um modelo de movimento único e simples, considerando somente translação e mudança de escala quadro a quadro. Este modelo possibilita o tratamento de movimentos suaves e previamente desconhecidos dos alvos. O rastreamento de cada alvo é executado com a combinação de dois Filtros de Kalman: um para estimação do movimento e outro para estimação do contorno. O modelo de observação é baseado em linhas de medida 1D fixadas ao longo do contorno estimado e tem baixo custo computacional. Experimentos foram conduzidos para avaliar a eficácia e eficiência da proposta, utilizando seqüências de imagens controladas e reais. Os resultados mostram que a abordagem proposta é capaz de rastrear alvos distintos (figuras geométricas, pessoas e robôs móveis), executando diferentes movimentos considerando a posição de observação da câmera. Embora haja uma relação crítica entre a variação quadro a quadro do movimento e da forma dos alvos, e o nível de ruído nas imagens, a abordagem é adequada nos casos em que informações detalhadas a respeito do movimento e da forma dos alvos não são disponíveis. / This work proposes an approach to track objects observed in sequences of images. The main objective is the development of an efficient methodology, capable of performing the tracking of one or more heterogeneous targets by using a small amount of a priori information about them. To accomplish this objective we propose a description of the targets free of an explicit shape model. This description is a contour-based representation, which is interesting because it is capable of adapting dynamically to targets that have heterogeneous shapes in an effective way. Besides this, a unique and simple movement model is used, considering only translation and scaling frame by frame. This model allows treating smooth and previously unknown targets movements. The tracking of each target is executed by the combination of two Kalman Filters: one used to estimate movement and another one to estimate contour. The observation model is based on 1D measurement lines fixed along the estimated contour and requires low computational power. Experiments were performed to evaluate the efficacy and the efficiency of the proposal, using controlled and real image sequences. Results show that the proposed approach is capable of tracking distinct targets (geometric figures, human bodies and mobile robots), which execute different movements regarding the observation position of the camera. Despite the critical tradeoff between the frame by frame variation of the targets movements and shapes and the level of noise in the images, the approach showed to be adequate for those cases of application where detailed information about target movement and shape are not available.

Este trabalho propõe uma abordagem para o rastreamento de objetos observados em seqüências de imagens. O objetivo principal é o desenvolvimento de uma metodologia eficiente, capaz de realizar o rastreamento de um ou mais alvos heterogêneos, usando pouca informação a priori sobre os mesmos. Para alcançar este objetivo é proposta a descrição dos alvos livre de um modelo explícito de forma, através de uma representação baseada em contornos, a qual é interessante pois tem a capacidade de adaptar-se dinamicamente a alvos com formas heterogêneas de modo eficaz. Além disso, é usado um modelo de movimento único e simples, considerando somente translação e mudança de escala quadro a quadro. Este modelo possibilita o tratamento de movimentos suaves e previamente desconhecidos dos alvos. O rastreamento de cada alvo é executado com a combinação de dois Filtros de Kalman: um para estimação do movimento e outro para estimação do contorno. O modelo de observação é baseado em linhas de medida 1D fixadas ao longo do contorno estimado e tem baixo custo computacional. Experimentos foram conduzidos para avaliar a eficácia e eficiência da proposta, utilizando seqüências de imagens controladas e reais. Os resultados mostram que a abordagem proposta é capaz de rastrear alvos distintos (figuras geométricas, pessoas e robôs móveis), executando diferentes movimentos considerando a posição de observação da câmera. Embora haja uma relação crítica entre a variação quadro a quadro do movimento e da forma dos alvos, e o nível de ruído nas imagens, a abordagem é adequada nos casos em que informações detalhadas a respeito do movimento e da forma dos alvos não são disponíveis. / This work proposes an approach to track objects observed in sequences of images. The main objective is the development of an efficient methodology, capable of performing the tracking of one or more heterogeneous targets by using a small amount of a priori information about them. To accomplish this objective we propose a description of the targets free of an explicit shape model. This description is a contour-based representation, which is interesting because it is capable of adapting dynamically to targets that have heterogeneous shapes in an effective way. Besides this, a unique and simple movement model is used, considering only translation and scaling frame by frame. This model allows treating smooth and previously unknown targets movements. The tracking of each target is executed by the combination of two Kalman Filters: one used to estimate movement and another one to estimate contour. The observation model is based on 1D measurement lines fixed along the estimated contour and requires low computational power. Experiments were performed to evaluate the efficacy and the efficiency of the proposal, using controlled and real image sequences. Results show that the proposed approach is capable of tracking distinct targets (geometric figures, human bodies and mobile robots), which execute different movements regarding the observation position of the camera. Despite the critical tradeoff between the frame by frame variation of the targets movements and shapes and the level of noise in the images, the approach showed to be adequate for those cases of application where detailed information about target movement and shape are not available.

Mapas topologicamente ordenados sÃo tÃcnicas de representaÃÃo de dados baseadas em reduÃÃo de dimensionalidade com a propriedade especial de preservaÃÃo da vizinhanÃa espacial entre os protÃtipos no espaÃo dos dados e entre suas respectivas posiÃÃes no espaÃo de saÃda. Com base nesta propriedade, mapas topologicamente ordenados sÃo aplicados principalmente em agrupamento, quantizaÃÃo vetorial ou reduÃÃo de dimensionalidade e visualizaÃÃo de dados. Esta tese propÃe uma nova classificaÃÃo para os algoritmos de formaÃÃo de mapas topologicamente ordenados baseada no mecanismo de correlaÃÃo entre os espaÃos de entrada e de saÃda, e descreve um novo algoritmo, baseado em computaÃÃo evolucionÃria, denominado EvSOM, para a formaÃÃo de mapas topologicamente ordenado. As principais propriedades do novo algoritmo sÃo a sua flexibilidade para ponderaÃÃo pelo usuÃrio da importÃncia relativa das propriedades de quantizaÃÃo vetorial e de preservaÃÃo de topologia no mapa final, alÃm de boa rejeiÃÃo a outliers quando comparado ao algoritmo SOM de Kohonen. O trabalho desenvolve uma avaliaÃÃo empÃrica destas propriedades. O EvSOM Ã um algoritmo hÃbrido, neural-evolucionÃrio, biologicamente inspirado, que se utiliza de conceitos de redes neurais competitivas, computaÃÃo evolucionÃria, otimizaÃÃo e aproximaÃÃo iterativa. Para validar sua viabilidade de aplicaÃÃo, o EvSOM Ã estendido e especializado para a soluÃÃo de dois problemas bÃsicos relevantes em processamento de imagens e visÃo computacional, quais sejam, o problema de registro de imagens mÃdicas e o problema de rastreamento visual de objetos em vÃdeo. O algoritmo apresentou desempenho satisfatÃrio nas duas aplicaÃÃes. / Topologically ordered maps are data representation techniques based on dimensionality reduction with the special property of preserving the neighborhood between the data prototypes lying in the data space and their positions on to the output space. Based on this property, topologically ordered maps are applied mainly in clustering projected, vector quantization or dimensionality reduction and data visualization. This thesis proposes a new classification for the existing algorithms devoted to the formation of topologically ordered maps, which is based on the mechanism of correlation between the input and output spaces, and describes a new algorithm based on evolutionary computation, called EvSOM, for the topologically ordered maps formation. The main properties of the new algorithm are its flexibility for consideration by the user of the relative importance of the properties of vector quantization and topology preservation of the final map, and good outliers rejection when compared to the Kohonen SOM algorithm. The work provides an empirical evaluation of these properties. The EvSOM is a hybrid , neural-evolutionary, biologically inspired algorithm, which uses concepts of competitive neural networks, evolutionary computing, optimization and iterative approximation approximation. To validate its application feasibility, EvSOM is extended and specialized to solve two relevant basic problems in image processing and computer vision, namely, the medical image registration problem and the visual tracking of objects in video problem. The algorithm exhibits satisfactory performance in both aplications.