Diversos problemas práticos envolvendo sistemas de visão computacional, tais como vigilância automatizada, pesquisas de conteúdo específico em bancos de dados multimídias ou edição de vídeo, requerem a localização e o reconhecimento de objetos dentro de seqüências de imagens ou vídeos digitais. Mais formalmente, denomina-se rastreamento o processo de determinação da posição de certo(s) objeto(s) ao longo do tempo numa seqüência de imagens. Já a tarefa de reconhecimento caracteriza-se pela classificação desses objetos de acordo com algum rótulo pré-estabelecido ou apoiada em conhecimento prévio tipicamente introduzido através de um modelo dos objetos de interesse. No entanto, rastrear e classificar objetos em vídeo digital são tarefas desafiadoras, tanto pelas dificuldades inerentes a esse tipo de elemento pictórico, quanto pelo variável grau de complexidade que os quadros sob análise podem apresentar. Este documento apresenta uma metodologia baseada em modelo para rastrear e reconhecer objetos em vídeo digital através de uma representação por grafos relacionais com atributos (ARGs). Tais estruturas surgiram dentro do paradigma de reconhecimento estrutural de padrões e têm se mostrado bastante flexíveis e poderosas para modelar problemas diversos, pois podem transmitir dados quantitativos, relacionais, estruturais e simbólicos. Como modelo e entrada são descritos através desses grafos, a questão de reconhecimento é interpretada como um problema de casamento inexato entre grafos, que consiste em mapear os vértices do ARG de entrada nos vértices do ARG modelo. Em seguida, é realizado o rastreamento dos objetos de acordo com uma transformação afim derivada de parâmetros obtidos da etapa de reconhecimento. Para validar a metodologia proposta, resultados sobre seqüências de imagens digitais, sintéticas e reais, são apresentados e discutidos. / Several practical problems involving computer vision systems, such as automated surveillance, content-based queries in multimedia databases or video editing require the location and recognition of objects within image sequences or digital video. More formally, the process of determining the position of certain objects in an image sequence throughout time is called tracking, whereas the recognition task is characterized by the classification of such objects according to pre-defined labels or a priori knowledge, typically introduced by means of a model of the target objects. However, tracking and recognition of objects in digital video are not simple tasks, either because of the inherent difficulties of such a pictorial element, or due to the variable level of complexity that the frames under consideration might present. This document presents a model-based methodology for tracking and recognizing objects represented by attributed relational graphs (ARGs) in digital video. These structures have arisen from the paradigm of structural pattern recognition and have proven to be very flexible and powerful for modeling various problems, as they can hold many sorts of data (e.g: quantitative, relational, structural and symbolic). Since both model and input data are described through these graphs, the recognition matter may be interpreted as an inexact graph matching problem, which consists in finding a correspondence between the set of vertices of the input ARG and that of the model ARG. In the next step, object tracking is performed according to an affine transform derived from parameters extracted from the recognition phase. To validate the proposed methodology, results obtained from real and synthetic digital image sequences are presented and discussed.

Diversos problemas práticos envolvendo sistemas de visão computacional, tais como vigilância automatizada, pesquisas de conteúdo específico em bancos de dados multimídias ou edição de vídeo, requerem a localização e o reconhecimento de objetos dentro de seqüências de imagens ou vídeos digitais. Mais formalmente, denomina-se rastreamento o processo de determinação da posição de certo(s) objeto(s) ao longo do tempo numa seqüência de imagens. Já a tarefa de reconhecimento caracteriza-se pela classificação desses objetos de acordo com algum rótulo pré-estabelecido ou apoiada em conhecimento prévio tipicamente introduzido através de um modelo dos objetos de interesse. No entanto, rastrear e classificar objetos em vídeo digital são tarefas desafiadoras, tanto pelas dificuldades inerentes a esse tipo de elemento pictórico, quanto pelo variável grau de complexidade que os quadros sob análise podem apresentar. Este documento apresenta uma metodologia baseada em modelo para rastrear e reconhecer objetos em vídeo digital através de uma representação por grafos relacionais com atributos (ARGs). Tais estruturas surgiram dentro do paradigma de reconhecimento estrutural de padrões e têm se mostrado bastante flexíveis e poderosas para modelar problemas diversos, pois podem transmitir dados quantitativos, relacionais, estruturais e simbólicos. Como modelo e entrada são descritos através desses grafos, a questão de reconhecimento é interpretada como um problema de casamento inexato entre grafos, que consiste em mapear os vértices do ARG de entrada nos vértices do ARG modelo. Em seguida, é realizado o rastreamento dos objetos de acordo com uma transformação afim derivada de parâmetros obtidos da etapa de reconhecimento. Para validar a metodologia proposta, resultados sobre seqüências de imagens digitais, sintéticas e reais, são apresentados e discutidos. / Several practical problems involving computer vision systems, such as automated surveillance, content-based queries in multimedia databases or video editing require the location and recognition of objects within image sequences or digital video. More formally, the process of determining the position of certain objects in an image sequence throughout time is called tracking, whereas the recognition task is characterized by the classification of such objects according to pre-defined labels or a priori knowledge, typically introduced by means of a model of the target objects. However, tracking and recognition of objects in digital video are not simple tasks, either because of the inherent difficulties of such a pictorial element, or due to the variable level of complexity that the frames under consideration might present. This document presents a model-based methodology for tracking and recognizing objects represented by attributed relational graphs (ARGs) in digital video. These structures have arisen from the paradigm of structural pattern recognition and have proven to be very flexible and powerful for modeling various problems, as they can hold many sorts of data (e.g: quantitative, relational, structural and symbolic). Since both model and input data are described through these graphs, the recognition matter may be interpreted as an inexact graph matching problem, which consists in finding a correspondence between the set of vertices of the input ARG and that of the model ARG. In the next step, object tracking is performed according to an affine transform derived from parameters extracted from the recognition phase. To validate the proposed methodology, results obtained from real and synthetic digital image sequences are presented and discussed.

Casamento de padrões de pontos é um problema fundamental em reconhecimento de padrões. O objetivo é encontrar uma correspondência entre dois conjuntos de pontos, associados a características relevantes de objetos ou entidades, mapeando os pontos de um conjunto no outro. Este problema está associado a muitas aplicações, como por exemplo, reconhecimento de objetos baseado em modelos, imagens estéreo, registro de imagens, biometria, entre outros. Para encontrar um mapeamento, os objetos são codificados por representações abstratas, codificando as características relevantes consideradas na comparação entre pares de objetos. Neste trabalho, objetos são representados por grafos, codificando tanto as características `locais\' quanto as relações espaciais entre estas características. A comparação entre objetos é guiada por uma formulação de atribuição quadrática, que é um problema NP-difícil. Para estimar uma solução, duas técnicas de casamento entre grafos são propostas: uma baseada em grafos auxiliares, chamados de grafos deformados; e outra baseada em representações `esparsas\', campos aleatórios de Markov e propagação de crenças. Devido as suas respectivas limitações, as abordagens são adequadas para situações específicas, conforme mostrado neste documento. Resultados envolvendo as duas abordagens são ilustrados em quatro importantes aplicações: casamento de imagens de gel eletroforese 2D, segmentação interativa de imagens naturais, casamento de formas, e colorização assistida por computador. / Point set matching is a fundamental problem in pattern recognition. The goal is to match two sets of points, associated to relevant features of objects or entities, by finding a mapping, or a correspondence, from one set to another set of points. This issue arises in many applications, e.g. model-based object recognition, stereo matching, image registration, biometrics, among others. In order to find a mapping, the objects can be encoded by abstract representations, carrying relevant features which are taken into account to compare pairs of objects. In this work, graphs are adopted to represent the objects, encoding their `local\' features and the spatial relations between these features. The comparison of two given objects is guided by a quadratic assignment formulation, which is NP-hard. In order to estimate the optimal solution, two approximations techniques, via graph matching, are proposed: one is based on auxiliary graphs, called deformed graphs; the other is based on `sparse\' representations, Markov random fields and belief propagation. Due to their respective limitations, each approach is more suitable to each specific situation, as shown in this document. The quality of the two approaches is illustrated on four important applications: 2D electrophoresis gel matching, interactive natural image segmentation, shape matching, and computer-assisted colorization.

Casamento de padrões de pontos é um problema fundamental em reconhecimento de padrões. O objetivo é encontrar uma correspondência entre dois conjuntos de pontos, associados a características relevantes de objetos ou entidades, mapeando os pontos de um conjunto no outro. Este problema está associado a muitas aplicações, como por exemplo, reconhecimento de objetos baseado em modelos, imagens estéreo, registro de imagens, biometria, entre outros. Para encontrar um mapeamento, os objetos são codificados por representações abstratas, codificando as características relevantes consideradas na comparação entre pares de objetos. Neste trabalho, objetos são representados por grafos, codificando tanto as características `locais\' quanto as relações espaciais entre estas características. A comparação entre objetos é guiada por uma formulação de atribuição quadrática, que é um problema NP-difícil. Para estimar uma solução, duas técnicas de casamento entre grafos são propostas: uma baseada em grafos auxiliares, chamados de grafos deformados; e outra baseada em representações `esparsas\', campos aleatórios de Markov e propagação de crenças. Devido as suas respectivas limitações, as abordagens são adequadas para situações específicas, conforme mostrado neste documento. Resultados envolvendo as duas abordagens são ilustrados em quatro importantes aplicações: casamento de imagens de gel eletroforese 2D, segmentação interativa de imagens naturais, casamento de formas, e colorização assistida por computador. / Point set matching is a fundamental problem in pattern recognition. The goal is to match two sets of points, associated to relevant features of objects or entities, by finding a mapping, or a correspondence, from one set to another set of points. This issue arises in many applications, e.g. model-based object recognition, stereo matching, image registration, biometrics, among others. In order to find a mapping, the objects can be encoded by abstract representations, carrying relevant features which are taken into account to compare pairs of objects. In this work, graphs are adopted to represent the objects, encoding their `local\' features and the spatial relations between these features. The comparison of two given objects is guided by a quadratic assignment formulation, which is NP-hard. In order to estimate the optimal solution, two approximations techniques, via graph matching, are proposed: one is based on auxiliary graphs, called deformed graphs; the other is based on `sparse\' representations, Markov random fields and belief propagation. Due to their respective limitations, each approach is more suitable to each specific situation, as shown in this document. The quality of the two approaches is illustrated on four important applications: 2D electrophoresis gel matching, interactive natural image segmentation, shape matching, and computer-assisted colorization.