A atual interação entre homens e computadores ocorre por meio de dispositivos físicos como mouses, teclados, trackballs, entre outros. Claramente, essa forma de comunicação difere daquela com que os homens se comunicam entre si, que se baseiam na fala; em expressões faciais e corporais; em gestos das mãos, etc, não sendo, portanto, naturais. Considerando-se que boa parte da interação envolve a manipulação de objetos, por exemplo, arrastar uma pasta, pressionar um botão ou controlar um personagem em um jogo, tem-se a interação baseada em gestos das mãos como uma candidata a tornar o processo mais natural. Os mecanismos mais populares que permitem a interação baseada em gestos são luvas repletas de sensores que captam os gestos executados e os transmitem para o sistema. Essa abordagem apresenta várias desvantagens em termos de uso casual por terem um alto custo financeiro, por esconderem a naturalidade do movimento da mão e por requererem um complexo processo de calibração para permitir medições precisas. Nesse contexto, a Visão Computacional surge como uma alternativa interessante, visto que pode ser implementada com simples câmeras web. O presente trabalho investiga algumas das etapas comuns em sistemas de visão computacional, direcionando-se no sentido de encontrar um conjunto de procedimentos que compostos possam permitir a identificação dos gestos produzidos pelas mãos.

Este trabalho apresenta um procedimento automatizado para calibração de sistemas de visão robótica baseado no cálculo on-line da matriz de transformação homogênea entre o sistema coordenado do plano de imagem, na câmera, e a área de trabalho do robô. A principal contribuição deste trabalho, está no fato desta matriz de transformação estar expressa em função dos ângulos de junto do robô. Como conseqüência, o procedimento de calibração necessita apenas de dois pontos, que devem ser ensinados ao robô. Após a execução do procedimento de calibração, os pontos capturados pelo sistema de visão são então automaticamente convertidos para o sistema coordenado do robô, através de uma matriz de transformação homogênea. O procedimento de calibração foi intensivamente testado utilizando um sistema de visão comercial e um robô industrial tipo SCARA e apresentou bons resultados.

Dentre outras atividades, visão computacional ocupa-se com a extração de informação 3D a partir de imagens. Dois métodos usados para a extração de informação 3D são estereoscopia e estimação de fluxo óptico. Para obter-se informação de profundidade usando estes métodos, geralmente é necessário fazer-se a correspondência entre imagens, ou casamento de imagens. A abordagem usada no presente trabalho para resolver o problema de casamento de imagem pertence à categoria baseada em características locais salientes. As características escolhidas para o casamento de imagens são pontos de alto contraste. Os algoritmos de visão computacional costumam ter vários parâmetros a serem ajustados. Infelizmente, os valores dos parâmetros ajustados para um conjunto de imagens nem sempre resultam bom desempenho para outro. Esta tese enfoca a sensibilidade do algoritmo de visão computacional a variações paramétricas feitas por um operador. Robustez a estas variações paramétricas torna possível o uso de tal algoritmo sob várias circunstâncias, sem a necessidade do ajuste manual de tais parâmetros. Inicialmente este trabalho focaliza a avaliação de um algoritmo de rotulação relaxada para casamento de imagens. Informação de movimento da câmera é usada pra reduzir a complexidade, ambigüidade e o custo computacional do casamento de imagens. Imagens reais foram usadas para a avaliação de sensibilidade. A recuperação de profundidade a partir das equações de fluxo óptico é feita utilizando-se os resultados do algoritmo de casamento de imagens. Um banco de dados de imagens calibrado obtidos por um helicóptero durante vôo rasante é empregado para analisar o impacto de incertezas nos parâmetros de movimento na recuperação de profundidade.

Grande parte das técnicas de navegação utilizadas em Veículos Aéreos Não-Tripulados (VANTs) é baseada na integração de sistemas de navegação por satélites (GNSS - Global Navigation Satellite System) e sistemas de navegação inercial (INS - Inertial Navigation System). Entretanto, a utilização do GNSS oferece um grande desafio para a expansão da utilização de VANTs por estarem sujeitos à degradação intencional ou não dos sinais transmitidos pelos satélites. Assim, técnicas de navegação autônoma com mínima dependência do GNSS têm sido exploradas como um meio alternativo/colaborativo. Nesta dissertação, é utilizada uma técnica de navegação baseada em imagens para auxiliar a navegação de um VANT quando o GNSS não está disponível. Algoritmos como o SIFT (Scale Invariant Features Transform) são capazes de extrair características de imagens que, em combinação com técnicas de estimação e decomposição de homografias, permitem estimar variações de atitude e posição da aeronave de maneira independente. No entanto, essa decomposição pode resultar em duas soluções fisicamente possíveis para a homografia. Contudo, somente uma delas representa as características geométricas reais do objeto em vista. Verifica-se também que o conhecimento do vetor normal ao plano de visada é suficiente para determinar a solução correta. Assim, sob a hipótese de pequena mudança do vetor normal entre duas imagens em sequência, neste trabalho se investiga a determinação da solução correta para a decomposição da homografia, comparando-se os vetores normais estimados entre dois instantes de tempo. Com o intuito de avaliar o desempenho do sistema de navegação utilizando as variações de atitude e posição, obtidas via processamento de imagens, foram realizadas simulações utilizando um modelo de seis graus de liberdade de um VANT. Os resultados mostram baixos erros iniciais, porém devido ao procedimento de propagação de atitude e posição, há erros crescentes com o tempo, sugerindo que a navegação autônoma, isto é, sem auxílio GNSS não é viável por longos períodos, como esperado. Contudo, a existência de leitura eventual GNSS, que é uma hipótese realista, permite limitar esses erros. Para demonstrar o potencial da navegação por imagens e elevar a representatividade dos resultados, as simulações foram realizadas tomando fotografias reais como base para geração das sequências de imagens.

Estuda parâmetros de imagens e sons, propondo e avaliando a viabilidade de diversas formas de associação entre eles, buscando uma forma de informar a um deficiente visual a cor dos objetos a sua frente utilizando uma câmera digital e um sistema computacional capaz de analisar a imagem captada e reproduzir sons digitalizados alterando seus parâmetros de acordo com as cores encontradas, visando assim explorar ao máximo as informações contidas na imagem colorida e a capacidade de audição do indivíduo.Para tanto foram estudados os parâmetros de imagens, as características da visão humana, parâmetros de sons, características da audição e psico-acústica. A implementação foi realizada em um microcontrolador para aquisição de imagens e um microcomputador utilizando recursos padronizados de acesso direto ao hardware (DirectX) para análise da imagem e geração de áudio.

A roda automotiva é um item de segurança do veículo, cujo desenvolvimento e produção é complexo e requer um rigoroso controle dimensional. Atualmente o sistema de medição da roda, situada entre etapas de produção, consiste no emprego de relógios comparadores. Desta forma, a qualidade da informação obtida depende da habilidade do operador em manipular o dispositivo de medição, estando também, suscetível ao desgaste físico por trabalho repetitivo.Soluções alternativas, para a medição da oscilação da roda, também foram estudadas, como por exemplo o emprego de equipamentos com sensores LVDT e roletes, os quais não apresentaram resultados satisfatórios. Devido a estes fatos, este trabalho tem como objetivo projetar um sistema mecatrônico, que utiliza recursos de visão computacional, para medir a oscilação da roda, buscando resolver os problemas apresentados por outros métodos comentados.

Este trabalho refere-se à implementação e avaliação de desempenho de arquiteturas de redes neurais não supervisionadas, utilizadas como controladores em tarefas de interceptação de alvos estacionários no espaço 3D. Em termos gerais, o problema de interceptação visual consiste no controle de atitude do sistema de visão objetivando que o alvo imageado seja deslocado para a posição central dos planos-imagem das câmeras. Um modelo simulado de sistema de visão binocular é utilizado na realização do processo de imageamento. Esse modelo simulado foi baseado em um sistema de visão real e procura representar as características principais de um sistema físico deste tipo. O trabalho apresenta um estudo básico sobre Aprendizado Competitivo em uma RNA, e estuda em maiores detalhes uma teoria de redes neurais não-supervisionadas conhecida como Teoria de Ressonância Adaptativa (ART - Adaptive Resonance Theory), onde são discutidas as arquiteturas neurais ART1 e Fuzzy-ART. Uma importante característica das redes neurais ART é a capacidade de distinguir e aprender novas informações sem prejuízo de informações aprendidas no passado. A solução do problema de interceptação visual foi baseada em duas arquiteturas neurais: SOIM (Self-Organizing Invertible Mapping) e KBVS (Kohonen-Based Visual Servoing). A primeira arquitetura é constituída por duas subredes Fuzzy-ART e uma "camada de representação interna", sendo usada como controlador open-loop (em malha aberta). A segunda, constitui-se de uma Rede de Rohonen bidimensional e de uma camada associativa de saída, sendo usada como controlador neural closed-loop (em malha fechada). A partir da arquitetura SOIM, foi desenvolvida uma terceira arquitetura, designada de MeBIM (Memory-Based Invertible Mapping), com tempo de treinamento significativamente menor. Diversos testes de interceptação visual de um alvo 3D estacionário, empregando as três arquiteturas neurais em estudo, são apresentados e comparados, sendo mostrado que os melhores resultados são obtidos quando o controlador SOIM ou MeBIM é combinado com o controlador KBVS.

Este trabalho apresenta a concepção, desenvolvimento e integração de um sistema de integração binocular para rastreamento binocular auxiliado por uma estratégia de atenção que permite selecionar regiões específicas da imagem para rastreamento. Múltiplas regiões são segmentadas sem o conhecimento do conteúdo da cena mediante detecção monocular de movimento no plano de imagem. Pontos detectados são agrupados em alvos cujo interesse para fins de rastreamento é avaliado por função de atenção. Observou-se que o emprego de imagens foveadas reduz consideravelmente a carga computacional requerida pelo processo de segmentação. Atributos de cada alvo são extraídos para emprego na função de atenção, que determina o valor de interesse dos alvos. A função de atenção proposta é a base da estratégia de atenção e resulta na seleção do alvo com maior valor de interesse. Os atributos empregados são a disparidade binocular, o número de pixels do alvo, sua densidade e velocidade no plano de imagem e a duração de sua ocorrência ao longo das imagens. Incertezas nos atributos são desconsideradas pela função de atenção. Os movimentos da cabeça de visão onde o sistema foi implementado consistem em movimentos balísticos, sacádicos e de perseguição suave nos eixos de elevação, e vergências assimétricas. A ativação destes movimentos é definida levando-se em conta características de desempenho do aparato visual antropomórfico. Avaliou-se o desempenho do sistema tanto no rastreamento de diversos alvos rígidos movendo-se em translação de forma controlada contra um fundo estático de textura não homogênea quanto no de uma pessoa deslocand-se e originando múltiplos alvos não rígidos que violam a restrição de translação pura. Os resultados para o primeiro caso demonstraram a manutenção dos alvos rígidos dentro do campo visual de ambas as câmeras. Já os resultados para o segundo caso demonstraram menor robustez a distorções nos padrões de cinza causadas pelo movimento de rotação e de mudança de escala, o que provoca chaveamento excessivo da atenção do sistema. Isto reflete as limitações do poder computacional empregado, uma vez que há grande dificuldade em limitar o movimento entre quadros da pessoa sendo rastreada.

Este trabalho descreve a construção automática de Mosaico de Imagens a partir de imagens aéreas referenciadas em relação aos dados aferidos por sensores de mensuração inercial, de altitude e de velocidade de um VANT com o objetivo gerar imagens panorâmicas de áreas do solo. Para etapa de aquisição de dados foi desenvolvida uma interface em LabVIEW com objetivo de receber os dados medidos pelos sensores em conjunto com as imagens aéreas, enviados respectivamente, por um link de transmissão de dados e um link de transmissão de imagens para a Estação de Controle em Solo (ECS). Em seguida, as imagens passam pela correção geométrica, na qual é utilizado o método de fotogrametria que emprega os ângulos de rolagem, arfagem e guinada como entradas para a correção das imagens, além de fazer a compensação da altitude, igualando as resoluções espaciais das imagens. Nessa etapa se fez necessário também a correção das intensidades das imagens utilizando o método de interpolação bilinear. Por fim foi feita a geração de mosaico em linguagem C, utilizando as bibliotecas do OpenCV. Para detecção de características nas imagens, foi desenvolvido um algoritmo baseado em um método já consolidado na literatura, o SIFT (Scale-InvariantFeatureTransform), e para encontrar correspondências nas imagens, utilizaram-se os medidores de similaridade NSSD (Normalized Sum ofSquaredDifferences) e NCC (Normalized Cross Correlation). Neste trabalho são apresentados dois resultados, sendo o primeiro construído a partir de um grupo de 22 imagens, e o segundo, a partir de um grupo de 25 imagens. Nos dois casos a geração automática de mosaico se deu de forma satisfatória, o que era o objetivo do trabalho.

O presente trabalho apresenta a aplicação de técnicas de visão computacional na identificação de alvos (i.e. marcações) na superfície de cargas em campanhas de ensaios de separação de cargas externas. A identificação dos alvos na superfície da carga alijada é o primeiro passo para o seu rastreamento e consequentemente, para a análise de sua trajetografia. Foram utilizados os atributos Haar-like e MB-LBP para composição dos classificadores que realizaram a identificação dos alvos nas imagens capturadas em alta resolução (i.e. 720p ou mais) e em alta velocidade (i.e. 200 quadros por segundo ou mais). Em ambos os casos, foi necessária realização de duas etapas, a saber: treinamento dos classificadores e identificação dos alvos na imagem. Como premissa básica, todas as ferramentas utilizadas foram de livre acesso e, portanto, não possuem restrições de uso. As bibliotecas do OpenCV foram utilizadas para a manipulação das imagens e para a aplicação das técnicas escolhidas. Para a validação da ferramenta desenvolvida, foram analisadas sequências de imagens de um voo de ensaio de separação de carga capturadas em uma campanha de desenvolvimento de uma bomba guiada a laser e de ensaios de separação em solo realizadas no IPEV. O tempo de execução do processo de identificação dos alvos em um computador portátil foi comparado ao tempo de execução do mesmo processo em um dispositivo que pode ser embarcado na aeronave, com a finalidade de se verificar o desempenho da ferramenta. Os resultados obtidos nos experimentos se mostraram satisfatórios e puderam comprovar a aplicação das técnicas na identificação dos alvos em ensaios de separação de carga.