Submitted by Luiz Felipe Barbosa (luiz.fbabreu2@ufpe.br) on 2015-03-12T15:05:33Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertaçao Samuel de Macedo.pdf: 2955084 bytes, checksum: 24bf75ae0c8a9d0a76c2baf6850ac907 (MD5) / Approved for entry into archive by Daniella Sodre (daniella.sodre@ufpe.br) on 2015-03-13T12:59:08Z (GMT) No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertaçao Samuel de Macedo.pdf: 2955084 bytes, checksum: 24bf75ae0c8a9d0a76c2baf6850ac907 (MD5) / Made available in DSpace on 2015-03-13T12:59:08Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertaçao Samuel de Macedo.pdf: 2955084 bytes, checksum: 24bf75ae0c8a9d0a76c2baf6850ac907 (MD5) Previous issue date: 2013-03-01 / CNPQ Petrobrás CHESF / A área de reconstrução 3D tem sido bastante explorada, principalmente nos últimos anos, com a popularização de ferramentas para visualizar objetos tridimensionais. A busca por algoritmos e cientes que tornem o pipeline de reconstrução 3D mais e ciente é alvo de várias pesquisas universitárias e patentes tanto na indústria como na academia. Atualmente, alguns problemas existentes para reconstrução de malhas que possuem elevado número de pontos utilizando o pipeline de reconstrução [40] ainda persistem, mesmo aplicando apenas algumas restrições. Estes problemas são causados pela exigência de elevado poder computacional exigido pelas técnicas usuais. Dentre essas técnicas estão o rastreamento de pontos em imagens (feature tracking ) [49] e a geração e avaliação de várias hipóteses de pose de câmera para encontrar a técnica que melhor se adequa à cena em questão [37]. A reconstrução 3D pode ser bastante útil em diversas áreas como: realidade aumentada sem marcadores, para a manipulação de objetos virtuais que interagem sicamente com o mundo real e o tratamento de oclusão de objetos virtuais por objetos reais. Diante da problemática e da diversidade de aplicações, alterações no pipeline de reconstrução 3D que o tornem mais rápido e e ciente são interessantes tanto para a área de visão computacional quanto para a indústria. No contexto desta problemática, esta dissertação propõe uma metodologia para otimiza- ção do pipeline de reconstrução 3D explorando os conceitos de inferência estatística, mais precisamente a área de teste de hipótese. O teste kens é um teste de hipótese estatístico desenvolvido nesta dissertação para veri car a suavidade de uma trajetória. Este teste será aplicado aos caminhos das features uma vez que o rastreamento das mesmas é feito utilizando uxo ótico. Apesar de não ser provado matematicamente que features inliers percorrem caminhos suaves, este trabalho mostra indícios de uma relação entre suavidade e inliers, pois com a retirada das features que apresentaram caminhos não suaves a qualidade da reconstrução 3D apresentou resultados melhores. Esta dissertação de mestrado descreve todo o ferramental teórico necessário para entendimento do pipeline de reconstrução 3D e do teste kens. A utilização da técnica em dois cenários será apresentada: sendo um cenário sintético e o outro real.

O cálculo dos vetores de movimento é utilizado em vários processos na área de visão computacional. Problemas como estabelecer rotas de colisão e movimentação da câmera (egomotion) utilizam os vetores como entrada de algoritmos complexos e que demandam muitos recursos computacionais e consequentemente um consumo maior de energia. O fluxo ótico é uma aproximação do campo gerado pelos vetores de movimento. Porém, para aplicações móveis e de baixo consumo de energia se torna inviável o uso de computadores de uso geral. Um sistema embarcado é definido como um computador desenvolvido com um propósito específico referente à aplicação na qual está inserido. O objetivo principal deste trabalho foi elaborar um módulo em sistema embarcado que realiza o cálculo do fluxo ótico. Foi elaborado um co-projeto de hardware e software dedicado e implementados em FPGAs Cyclone II e Stratix IV para a prototipação do sistema. Desta forma, a implementação de um projeto que auxilia a detecção e medição do movimento é importante não só como aplicação isolada, mas para servir de base no desenvolvimento de outras aplicações como tracking, compressão de vídeos, predição de colisão, etc / The motion vectors calculation is used in many processes in the area of computer vision. Problems such as establishing collision routes and the movement of the camera (egomotion) use this vectors as input for complexes algorithms that require many computational and energy resources. The optical flow is an approximation of the field generated by the motion vectors. However, for mobile, low power consumption applications becomes infeasible to use general-purpose computers. An embedded system is defined as a computer designed with a specific purpose related to the application in which it is inserted. The main objective of this work is to implement a hardware and software co-design to assist the optical flow field calculation using the CycloneII and Stratix IV FPGAs. Sad that, it is easily to see that the implementation of a project to help the detection and measurement of the movement can be the base to the development of others applications like tracking, video compression and collision detection

O presente trabalho foi motivado pela grande importância que tem o movimento na percepção do espaço. Essa função é comum nos sistemas de visão natural já que a sobrevivência de algumas espécies é função desse fenômeno físico. Obviamente, a detecção do movimento no sistema de visão humana é de vital importância. Visão computacional é uma área de pesquisa de forte interesse atual. Em visão computacional o movimento nas imagens é recuperado a partir de uma seqüência de imagens. Neste campo a análise do movimento dos objetos pelo processamento de seqüência de imagens tem tido aplicações em diversas áreas, desde o monitoramento de tráfego veicular até nas áreas biomédica e militar. Também, uma seqüência de imagens pode proporcionar informação das estruturas e comportamento dos objetos que pertencem à cena do mundo 3D. O objetivo do presente trabalho foi desenvolver uma metodologia computacional aplicada à detecção do movimento utilizando a técnica do Fluxo Ótico. Uma das características do Fluxo Ótico é que o campo de velocidades dos objetos que se movem na imagem pode ser estimado utilizando a informação local das mudanças do brilho da imagem. Aplicou-se a consideração de que só ocorre mudança de brilho nas regiões da imagem onde ocorreu movimento e que o brilho varia suavemente em quase toda a imagem.. Realizou-se uma implementação computacional com a qual a estimativa do Fluxo Ótico é bem sucedida para uma seqüência de imagens compatíveis de entrada. Executou-se uma operação de pré-processamento para filtrar e determinar as bordas das imagens. Utilizaram-se operadores derivativos para calcular as derivadas numéricas que permitem determinar a direção e a intensidade das velocidades. Aplicou-se a técnica de relaxação as velocidades calculadas para obter uma melhor aproximação. Como conseqüência da metodologia obtiveram-se resultados de (Diagramas de Agulha) que permitem por inspeção visual a detecção do movimento. O algoritmo é robusto no que se refere à manipulação das imagens, dados e cálculos. Para mostrar o bom desempenho da técnica apresentam-se os resultados de uma série de experiências que correspondem a diferentes formas de movimento: translação, rotação, translação-rotação, divergência, utilizando diversos tipos de cenas sintéticas e reais / The motivation for the present work was the great important of the movement in space perception. Movement detection is a normal function in natural vision systems, the survival of some animal species depends on it. In human vision movement detection is an essential feature. Computer vision is a strong contemporary research area. In computer vision systems movement is recovered from a sequence of image frames. Motion analysis using frame sequences has important applications, going from vehicular traffic monitoring to biomedical and military applications. A sequence of frame images can also supply information about the structure and behavior of objects belonging to the 3D world. The purpose of the present work was to develop a computer methodology for motion analysis using the optical flow methodology. The optical flow technique estimates the velocity field of moving objects in a sequence of images considering the local information of brightness change. It has been considered that the brightness changes occurs only because of the moving objects and is smooth over the entire image. The computer methodology developed for the optical flow estimation performed reasonably well for a compatible sequence of image frames. A pre-processing was used to filter and extract the edges of the images. Derivative operators were used to find the numeric derivatives of the brightness, which allow determining the value and the direction of the velocities. A relaxation technique was used to provide a better approximation of the velocities. As a result of the developed methodology we obtained from a sequence of two images, vector diagrams (needle diagrams) that allow by visual inspection the detection of motion. The algorithm is robust regarding to the image manipulation, data and numeric calculations. To show the good performance of the technique we present the results of some experiments with different motion types: translation, rotation, translation and rotation and divergence, using artificial and real images

Algoritmos de detecção de movimento em seqüências de imagens devem satisfazer os requisitos de precisão, robustez e velocidade de processamento. A forma de combinar estes três itens depende do desenvolvimento do algoritmo e da aplicação a que se destina, sem que os itens de robustez e precisão sejam comprometidos. Neste trabalho investigamos técnicas para detecção do movimento que satisfazem tais requisitos. A técnica escolhida para detecção de movimento foi a do fluxo Ótico (FO) devido as suas características de precisão nos resultados. Como esta técnica exige elevado esforço computacional, propõe-se nesta tese uma metodologia que aplica as equações de fluxo ótico em reduzidas áreas da imagem processada. Estas áreas são selecionadas utilizando algumas técnicas de pré-processamento que identificam regiões da imagem com maior probabilidade de movimento presente. Posteriormente a esta identificação são aplicadas as equações de FO nas regiões de interesse. Para avaliação e validação do método proposto, comparam-se os diagramas de agulhas resultantes das áreas reduzidas aos diagramas resultantes de toda a imagem mediante critérios estatísticos e de tempo de processamento envolvido. Os algoritmos são testados utilizando imagens sintéticas e imagens reais. / Algorithms for motion detection in image sequences must satisfy the following requirements: accuracy, robustness and speed. The way that accuracy, robustness and speed are combined depends on the algorithm development and on the application. In this work, it has investigated motion detection techniques that satisfy the mentioned requirements. The Optical Flow technique was chosen for the motion detection due to its good performance in the results. As the Optical Flow requires intensive computational load, we propose in this thesis a methodology where Optical Flow Equations are applied in specific areas of the processed image. These areas were selected using pre-processing techniques that identify regions of image with larger motion probability. After the motion areas identification, Optical Flow Equations are applied to the regions of interest. To assess and validate the proposed method, the needle diagrams obtained in the reduced areas are compared with the ones obtained from the whole image according to statistical criteria and processing time. The proposed algorithms have been tested in synthetic and real images.

Algoritmos de detecção de movimento em seqüências de imagens devem satisfazer os requisitos de precisão, robustez e velocidade de processamento. A forma de combinar estes três itens depende do desenvolvimento do algoritmo e da aplicação a que se destina, sem que os itens de robustez e precisão sejam comprometidos. Neste trabalho investigamos técnicas para detecção do movimento que satisfazem tais requisitos. A técnica escolhida para detecção de movimento foi a do fluxo Ótico (FO) devido as suas características de precisão nos resultados. Como esta técnica exige elevado esforço computacional, propõe-se nesta tese uma metodologia que aplica as equações de fluxo ótico em reduzidas áreas da imagem processada. Estas áreas são selecionadas utilizando algumas técnicas de pré-processamento que identificam regiões da imagem com maior probabilidade de movimento presente. Posteriormente a esta identificação são aplicadas as equações de FO nas regiões de interesse. Para avaliação e validação do método proposto, comparam-se os diagramas de agulhas resultantes das áreas reduzidas aos diagramas resultantes de toda a imagem mediante critérios estatísticos e de tempo de processamento envolvido. Os algoritmos são testados utilizando imagens sintéticas e imagens reais. / Algorithms for motion detection in image sequences must satisfy the following requirements: accuracy, robustness and speed. The way that accuracy, robustness and speed are combined depends on the algorithm development and on the application. In this work, it has investigated motion detection techniques that satisfy the mentioned requirements. The Optical Flow technique was chosen for the motion detection due to its good performance in the results. As the Optical Flow requires intensive computational load, we propose in this thesis a methodology where Optical Flow Equations are applied in specific areas of the processed image. These areas were selected using pre-processing techniques that identify regions of image with larger motion probability. After the motion areas identification, Optical Flow Equations are applied to the regions of interest. To assess and validate the proposed method, the needle diagrams obtained in the reduced areas are compared with the ones obtained from the whole image according to statistical criteria and processing time. The proposed algorithms have been tested in synthetic and real images.

O presente trabalho foi motivado pela grande importância que tem o movimento na percepção do espaço. Essa função é comum nos sistemas de visão natural já que a sobrevivência de algumas espécies é função desse fenômeno físico. Obviamente, a detecção do movimento no sistema de visão humana é de vital importância. Visão computacional é uma área de pesquisa de forte interesse atual. Em visão computacional o movimento nas imagens é recuperado a partir de uma seqüência de imagens. Neste campo a análise do movimento dos objetos pelo processamento de seqüência de imagens tem tido aplicações em diversas áreas, desde o monitoramento de tráfego veicular até nas áreas biomédica e militar. Também, uma seqüência de imagens pode proporcionar informação das estruturas e comportamento dos objetos que pertencem à cena do mundo 3D. O objetivo do presente trabalho foi desenvolver uma metodologia computacional aplicada à detecção do movimento utilizando a técnica do Fluxo Ótico. Uma das características do Fluxo Ótico é que o campo de velocidades dos objetos que se movem na imagem pode ser estimado utilizando a informação local das mudanças do brilho da imagem. Aplicou-se a consideração de que só ocorre mudança de brilho nas regiões da imagem onde ocorreu movimento e que o brilho varia suavemente em quase toda a imagem.. Realizou-se uma implementação computacional com a qual a estimativa do Fluxo Ótico é bem sucedida para uma seqüência de imagens compatíveis de entrada. Executou-se uma operação de pré-processamento para filtrar e determinar as bordas das imagens. Utilizaram-se operadores derivativos para calcular as derivadas numéricas que permitem determinar a direção e a intensidade das velocidades. Aplicou-se a técnica de relaxação as velocidades calculadas para obter uma melhor aproximação. Como conseqüência da metodologia obtiveram-se resultados de (Diagramas de Agulha) que permitem por inspeção visual a detecção do movimento. O algoritmo é robusto no que se refere à manipulação das imagens, dados e cálculos. Para mostrar o bom desempenho da técnica apresentam-se os resultados de uma série de experiências que correspondem a diferentes formas de movimento: translação, rotação, translação-rotação, divergência, utilizando diversos tipos de cenas sintéticas e reais / The motivation for the present work was the great important of the movement in space perception. Movement detection is a normal function in natural vision systems, the survival of some animal species depends on it. In human vision movement detection is an essential feature. Computer vision is a strong contemporary research area. In computer vision systems movement is recovered from a sequence of image frames. Motion analysis using frame sequences has important applications, going from vehicular traffic monitoring to biomedical and military applications. A sequence of frame images can also supply information about the structure and behavior of objects belonging to the 3D world. The purpose of the present work was to develop a computer methodology for motion analysis using the optical flow methodology. The optical flow technique estimates the velocity field of moving objects in a sequence of images considering the local information of brightness change. It has been considered that the brightness changes occurs only because of the moving objects and is smooth over the entire image. The computer methodology developed for the optical flow estimation performed reasonably well for a compatible sequence of image frames. A pre-processing was used to filter and extract the edges of the images. Derivative operators were used to find the numeric derivatives of the brightness, which allow determining the value and the direction of the velocities. A relaxation technique was used to provide a better approximation of the velocities. As a result of the developed methodology we obtained from a sequence of two images, vector diagrams (needle diagrams) that allow by visual inspection the detection of motion. The algorithm is robust regarding to the image manipulation, data and numeric calculations. To show the good performance of the technique we present the results of some experiments with different motion types: translation, rotation, translation and rotation and divergence, using artificial and real images

O cálculo dos vetores de movimento é utilizado em vários processos na área de visão computacional. Problemas como estabelecer rotas de colisão e movimentação da câmera (egomotion) utilizam os vetores como entrada de algoritmos complexos e que demandam muitos recursos computacionais e consequentemente um consumo maior de energia. O fluxo ótico é uma aproximação do campo gerado pelos vetores de movimento. Porém, para aplicações móveis e de baixo consumo de energia se torna inviável o uso de computadores de uso geral. Um sistema embarcado é definido como um computador desenvolvido com um propósito específico referente à aplicação na qual está inserido. O objetivo principal deste trabalho foi elaborar um módulo em sistema embarcado que realiza o cálculo do fluxo ótico. Foi elaborado um co-projeto de hardware e software dedicado e implementados em FPGAs Cyclone II e Stratix IV para a prototipação do sistema. Desta forma, a implementação de um projeto que auxilia a detecção e medição do movimento é importante não só como aplicação isolada, mas para servir de base no desenvolvimento de outras aplicações como tracking, compressão de vídeos, predição de colisão, etc / The motion vectors calculation is used in many processes in the area of computer vision. Problems such as establishing collision routes and the movement of the camera (egomotion) use this vectors as input for complexes algorithms that require many computational and energy resources. The optical flow is an approximation of the field generated by the motion vectors. However, for mobile, low power consumption applications becomes infeasible to use general-purpose computers. An embedded system is defined as a computer designed with a specific purpose related to the application in which it is inserted. The main objective of this work is to implement a hardware and software co-design to assist the optical flow field calculation using the CycloneII and Stratix IV FPGAs. Sad that, it is easily to see that the implementation of a project to help the detection and measurement of the movement can be the base to the development of others applications like tracking, video compression and collision detection

Made available in DSpace on 2016-12-12T20:22:52Z (GMT). No. of bitstreams: 1 RAFAEL ALCESTE BERRI.pdf: 28428368 bytes, checksum: 667b9facc9809bfd5e0847e15279b0e6 (MD5) Previous issue date: 2014-02-21 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / In this work, three proposals of systems have been developed using a frontal camera to monitor the driver and enabling to identificate if a cell phone is being used while driving the vehicle. It is estimated that 80% of crashes and 65% of near collisions involved drivers who were inattentive in traffic for three seconds before the event. Five videos in real environment were generated to test the systems. The pattern recognition system (RP) uses adaptive skin segmentation, feature extraction, and machine learning to detect cell phone usage on each frame. The cell phone detection happens when, in periods of 3 seconds, 60% (threshold) of frames or more are identified as a cell phone use, individually. The average accuracy on videos achieved was 87.25% with Multilayer Perceptron (MLP), Gaussian activation function, and two neurons of the intermediate layer. The movement detection system (DM) uses optical flow, filtering the most relevant movements of the scene, and three successive frames for detecting the movements to take the phone to the ear and take it off. The DM proposal was not demonstrated as being an effective solution for detecting cell phone use, reaching an accuracy of 52.86%. The third solution is a hybrid system. It uses the RP system for classification and the DM for choosing the RP parameters. The parameters chosen for RP are the threshold and the classification system. The definition of these two parameters occurs at the end of each period, based on movement detected by the DM. Experimentally it was established that, when the movement induces to use cell phone, it is proper to use the threshold of 60%, and the classifier as MLP/Gaussian with seven neurons of the intermediate layer; otherwise, it is used threshold 85%, and MLP/Gaussian with two neurons of the intermediate layer for classification. The hybrid solution is the most robust system with average accuracy of 91.68% in real environment. / Neste trabalho, são desenvolvidas três propostas de sistemas que permitem identificar o uso de celular, durante o ato de dirigir um veículo, utilizando imagens capturadas de uma câmera posicionada em frente ao motorista. Estima-se que 80% das colisões e 65% das quase colisões envolveram motoristas que não estavam prestando a devida atenção ao trânsito por três segundos antes do evento. Cinco vídeos em ambiente real foram gerados com o intuito de testar os sistemas. A proposta de reconhecimento de padrões (RP) emprega segmentação de pele adaptativa, extração de características e aprendizado de máquina (classificador) na detecção do celular em cada quadro processado. A detecção do uso do celular ocorre quando, em períodos de 3 segundos, ao menos em 60% dos quadros (corte) são identificados com celular. A acurácia média nos vídeos alcançou 87, 25% ao utilizar Perceptron Multi-camadas (MLP) com função de ativação gaussiana e dois neurônios na camada intermediária como classificador. A proposta de detecção de movimento (DM) utiliza o fluxo ótico, filtragem dos movimentos mais relevantes da cena e três quadros consecutivos para detectar os momentos de levar o celular ao ouvido e o retirá-lo. A aplicação do DM, como solução para detectar o uso do celular, não se demostrou eficaz atingindo uma acurácia de 52, 86%. A terceira proposta, uma solução híbrida, utiliza o sistema RP como classificador e o de DM como seu parametrizador. Os parâmetros escolhidos para o sistema de RP são o corte e o sistema classificador. A definição desses dois parâmetros ocorre ao final de cada período, baseada na movimentação detectada pela DM. Com experimentações definiu-se que, caso a movimentação induza ao uso do celular, é adequado o uso do corte de 60% e o classificador MLP/Gaussiana com sete neurônios na camada intermediária, caso contrário, utiliza-se o corte de 85% e classificador MLP/Gaussiana com dois neurônios na mesma camada. A versão híbrida é a solução desenvolvida mais robusta, atingindo a melhor acurácia média de 91, 68% em ambiente real.