abstract: Many real-time vision applications require accurate estimation of optical flow. This problem is quite challenging due to extremely high computation and memory requirements. This thesis focuses on designing low complexity dense optical flow algorithms. First, a new method for optical flow that is based on Semi-Global Matching (SGM), a popular dynamic programming algorithm for stereo vision, is presented. In SGM, the disparity of each pixel is calculated by aggregating local matching costs over the entire image to resolve local ambiguity in texture-less and occluded regions. The proposed method, Neighbor-Guided Semi-Global Matching (NG-fSGM) achieves significantly less complexity compared to SGM, by 1) operating on a subset of the search space that has been aggressively pruned based on neighboring pixels’ information, 2) using a simple cost aggregation function, 3) approximating aggregated cost array and embedding pixel-wise matching cost computation and flow computation in aggregation. Evaluation on the Middlebury benchmark suite showed that, compared to a prior SGM extension for optical flow, the proposed basic NG-fSGM provides robust optical flow with 0.53% accuracy improvement, 40x reduction in number of operations and 6x reduction in memory size. To further reduce the complexity, sparse-to-dense flow estimation method is proposed. The number of operations and memory size are reduced by 68% and 47%, respectively, with only 0.42% accuracy degradation, compared to the basic NG-fSGM. A parallel block-based version of NG-fSGM is also proposed. The image is divided into overlapping blocks and the blocks are processed in parallel to improve throughput, latency and power efficiency. To minimize the amount of overlap among blocks with minimal effect on the accuracy, temporal information is used to estimate a flow map that guides flow vector selections for pixels along block boundaries. The proposed block-based NG-fSGM achieves significant reduction in complexity with only 0.51% accuracy degradation compared to the basic NG-fSGM. / Dissertation/Thesis / Masters Thesis Computer Science 2017

Resumo: Em certas condições, os sensores de orientação e posicionamento (INS e GPS) de um Sistema Móvel de Mapeamento Terrestre (SMMT) ficam indisponíveis por algum intervalo de tempo casionando a perda da orientação e do posicionamento das imagens capturadas neste intervalo. Neste trabalho, é proposta uma solução baseada apenas nas imagens sem a utilização de sensores ou informações externas às mesmas, através do fluxo óptico. Um sistema móvel com um par de vídeo câmaras, denominado Unidade Móvel de Mapeamento Digital (UMMD), foi utilizado para testar a metodologia proposta em uma via plana. As câmaras são fixadas em uma base com um afastamento entre as câmaras de 0,94m e paralelas ao eixo de deslocamento (Y). A velocidade do veículo é estimada, inicialmente, com base no fluxo óptico denso. Em seguida, a estimação da velocidade é melhorada após uma filtragem, que consiste em: utilizar os vetores que apresentam comportamento radial na metade inferior das imagens e que foram detectados pelo algoritmo de Canny, acrescida uma segunda etapa na estimação da velocidade com eliminação de erros grosseiros. Com a velocidade estimada e sabendo-se o tempo de amostragem do vídeo, o deslocamento de cada imagem é determinado e esta informação é utilizada como aproximação inicial para o posicionamento das câmaras. Os resultados mostraram que a velocidade estimada ficou próxima da velocidade verdadeira e a qualidade do ajustamento se mostrou razoável, considerando-se a não utilização de sensores externos e de pontos de apoio. / Abstract: Under certain conditions the positioning and orientation sensors such as INS and GPS of a land-based mobile mapping system may fail for a certain time interval. The consequence is that the images captured during this time interval may be misoriented or even may have no orientation. This thesis proposes a solution to orient the images based only on image processing and a photogrammetric technique without any external sensors in order to overcome the lack of external orientation. A land-based mobile mapping system with a pair of video cameras and a GPS receiver was used to test the proposed methodology on an urban flat road. The video cameras were mounted on the roof of the vehicle with both optical axes parallel to the main road axis (Y). The methodology is based on the velocity estimation of the vehicle, which is done in two steps. Initially, the dense optical flow is computed then the velocity estimation is obtained through a filtering strategy that consists of using radial vectors in the low parts of the images. These radial vectors are detected by the Canny algorithm. The vehicle velocity is re-estimated after eliminating the optical flow outliers. With the reestimated velocity and with the video sampling time the spatial displacement of each image (with respect to the previous one of the sequence) is determined. The results show that the estimated velocity is pretty close to the true one and the quality of the least square adjustment is quite acceptable, considering that no external sensors were used. / Orientador: João Fernando Custódio da Silva / Coorientador: Messias Meneguette Júnior / Banca: Aluir Porfírio Dal Poz / Banca: Antonio Maria Garcia Tommaselli / Banca: Valentin Obac Roda / Banca: Almir Olivette Artero / Doutor

Algoritmos de detecção de movimento em seqüências de imagens devem satisfazer os requisitos de precisão, robustez e velocidade de processamento. A forma de combinar estes três itens depende do desenvolvimento do algoritmo e da aplicação a que se destina, sem que os itens de robustez e precisão sejam comprometidos. Neste trabalho investigamos técnicas para detecção do movimento que satisfazem tais requisitos. A técnica escolhida para detecção de movimento foi a do fluxo Ótico (FO) devido as suas características de precisão nos resultados. Como esta técnica exige elevado esforço computacional, propõe-se nesta tese uma metodologia que aplica as equações de fluxo ótico em reduzidas áreas da imagem processada. Estas áreas são selecionadas utilizando algumas técnicas de pré-processamento que identificam regiões da imagem com maior probabilidade de movimento presente. Posteriormente a esta identificação são aplicadas as equações de FO nas regiões de interesse. Para avaliação e validação do método proposto, comparam-se os diagramas de agulhas resultantes das áreas reduzidas aos diagramas resultantes de toda a imagem mediante critérios estatísticos e de tempo de processamento envolvido. Os algoritmos são testados utilizando imagens sintéticas e imagens reais. / Algorithms for motion detection in image sequences must satisfy the following requirements: accuracy, robustness and speed. The way that accuracy, robustness and speed are combined depends on the algorithm development and on the application. In this work, it has investigated motion detection techniques that satisfy the mentioned requirements. The Optical Flow technique was chosen for the motion detection due to its good performance in the results. As the Optical Flow requires intensive computational load, we propose in this thesis a methodology where Optical Flow Equations are applied in specific areas of the processed image. These areas were selected using pre-processing techniques that identify regions of image with larger motion probability. After the motion areas identification, Optical Flow Equations are applied to the regions of interest. To assess and validate the proposed method, the needle diagrams obtained in the reduced areas are compared with the ones obtained from the whole image according to statistical criteria and processing time. The proposed algorithms have been tested in synthetic and real images.

A área de robótica móvel se encontra numa fase de grande expansão, mas um dos obstáculos a ser vencido é o desenvolvimento de sistemas computacionais embarcados que combinem baixo consumo de energia com alta capacidade de processamento. A computação reconfigurável tem o potencial para atender esta demanda. Este trabalho visa avaliar as dificuldades no aproveitamento desta tecnologia através da implementação em hardware de um sistema de desvio de obstáculos para robôs móveis usando uma única câmera de baixo custo como sensor. Normalmente os algorítmos de fluxo óptico usados neste projeto são implementados inteiramente em software e sofrem várias restrições para poderem operar nos computadores embarcados nos robôs. O projeto descrito neste trabalho não tem estas restrições mas exige um esforço maior de desenvolvimento / The area of mobile robotics is undergoing a tremendous expansion, but one of the obstacles to be dealt with is the development of embedded computational systems that combine low power consumption and high performance. Reconfigurable computing has the potential to meet these requirements. This project is an evaluation of the complexities of fully exploiting this technology through the hardware implementation of an obstacle avoidance system for mobile robots using a single, low cost camera as its sensor. Normally, the optic flow algorithms used in this project are implemented entirely in software and so suffer several limitations in order to run on computers embedded in the robots. The hardware described here does not have the same limitations but requires more development effort

O problema de contagem de pessoas em uma determinada região é de grande importância, e tem várias aplicações, tais como: planejamento dos serviços fornecidos por cinemas, shoppings centers, companhias de ônibus, assim como para o monitoramento do tráfego de pedestres em áreas urbanas. A necessidade de se conceber sistemas confiáveis capazes de contabilizar, em tempo real, o número de pessoas circulando em uma determinada região tem sido evidenciado por essas aplicações. Este trabalho apresenta um sistema de baixo custo para a estimação do fluxo multidirecional de pedestres, em ambientes abertos e não restritos, baseado na seqüência de imagens digitais, capturadas por uma única câmera vídeo tipo WEBCAM. A câmera é colocada na vertical do espaço a ser monitorado e conectada a um PC através da porta USB. A metodologia tem como base o trabalho desenvolvido por Pádua (2002) e utiliza o algoritmo proposto em Lucas e Kanade (1981) que computa o fluxo óptico das imagens capturadas pela câmera. Uma análise espaço-temporal desse fluxo é realizada para determinar o fluxo multidirecional dos pedestres. / The problem in counting people in restricted area is of great importance in planning the services offered by cinemas, malls and bus companies and also for controlling pedestrians traffic in urban areas. These applications have evinced the need for developing reliable real time systems capable of counting pedestrians in regions of interest. This work presents a low cost system for estimating the multidirectional flow of pedestrians in open areas and non-restricted areas. This system has only one WEBCAM placed in a vertical position in the area to be monitored. This camera is connected to the PC computer system through the USB port. The methodology is based in the work developed by Pádua (2002) and in the algorithm proposed by Lucas e Kanade (1981) that computerizes the optical flow of the images acquired by the stationary camera. The multidirectional flow is estimated by the temporal-space analysis of this optical flow

Optical flow is widely used in image and video processing. This paper describes the definition of optical flow and some basic methods of estimating optical flow. There are three main optical flow methods described in this paper: Horn–Schunck method, Lucas–Kanade method and Anandan method. It will select the most appropriate method to measure the flow in videos containing smoke and gas by comparing those three methods with different criteria. The results are as below 1) Horn–Schunck method is good at measuring flow in infrared video and in horizontal direction, when 2) Anandan method is adept in estimating upward optical flow but not suitable for infrared video. 3) Lucas-Kanade method can be used not only in smoke videos, but also in methane gas videos, and it can detect flow in both horizontal and vertical direction.

Objective video quality assessment is of great importance in video compression and other video processing applications. In today's encoders Peak Signal to Noise Ratio or Sum of Absolute Differences are often used, though these metrics have limited correlation to perceived quality. In this paper other block-based quality measures are evaluated with superior performance on compression distortion when evaluating correlation with Mean Opinion Scores. The major results are that Block-based Visual Information Fidelity with optical flow and intra-frame Gaussian weighting outperforms PSRN, VIF, and SSIM. Also, a block-based weighted Mean Squared Error method is proposed that performs better than PSRN and SSIM, however not VIF and BB-VIF, with the advantage of high locality, which is useful in video encoding. The previously mentioned weighting methods have not been evaluated with SSIM, which is proposed for further studies.

O cálculo dos vetores de movimento é utilizado em vários processos na área de visão computacional. Problemas como estabelecer rotas de colisão e movimentação da câmera (egomotion) utilizam os vetores como entrada de algoritmos complexos e que demandam muitos recursos computacionais e consequentemente um consumo maior de energia. O fluxo ótico é uma aproximação do campo gerado pelos vetores de movimento. Porém, para aplicações móveis e de baixo consumo de energia se torna inviável o uso de computadores de uso geral. Um sistema embarcado é definido como um computador desenvolvido com um propósito específico referente à aplicação na qual está inserido. O objetivo principal deste trabalho foi elaborar um módulo em sistema embarcado que realiza o cálculo do fluxo ótico. Foi elaborado um co-projeto de hardware e software dedicado e implementados em FPGAs Cyclone II e Stratix IV para a prototipação do sistema. Desta forma, a implementação de um projeto que auxilia a detecção e medição do movimento é importante não só como aplicação isolada, mas para servir de base no desenvolvimento de outras aplicações como tracking, compressão de vídeos, predição de colisão, etc / The motion vectors calculation is used in many processes in the area of computer vision. Problems such as establishing collision routes and the movement of the camera (egomotion) use this vectors as input for complexes algorithms that require many computational and energy resources. The optical flow is an approximation of the field generated by the motion vectors. However, for mobile, low power consumption applications becomes infeasible to use general-purpose computers. An embedded system is defined as a computer designed with a specific purpose related to the application in which it is inserted. The main objective of this work is to implement a hardware and software co-design to assist the optical flow field calculation using the CycloneII and Stratix IV FPGAs. Sad that, it is easily to see that the implementation of a project to help the detection and measurement of the movement can be the base to the development of others applications like tracking, video compression and collision detection

No description available.

This master's thesis prepared the programme which is able to follow the trajectories of the movement of people and based on this to create various statistics. In practice it is an effective marketing tool which can be used for instance for customer flow analyses, optimal evaluation of opening hours, visitor traffic analyses and for a lot of other benefits. Histograms of oriented gradients, SVM classificator and optical flow monitoring were used to solve this problem. The method of multiple hypothesis tracking was selected for the association data. The system's quality was evaluated from the video footage of the street with the large concentration of pedestrians and from the school's camera system, where the movement in the corridor was monitored and the number of people counted.