Este trabalho apresenta uma plataforma para coleta e análise de imagens urbanas, que integra Interfaces de Programação de Aplicativos \"Application Programming Interfaces\" (APIs) de sistemas de busca de imagens, Sistemas de Informações Geográficas (SIGs), mapas digitais e técnicas de visão computacional. Esta plataforma, INACITY, permite que usuários selecionem regiões de interesse e capturem elementos de relevância para a arquitetura urbana, como, por exemplo árvores e buracos em ruas. A implementação da plataforma foi feita de maneira a permitir que novos módulos possam ser facilmente incluídos ou substituídos possibilitando a introdução de outras APIs de mapas, SIGs e filtros de Visão Computacional. Foram realizados experimentos com as imagens obtidas através do \"Google Street View\" onde árvores são capturadas em áreas de bairros inteiros em questão de minutos, um ganho significativo quando comparado com o procedimento manual para levantamento deste tipo de dado. Além disso, também são apresentados resultados comparativos entre os métodos de visão computacional propostos para a detecção de árvores em imagens com outros métodos heurísticos, em um conjunto onde as árvores estão marcadas manualmente e assim as taxas de precisão e de redescoberta de cada algoritmo podem ser avaliadas e comparadas. / This project presents a platform that integrates Application Programming Interfaces (APIs), image retrieval systems, Geographical Information Systems (GISes), digital maps and Computer Vision techniques to collect and analyse urban images. The platform, INACITY (an acronym for INvestigate and Analyse a City), empowers users allowing them to select a region over a map and see urban features inside that region that have relevance to the urban architecture context, for instance trees. The implementation is extensible and it is designed to make it easy to add or replace new modules, for instance, to add a new API to present a map, different GISes and other Computer Vision filters.

Esta dissertação apresenta um novo método de segmentação de movimento baseado na obtenção dos contornos e em filtros morfológicos. A nova técnica apresenta vantagens em relação ao número de falsos positivos e falsos negativos em situações específicas quando comparada às técnicas tradicionais. / This work presents a novel motion segmentation technique based in contours and in morphological filters. It presents advantages in the number of false positives and false negatives in some situations when compared to the classic techniques.

Unmanned aerial vehicles (UAV) have become increasingly popular and their ability to analyze images collected in real time has drawn the attention of researchers regarding their use in several tasks, as surveillance of environments, persecution, collection of images, among others. This dissertation proposes a vehicle tracking system through which UAVs can recognize a vehicle and monitor it in highways. The system is based on a combination of bio-inspired machine learning algorithms VOCUS2, CNN and LSTM and was tested with real images collected by an aerial robot. The results show it is simpler and outperformed other complex algorithms, in terms of precision. / Veículos aéreos não tripulados têm se tornado cada vez mais populares e sua capacidade de analisar imagens coletadas em tempo real tem chamado a atenção de pesquisadores quanto ao seu uso em diversas tarefas, como vigilância de ambientes, perseguição, coleta de imagens, entre outros. Esta dissertação propõe um sistema de rastreamento de veículos através do qual os UAV podem reconhecer um veículo e monitorá-lo em rodovias. O sistema é baseado em uma combinação de algoritmos de aprendizado de máquina bio-inspirados VOCUS2, CNN e LSTM e foi testado com imagens reais coletadas por um robô aéreo. Os resultados mostram que é mais simples e superou outros algoritmos complexos, em termos de precisão.

MOREIRA, C. C. Software Para Prática De Regência Coral. 2013. 60 f. Dissertação (Mestrado) - Instituto de Matemática e Estatística, Universidade de São Paulo, São Paulo, 2013. Neste documento um software é proposto para apoiar o ensino da regência coral com base em um modelo de aula padrão observado na disciplina: Análise Musical para Performance: Interfaces entre Criação e Interpretação a Partir do Universo Coral do Departamento de Música da Escola de Comunicações e Artes da Universidade de São Paulo. Neste software é possível: (i) monitorar, (ii) mensurar e (iii) avaliar os padrões de regência (gestos) de regência realizados e as posições corporais de um estudante de regência coral. O principal objetivo é permitir, através da interação com o software, que o estudante possa aprimorar sua consciência corporal através do monitoramento de seu posicionamento espacial enquanto realiza os padrões de regência e se vê projetado tridimensionalmente no sistema. Para que este monitoramento seja suportado, três módulos foram criados, de modo que as devidas configurações possam ser realizadas, assim como a visualização seja feita, a saber: (a) módulo de configuração de padrões de regência, onde padrões de regência são criados ou modificados; (b) módulo de criação de práticas, que podem ser: (b.1) sintéticas, e neste caso utilizam os padrões de regência pré-definidos em (a), dispondo-os em sequências ao longo do tempo as quais são associadas às mãos do regente, ou (b.2) gravadas, onde através do registro de movimentos corporais por um período de tempo em frente ao sensor, as juntas corporais são capturadas ao longo do tempo, de modo que se possa comparar estes movimentos com os realizados em tempo real; e (c), o módulo de visualização, onde o usuário poderá (c.1) assistir a reprise de práticas já realizadas, ou configuradas anteriormente; (c.2) comparar e visualizar práticas diversas entre si; ou ainda, (c.3) praticá-las de fato, onde receberá uma nota ao final do exercício. A idéia é que estudantes possam realizar práticas repetidas vezes, onde irão melhorando suas notas, e aprimorando seus gestos através da conscientização corporal. Outro ponto importante é que estudantes e regentes podem interagir entre si através da troca das configurações, já que estas são salvas em arquivos, possibilitando a criação de um repositório de regência coral, o que permite que as informações extrapolem os limites de sala de aula. Para implementar tal solução, algoritmos de visão computacional foram aplicados no contexto da regência coral, em conjunto com o sensor Kinect para auxiliar na captura das informações corporais. Por fim, busca-se iniciar um trabalho com o sentido de aprimorar a formação de regentes e possibilitar que o ensino desta arte seja fundamentado em dados quantitativos que poderão auxiliar o regente a tirar conclusões sobre os métodos e escolas de regência atualmente existentes. / In this document a software to support the teaching of choral conducting is proposed based on the conducting classes observed while coursing the discipline: Musical Analysis for Performance on the Choral Universe in the Music Department of the School of Arts and Communications of University of Sao Paulo. Through this software is possible to: (i) monitor, (ii) measure and (iii) evaluate the choral conducting patterns (gestures) performed and the body positions of the student. The main objective is to allow, by interacting with the software, that the student improves his body self-perception by having his body position monitored while he performs the conducting patterns and sees himself tridimensionally projected in the system. To have this monitoring in place, three modules were created such that the needed configurations could be done as well as the visualization could have been done, they are: (a) conducting patterns configuration module, where the conducting patterns are created or modified; (b) practice creation module, the practices can be (b.1) synthetical, in this case they use the conducting patterns defined in (a), placing them in sequences accross the time which are associated to the hands of the conductor, or (b.2) recorded, in which case the body movements are recorded for a period of time in front of the sensor, the positions are stored along time and allow to compare these movements recorded with the user information in real-time; and (c), the visualization module, where the user can (c.1) watch a replay of the practices already performed, or configured previously; (c.2) compare and see diversified practices, or yet, (c.3) effectivelly practice them, in which case an evaluation mark will be given at the end. The idea is that students can do and repeat practices over, improving their marks and gestures through self-perception. Another important point is that students and conductors can interact by exchanging configurations, since all of them are saved in files, which allows creating a choral conducting repository which would extrapolate the classroom boundaries. To implement such solution computer vision algorithms were applied in the context of choral conducting, together with the Kinect sensor to help capturing the body information. At last, this work tries does the kick off for teaching conductors through the usage of technology, allowing that this art is teached based on quantitative data which can help the conductor drawing conclusions over the current conducting schools and methods.

Este trabalho apresenta uma arquitetura de hardware, baseada em FPGA (Field-Programmable Gate Array) e com multi-câmeras, para o problema de localização e mapeamento simultâneos - SLAM (Simultaneous Localization And Mapping) aplicada a sistemas robóticos embarcados. A arquitetura é composta por módulos de hardware altamente especializados para a localização do robô e para geração do mapa do ambiente de navegação em tempo real com features extraídas de imagens obtidas diretamente de câmeras CMOS a uma velocidade de 30 frames por segundo. O sistema é totalmente embarcado em FPGA e apresenta desempenho superior em, pelo menos, uma ordem de magnitude em relaçãoo às implementações em software processadas por computadores pessoais de última geração. Esse desempenho deve-se à exploração do paralelismo em hardware junto com o processamento em pipeline e às otimizações realizadas nos algoritmos. As principais contribuições deste trabalho são as arquiteturas para o filtro de Kalman estendido - EKF (Extended Kalman Filter) e para a detecção de features baseada no algoritmo SIFT (Scale Invariant Feature Transform). A complexidade para a implementaçãoo deste trabalho pode ser considerada alta, uma vez que envolve uma grande quantidade de operações aritméticas e trigonométricas em ponto utuante e ponto fixo, um intenso processamento de imagens para extração de features e verificação de sua estabilidade e o desenvolvimento de um sistema de aquisição de imagens para quatro câmeras CMOS em tempo real. Adicionalmente, foram criadas interfaces de comunicação para o software e o hardware embarcados no FPGA e para o controle e leitura dos sensores do robô móvel. Além dos detalhes e resultados da implementação, neste trabalho são apresentados os conceitos básicos de mapeamento e o estado da arte dos algoritmos SLAM com visão monocular e estéreo / This work presents a hardware architecture for the Simultaneous Localization And Mapping (SLAM) problem applied to embedded robots. This architecture, which is based on FPGA and multi-cameras, is composed by highly specialized blocks for robot localization and feature-based map building in real time from images read directly from CMOS cameras at 30 frames per second. The system is completely embedded on an FPGA and its performance is at least one order of magnitude better than a high end PC-based implementation. This result is achieved by investigating the impact of several hardwareorientated optimizations on performance and by exploiting hardware parallelism along with pipeline processing. The main contributions of this work are the architectures for the Extended Kalman Filter (EKF) and for the feature detection system based on the SIFT (Scale Invariant Feature Transform). The complexity to implement this work can be considered high, as it involves a significant number of arithmetic and trigonometric operations in oating and fixed-point format, an intensive image processing for feature detection and stability checking, and the development of an image acquisition system from four CMOS cameras in real time. In addition, communication interfaces were created to integrate software and hardware embedded on FPGA and to control the mobile robot base and to read its sensors. Finally, besides the implementation details and the results, this work also presents basic concepts about mapping and state-of-the-art algorithms for SLAM with monocular and stereo vision.

Dentre as diversas tecnologias de Assistência Avançada ao Condutor (ADAS) que têm sido adicionadas aos automóveis modernos estão os sistemas de detecção de pedestres. Tais sistemas utilizam sensores, como radares, lasers e câmeras de vídeo para captar informações do ambiente e evitar a colisão com pessoas no contexto do trânsito. Câmeras de vídeo têm se apresentado como um ótima opção para esses sistemas, devido ao relativo baixo custo e à riqueza de informações que capturam do ambiente. Muitas técnicas para detecção de pedestres baseadas em visão têm surgido nos últimos anos, tendo como característica a necessidade de um grande poder computacional para que se possa realizar o processamento das imagens em tempo real, de forma robusta, confiável e com baixa taxa de erros. Além disso, é necessário que sistemas que implementem essas técnicas tenham baixo consumo de energia, para que possam funcionar em um ambiente embarcado, como os automóveis. Uma tendência desses sistemas é o processamento de imagens de múltiplas câmeras presentes no veículo, de forma que o sistema consiga perceber potenciais perigos de colisão ao redor do veículo. Neste contexto, este trabalho aborda o coprojeto de hardware e software de uma arquitetura para detecção de pedestres, considerando a presença de quatro câmeras em um veículo (uma frontal, uma traseira e duas laterais). Com este propósito, utiliza-se a flexibilidade dos dispositivos FPGA para a exploração do espaço de projeto e a construção de uma arquitetura que forneça o desempenho necessário, o consumo de energia em níveis adequados e que também permita a adaptação a novos cenários e a evolução das técnicas de detecção de pedestres por meio da programabilidade. O desenvolvimento da arquitetura baseouse em dois algoritmos amplamente utilizados para detecção de pedestres, que são o Histogram of Oriented Gradients (HOG) e o Integral Channel Features (ICF). Ambos introduzem técnicas que servem como base para os algoritmos de detecção modernos. A arquitetura implementada permitiu a exploração de diferentes tipos de paralelismo das aplicações por meio do uso de múltiplos processadores softcore, bem como a aceleração de funções críticas por meio de implementações em hardware. Também foi demonstrada sua viabilidade no atendimento a um sistema contendo quatro câmeras de vídeo. / Among the several Advanced Driver Assistance (ADAS) technologies that have been added to modern vehicles are pedestrian detection systems. Those systems use sensors, such as radars, lasers, and video cameras to capture information from the environment and avoid collision with people in the context of traffic. Video cameras have become as a great option for such systems because of the relatively low cost and all of information they are able to capture from the environment. Many techniques for vison-based pedestrian detection have appeared in the last years, having as characteristic the necessity of a great computational power so that image can be processed in real time, in a robust and reliable way, and with low error rate. In addition, systems that implement these techniques require low power consumption, so they can operate in an embedded environment such as automobiles. A trend of these systems is the processing of images from multiple cameras mounted in vehicles, so that the system can detect potential collision hazards around the vehicle. In this context, this work addresses the hardware and software codesign of an architecture for pedestrian detection, considering the presence of four cameras in a vehicle (one in the front, one in the rear and two in the sides). For this purpose, the flexibility of FPGA devices is used for design space exploration and the construction of an architecture that provides the necessary performance, energy consumption at appropriate levels and also allows adaptation to new scenarios and evolution of pedestrian detection techniques through programmability. The development of the architecture was based on two algorithms widely used for pedestrian detection, which are Histogram of Oriented Gradients (HOG) and Integral Channel Features (ICF). Both introduce techniques that serve as the basis for modern detection algorithms. The implemented architecture allowed the exploration of different types of parallelism through the use of multiple softcore processors, as well as the acceleration of critical functions through implementations in hardware. It has also been demonstrated its feasibility in attending to a system containing four video cameras.

Sistemas computacionais empregados na Agricultura de Precisão (AP) são dedicados, atualmente, a prover relativa amostragem, precisão e nível de processamento de dados requeridas pelas práticas agrícolas, que não são comuns a agricultura convencional, elevando custos com a produção e pesquisas direcionadas ao sensoriamento remoto, para o mapeamento e inspeção das linhas de plantio. São tarefas a priori realizadas com o uso de sensores proprioceptivos e exteroceptivos, instrumentação embarcada, informações geográficas e implementos existentes na produção e cultivo, que auxiliam as atividades do agricultor durante as etapas de plantação, maturação, conservação e colheita de determinada cultura. Ainda, estas tarefas são auxiliadas com uso de robôs agrícolas móveis terrestres, como plataformas veiculares autônomas para a locomoção entre as linhas de plantio na aquisição de dados do campo. Dadas estas informações e relacionando o grau de investimento e desenvolvimento destas tecnologias, o objetivo deste trabalho é auxiliar a inspeção, quantificação e qualificação de culturas agrícolas (citricultura) de determinada área de plantio através da análise e identificação de dados por fusão sensorial, associada a processamento de imagens digitais, termografia óptica e sensores de fluxo óptico e refletância, baseado na extração de objetos de cenas naturais reais, identificando itens como frutos, gramíneas, caules, ramos, folhas e galhos, provendo assim um conjunto de dados qualitativos e quantitativos da cultura analisada. A partir de um sistema de visão computacional e fusão sensorial, com câmeras GigE/IP-CMOS, conjunto de sonares, câmera térmica, sensores de fluxo óptico e sensores de refletância, são embarcados nas laterais da estrutura veicular, com a mesma relação do centro geométrico cinemático do robô agrícola móvel. Após a aquisição dos dados, são aplicadas técnicas de processamento de imagens e sinais para a segmentação de regiões não homogêneas, e reconhecimento de padrões por classificadores estatísticos. Tais técnicas são programadas em OpenCV e MATLAB, de forma offline. Classificadores cognitivos que realizam as correspondências de padrões e classes são pretendidos na combinação de técnicas de fusão de dados ponderada, para que, durante a locomoção do robô agrícola móvel, as etapas de processamento de imagens e combinação de parâmetros para a classificação sejam manipuláveis para análise a posteriori, conflitando os dados existentes com prováveis alterações decorrentes na cultura e na biomassa. / Computer systems are used in Precision Agriculture (PA) to provide relational sampling, accuracy and data processing required for agricultural practices and schemes, which are not common to conventional agriculture, demanding higher costs of production and research directed to the remote sensing for mapping and inspection of crop rows. Tasks are carried out using a priori On-the-Go sensors, and proprioceptive and exteroceptive ones, embedded instrumentation, geographic information and existing implements on production and farming, which these activities ensure during the steps of planting, maturation, maintenance and harvesting of a particular culture. Also, these tasks are aided with the use of terrestrial agricultural mobile robots such as autonomous vehicle platforms for locomotion between the crop rows in the acquisition of field data. Given this information and relating the investment and development of these technologies, the goal of this work is to assist the inspection, quantification and qualification of agricultural crops (citrus) of planting area through analyzing and identifying data for sensor fusion, associated with digital image processing, optical thermal imaging and optical flow sensors and reflectance, based on the extraction of real natural scenes objects, identifying items such as fruits, grasses, stems, branches and leaves, thus providing a qualitative and quantitative set of data analyzed culture. As of a computer vision system and sensor fusion, Gigabit Ethernet cameras, sonars, thermal camera, infrared optical flow sensors and monochrome CMOS sensors are embedded in two sides of the vehicle structure, with the same geometric center ratio of the agricultural mobile robot. After data acquisition, image and signal processing techniques are applied for non homogeneous region segmentation, and pattern recognition through statistical classifiers. Such techniques are programmed in MATLAB and OpenCV, embedded in a computer platform. Cognitive classifiers that perform pattern and classes matching are intended on a combination of weighted data fusion techniques, that during locomotion of the agricultural mobile robot, the steps of image processing and combination of parameters for classification are manipulated for analysis retrospectively, conflicting existing data with likely changes resulting in culture and biomass.

A avaliação do estado nutricional das plantas de milho usualmente é feita através de análises químicas ou pela diagnose visual das folhas da planta, esta última, sujeita a erros de interpretação já que a ausência de algum nutriente na planta gera um padrão de mudança específico na superfície da folha que depende do nível de ausência do nutriente. As dificuldades que apresentam neste processo e sua importância na agricultura, criam a necessidade de pesquisar sistemas automáticos para a avaliação do estado nutricional de plantas. Desta forma, este mestrado teve como objetivo principal o desenvolvimento de um sistema de visão artificial para verificar a possibilidade de identificação de níveis dos macronutrientes Cálcio, Enxofre, Magnésio, Nitrogênio e Potássio em plantas de milho através da análise da superfície das folhas usando métodos de visão computacional. Este projeto realiza uma revisão bibliográfica do estado da arte dos métodos de extração de características de cor, textura em escala de cinza e textura colorida utilizadas em processamento de imagens. A alta similaridade entre os sintomas produzidos pelas deficiências e a pouca similaridade entre amostras de uma mesma deficiência motivou o desenvolvimento de novos métodos de extração de características que pudessem fornecer dados necessários para uma correta separação entre as classes. Os resultados obtidos demonstraram que o sistema desenvolvido possibilita a predição de deficiências nutricionais em estágios iniciais do crescimento da planta usando unicamente a textura da superfície da folha como fonte de informação / The evaluation of the nutritional status of corn plants is usually done through chemical analysis or by visual diagnosis of the plant leaves. Visual diagnosis is subject to misinterpretation as the lack of some nutrient in the plant generates a specific pattern of change in the leaf surface that depends on the degree on which the nutrient is absent on the plant. The difficulties present in this process and its importance in agriculture creates the necessity to search automated systems for the assessment of nutritional status of plants. Thus, this dissertation had as main objective the development of an artificial vision system to verify the possibility of identifying levels of macronutrients calcium, sulfur, magnesium, potassium and nitrogen in corn plants by analyzing the surface of the leaves using computer vision methods. This project performs a review of the literature of the state of the art methods for feature extraction of color, grayscale and colored texture used in image processing. The high similarity between the symptoms caused by deficiencies and low similarity between samples of the same deficiency motivated the development of new methods for extracting features that could provide the data needed for a correct separation between classes. The results showed that the system enables the prediction of nutritional deficiencies in an initial stage of plant growth using only texture of the leaf surface as a source of information

A obtenção e a reconstrução da geometria tridimensional (3D) de objetos e ambientes têm importância crescente em áreas como visão computacional e computação gráfica. As formas atuais de obtenção e reconstrução 3D necessitam de equipamentos e montagens sofisticadas que, por conseqüência, têm custos elevados e aplicação limitada. Este trabalho apresenta criticamente os principais algoritmos para a reconstrução 3D a partir de par de imagens estéreo e identifica os mais viáveis para utilização com equipamentos convencionais. Por meio da implementação de alguns destes algoritmos, da comparação dos resultados obtidos em sua execução e também pela comparação com os resultados encontrados na literatura, são identificadas as principais deficiências. São propostas adequações aos algoritmos existentes, em particular, é apresentada a proposta da técnica das faixas que proporciona a redução drástica no consumo de memória para o processamento da geometria 3D e que possui desempenho computacional melhor em relação às técnicas tradicionais. Foi implementado um protótipo de sistema de reconstrução 3D que permite a reconstrução pelas diferentes técnicas estudadas e propostas, bem como permite visualizar o cenário reconstruído sob diferentes pontos de vista de forma interativa. / The acquisition and reconstruction of three-dimensional (3D) geometry of objects and environments have their importance growing in areas such as Computer Vision and Computer Graphics. The current methods to acquire and reconstruct three-dimensional data need sophisticated equipments and assemblies, which have expensive costs and limited applications. This work presents the main algorithms for 3D reconstruction using a pair of stereo images and identifies which are viable to use with conventional equipments. Through the implementation of some of these algorithms, by comparing the results obtained and comparing with the results presented in the literature, the main limitations were identified. This work proposes adjustments in the existing algorithms, in particular it proposes the stripping technique, which provides a huge memory usage reduction for 3D geometry processing and better computing performance if compared with traditional approaches. A prototype system for 3D reconstruction was implemented, which allows the reconstruction using the different researched and proposed techniques and allows interactive visualization of the reconstructed scene in different angles.

Imagens codificadas por matrizes de intensidade são tipicamente representadas por grande quantidade de dados. Embora existam inúmeras abordagens para análise de imagens, o conhecimento sobre problemas específicos é raramente considerado. Este trabalho trata sobre problemas de análises de imagens cujas soluções dependem do conhecimento sobre os dados envolvidos na aplicação específica. Para isso, utiliza técnicas de mineração de dados para modelar as respostas humanas obtidas de experimentos psicofísicos. Dois problemas de análise de imagens são apresentados: (1) a análise de formas e (2) a análise pictórica. No primeiro problema (1), formas de neurônios da retina (neurônios ganglionares de gato) são segmentadas e seus contornos submetidos a uma calibração dos parâmetros de curvatura considerando a segmentação manual de um especialista. Outros descritores, tais como esqueletos multi-escalas são explorados para eventual uso e avaliação da abordagem. No segundo problema (2), a análise pictórica de imagens de home-pages serve para avaliar critérios estéticos a partir de medidas de complexidade, contraste e textura. O sistema generaliza as respostas por um experimento psicofísico realizados com humanos. Os resultados objetivos com as duas abordagens revelaram-se promissores, surpreendentes e com ampla aplicabilidade. / Images coded by intensity matrices typically involve large amount of data. Although image analysis approaches are diverse, knowledge about specific problems is rarely considered. This work is about image analysis problems whose solutions depend on the knowledge about the involved data. In order to do so data mining techniques are applied to model human response to psychophysical experiments. Two image analysis problems are addressed: (1) shape analysis; and (2) pictorial analysis. In the former, neuronal images (ganglion retinal cells of cat) are segmented and curvature parameters are calibrated to identify extremities and branches on the shape considering human segmentation as a reference. Descriptors such as multiscale skeletons are also explored for potential application or evaluations. In the second problem, a pictorial analysis of home-pages images feed an artificial aesthetics criteria evaluator based on complexity, contrast and texture features. The system models and generalizes the obtained human responses to psychophysical experiment. The results for these two approaches are promising, surprising and widely applicable.