Este projeto de mestrado visa a pesquisa e o desenvolvimento de métodos e algoritmos, relacionados ao uso de radares, visão computacional, calibração e fusão de sensores em veículos autônomos/inteligentes para fazer a detecção de obstáculos. O processo de detecção de obstáculos se divide em três etapas, a primeira é a leitura de sinais de Radar, do LiDAR e a captura de dados da câmera estéreo devidamente calibrados, a segunda etapa é a fusão de dados obtidos na etapa anterior (Radar+câmera, Radar+LIDAR 3D), a terceira etapa é a extração de características das informações obtidas, identificando e diferenciando o plano de suporte (chão) dos obstáculos, e finalmente realizando a detecção dos obstáculos resultantes da fusão dos dados. Assim é possível diferenciar os diversos tipos de elementos identificados pelo Radar e que são confirmados e unidos aos dados obtidos por visão computacional ou LIDAR (nuvens de pontos), obtendo uma descrição mais precisa do contorno, formato, tamanho e posicionamento destes. Na tarefa de detecção é importante localizar e segmentar os obstáculos para posteriormente tomar decisões referentes ao controle do veículo autônomo/inteligente. É importante destacar que o Radar opera em condições adversas (pouca ou nenhuma iluminação, com poeira ou neblina), porém permite obter apenas pontos isolados representando os obstáculos (esparsos). Por outro lado, a câmera estéreo e o LIDAR 3D permitem definir os contornos dos objetos representando mais adequadamente seu volume, porém no caso da câmera esta é mais suscetível a variações na iluminação e a condições restritas ambientais e de visibilidade (p.ex. poeira, neblina, chuva). Também devemos destacar que antes do processo de fusão é importante alinhar espacialmente os dados dos sensores, isto e calibrar adequadamente os sensores para poder transladar dados fornecidos por um sensor referenciado no próprio sistema de coordenadas para um outro sistema de coordenadas de outro sensor ou para um sistema de coordenadas global. Este projeto foi desenvolvido usando a plataforma CaRINA II desenvolvida junto ao Laboratório LRM do ICMC/USP São Carlos. Por fim, o projeto foi implementado usando o ambiente ROS, OpenCV e PCL, permitindo a realização de experimentos com dados reais de Radar, LIDAR e câmera estéreo, bem como realizando uma avaliação da qualidade da fusão dos dados e detecção de obstáculos comestes sensores. / This masters project aims to research and develop methods and algorithms related to the use of radars, computer vision, calibration and sensor data fusion in autonomous / intelligent vehicles to detect obstacles. The obstacle detection process is divided into three stages, the first one is the reading of Radar, LiDAR signals and the data capture of the stereo camera properly calibrated, the second stage is the fusion of data obtained in the previous stage(Radar + Camera, Radar + 3D LIDAR), the third step is the extraction of characteristics of the information obtained, identifying and differentiating the support plane(ground) of the obstacles, and finally realizing the detection of the obstacles resulting from the fusion of the data. Thus it is possible to differentiate types of elements identified by the Radar and that are confirmed and united to the data obtained by computational vision or LIDAR (point cloud), obtaining amore precise description of the contour, format, size and positioning of these. During the detection task it is important to locate and segment the obstacles to later make decisions regarding the control of the autonomous / intelligent vehicle. It is important to note that Radar operates in adverse conditions (little or no light, with dust or fog), but allows only isolated points representing obstacles (sparse), where on the other hand, the stereo camera and LIDAR 3D allow to define the shapeand size of objects. As for the camera, this is more susceptible to variations in lighting and to environmental and visibility restricted conditions (eg dust, haze, rain). It is important to spatially align the sensor data, calibrating the sensors appropriately, to be able to translate data provided by a sensor referenced in the coordinate system itself to another coordinate system of another sensor or to a global coordinate system. This project was developed using the CaRINA II platform developed by the LRM Laboratory ICMC / USP São Carlos. Finally, the project was implemented using the ROS, OpenCV and PCL environments, allowing experiments with real data from Radar, LIDAR and stereo camera, as well as performing an evaluation of the quality of the data fusion and detection of obstacles with these sensors .

Este trabalho apresenta uma arquitetura de hardware, baseada em FPGA (Field-Programmable Gate Array) e com multi-câmeras, para o problema de localização e mapeamento simultâneos - SLAM (Simultaneous Localization And Mapping) aplicada a sistemas robóticos embarcados. A arquitetura é composta por módulos de hardware altamente especializados para a localização do robô e para geração do mapa do ambiente de navegação em tempo real com features extraídas de imagens obtidas diretamente de câmeras CMOS a uma velocidade de 30 frames por segundo. O sistema é totalmente embarcado em FPGA e apresenta desempenho superior em, pelo menos, uma ordem de magnitude em relaçãoo às implementações em software processadas por computadores pessoais de última geração. Esse desempenho deve-se à exploração do paralelismo em hardware junto com o processamento em pipeline e às otimizações realizadas nos algoritmos. As principais contribuições deste trabalho são as arquiteturas para o filtro de Kalman estendido - EKF (Extended Kalman Filter) e para a detecção de features baseada no algoritmo SIFT (Scale Invariant Feature Transform). A complexidade para a implementaçãoo deste trabalho pode ser considerada alta, uma vez que envolve uma grande quantidade de operações aritméticas e trigonométricas em ponto utuante e ponto fixo, um intenso processamento de imagens para extração de features e verificação de sua estabilidade e o desenvolvimento de um sistema de aquisição de imagens para quatro câmeras CMOS em tempo real. Adicionalmente, foram criadas interfaces de comunicação para o software e o hardware embarcados no FPGA e para o controle e leitura dos sensores do robô móvel. Além dos detalhes e resultados da implementação, neste trabalho são apresentados os conceitos básicos de mapeamento e o estado da arte dos algoritmos SLAM com visão monocular e estéreo / This work presents a hardware architecture for the Simultaneous Localization And Mapping (SLAM) problem applied to embedded robots. This architecture, which is based on FPGA and multi-cameras, is composed by highly specialized blocks for robot localization and feature-based map building in real time from images read directly from CMOS cameras at 30 frames per second. The system is completely embedded on an FPGA and its performance is at least one order of magnitude better than a high end PC-based implementation. This result is achieved by investigating the impact of several hardwareorientated optimizations on performance and by exploiting hardware parallelism along with pipeline processing. The main contributions of this work are the architectures for the Extended Kalman Filter (EKF) and for the feature detection system based on the SIFT (Scale Invariant Feature Transform). The complexity to implement this work can be considered high, as it involves a significant number of arithmetic and trigonometric operations in oating and fixed-point format, an intensive image processing for feature detection and stability checking, and the development of an image acquisition system from four CMOS cameras in real time. In addition, communication interfaces were created to integrate software and hardware embedded on FPGA and to control the mobile robot base and to read its sensors. Finally, besides the implementation details and the results, this work also presents basic concepts about mapping and state-of-the-art algorithms for SLAM with monocular and stereo vision.

Submitted by João Arthur Martins (joao.arthur@ufpe.br) on 2015-03-11T18:17:21Z No. of bitstreams: 2 Dissertaçao Lailson de Moraes.pdf: 4634910 bytes, checksum: cbec580f8cbc24cb3feb2379a1d2dfbd (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) / Approved for entry into archive by Daniella Sodre (daniella.sodre@ufpe.br) on 2015-03-13T13:02:06Z (GMT) No. of bitstreams: 2 Dissertaçao Lailson de Moraes.pdf: 4634910 bytes, checksum: cbec580f8cbc24cb3feb2379a1d2dfbd (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) / Made available in DSpace on 2015-03-13T13:02:06Z (GMT). No. of bitstreams: 2 Dissertaçao Lailson de Moraes.pdf: 4634910 bytes, checksum: cbec580f8cbc24cb3feb2379a1d2dfbd (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Previous issue date: 2013-08-19 / An important pre-processing step in machine learning systems is dimensionality reduction, which aims to produce compact representations of high-dimensional patterns. In computer vision applications, these patterns are typically images, that are represented by two-dimensional matrices. However, traditional dimensionality reduction techniques were designed to work only with vectors, what makes them a suboptimal choice for processing two-dimensional data. Another problem with traditional approaches for dimensionality reduction is that they operate either on a fully unsupervised or fully supervised way, what limits their efficiency in scenarios where supervised information is available only for a subset of the data. These situations are increasingly common because in many modern applications it is easy to produce raw data, but it is usually difficult to label it. In this study, we propose three dimensionality reduction methods that can overcome these limitations: Two-dimensional Semi-supervised Dimensionality Reduction (2D-SSDR), Two-dimensional Discriminant Principal Component Analysis (2D-DPCA), and Two-dimensional Semi-supervised Local Fisher Discriminant Analysis (2D-SELF). They work directly with two-dimensional data and can also take advantage of supervised information even if it is available only for a small part of the dataset. In addition, a fully supervised method, the Two-dimensional Local Fisher Discriminant Analysis (2D-LFDA), is proposed too. The methods are defined in terms of a two-dimensional framework, which was created in this study as well. The framework is capable of generally describing scatter-based methods for dimensionality reduction and can be used for deriving other two-dimensional methods in the future. Experimental results showed that, as expected, the novel methods are faster and more stable than the existing ones. Furthermore, 2D-SSDR, 2D-SELF, and 2D-LFDA achieved competitive classification accuracies most of the time when compared to the traditional methods. Therefore, these three techniques can be seen as viable alternatives to existing dimensionality reduction methods. / Um estágio importante de pré-processamento em sistemas de aprendizagem de máquina é a redução de dimensionalidade, que tem como objetivo produzir representações compactas de padrões de alta dimensionalidade. Em aplicações de visão computacional, estes padrões são tipicamente imagens, que são representadas por matrizes bi-dimensionais. Entretanto, técnicas tradicionais para redução de dimensionalidade foram projetadas para lidar apenas com vetores, o que as torna opções inadequadas para processar dados bi-dimensionais. Outro problema com as abordagens tradicionais para redução de dimensionalidade é que elas operam apenas de forma totalmente não-supervisionada ou totalmente supervisionada, o que limita sua eficiência em cenários onde dados supervisionados estão disponíveis apenas para um subconjunto das amostras. Estas situações são cada vez mais comuns por que em várias aplicações modernas é fácil produzir dados brutos, mas é geralmente difícil rotulá-los. Neste estudo, propomos três métodos para redução de dimensionalidade capazes de contornar estas limitações: Two-dimensional Semi-supervised Dimensionality Reduction (2DSSDR), Two-dimensional Discriminant Principal Component Analysis (2D-DPCA), e Twodimensional Semi-supervised Local Fisher Discriminant Analysis (2D-SELF). Eles operam diretamente com dados bi-dimensionais e também podem explorar informação supervisionada, mesmo que ela esteja disponível apenas para uma pequena parte das amostras. Adicionalmente, um método completamente supervisionado, o Two-dimensional Local Fisher Discriminant Analysis (2D-LFDA) é proposto também. Os métodos são definidos nos termos de um framework bi-dimensional, que foi igualmente criado neste estudo. O framework é capaz de descrever métodos para redução de dimensionalidade baseados em dispersão de forma geral e pode ser usado para derivar outras técnicas bi-dimensionais no futuro. Resultados experimentais mostraram que, como esperado, os novos métodos são mais rápidos e estáveis que as técnicas existentes. Além disto, 2D-SSDR, 2D-SELF, e 2D-LFDA obtiveram taxas de erro competitivas na maior parte das vezes quando comparadas aos métodos tradicionais. Desta forma, estas três técnicas podem ser vistas como alternativas viáveis aos métodos existentes para redução de dimensionalidade.

Orientador: Prof. Dr. Ricardo Gaspar / Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Engenharia e Gestão da Inovação, 2017. / No Brasil, verifica-se uma demanda crescente por carnes e produtos cárneos onde somente no segundo trimestre de 2016 foram abatidos mais de 7,5 milhões de cabeças de gado, as carnes e os produtos cárneos são considerados muito perecíveis e tem a proliferação microbiana como principal fator limitante ao seu tempo de prateleira. Neste contexto aplicações tecnológicas como sistemas baseados em visão computacional vêm ganhando crescente adesão. Tais sistemas se baseiam no processamento de imagens por computadores para a avaliação de aspectos da qualidade de alimentos. O presente trabalho teve como objetivo estabelecer correlação entre a coloração da carne bovina fresca (Longissimus dorsi) e sua carga microbiológica e propor um sistema de avaliação de qualidade da carne bovina fresca baseado em visão computacional. Para que isso fosse possível foram realizadas avaliações instrumentais da coloração da carne bovina fresca e contagens de micro-organismos mesófilos e psicrotróficos ao longo de seu tempo de prateleira. Como resultado encontrou-se uma correlação negativa de intensidade média entre a variação da intensidade do componente vermelho do espectro de cor da carne e a sua contagem de micro-organismos psicotróficos. / In Brazil, there is a growing demand for meats and meat products, in the second quarter of 2016 more than 7.5 million head of cattle were slaughtered, meat and products are very perishable and have a microbial proliferation as main a limiting factor to their shelf life. In this context technological applications such as systems based on computer vision has been gaining adhesion, such systems are based on the processing of images by computers for a food quality assessment. The objective of this study was to establish a correlation between the fresh beef colour (Longissimus dorsi) and its microbiological load and to propose a quality assessment system for fresh beef based on computer vision. For this to be possible instrumental evaluations of the fresh meat, colour and microbiological counts of mesophilic and psychrotrophic microorganisms were performed throughout the meat shelf life. As a result, a negative correlation of mean intensity between the intensity variation of the red component of the color spectrum of the meat and its count of psychotrophic microorganisms was found.

Submitted by Luciana Ferreira (lucgeral@gmail.com) on 2016-10-04T11:49:58Z No. of bitstreams: 2 Tese - Darlene Ana de Paula Vieira - 2015.pdf: 5053649 bytes, checksum: eac1ec3280ae5a3470b6e2b602bcc3eb (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2016-10-04T11:50:10Z (GMT) No. of bitstreams: 2 Tese - Darlene Ana de Paula Vieira - 2015.pdf: 5053649 bytes, checksum: eac1ec3280ae5a3470b6e2b602bcc3eb (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2016-10-04T11:50:10Z (GMT). No. of bitstreams: 2 Tese - Darlene Ana de Paula Vieira - 2015.pdf: 5053649 bytes, checksum: eac1ec3280ae5a3470b6e2b602bcc3eb (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2015-11-16 / The tomato cultivars (Solanum lycopersicum L.) intended for processing, must provide a number of features, and one of them is that the fruit has adequate physical and chemical quality of the preparation of derivatives. The aim of this study was to determine the biometric characteristics, physico-chemical, the fruit mechanical and textural and anatomical of the fruit epidermis, the lycopene content and β-carotene, the color instrumental parameters L*, a* and b* and ripe whole fruit for digital image (RGB), and the physical and chemical characteristics the fruit (pH, TA, TSS and TSS/TA). Classify cultivars by neural networks using the physical, physico-chemical and RGB values for digital images. Employing entirely randomized design for all analyzes. The results were submitted to analysis of variance, the physico-chemical (pH, total acidity, TSS, TSS/TA) by Anova One Way, and the pigments and color by Anova Factorial. Means were compared using the Tukey test at 5% significance. Pearson correlation was established between all the answers, and the mathematical transformed were still applied in the following answers: L*, a* and b* of instrumental analysis and image. Among the cultivars in 2013, they had better set of other mechanical properties were AP533, IT761, HY37 and H9992. A mixture of hexane, acetone and ethanol has proved to be more efficient in the extraction of lycopene and β-carotene that only acetone. Regarding the instrumental color of the fruit did not differ, however, the image for color evaluation methods obtained values of how light or dark, and coordinates of chromaticity a* and b* greater than the instrumental method with the Hunterlab closer the chromaticity that the values of the Cielab. From an industrial point of view, wish to tomato cultivars for processing with higher TSS values TA and lycopene and a* and lower pH and L*. Whereas the TSS is critical to industrial yield, stood out the IT761 cultivars BRSena, AP543 and H9992. In 2014 five cultivars were analyzed, and the fruit pericarp thickness of greater show greater firmness of the skin, and less moisture high pectin content. more firm fruits in the standing position have a higher modulus of elasticity of the skin. Among the cultivars studied, those who had better set of mechanical properties were the TC2736 and CVR2909, which also had lower longitudinal diameter, peduncle scar, fresh and volume. The characteristics observed in the pith of tomato fruit clearly showed the disruption of the cell wall during the fourth stage of maturation of the cells related to the loss of fruit firmness. The method for color evaluation image using the Cielab scale obtained Hue angle values and a*/b* very close to those found instrumentally by colorimeter, indicating that the color analyzes digital image using these two parameters may be a practical means and low cost, to inspect the fruit color. / As cultivares de tomate (Solanum lycopersicum L.) destinadas à industrialização, devem apresentar uma série de características, e uma delas é que o fruto tenha qualidade físico-químicas adequada à preparação dos produtos derivados. O objetivo deste trabalho foi determinar as características biométricas, físico-químicas, mecânico-texturais do fruto e anatômicas da epiderme do fruto, os teores de licopeno e β-caroteno, os parâmetros instrumentais de cor L*, a* e b* e do fruto inteiro maduro por imagem digital (RGB), além das características físico-químicas (pH, AT, SST e SST/AT) do fruto. Classificar as cultivares por redes neurais, utilizando as características físicas, físico-químicas e valores de RGB por imagens digitais. Empregando-se delineamento inteiramente casualizado para todas as análises. Os resultados foram submetidos à análise de variância, os físico-químicos (pH, acidez total, SST, SST/AT) por Anova One Way, e os de pigmentos e de cor por Anova Fatorial. As médias foram comparadas através do teste Tukey a 5% de significância. Correlação de Pearson foi estabelecida entre todas as respostas obtidas, e ainda foram aplicadas as transformadas matemáticas nas seguintes respostas: L*, a* e b* da análise instrumental e de imagem. Entre as cultivares estudadas em 2013, as que apresentaram melhor conjunto de propriedades mecânicas foram AP533, IT761, HY37 e H9992. A mistura de hexano, acetona e etanol mostrou ser mais eficiente na extração de licopeno e β-caroteno que somente a acetona. Em relação à cor instrumental do fruto não se diferenciaram, no entanto, os métodos de avaliação de cor por imagem obtiveram valores de quão claro e escuro e coordenadas de cromacidade a* e b* maiores que o método instrumental, sendo o Hunterlab mais aproximado do colorimétrico, que os valores do Cielab. Do ponto de vista da indústria, desejam-se cultivares de tomate para processamento com maiores valores de STT, AT, licopeno e a* e menores de pH e L*. Considerando que o teor de SST é fundamental para o rendimento industrial, destacaram-se as cultivares IT761, BRSena, AP543 e H9992. Em 2014 foram analisadas cinco cultivares, sendo que os frutos com espessura do pericarpo maior apresentam maior firmeza da pele, menor umidade e maior teor de pectina. Frutos mais firmes na posição em pé possuem módulo de elasticidade da pele maior. Entre as cultivares estudadas, as que apresentaram melhor conjunto de propriedades mecânicas foram a TC2736 e a CVR2909, que também apresentaram menores diâmetro longitudinal, cicatriz do pedúnculo, massa fresca e volume. As características observadas no mesocarpo do fruto de tomate mostraram claramente a desestruturação da parede celular durante o quarto estádio de maturação das células, relacionadas com a perda de firmeza dos frutos. O método de avaliação de cor por imagem utilizando a escala Cielab obteve valores de ângulo Hue e relação a*/b* bem próximos aos encontrados instrumentalmente pelo colorímetro, indicando que as análises de cor por imagem digital usando este dois parâmetros poderão ser um meio prático e de baixo custo, para inspecionar a cor dos frutos.

Dentre as diversas tecnologias de Assistência Avançada ao Condutor (ADAS) que têm sido adicionadas aos automóveis modernos estão os sistemas de detecção de pedestres. Tais sistemas utilizam sensores, como radares, lasers e câmeras de vídeo para captar informações do ambiente e evitar a colisão com pessoas no contexto do trânsito. Câmeras de vídeo têm se apresentado como um ótima opção para esses sistemas, devido ao relativo baixo custo e à riqueza de informações que capturam do ambiente. Muitas técnicas para detecção de pedestres baseadas em visão têm surgido nos últimos anos, tendo como característica a necessidade de um grande poder computacional para que se possa realizar o processamento das imagens em tempo real, de forma robusta, confiável e com baixa taxa de erros. Além disso, é necessário que sistemas que implementem essas técnicas tenham baixo consumo de energia, para que possam funcionar em um ambiente embarcado, como os automóveis. Uma tendência desses sistemas é o processamento de imagens de múltiplas câmeras presentes no veículo, de forma que o sistema consiga perceber potenciais perigos de colisão ao redor do veículo. Neste contexto, este trabalho aborda o coprojeto de hardware e software de uma arquitetura para detecção de pedestres, considerando a presença de quatro câmeras em um veículo (uma frontal, uma traseira e duas laterais). Com este propósito, utiliza-se a flexibilidade dos dispositivos FPGA para a exploração do espaço de projeto e a construção de uma arquitetura que forneça o desempenho necessário, o consumo de energia em níveis adequados e que também permita a adaptação a novos cenários e a evolução das técnicas de detecção de pedestres por meio da programabilidade. O desenvolvimento da arquitetura baseouse em dois algoritmos amplamente utilizados para detecção de pedestres, que são o Histogram of Oriented Gradients (HOG) e o Integral Channel Features (ICF). Ambos introduzem técnicas que servem como base para os algoritmos de detecção modernos. A arquitetura implementada permitiu a exploração de diferentes tipos de paralelismo das aplicações por meio do uso de múltiplos processadores softcore, bem como a aceleração de funções críticas por meio de implementações em hardware. Também foi demonstrada sua viabilidade no atendimento a um sistema contendo quatro câmeras de vídeo. / Among the several Advanced Driver Assistance (ADAS) technologies that have been added to modern vehicles are pedestrian detection systems. Those systems use sensors, such as radars, lasers, and video cameras to capture information from the environment and avoid collision with people in the context of traffic. Video cameras have become as a great option for such systems because of the relatively low cost and all of information they are able to capture from the environment. Many techniques for vison-based pedestrian detection have appeared in the last years, having as characteristic the necessity of a great computational power so that image can be processed in real time, in a robust and reliable way, and with low error rate. In addition, systems that implement these techniques require low power consumption, so they can operate in an embedded environment such as automobiles. A trend of these systems is the processing of images from multiple cameras mounted in vehicles, so that the system can detect potential collision hazards around the vehicle. In this context, this work addresses the hardware and software codesign of an architecture for pedestrian detection, considering the presence of four cameras in a vehicle (one in the front, one in the rear and two in the sides). For this purpose, the flexibility of FPGA devices is used for design space exploration and the construction of an architecture that provides the necessary performance, energy consumption at appropriate levels and also allows adaptation to new scenarios and evolution of pedestrian detection techniques through programmability. The development of the architecture was based on two algorithms widely used for pedestrian detection, which are Histogram of Oriented Gradients (HOG) and Integral Channel Features (ICF). Both introduce techniques that serve as the basis for modern detection algorithms. The implemented architecture allowed the exploration of different types of parallelism through the use of multiple softcore processors, as well as the acceleration of critical functions through implementations in hardware. It has also been demonstrated its feasibility in attending to a system containing four video cameras.

Imagens codificadas por matrizes de intensidade são tipicamente representadas por grande quantidade de dados. Embora existam inúmeras abordagens para análise de imagens, o conhecimento sobre problemas específicos é raramente considerado. Este trabalho trata sobre problemas de análises de imagens cujas soluções dependem do conhecimento sobre os dados envolvidos na aplicação específica. Para isso, utiliza técnicas de mineração de dados para modelar as respostas humanas obtidas de experimentos psicofísicos. Dois problemas de análise de imagens são apresentados: (1) a análise de formas e (2) a análise pictórica. No primeiro problema (1), formas de neurônios da retina (neurônios ganglionares de gato) são segmentadas e seus contornos submetidos a uma calibração dos parâmetros de curvatura considerando a segmentação manual de um especialista. Outros descritores, tais como esqueletos multi-escalas são explorados para eventual uso e avaliação da abordagem. No segundo problema (2), a análise pictórica de imagens de home-pages serve para avaliar critérios estéticos a partir de medidas de complexidade, contraste e textura. O sistema generaliza as respostas por um experimento psicofísico realizados com humanos. Os resultados objetivos com as duas abordagens revelaram-se promissores, surpreendentes e com ampla aplicabilidade. / Images coded by intensity matrices typically involve large amount of data. Although image analysis approaches are diverse, knowledge about specific problems is rarely considered. This work is about image analysis problems whose solutions depend on the knowledge about the involved data. In order to do so data mining techniques are applied to model human response to psychophysical experiments. Two image analysis problems are addressed: (1) shape analysis; and (2) pictorial analysis. In the former, neuronal images (ganglion retinal cells of cat) are segmented and curvature parameters are calibrated to identify extremities and branches on the shape considering human segmentation as a reference. Descriptors such as multiscale skeletons are also explored for potential application or evaluations. In the second problem, a pictorial analysis of home-pages images feed an artificial aesthetics criteria evaluator based on complexity, contrast and texture features. The system models and generalizes the obtained human responses to psychophysical experiment. The results for these two approaches are promising, surprising and widely applicable.

Made available in DSpace on 2016-03-15T19:37:51Z (GMT). No. of bitstreams: 1 Andre Brasiliano da Silva.pdf: 4815626 bytes, checksum: e53fa837ff6a7eb3cff0f55f4b3b26ac (MD5) Previous issue date: 2014-08-21 / Eye tracking is an important issue for Human Computer interaction, mainly for users with hand-eye coordination problems. The work presented here shows a low cost and robust eye tracking system capable to work with an HD stream. The implementations used in this work over the base system present diferent techniques in all stages, from face detection to iris detection. Local processing is used in most stages in this implementation, delimiting the region of interest (ROI) for face detection, eye detection and iris detection. The system robustness allow the eye tracking system to control the mouse using eye movements allowing disable users to communicate through a communication interface. The hardware required is simple and based in an high definition webcam. The face detection and eye detection processes are based on the Viola Jones technique; iris detection and tracking are based on the Hough Transform. The usage of local processing reduces the computational cost and even working with high definition stream leads to a performance 33% better than the base system. The system presented here was compared with a commercial system and a set of equipment were tested in order to dene the best set up for the eye tracking system and to validate the work presented here. Future work is presented at the end in order to allow the project continuity. / O rastreamento ocular para usuários com problemas motores é um estudo importante na área de Interface Humano-Computador (IHC). Com o objetivo de fornecer um sistema de rastreamento ocular de baixo custo, este trabalho apresenta uma nova abordagem para um sistema robusto e com alto desempenho. Com relação ao trabalho base para esta pesquisa, a implementação proposta contém inovações em todas as etapas do processo envolvendo o rastreamento ocular, desde a detecção da região da face e dos olhos até a detecção da íris. Neste trabalho, foi utilizado o conceito de processamento local, delimitando as regiões de interesse em todas as etapas do processo: detecção da região da face, região dos olhos e região da íris. Este trabalho permite que pessoas possam efetuar ações controlando o mouse através do movimento dos olhos em uma interface de rastreamento ocular, utilizando apenas equipamentos de uso comum, como, por exemplo, uma webcam. O processo de detecção da face e detecção ocular foi feito através da técnica de Viola e Jones. Para a detecção e rastreamento da íris foi utilizada a Transformada de Hough, e utilização de regiões de interesse com o objetivo de limitar a área de processamento da imagem, e consequentemente, o custo computacional, resultando em uma aplicação com um melhor desempenho e robustez em todas as etapas. Obteve-se um ganho de até 33% em relação ao tempo de processamento do sistema, quando comparado com o sistema base, porém, operando com imagens em alta definição. Foi realizada ainda uma comparação com sistemas de rastreamento ocular de uso comercial e diferentes tipos de equipamentos para validar as técnicas estudadas neste trabalho.

Made available in DSpace on 2016-03-15T19:37:55Z (GMT). No. of bitstreams: 1 RICARDO RIBANI.pdf: 13475262 bytes, checksum: 1e8f0a623498d0aa2fda9f44449b7325 (MD5) Previous issue date: 2015-02-11 / Fundo Mackenzie de Pesquisa / With the growing amount of multimedia information, the recommender systems have become more present in digital systems. Together with the growth of the internet, more and more people have access to large multimedia collections and consequently the user is often in doubt situations when making a choice. In order to help the user to make their own choices, this research presents a study around the content-based recommender systems applied to art paintings. Here are included approaches on image retrieval algorithms, computer vision and artificial intelligence concepts such as techniques for pattern recognition. One of the goals of this research was the creation of a software for mobile phones, applied to an art paintings database. The application uses an interface developed for mobile phones, where the user can point the phone s camera to a painting and based on this painting the system generates a recommendation of another painting in the same database, considering some parameters such as style, genre or color. / Os sistemas de recomendações estão cada dia mais presentes no meio digital. Com a crescente quantidade de informações e a popularização da internet, cada vez mais as pessoas tem acesso a grandes acervos multimídia. Com isso, consequentemente o usuário se encontra muitas vezes em situações de dúvida ao fazer uma escolha. Com o objetivo de auxiliar o usuário a fazer suas escolhas, o presente trabalho apresenta um estudo em torno dos sistemas de recomendações baseados em conteúdo de imagens. Este estudo engloba uma abordagem a respeito de algoritmos de recuperação de imagens, além da aplicação de conceitos de visão computacional e inteligência artificial, como técnicas para reconhecimento de padrões. Além do estudo teórico, este trabalho teve como objetivo a criação de um sistema computacional aplicado a um banco de dados de imagens de obras de arte. Uma aplicação que utiliza uma interface desenvolvida para telefones celulares, no qual o usuário pode capturar a imagem de uma obra através da câmera do celular e baseado nessa obra o sistema gera uma recomendação de outra dentro do mesmo banco de dados, considerando parâmetros configuráveis como estilo, gênero ou cores.

Submitted by Marta Toyoda (1144061@mackenzie.br) on 2018-05-02T21:23:00Z No. of bitstreams: 1 GUSTAVO SCALABRINI SAMPAIO.pdf: 19453231 bytes, checksum: cc38db5444ebde55d39f37296a3a109b (MD5) / Approved for entry into archive by Giovanna Brasil (1154060@mackenzie.br) on 2018-06-11T18:47:36Z (GMT) No. of bitstreams: 1 GUSTAVO SCALABRINI SAMPAIO.pdf: 19453231 bytes, checksum: cc38db5444ebde55d39f37296a3a109b (MD5) / Made available in DSpace on 2018-06-11T18:47:36Z (GMT). No. of bitstreams: 1 GUSTAVO SCALABRINI SAMPAIO.pdf: 19453231 bytes, checksum: cc38db5444ebde55d39f37296a3a109b (MD5) Previous issue date: 2018-02-08 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / New interaction devices such as touchscreens and virtual reality googles has made human computer interaction more intuitive and natural. This work presents concepts and techniques used for the development of a system that allows users to interact with personal computer in a simple and e cient way through face movements. Computer vision techniques such as segmentation, facial detection and landmarks detection were used, as well as programming and mathematical techniques for the development of this system. It is a natural human-computer interface that uses face, eye and mouth movements to perform control functions such as mouse cursor movement and triggering of clicks and keys. Several tests have shown that the developed system has superior performance compared to similar systems, 100 fps processing performance, throughput of 1:20 bits=s for mouse cursor movements, and 1.15 keystrokes with the face per second, it easy to use, fast learning and it can be used in a large number of applications such as internet browsing, social networking and games. The developed system can be used by people with motor disabilities as an assistive technology, promoting social inclusion, as well as providing greater educational and professional opportunities for this public. / O desenvolvimento de novas formas de interação com o computador, como telas touchscreen e óculos de realidade virtual, tornaram mais intuitiva e natural a sua utilização. O presente trabalho apresenta conceitos e técnicas utilizados para o desenvolvimento de um sistema que permite aos usuários utilizarem o computador pessoal de maneira simples e eficiente por meio dos movimentos da face. Foram utilizadas técnicas de visão computacional como segmentação, detecção facial e detecção dos pontos da face, bem como técnicas de programação e matemáticas para o desenvolvimento desse sistema. Trata-se de uma interface humano-computador do tipo natural que utiliza os movimentos da face, dos olhos e da boca para executar funções de controle como movimentação do cursor do mouse e acionamento de cliques e teclas. Diversos testes mostraram que o sistema desenvolvido apresentou desempenho superior em relação a sistemas similares, desempenho de processamento de 100 fps, throughput de 1; 20 bits=s para movimentações com o cursor do mouse e 1,15 teclas acionadas pela face por segundo, é de fácil utilização, rápido aprendizado e pode ser utilizado em um grande número de aplicações, como navegação na internet, redes sociais e jogos. O sistema desenvolvido pode ser utilizado por pessoas com deficiências motoras como uma tecnologia assistiva, promovendo a inclusão social, além de proporcionar maiores oportunidades educacionais e profissionais para esse público.