Orientador: Mário Luiz Tronco / Banca: João Eduardo Machado Perea Martins / Banca: Edilson Reis Rodrigues Kato / Resumo: Sistemas de Visão são amplamente empregados em aplicações relacionadas à Agricultura de Precisão. A capacidade de extrair grandes conjuntos de dados do ambiente e seus baixos custos de aquisição torna-os populares entre os diversos tipos de sensores existentes. Em algumas atividades, torna-se necessário aumentar o campo de visão da aplicação para aumentar o conhecimento sobre o ambiente. Sistemas Omnidirecionais Catadióptricos fornecem técnicas capazes de capturar imagens completas do ambiente utilizando a combinação de lentes e espelhos. Nesse trabalho, foi proposta a aplicação de um sistema catadióptrico, utilizando espelho hiperbólico, para realização do levantamento de informações de cenários naturais agrícolas. A imagem omnidirecional é tratada com técnicas de processamento de imagens e retificada, gerando uma nova imagem panorâmica. Então, seus quadrantes são extraídos, originando quatro novas imagens que representam lados de visão do veículo. Uma etapa de segmentação por cor foi proposta utilizando como base o algoritmo Otsu Threshold. Filtros foram aplicados para otimização dos resultados obtidos. No final do processo, foi possível visualizar as regiões de interesse de cada quadrante / Abstract: Vision System is widely used in applications related to Precision Agriculture. The ability to extract large sets of data from the environment and its low acquisition costs makes them popular among different types of existing sensors. In some activities, becomes necessary to increase the field of view of the application to increase the knowledge about the environment. Omnidirectional Catadioptric System provide techniques to capture complete images of the environment using a combination of lenses and mirrors. This work aimed the application of a catadioptric system using hyperbolic mirror, to perform the survey information of agricultural natural scenery. The omnidirectional image is treated with techniques of image processing and rectified, creating a new panoramic image. Then, its quadrants are extracted, yielding four new images that represent the side view of the vehicle. A Step by color segmentation was proposed using as a basis the Otsu Threshold algorithm. Filters are applied to optimize the results. At the end of the process, it was possible to view the regions of interest in each quadrant / Mestre

[pt] Embora os sistemas multimídia tradicionais se concentrem na codificação e no armazenamento eficientes de tipos de mídia e suas relações temporais, a demanda atual por experiências mais ricas e personalizadas exige uma compreensão mais profunda do conteúdo semântico dessas mídias. Neste estudo, propomos a integração do processamento de nível semântico aos sistemas multimídia, enriquecendo o conteúdo com informações sobre entidades do mundo real, como objetos, ações, agentes e interpretação de linguagem. A principal contribuição desta dissertação é a apresentação de uma arquitetura para enriquecimento de dados multimídia em tempo real que usa técnicas de aprendizado de máquina para extrair representações semânticas incorporando as ao fluxos de dados multimídia como um serviço nativo e básico. Para demonstrar concretamente a proposta, implementamos dois casos de uso que servem como provas de conceito, mostrando a viabilidade da arquitetura e sua eficácia em cenários práticos. / [en] While traditional multimedia systems focused on efficient coding and storage of media types and their temporal relationships, the current demand for rich and customized experiences calls for a deeper understanding of semantic content. In this study, we propose the integration of semantic-level processing into multimedia systems, enriching content with information about real-world entities, such as objects, actions, agents, and language interpretation. The main contribution of this dissertation is the proposal of an architecture for real-time multimedia data enhancement that is able to use machine learning techniques to extract semantic representations and incorporating it into multimedia data streams as a native and basic service. To provide a concrete demonstration of the proposal, we implement two use cases that serve as proofs-of-concept, showing the feasibility of the architecture and showcasing its effectiveness in practical scenarios.

[pt] O objetivo deste trabalho é investigar a utilização de um Sistema de Inferência Fuzzy (Fuzzy Inference System) para projetar um sistema de controle semiautônomo adequado a veículos militares, a partir do qual serão definidos valores para o Nível de Intervenção de um controlador automático. São apresentados conceitos básicos sobre a aplicação de Sistemas de Infer ência Fuzzy para a concepção de um ponderador de sinais e sobre a teoria de Controladores Preditivos Baseados em Modelo (Model Predictive Controllers), utilizados na implementação do sistema proposto. A partir da modelagem matemática do sistema dinâmico veicular foram obtidos resultados de simulações do veículo militar enquanto operado em situações perigosas e em que se faça necessária a intervenção do controlador, por exemplo, na presença de ameaças inimigas hostis ou em manobras altamente desestabilizadoras. O comportamento da variável de intervenção do controlador é apresentado por meio de suas curvas de evolução, e indica o seu aumento de acordo com o crescimento do nível de ameaça à qual o veículo está exposto. Os resultados são analisados criticamente, e conclui-se que o uso do sistema proposto resulta em um aumento qualitativo na segurança do veículo, tornando-o um sistema militar mais eficiente, com maior capacidade operacional, além de melhorar as habilidades de seu condutor. / [en] The purpose of this work is to investigate the use of Fuzzy Inference Systems to design an appropriate semi-autonomous control system for military vehicles, from which the choice of the automatic controller intervention level would be achieved. Basic concepts about the application of Fuzzy Inference Systems for the design of a weighted signal generator and about the Model Predictive Controllers theory are presented. These concepts were used for the implementation of the proposed semiautonomous control system. From the mathematical model of the vehicular dynamic system, results were obtained through simulated tests where the military vehicle was being operated in hazardous situations and in which the intervention of the automatic controller was necessary, e.g., in the presence of hostile enemy threats or in highly destabilizing maneuvers. The behavior of the controller s intervention variable is presented through its evolution curves and indicates its increase accordingly to the growth of the threat level to which the vehicle is exposed. The results are criticyzed, and it is concluded that the use of the proposed system will result in a qualitative increase in vehicle s safety, making it a more efficient military system, with greater operational capacity and enhancing the skills of its driver.

Orientador: Norian Marranghello / Banca: Evandro Luís Linhari Rodrigues / Banca: Alexandre César Rodrigues da Silva / Resumo: A utilização de robôs móveis mostra-se importante em atividades onde a atuação do ser humano é difícil ou perigosa. A exploração em locais de difícil acesso, como por exemplo em operações de resgate e em missões espaciais, é uma situação onde robôs móveis são frequentemente utilizados para evitar exposição dos especialistas humanos a situações de riscos. Na agricultura, robôs móveis são utilizados em tarefas de cultivo e na aplicação de agrotóxicos em quantidades mínimas para reduzir a poluição do meio ambiente. Neste trabalho é apresentado o desenvolvimento de um sistema para controlar a navegação de um robô móvel autônomo por caminhos em plantações. O controle da direção do robô é realizado com base em imagens das trilhas as quais, após um processamento prévio, para extração de características, são submetidas a máquinas de vetores de suporte, para a definição da rota a ser seguida. O objetivo do projeto no qual este trabalho se insere é o controle do robô em tempo real, para tanto, o sistema foi implementado em hardware para mostrar que o ganho de desempenho pode ser melhor em relação à execução em software. Neste trabalho, relata-se a implementação de uma máquina de vetores de suporte a qual apresentou uma precisão em torno de 93% da rota adequada / Abstract: The use of mobile robots turns out to be interesting in activities where the actions of human beings is difficult or dangerous. The exploration in areas of difficult access, such as in rescue operations and in space missions, is a situation where mobile robots are often used to avoid exposure of human experts to risky situations. In agriculture, mobile robots are used in tasks of cultivation and application of pesticides in minute quantities to reduce environmental pollution. In this paper we present the development of a system to control an autonomous mobile robot navigation through tracks in plantations. Track images are used to control robot direction by preprocessing them to extract image features, and then submitting such characteristic features to a support vector machine to find out the most appropriate route. As the overall goal of the project to which this work is connected is the robot control in real time, the system was embedded onto a hardware platform to show that the performance gain can be better if compared to execution in software. However, in this paper we report the software implementation of a support vector machine, which presented around 93% accuracy in predicting the appropriate route / Mestre

Made available in DSpace on 2014-06-11T19:29:39Z (GMT). No. of bitstreams: 0 Previous issue date: 2012-08-02Bitstream added on 2014-06-13T19:38:55Z : No. of bitstreams: 1 jodas_ds_me_sjrp.pdf: 1056058 bytes, checksum: eb5f8e6ec063430577edbf081cc017c4 (MD5) / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / A utilização de robôs móveis mostra-se importante em atividades onde a atuação do ser humano é difícil ou perigosa. A exploração em locais de difícil acesso, como por exemplo em operações de resgate e em missões espaciais, é uma situação onde robôs móveis são frequentemente utilizados para evitar exposição dos especialistas humanos a situações de riscos. Na agricultura, robôs móveis são utilizados em tarefas de cultivo e na aplicação de agrotóxicos em quantidades mínimas para reduzir a poluição do meio ambiente. Neste trabalho é apresentado o desenvolvimento de um sistema para controlar a navegação de um robô móvel autônomo por caminhos em plantações. O controle da direção do robô é realizado com base em imagens das trilhas as quais, após um processamento prévio, para extração de características, são submetidas a máquinas de vetores de suporte, para a definição da rota a ser seguida. O objetivo do projeto no qual este trabalho se insere é o controle do robô em tempo real, para tanto, o sistema foi implementado em hardware para mostrar que o ganho de desempenho pode ser melhor em relação à execução em software. Neste trabalho, relata-se a implementação de uma máquina de vetores de suporte a qual apresentou uma precisão em torno de 93% da rota adequada / The use of mobile robots turns out to be interesting in activities where the actions of human beings is difficult or dangerous. The exploration in areas of difficult access, such as in rescue operations and in space missions, is a situation where mobile robots are often used to avoid exposure of human experts to risky situations. In agriculture, mobile robots are used in tasks of cultivation and application of pesticides in minute quantities to reduce environmental pollution. In this paper we present the development of a system to control an autonomous mobile robot navigation through tracks in plantations. Track images are used to control robot direction by preprocessing them to extract image features, and then submitting such characteristic features to a support vector machine to find out the most appropriate route. As the overall goal of the project to which this work is connected is the robot control in real time, the system was embedded onto a hardware platform to show that the performance gain can be better if compared to execution in software. However, in this paper we report the software implementation of a support vector machine, which presented around 93% accuracy in predicting the appropriate route

[pt] Robótica coletiva de enxame é uma abordagem para o controle de sistemas robóticos multi-agentes baseada em insetos sociais e outros sistemas naturais que apresentam características de auto-organização e emergência, com aplicações disruptivas em robótica e inúmeras possibilidades de expansão em outras áreas. Porém, sendo um campo relativamente novo existem poucas plataformas experimentais para seu estudo, e as existentes são, em sua maioria, especialmente desenvolvidas para tarefas e algoritmos específicos. Uma plataforma de estudos genérica para o estudo de sistemas robóticos coletivos é, por si só, uma tarefa tecnológica não trivial além de ser um recurso valioso para um centro de pesquisas interessado em realizar experimentos no assunto. Neste trabalho dois importantes algoritmos de controle colaborativo multi-robôs foram estudados: busca do melhor caminho e transporte coletivo. Uma análise completa dos mecanismos biológicos, dos modelos lógicos e do desenvolvimento dos algoritmos é apresentada. Para realizar os experimentos uma plataforma genérica foi desenvolvida baseada nos robôs móveis “iRobot Create”. Sensores virtuais são implementados em através de um sistema de visão computacional combinado com um simulador em tempo real. O sistema de sensores virtuais permite a incorporação de sensores ideais no sistema experimental, incluindo modelos mais complexos de sensores reais, incluindo a possibilidade da adição de ruído simulador nas leituras. Esta abordagem permite também a utilização de sensores para detecção de objetos virtuais, criados pelo simulador, como paredes virtuais e feromônios virtuais. Cada robô possui um sistema eletrônico embarcado especialmente desenvolvido baseado em micro controlador ARM. A eletrônica adicionada é responsável por receber as leituras dos sensores virtuais através de um link de radio em um protocolo customizado e calcular, localmente, o comportamento do robô. Os algoritmos são implementados na linguagem de alto nível Lua. Mesmo com as leituras dos sensores virtuais sendo transmitidas de um sistema centralizado é importante ressaltar que todo o algoritmo de inteligência é executado localmente por cada agente. As versões modificadas e adaptadas dos algoritmos estudados na plataforma com sensores virtuais foram analisadas, juntamente com suas limitações, e se mostraram compatíveis com os resultados esperados e acessíveis na literatura que utiliza sistemas experimentais mais específicos e mais dispendiosos. Portanto a plataforma desenvolvida se mostra capaz como ferramenta para experimentos em controle de sistemas robóticos multi-agentes com baixo custo de implementação, além da inclusão, através do mecanismo de sensores virtuais, de sensores ainda em desenvolvimento ou comercialmente indisponíveis. / [en] Swarm robotics is an approach to multi-robot control based on social insects and other natural systems, which shows self-organization and emergent characteristics, with disruptive applications on robotics and possibilities in a variety of areas. But, being a relatively new field of research, there are few experimental platforms to its study, and most of them are crafted for very specific tasks and algorithms. A general study platform of swarm robotics, by itself, is a non-trivial technological deed and also a very valuable asset to a research center willing to run experiments on the topic. In this work, two important algorithms in multi-robot collaborative control strategies are studied: path finding and collective transport. A complete analysis of the biological mechanisms, models and computer abstractions that resulted in the development of those algorithms is shown. To perform the multi-robot experiments, several “iRobot Create” mobile robots are employed. Virtual sensors and virtual walls are implemented in real time in the experimental system through cameras and especially developed computer vision software. Virtual sensors allow the incorporation of ideal sensors in the experimental system, including complete models of real sensors, with the possibility of adding virtual noise to the measurements. This approach also allows the use of sensors to detect virtually created objects, such as virtual walls or virtual pheromones. Each physical robot has a customized embedded system, based on the ARM microprocessor, which receives the virtual sensors readings through a radio link in an also customized protocol. The behavior of each autonomous agent is locally calculated using the high-level programming language Lua. Even though the virtual sensor readings are transmitted from an external centralized computer system, all behaviors are locally and independently calculated by each agent. The adaptations of the studied algorithms to the platform with virtual sensors are analyzed, along with its limitations. It is shown that the experimental results using virtual sensors are coherent with results from the literature using very specialized and expensive robot/sensor setups. Therefore, the developed platform is able to experimentally study new control strategies and swarm algorithms with a low setup cost, including the possibility of virtually incorporating sensors that are still under development or not yet commercially available.

[pt] Ao mesmo tempo em que a autonomia de robôs pessoais e domésticos aumenta, cresce a necessidade de interação dos mesmos com o ambiente. A interação mais básica de um robô com o ambiente é feita pela percepção deste e sua navegação. Para uma série de aplicações não é prático prover modelos geométricos válidos do ambiente a um robô antes de seu uso. O robô necessita, então, criar estes modelos enquanto se movimenta e percebe o meio em que está inserido através de sensores. Ao mesmo tempo é necessário minimizar a complexidade requerida quanto a hardware e sensores utilizados. No presente trabalho, um algoritmo iterativo baseado em entropia é proposto para planejar uma estratégia de exploração visual, permitindo a construção eficaz de um modelo em grafo do ambiente. O algoritmo se baseia na determinação da informação presente em sub-regiões de uma imagem panorâmica 2-D da localização atual do robô obtida com uma câmera fixa sobre o mesmo. Utilizando a métrica de entropia baseada na Teoria da Informação de Shannon, o algoritmo determina nós potenciais para os quais deve se prosseguir a exploração. Através de procedimento de Visual Tracking, em conjunto com a técnica SIFT (Scale Invariant Feature Transform), o algoritmo auxilia a navegação do robô para cada nó novo, onde o processo é repetido. Um procedimento baseado em transformações invariáveis a determinadas variações espaciais (desenvolvidas a partir de Fourier e Mellin) é utilizado para auxiliar o processo de guiar o robô para nós já conhecidos. Também é proposto um método baseado na técnica SIFT. Os processos relativos à obtenção de imagens, avaliação, criação do grafo, e prosseguimento dos passos citados continua até que o robô tenha mapeado o ambiente com nível pré-especificado de detalhes. O conjunto de nós e imagens obtidos são combinados de modo a se criar um modelo em grafo do ambiente. Seguindo os caminhos, nó a nó, um robô pode navegar pelo ambiente já explorado. O método é particularmente adequado para ambientes planos. As componentes do algoritmo proposto foram desenvolvidas e testadas no presente trabalho. Resultados experimentais mostrando a eficácia dos métodos propostos são apresentados. / [en] As the autonomy of personal service robotic systems increases so has their need to interact with their environment. The most basic interaction a robotic agent may have with its environment is to sense and navigate through it. For many applications it is not usually practical to provide robots in advance with valid geometric models of their environment. The robot will need to create these models by moving around and sensing the environment, while minimizing the complexity of the required sensing hardware. This work proposes an entropy-based iterative algorithm to plan the robot´s visual exploration strategy, enabling it to most efficiently build a graph model of its environment. The algorithm is based on determining the information present in sub-regions of a 2- D panoramic image of the environment from the robot´s current location using a single camera fixed on the mobile robot. Using a metric based on Shannon s information theory, the algorithm determines potential locations of nodes from which to further image the environment. Using a Visual Tracking process based on SIFT (Scale Invariant Feature Transform), the algorithm helps navigate the robot to each new node, where the imaging process is repeated. An invariant transform (based on Fourier and Mellin) and tracking process is used to guide the robot back to a previous node. Also, an SIFT based method is proposed to accomplish such task. This imaging, evaluation, branching and retracing its steps continues until the robot has mapped the environment to a pre-specified level of detail. The set of nodes and the images taken at each node are combined into a graph to model the environment. By tracing its path from node to node, a service robot can navigate around its environment. This method is particularly well suited for flat-floored environments. The components of the proposed algorithm were developed and tested. Experimental results show the effectiveness of the proposed methods.

[pt] Nos últimos anos, os robôs móveis com pernas têm despertado o interesse da comunidade robótica, pois tais mecanismos apresentam maior versatilidade em relação aos robôs móveis de rodas e aéreos. Neste trabalho, o autor considera o problema de modelagem e projeto de controle robusto para uma classe de robôs móveis com pernas usando a abordagem de controle por modos deslizantes. Um estudo comparativo entre um algoritmo de planejamento baseado em técnicas de Fourier e controladores via modo deslizante é apresentado para o problema de estabilização de um robô móvel saltitante na fase de vôo. O autor também propõe a estabilização da postura de robôs móveis multipernas, como hexapod e robô bípede, utilizando duas abordagens de controle diferentes, o controle de regulação Cartesiana e o controle via modos deslizantes. A teoria de estabilidade de Lyapunov é usada para demonstrar as propriedades de estabilidade dos sistemas de controle em malha-fechada. Simulações numéricas em ambiente de simulação MATLAB e simulações computacionais em Gazebo, um simulador robótico 3D de código aberto, são incluídas para ilustrar o desempenho e a viabilidade da metodologia proposta. / [en] In the last years, legged mobile robots have increased the interest of the robotics community because such mechanisms have higher versatility compared to wheeled and aerial mobile robots. These characteristics make robot with legs a viable solution for rescue and monitoring operations in irregular terrains and difficult to access locations. Although singlelegged or multi-legged mechanisms can transverse any terrain, some of their disadvantages are higher complexity in modelling and control design and higher power consumption. In this work, the author considers the problem of modelling and robust control design for a class of legged mobile robots using the sliding mode control approach. A comparative study between a planning algorithm based on Fourier techniques and sliding mode controllers is presented for the stabilization problem of a hopping robot in flight phase. The author also proposes the stabilization of the posture of multilegged mobile robots such as, hexapod and biped robot, using two different control approaches, the Cartesian regulation control and the sliding mode control. The Lyapunov stability theory is used to demonstrate the stability properties of the closed-loop control systems. Numerical simulations in MATLAB simulation software and computer simulations in Gazebo, an open-source 3D robotic simulator, are included to illustrate the performance and feasibility of the propose methodology.

[pt] Nos últimos anos, os avanços mais recentes em robótica e suas aplicações têm sido usados para reduzir a carga de trabalho e os requisitos de mão-de-obra, melhorando o ambiente, a saúde e a segurança, particularmente nos sistemas de produção agrícola. Robôs autônomos fazem parte de tal inovação tecnológica e os robôs móveis com esteiras, em particular, têm sido amplamente utilizados em campos agrícolas em todo o mundo, já que suas esteiras proporcionam uma grande área de contato em solos úmidos e terrenos irregulares, evitando que o robô fique preso e melhorando a sua mobilidade. Neste trabalho, aborda-se a modelagem e o controle de robôs móveis com esteiras (Tracked Mobiler Robots, TMRs) para executar tarefas de vigilância em campos agrícolas. A metodologia proposta considera que o modelo cinemático do TMR são incertos devido ao escorregamento inerente entre as esteiras e o terreno. Para lidar com as incertezas de modelagem e perturbações externas, utiliza-se uma estratégia de controle robusto baseada na abordagem de modos deslizantes. Uma interface de usuário móvel (Mobile User Interface, MUI) baseada no sistema operacional Android é desenvolvida para controlar o robô movél com esteiras de forma manual ou autônoma. A partir da MUI, o operador humano pode visualizar as informações capturadas de sensores externos e internos. Simulações numéricas em MATLAB são realizadas para verificar o desempenho do controladores, bem como validar o modelo cinemático do robô, em diferentes configurações iniciais. / [en] In recent years, the latest advances in robotics and its applications have been used to reduce the workload and manpower requirements, improving the environment, health and safety (EHS) conditions, particularly in agricultural production and farming systems. Autonomous robots are part of such technological innovation and Tracked Mobile Robots (TMRs), in particular, have being widely used on agricultural fields around the world, since their tracks provide a large contact area on the wet soils and irregular terrains avoiding the robot to get stuck. In this work, we address the modeling and control design of tracked mobile robots (TMRs) able to perform surveillance tasks in agricultural fields. The proposed methodology considers that the kinematic models of the TMRs are both uncertain due to the inherent slippage between the tracks and the terrain. To deal with the modeling uncertainties and external disturbances, we use the sliding mode control (SMC) approach. A Mobile User Interface (MUI) based on Android operating system. is developed to control the TMR manually or autonomously. By using the MUI the human operator can visualize the information captured from external and internal sensors. Numerical simulations in MATLAB are carried out to verify the performance of the controller as well as validate the robot kinematic model under different configurations.