Dissertação apresentada para obtenção do grau de Mestre em Engenharia Electrotécnica e de Computadores (Área de especialização de Informática Industrial), na Faculdade de Engenharia da Universidade do Porto, sob a orientação do Professor Fernando Manuel Ferreira Lobo Pereira

Tese de mestrado integrado. Engenharia Informática e Computação. Faculdade de Engenharia. Universidade do Porto. 2009

Tese de mestrado integrado. Engenharia Electrotécnica e de Computadores (Major Automação). Faculdade de Engenharia. Universidade do Porto. 2009

Tese de mestrado integrado. Engenharia Electrotécnica e de computadores. Faculdade de Engenharia. Universidade do Porto / Master Dissertation Certificate. KTH University, Suécia. 2009

Tese de mestrado integrado. Engenharia Informática e Computação. Faculdade de Engenharia. Universidade do Porto. 2010

El propósito de esta tesis es formular el modelo de ciclo de vida de aprendizaje de sistemas autónomos de robots, la colaboración desde un sistema autónomo de robot, que se encuentra en un estado de evolución superior en el contexto del ciclo de vida propuesto, a un sistema autónomo de robot receptor, explorar una arquitectura para sistemas autónomos de robots (SARs) con un nuevo módulo de planificación en relación a los trabajos de autores anteriores. La colaboración entre sistemas autónomos de robots se debe considerar en el marco de los trabajos anteriores, comenzando Fritz W, el que considera un sistema autónomo inteligente representado por un robot con un planificador clásico, al que García Martínez R, le incorpora la ponderación de planes y mutación de teorías similares, luego Maceri P, incorpora el intercambio de teorías. Sobre estas bases resulta conveniente considerar la extensión y experimentación de mecanismos de colaboración entre SARs en el marco de un ciclo de vida de aprendizaje, donde SARs más evolucionado colaboran con SARs receptores menos evolucionados. Se presenta un modelo y la arquitectura para un ambiente de múltiples sistemas autónomos de robots, experimentándose la actuación del SAR en el marco de la propuesta. Finalmente, considerando que existen propuestas anteriores enunciadas en el marco de sistemas autónomos de robots, resulta necesario la comparación en términos del rendimiento del aprendizaje del sistema autónomo de robot (SAR), entre las propuestas de autores anteriores las que consideran la planificación, ponderación de planes, métodos de mutación de teorías e intercambio de teorías entre SAR y la propuesta de sumar el mecanismo de colaboración para un SAR. / Tesis doctoral de la Facultad de Informática (UNLP). Grado alcanzado: Doctor en Ciencias Informáticas. Director de tesis: Armando De Giusti; co-director: Ramón García Martínez.

Doctor en Ingeniería Eléctrica / La conducción autónoma de vehı́culos requiere de un método de localización robusto a cambios en el ambiente debidos, entre otros, a la iluminación natural, los objetos dinámicos presentes y a las condiciones ambientales. Los mapas topológicos permiten una representación concisa del mundo al mantener solo información sobre los lugares relevantes, mientras que los mapas semánticos permiten una representación de alto nivel que incluye etiquetas asociadas con lugares u objetos. Es por esto que en este trabajo se propone el uso de mapas topológicos semánticos como una solución robusta y eficiente para el mapeo en lugares extensos para su uso en la conducción de vehı́culos autónomos. El objetivo de esta tesis es modelar el entorno de un vehı́culo a través de un mapa topológico semántico, utilizando información semántica obtenida del procesamiento de imágenes de la cámara frontal del vehı́culo, lo que permite generar una descripción de alto nivel del entorno para su uso en la localización de un vehı́culo autónomo en condiciones de navegación urbanas y rurales. La metodologı́a para la construcción del Mapa Topológico Semántico utiliza un método de seg- mentación semántica basado en redes neuronales profundas para extraer la información semántica de las imágenes, y construye el mapa en una estructura de grafo que describe el entorno del vehı́cu- lo. Para llevar a cabo la localización del vehı́culo en un mapa topológico semántico conocido se implementó un método basado en filtros de partı́culas que resuelve exitosamente el problema de localización. Esta metodologı́a fue probada en una base de datos de conducción urbana, logrando describir 9,57[km] de caminos de ciudad con un grafo que contiene 232 aristas. La metodologı́a de localización fue probada utilizando un segundo recorrido de 8,45[km] obteniéndose una precisión promedio de 7,7[m] en la estimación de la pose del vehı́culo, mostrando mejores resultados que otros dos métodos del estado del arte. Además, los experimentos realizados demuestran la robustez de la metodologı́a en el caso de no tener una estimación inicial de la pose del vehículo.

La presente tesis tiene como principal objetivo el estudio de factibilidad del uso de cámaras de video como elemento sensor para el soporte de sistemas de control abocados al seguimiento de trayectorias con vehículos del tipo denominado AUV (Autonomous Underwater Vehicle). Este sensor basado en visión permite determinar el posicionamiento relativo del vehículo con respecto a un determinado objeto en el fondo, generando una estimación de estados que puede ser empleada en diversos tipos de controladores. Como particularidad adicional se describe el seguimiento de líneas con patrones regularmente distribuidos a lo largo de ésta, lo que permite estimar también la velocidad lineal y angular del vehículo. La hipótesis que sustenta el objetivo es que la línea presenta un contraste adecuado respecto al fondo y que exista un grado de transparencia del agua suficientemente alto para la detección de patrones de la misma. Como parte de la verificación experimental de la presente Tesis se construye un vehículo prototípico con los grados de libertad necesarios para ilustrar los resultados obtenidos. Con este planteo, el objetivo de control primordial es reducir los errores de desplazamiento lateral y rumbo respecto a la línea, y simultaneamente forzar la navegación a una determinada velocidad crucero. A partir de técnicas digitales de procesamiento de imágenes, se desarrollan algoritmos para extracción de características del segmento de línea encuadrado en el video en cada instante. Inicialmente, el desplazamiento respecto al centro de la imagen y el ángulo respecto a la vertical sirven como medidas geométricas para la descripción de errores de seguimiento de línea. A su vez, las diferencias de posiciones de determinados puntos visibles (patrones) en dos fotogramas consecutivos define el campo de velocidades de la línea en la imagen. Por otro lado, mediante un modelo matemático de la cámara y el entorno, se elabora un sistema de ecuaciones que permite relacionar las métricas en el plano 2D de la imagen con el espacio 3D en el que se desplaza el vehículo. La transformación de coordenadas obtenida representa una estimación de variables de estados respecto a sistemas de referencia fijos a la línea o al vehículo en una métrica Euclideana. Los parámetros constantes del modelo son estimados en una única calibración de la cámara. Con el fin de incrementar la robustez del sensor ante perturbaciones del video debido a la mala calidad de la imagen o turbidez del agua, se realiza un estudio de propiedades estadísticas del histograma de una región particular de la imagen para determinar la presencia o ausencia de la línea en dicha región, a la vez que se obtiene una indicación cualitativa de la calidad de imagen. La selección de la región para el análisis se efectúa dinámicamente y es actualizada en cada imagen. De los resultados del análisis se desprende una señal que alerta al controlador en caso de ausencia de la línea o mala calidad de imagen. Seguidamente se proponen y diseñan sistemas de control basados en visión pura a través de los datos del sensor. Los diseños conllevan la distorsión del entorno visible acorde a la métrica de la cámara. La estructura general de un sistema de control propuesto consiste en una cascada de controladores cinemáticos y dinámicos. A los fines de disponer de criterios de comparación para los análisis de estabilidad y performance de control, se diseñan controladores más familiares como los del tipo PID y de dinámica inversa. No obstante, su utilización en un sistema de control, donde el sensor principal es una cámara, requiere de adaptaciones que aseguren acciones de control que mantengan al vehículo en posiciones dentro del campo de visión. De esta manera, se describe el diseño de controladores híbridos capaces de operar con el sensor de visión empleando para ello transformaciones de estados 2D del plano de la imagen a estados 3D de métrica Euclideana según el modelo de cámara. Adicionalmente, se presenta un controlador cinemático basado en imagen en el cual sólo es necesaria la estimación de estados en el plano de la imagen para generar las referencias de velocidad. Las salidas de éste pueden ser utilizadas en diversos tipos de controladores dinámicos para efectuar el seguimiento de velocidades. El desempeño de los sistemas de visión y control es analizado mediante numerosas simulaciones y pruebas experimentales de laboratorio y en pileta bajo diversas condiciones del medio. En la práctica puede observarse que la hipótesis de la existencia de cierto nivel de contraste mínimo entre el suelo y la línea se manifiesta aproximadamente a pesar de las altas perturbaciones de turbidez del agua y ondas cáusticas debido al oleaje y los rayos luminosos pasantes hacia el fondo. Las conclusiones de la tesis indican que el sensor basado en visión es apto para tareas de seguimiento en donde la distancia del vehículo al fondo es relativamente baja (menos de 10 metros según la visibilidad), y su inclusión en un sistema de control es posible mediante controladores de características de razonamiento lógico o difuso. Se hace hincapié que en los diseños de controlador abordados con imágenes en tiempo real, no es necesario un modelo de la dinámica del sistema, sólo se necesita una calibración de la cámara y el relevamiento de curvas características de la relación entre métrica de visión y Euclideana. En particular, se demuestra que con ciertas adaptaciones, en su combinación con controladores del tipo PID se llega a sistemas de control de mejor prestación para alcanzar mejor los objetivos propuestos. / The main objective of this Thesis is the feasibility study of video cameras as sensor element in control systems for path-tracking with AUVs (Autonomous Underwater Vehicle). This vision-based sensor allows to determine the relative positioning of the vehicle with respect to an object on the sea bottom. It generates a states estimation which could be employed by different types of controllers. As additional particularity one describes the path-following of lines with regularly distributed patterns, which also allows to estimate the linear and angular velocities of the vehicle. The hypothesis behind the goal is that the line presents a suitable contrast with the background and enough water transparency exists in order to detect its patterns. The experimental verification in this Thesis included the building of a prototype of underwater vehicle with the necessary degrees of freedom to illustrate the obtained results. Under the described suppositions, the main control goal is to reduce the lateral and orientation path errors with respect to the line, simultaneously forcing the navigation at a certain cruise speed. Digital image processing techniques were used for feature extraction of the visible line stretch in each frame. Initially, the displacement of the stretch with respect to the frame center and its angle with respect to the vertical axis serve as geometric measures for the path errors description. At the same time, the position differences between identified line patterns of two consecutive frames provide a velocity field of the image. On the other side, by the help of a mathematical camera model and an environment model, an equation system is constructed in order to connect the metrics in the 2D image plane with the 3D space in where the vehicle navigates. The obtained coordinate transformation represents a state variable estimation with respect to a coordinate system which is fixed to the line or to the vehicle in an Euclideanmetrics. The constant parameters of the model are estimated by a single camera calibration. With the purpose to increase the sensor robustness against video perturbations like bad image quality or water turbidity, a study of statistic properties of the histogram of a particular image region is accomplished. This study determines the presence or absence of the line in this region and, in addition, an indication of the image quality is obtained. The region selection for the analysis is performed dynamically and updated in every frame. As result, an alarm is generated to alert the controller in case of line absence or bad quality of the image. Subsequently, vision-based control systems that uses the data of camera sensor are proposed and designed. The designs involve the distortion of the visible environment according to the camera metrics. The proposed general control structure consists in a cascade of dynamic and kinematic controllers. In order to provide comparison criteria for the stability and performance analysis of the control, more familiar controllers like the PIDs and inverse dynamics controllers are designed. A second control objective is to achieve control actions that can ensure to maintain the vehicle continuously in positions inside the vision zone. For that reason, particular designs that combine both types of controllers are presented. These are able to operate with the vision sensor, employing state transformation from 2D image plane to states in the 3D Euclidian space. Additionally a vision-based kinematic controller is presented, in which it is only necessary to measure features in the image plane in order to generate rate references. These references can be applied in different types of dynamic controllers for performing rate following. The performance of the vision-based sensor and control systems is analyzed through numerous simulations and experimental tests in laboratory and pools, under variations of environmental conditions. In the praxis it can be observed that the work hypothesis related to the existence of a minimum level of contrast between line and sea background is properly fulfilled despite of perturbations of water turbidity and caustic waves due to the surface swell and the light rays overstepping towards the bottom. The conclusions in this Thesis indicate that the developed vision-based sensor is suitable for application in cases where the distance from the vehicle to the sea bottom is short (till 10 meters, depending on turbidity). Its inclusion in the control system is possible for controllers that possess certain fuzzy characteristics or logical reasoning. It emphasizes that in the addressed controller designs with real-time images a model of the system dynamics is not necessary, just a camera calibration and survey of characteristic curves of the relationship between vision and Euclidean metric is needed. In particular, it is demonstrated that with certain adaptations, the combination of the developed sensor with a PID-type controller arrives to a better system performance in order to achieve appropriately path-tracking of lines upon a vision basis.

No description available.

No description available.