La presente tesis tiene como principal objetivo el estudio de factibilidad del uso de cámaras de video como elemento sensor para el soporte de sistemas de control abocados al seguimiento de trayectorias con vehículos del tipo denominado AUV (Autonomous Underwater Vehicle). Este sensor basado en visión permite determinar el posicionamiento relativo del vehículo con respecto a un determinado objeto en el fondo, generando una estimación de estados que puede ser empleada en diversos tipos de controladores. Como particularidad adicional se describe el seguimiento de líneas con patrones regularmente distribuidos a lo largo de ésta, lo que permite estimar también la velocidad lineal y angular del vehículo. La hipótesis que sustenta el objetivo es que la línea presenta un contraste adecuado respecto al fondo y que exista un grado de transparencia del agua suficientemente alto para la detección de patrones de la misma. Como parte de la verificación experimental de la presente Tesis se construye un vehículo prototípico con los grados de libertad necesarios para ilustrar los resultados obtenidos. Con este planteo, el objetivo de control primordial es reducir los errores de desplazamiento lateral y rumbo respecto a la línea, y simultaneamente forzar la navegación a una determinada velocidad crucero. A partir de técnicas digitales de procesamiento de imágenes, se desarrollan algoritmos para extracción de características del segmento de línea encuadrado en el video en cada instante. Inicialmente, el desplazamiento respecto al centro de la imagen y el ángulo respecto a la vertical sirven como medidas geométricas para la descripción de errores de seguimiento de línea. A su vez, las diferencias de posiciones de determinados puntos visibles (patrones) en dos fotogramas consecutivos define el campo de velocidades de la línea en la imagen. Por otro lado, mediante un modelo matemático de la cámara y el entorno, se elabora un sistema de ecuaciones que permite relacionar las métricas en el plano 2D de la imagen con el espacio 3D en el que se desplaza el vehículo. La transformación de coordenadas obtenida representa una estimación de variables de estados respecto a sistemas de referencia fijos a la línea o al vehículo en una métrica Euclideana. Los parámetros constantes del modelo son estimados en una única calibración de la cámara. Con el fin de incrementar la robustez del sensor ante perturbaciones del video debido a la mala calidad de la imagen o turbidez del agua, se realiza un estudio de propiedades estadísticas del histograma de una región particular de la imagen para determinar la presencia o ausencia de la línea en dicha región, a la vez que se obtiene una indicación cualitativa de la calidad de imagen. La selección de la región para el análisis se efectúa dinámicamente y es actualizada en cada imagen. De los resultados del análisis se desprende una señal que alerta al controlador en caso de ausencia de la línea o mala calidad de imagen. Seguidamente se proponen y diseñan sistemas de control basados en visión pura a través de los datos del sensor. Los diseños conllevan la distorsión del entorno visible acorde a la métrica de la cámara. La estructura general de un sistema de control propuesto consiste en una cascada de controladores cinemáticos y dinámicos. A los fines de disponer de criterios de comparación para los análisis de estabilidad y performance de control, se diseñan controladores más familiares como los del tipo PID y de dinámica inversa. No obstante, su utilización en un sistema de control, donde el sensor principal es una cámara, requiere de adaptaciones que aseguren acciones de control que mantengan al vehículo en posiciones dentro del campo de visión. De esta manera, se describe el diseño de controladores híbridos capaces de operar con el sensor de visión empleando para ello transformaciones de estados 2D del plano de la imagen a estados 3D de métrica Euclideana según el modelo de cámara. Adicionalmente, se presenta un controlador cinemático basado en imagen en el cual sólo es necesaria la estimación de estados en el plano de la imagen para generar las referencias de velocidad. Las salidas de éste pueden ser utilizadas en diversos tipos de controladores dinámicos para efectuar el seguimiento de velocidades. El desempeño de los sistemas de visión y control es analizado mediante numerosas simulaciones y pruebas experimentales de laboratorio y en pileta bajo diversas condiciones del medio. En la práctica puede observarse que la hipótesis de la existencia de cierto nivel de contraste mínimo entre el suelo y la línea se manifiesta aproximadamente a pesar de las altas perturbaciones de turbidez del agua y ondas cáusticas debido al oleaje y los rayos luminosos pasantes hacia el fondo. Las conclusiones de la tesis indican que el sensor basado en visión es apto para tareas de seguimiento en donde la distancia del vehículo al fondo es relativamente baja (menos de 10 metros según la visibilidad), y su inclusión en un sistema de control es posible mediante controladores de características de razonamiento lógico o difuso. Se hace hincapié que en los diseños de controlador abordados con imágenes en tiempo real, no es necesario un modelo de la dinámica del sistema, sólo se necesita una calibración de la cámara y el relevamiento de curvas características de la relación entre métrica de visión y Euclideana. En particular, se demuestra que con ciertas adaptaciones, en su combinación con controladores del tipo PID se llega a sistemas de control de mejor prestación para alcanzar mejor los objetivos propuestos. / The main objective of this Thesis is the feasibility study of video cameras as sensor element in control systems for path-tracking with AUVs (Autonomous Underwater Vehicle). This vision-based sensor allows to determine the relative positioning of the vehicle with respect to an object on the sea bottom. It generates a states estimation which could be employed by different types of controllers. As additional particularity one describes the path-following of lines with regularly distributed patterns, which also allows to estimate the linear and angular velocities of the vehicle. The hypothesis behind the goal is that the line presents a suitable contrast with the background and enough water transparency exists in order to detect its patterns. The experimental verification in this Thesis included the building of a prototype of underwater vehicle with the necessary degrees of freedom to illustrate the obtained results. Under the described suppositions, the main control goal is to reduce the lateral and orientation path errors with respect to the line, simultaneously forcing the navigation at a certain cruise speed. Digital image processing techniques were used for feature extraction of the visible line stretch in each frame. Initially, the displacement of the stretch with respect to the frame center and its angle with respect to the vertical axis serve as geometric measures for the path errors description. At the same time, the position differences between identified line patterns of two consecutive frames provide a velocity field of the image. On the other side, by the help of a mathematical camera model and an environment model, an equation system is constructed in order to connect the metrics in the 2D image plane with the 3D space in where the vehicle navigates. The obtained coordinate transformation represents a state variable estimation with respect to a coordinate system which is fixed to the line or to the vehicle in an Euclideanmetrics. The constant parameters of the model are estimated by a single camera calibration. With the purpose to increase the sensor robustness against video perturbations like bad image quality or water turbidity, a study of statistic properties of the histogram of a particular image region is accomplished. This study determines the presence or absence of the line in this region and, in addition, an indication of the image quality is obtained. The region selection for the analysis is performed dynamically and updated in every frame. As result, an alarm is generated to alert the controller in case of line absence or bad quality of the image. Subsequently, vision-based control systems that uses the data of camera sensor are proposed and designed. The designs involve the distortion of the visible environment according to the camera metrics. The proposed general control structure consists in a cascade of dynamic and kinematic controllers. In order to provide comparison criteria for the stability and performance analysis of the control, more familiar controllers like the PIDs and inverse dynamics controllers are designed. A second control objective is to achieve control actions that can ensure to maintain the vehicle continuously in positions inside the vision zone. For that reason, particular designs that combine both types of controllers are presented. These are able to operate with the vision sensor, employing state transformation from 2D image plane to states in the 3D Euclidian space. Additionally a vision-based kinematic controller is presented, in which it is only necessary to measure features in the image plane in order to generate rate references. These references can be applied in different types of dynamic controllers for performing rate following. The performance of the vision-based sensor and control systems is analyzed through numerous simulations and experimental tests in laboratory and pools, under variations of environmental conditions. In the praxis it can be observed that the work hypothesis related to the existence of a minimum level of contrast between line and sea background is properly fulfilled despite of perturbations of water turbidity and caustic waves due to the surface swell and the light rays overstepping towards the bottom. The conclusions in this Thesis indicate that the developed vision-based sensor is suitable for application in cases where the distance from the vehicle to the sea bottom is short (till 10 meters, depending on turbidity). Its inclusion in the control system is possible for controllers that possess certain fuzzy characteristics or logical reasoning. It emphasizes that in the addressed controller designs with real-time images a model of the system dynamics is not necessary, just a camera calibration and survey of characteristic curves of the relationship between vision and Euclidean metric is needed. In particular, it is demonstrated that with certain adaptations, the combination of the developed sensor with a PID-type controller arrives to a better system performance in order to achieve appropriately path-tracking of lines upon a vision basis.

Driving is one of the most common and preferred forms of transport used in our actual society. However, according to studies, it is also one of the most dangerous. One solution to increase safety on the road is applying technology to automate and prevent avoidable human errors. Nevertheless, despite the efforts to obtain reliable systems, we have yet to find a reliable and safe enough solution for solving autonomous driving. One of the reasons is that many drives are done in conditions far from the ideal, with variable lighting conditions and fast-paced, unpredictable environments. This project develops and evaluates an algorithm that takes the input of dynamic vision sensors (DVS) and runs on neuromorphic spiking neural networks (SNN) to obtain a robust road lane tracking system. We present quantitative and qualitative metrics that evaluate the performance of lane recognition in low light conditions against conventional algorithms. This project is motivated by the main advantages of neuromorphic vision sensors: recognizing a high dynamic range and allowing a high-speed image capture. Another improvement of this system is the computational speed and power efficiency that characterize neuromorphic hardware based on spiking neural networks. The results obtained show a similar accuracy of this new algorithm compared to previous implementations on conventional hardware platforms. Most importantly, it accomplishes the proposed task with lower latency and computing power requirements than previous algorithms. / Att köra bil är ett av de vanligaste och mest populära transportsätten i vårt samhälle. Enligt forskningen är det också ett av de farligaste. En lösning för att öka säkerheten på vägarna är att med teknikens hjälp automatisera bilkörningen och på så sätt förebygga misstag som beror på den mänskliga faktorn. Trots ansträngningarna för att få fram tillförlitliga system har man dock ännu inte hittat en tillräckligt tillförlitlig och säker lösning för självkörande bilar. En av orsakerna till det är att många körningar sker under förhållanden som är långt ifrån idealiska, med varierande ljusförhållanden och oförutsägbara miljöer i höga hastigheter. I det här projektet utvecklar och utvärderar vi en algoritm som tar emot indata från dynamiska synsensorer (Dynamic Vision Sensors, DVS) och kör datan på neuromorfiska pulserande neuronnät (Spiking Neural Networks, SNN) för att skapa ett robust system för att läsa av vägbanan. Vi presenterar en kvantitativ och kvalitativ utvärdering av hur väl systemet läser av körbanans linjer i svagt ljus, och jämför därefter resultaten med dem för tidigare algoritmer. Detta projekt motiveras av de viktigaste fördelarna med neuromorfiska synsensorer: brett dynamiskt omfång och hög bildtagningshastighet. En annan fördel hos detta system är den korta beräkningstiden och den energieffektivitet som kännetecknar neuromorfisk hårdvara baserad på pulserande neuronnät. De resultat som erhållits visar att den nya algoritmen har en liknande noggrannhet som tidigare algoritmer på traditionella hårdvaruplattformar. I jämförelse med den traditionella tekniken, utför algoritmen i den föreliggande studien sin uppgift med kortare latenstid och lägre krav på processorkraft. / La conducción es una de las formas de transporte más comunes y preferidas en la actualidad. Sin embargo, diferentes estudios muestran que también es una de las más peligrosas. Una solución para aumentar la seguridad en la carretera es aplicar la tecnología para automatizar y prevenir los evitables errores humanos. No obstante, a pesar de los esfuerzos por conseguir sistemas fiables, todavía no hemos encontrado una solución suficientemente fiable y segura para resolver este reto. Una de las razones es el entorno de la conducción, en situaciones que distan mucho de las ideales, con condiciones de iluminación variables y entornos rápidos e imprevisibles. Este proyecto desarrolla y evalúa un algoritmo que toma la entrada de sensores de visión dinámicos (DVS) y ejecuta su computación en redes neuronales neuromórficas (SNN) para obtener un sistema robusto de seguimiento de carriles en carretera. Presentamos métricas cuantitativas y cualitativas que evalúan el rendimiento del reconocimiento de carriles en condiciones de poca luz, frente a algoritmos convencionales. Este proyecto está motivado por la validación de las ventajas de los sensores de visión neuromórficos: el reconocimiento de un alto rango dinámico y la captura de imágenes de alta velocidad. Otra de las mejoras que se espera de este sistema es la velocidad de procesamiento y la eficiencia energética que caracterizan al hardware neuromórfico basado en redes neuronales de impulsos. Los resultados obtenidos muestran una precisión similar entre el nuevo algoritmo en comparación con implementaciones anteriores en plataformas convencionales. Y lo que es más importante, realiza la tarea propuesta con menor latencia y requisitos de potencia de cálculo.