Tese de mestrado integrado. Engenharia Electrotécnica e de Computadores. Universidade do Porto. Faculdade de Engenharia. 2010

[ES] La robótica submarina ha sido uno de los campos de investigación que más interés ha despertado en las últimas décadas y con esto ha logrado una evolución de dicho campo. Avances de la robótica submarina han sido implementados en áreas diferentes a la investigación, dentro de los beneficiados está el sector comercial y el sector militar, así como la academia. Por otra parte, avances tecnológicos de diferentes áreas se incorporan a la robótica submarina, principalmente en los sistemas electrónicos los que más estimulan el desarrollo de todo lo relacionado con los vehículos submarinos, por lo tanto, se generan progresos en sistemas de control además del diseño mecánico y estructural. Esta tesis se centró en el diseño y construcción de un vehículo autónomo submarino para el proyecto DIVISAMOS. A partir del análisis del estado actual de la robótica submarina, el diseño planteado recoge todos los aspectos favorables de los vehículos existentes, de esta forma se tienen características que optimizan el vehículo, otorgándole versatilidad y eficiencia de funcionamiento. En el proceso investigativo se dirigieron esfuerzos, principalmente a la integración de métodos de diseño mecánico que optimizaron las características del vehículo que se construyó, presentando así un vehículo híbrido con desplazamientos eficientes y con posibilidad de desarrollar misiones que requieran hoovering. Cabe destacar que los métodos de diseño presentados en esta tesis, permiten incorporar sistemas de sensores para desarrollo de misiones de monitoreo, Localización y Mapeo Simultáneos (SLAM, por sus siglas en inglés) batimetría de ambientes submarinos con generación de datos georreferenciados, de alta resolución y su proyección cartográfica. Con todo esto se puede asegurar que se construyó un vehículo de altas prestaciones. Con el análisis de los resultados obtenidos con la implementación de Dinámica de Fluidos Computacional (CFD, por sus siglas en inglés), se logró que el vehículo tenga bajo consumo de energía ya que se han estudiado a fondo aspectos de la forma hidrodinámica del casco, del vehículo para reducir la fuerza de arrastre. Dentro de los resultados a desatacar en este aspecto se presenta un modelo que incorpora el cálculo en tiempo real, de las fuerzas debidas al arrastre generado por las corrientes de agua que interactúan con el casco del vehículo, reduciendo con esto el alto costo computacional de los análisis CFD y enriqueciendo el modelado dinámico. El modelo dinámico y cinemático de un vehículo autónomo submarino (AUV, por sus siglas en inglés), reviste un mayor grado de complejidad debido a que al sumergirse, depende de la navegación inercial que funciona basada en las mediciones de los instrumentos y los sistemas de referencia para determinar su posición. Las matrices de transformación son un método eficaz, usado para el modelado matemático de brazos robot, en esta tesis se plateó un modelo matemático hibrido, que utiliza matrices de transformación para plantear la cinemática del AUV, éste modelo tiene la particularidad de permitir agregar elementos al modelo inicial, continuando con la misma formulación resultando de gran utilidad para casos en los que el AUV realiza misiones en las que manipulan objetos y debido a esto se incorpora un brazo robot. / [CA] La robòtica submarina ha sigut un dels camps d'investigació que més interés ha despertat en les últimes dècades, açò ha aconseguit una evolució del dit camp. Avanços de la robòtica submarina han sigut implementats en àrees diferents de la investigació, dins dels beneficiats està el sector comercial i el sector militar així com l'acadèmia. D'altra banda, avanços tecnològics de diferents àrees s'incorporen a la robòtica submarina, principalment són els sistemes electrònics els que més estimulen el desenrotllament de tot allò que s'ha relacionat amb els vehicles submarins, per tant es generen progressos en sistemes de control a més del disseny mecànic i estructural. Esta tesi es va centrar en el disseny i construcció d'un vehicle autònom submarí per al projecte DIVISAMOS. A partir de l'anàlisi de l'estat actual de la robòtica submarina, el disseny plantejat arreplega tots els aspectes favorables dels vehicles existents, d'esta manera es tenen característiques que optimitzen el vehicle atorgant-li versatilitat i eficiència de funcionament. En el procés investigativo es van dirigir esforços principalment a la integració de mètodes de disseny mecànic que van optimitzar les característiques del vehicle que es va construir, presentant així un vehicle híbrid amb desplaçaments eficients i possibilitat de desenrotllar missions que requerisquen hoovering. Cal destacar que els mètodes de disseny presentats en esta tesi permeten incorporar sistemes de sensors per a desenrotllament de missions de monitoreo, SLAM, batimetria d'ambients submarins amb generació de dades geo-referenciats d'alta resolució i la seua projecció cartogràfica. Amb tot açò es pot assegurar que es va construir un vehicle d'altes prestacions. Amb l'anàlisi dels resultats obtinguts amb la implementació de Dinàmica de Fluids Computacional (CFD, per les seues sigles en anglés) es va aconseguir que el vehicle tinga baix consum d'energia ja que s'han estudiat a fons aspectes de la forma hidrodinàmica del casc del vehicle per a reduir la força d'arrossegament. Dins dels resultats a descordar en este aspecte es presenta un model que incorpora el càlcul en temps real de les forces degudes a l'arrossegament generat pels corrents d'aigua que interactuen amb el casc del vehicle, reduint amb açò l'alt cost computacional de les anàlisis CFD i enriquint el modelatge dinàmic El model dinàmic i cinemático d'un Vehicle Autònom Submarí (AUV, per les seues sigles en anglés) revist un major grau de complexitat pel fet que al submergir-se depén de la navegació inercial que funciona basada en els mesuraments dels instruments i els sistemes de referència per a determinar la seua posició. Les matrius de transformació són un mètode eficaç usat per al modelatge matemàtic de braços robot, en esta tesi es va platejar un model matemàtic híbrid que utilitza matrius de transformació per a plantejar la cinemàtica del' AUV, este model té la particularitat de permetre agregar elements al model inicial continuant amb la mateixa formulació, resultant gran utilitat per a casos en què l'AUV realitza missions en què manipulen objectes i a causa d'açò incorpora un braç robot. / [EN] Underwater robotics has been one of the fields of research that has awakened most in recent decades, this has achieved an evolution of this field. Advances in underwater robotics have been implemented in areas other than research, within the benefits are the commercial sector and the military sector as well as the academy. Underwater robotics has been one of the fields of research that has awakened most in recent decades, this has achieved an evolution of this field. Advances in underwater robotics have been implemented in areas other than research, within the benefits is the commercial sector and the military sector as well as the academy. The development of everything related to underwater vehicles, therefore progress is made in control systems in addition to the mechanical and structural design. This thesis focused on the design and construction of an underwater autonomous vehicle for the DIVISAMOS project. From the analysis of the current state of underwater robotics, the proposed design includes all the favorable aspects of the existing vehicles, in this way it has characteristics that optimize the vehicle, giving it versatility and efficiency of operation. In the research process, it was mainly aimed at the integration of mechanical design methods that optimize the characteristics of the vehicle that was built, thus presenting a hybrid truck with efficient displacements and the possibility of development. It should be noted that the design methods presented in this test incorporate sensor systems for the development of monitoring missions, Simultaneous Localization and Mapping (SLAM), the bathymetry of submarine environments with high-resolution georeferenced data generation and its cartographic projection. With all this you can ensure that a high-performance vehicle was built. With the analysis of the results obtained with the implementation of Computational Fluid Dynamics (CFD) was achieved that the vehicle has low power consumption and that has been thoroughly studied aspects of the hydrodynamic shape of the vehicle's hull to reduce the drag force. Within the results of this aspect a model is presented that incorporates the calculation in real time of the forces for the analysis of the drag generated by the water currents that interact with the hull of the vehicle, reducing with this the high computational cost of the CFD analysis and enriching dynamic modeling. The dynamic and kinematic model of an Autonomous Underwater Vehicle (AUV) revises a greater degree of complexity that depends on the inertial navigation that works in the measurements of the instruments and the reference to determine its position. Transformation matrices are an effective method used for the mathematical modeling of robot arms. In this thesis a hybrid mathematical model was used that uses transformation matrices to propose the kinematics of the AUV, this model has the peculiarity of allowing the aggregation of elements to the initial model continuing with the same formulation, resulting in a great utility for cases in which the AUV performs missions in which objects are manipulated and due to this incorporates an arm robot. / También agradezco al ministerio de educación pues gracias a los recursos destinados al proyecto DIVISAMOS todo este proyecto fue posible. / Aguirre Gómez, FA. (2020). Diseño Optimizado, Modelado Dinámico - Cinemático y Fabricación de un AUV, Integrando Herramientas CAE para su Validación [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/144260 / TESIS

Darrerament, l'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable. Els AUVs són atractius gràcies al seu tamany i el fet que no necessiten un operador humà per pilotar-los. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'un pilot humà amb les escasses capacitats operatives que ofereixen els AUVs actuals. L'utilització de AUVs per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que el nostre robot reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat. Aquesta tesi tracta sobre el problema de la presa de decisions utilizant AUVs. El treball presentat es centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal d'aquesta tesi consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real. En RL, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals. Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG. / A considerable interest has arisen around Autonomous Underwater Vehicle (AUV) applications. AUVs are very useful because of their size and their independence from human operators. However, comparison with humans in terms of efficiency and flexibility is often unequal. The development of autonomous control systems able to deal with such issues becomes a priority. The use of AUVs for covering large unknown dynamic underwater areas is a very complex problem, mainly when the AUV is required to react in real time to unpredictable changes in the environment. This thesis is concerned with the field of AUVs and the problem of action-decision. The methodology chosen to solve this problem is Reinforcement Learning (RL). The work presented here focuses on the study and development of RL-based behaviors and their application to AUVs in real robotic tasks. The principal contribution of this thesis is the application of different RL techniques for autonomy improvement of an AUV, with the final purpose of demonstrating the feasibility of learning algorithms to help AUVs perform autonomous tasks. In RL, the robot tries to maximize a scalar evaluation obtained as a result of its interaction with the environment with the aim of finding an optimal policy to map the state of the environment to an action which in turn will maximize the accumulated future rewards. Thus, this dissertation is based on the principals of RL theory, surveying the two main classes of RL algorithms: Value Function (VF)-based methods and Policy Gradient (PG)-based techniques. A particular class of algorithms, Actor-Critic methods, born of the combination of PG algorithms with VF methods, is used for the final experimental results of this thesis: a real underwater task in which the underwater robot Ictineu AUV learns to perform an autonomous cable tracking task.

Aquesta tesi proposa l'ús d'un seguit de tècniques pel control a alt nivell d'un robot autònom i també per l'aprenentatge automàtic de comportaments. L'objectiu principal de la tesis fou el de dotar d'intel·ligència als robots autònoms que han d'acomplir unes missions determinades en entorns desconeguts i no estructurats. Una de les premisses tingudes en compte en tots els passos d'aquesta tesis va ser la selecció d'aquelles tècniques que poguessin ésser aplicades en temps real, i demostrar-ne el seu funcionament amb experiments reals. El camp d'aplicació de tots els experiments es la robòtica submarina.En una primera part, la tesis es centra en el disseny d'una arquitectura de control que ha de permetre l'assoliment d'una missió prèviament definida. En particular, la tesis proposa l'ús de les arquitectures de control basades en comportaments per a l'assoliment de cada una de les tasques que composen la totalitat de la missió. Una arquitectura d'aquest tipus està formada per un conjunt independent de comportaments, els quals representen diferents intencions del robot (ex.: "anar a una posició", "evitar obstacles",...). Es presenta una recerca bibliogràfica sobre aquest camp i alhora es mostren els resultats d'aplicar quatre de les arquitectures basades en comportaments més representatives a una tasca concreta. De l'anàlisi dels resultats se'n deriva que un dels factors que més influeixen en el rendiment d'aquestes arquitectures, és la metodologia emprada per coordinar les respostes dels comportaments. Per una banda, la coordinació competitiva és aquella en que només un dels comportaments controla el robot. Per altra banda, en la coordinació cooperativa el control del robot és realitza a partir d'una fusió de totes les respostes dels comportaments actius. La tesis, proposa un esquema híbrid d'arquitectura capaç de beneficiar-se dels principals avantatges d'ambdues metodologies.En una segona part, la tesis proposa la utilització de l'aprenentatge per reforç per aprendre l'estructura interna dels comportaments. Aquest tipus d'aprenentatge és adequat per entorns desconeguts i el procés d'aprenentatge es realitza al mateix temps que el robot està explorant l'entorn. La tesis presenta també un estat de l'art d'aquest camp, en el que es detallen els principals problemes que apareixen en utilitzar els algoritmes d'aprenentatge per reforç en aplicacions reals, com la robòtica. El problema de la generalització és un dels que més influeix i consisteix en permetre l'ús de variables continues sense augmentar substancialment el temps de convergència. Després de descriure breument les principals metodologies per generalitzar, la tesis proposa l'ús d'una xarxa neural combinada amb l'algoritme d'aprenentatge per reforç Q_learning. Aquesta combinació proporciona una gran capacitat de generalització i una molt bona disposició per aprendre en tasques de robòtica amb exigències de temps real. No obstant, les xarxes neurals són aproximadors de funcions no-locals, el que significa que en treballar amb un conjunt de dades no homogeni es produeix una interferència: aprendre en un subconjunt de l'espai significa desaprendre en la resta de l'espai. El problema de la interferència afecta de manera directa en robòtica, ja que l'exploració de l'espai es realitza sempre localment. L'algoritme proposat en la tesi té en compte aquest problema i manté una base de dades representativa de totes les zones explorades. Així doncs, totes les mostres de la base de dades s'utilitzen per actualitzar la xarxa neural, i per tant, l'aprenentatge és homogeni.Finalment, la tesi presenta els resultats obtinguts amb la arquitectura de control basada en comportaments i l'algoritme d'aprenentatge per reforç. Els experiments es realitzen amb el robot URIS, desenvolupat a la Universitat de Girona, i el comportament après és el seguiment d'un objecte mitjançant visió per computador. La tesi detalla tots els dispositius desenvolupats pels experiments així com les característiques del propi robot submarí. Els resultats obtinguts demostren la idoneïtat de les propostes en permetre l'aprenentatge del comportament en temps real. En un segon apartat de resultats es demostra la capacitat de generalització de l'algoritme d'aprenentatge mitjançant el "benchmark" del "cotxe i la muntanya". Els resultats obtinguts en aquest problema milloren els resultats d'altres metodologies, demostrant la millor capacitat de generalització de les xarxes neurals.

The fusion of several images of the same scene into a single and larger composite is known as photo-mosaic. Unfortunately, the seams along image boundaries are often noticeable, due to photometrical and geometrical registration inaccuracies. Image blending is the merging step in which those artefacts are minimized. Processing bottlenecks and the lack of medium-specific processing tools have restricted underwater photo-mosaics to small areas despite the hundreds of thousands of square meters that modern surveys can cover. Producing these mosaics is difficult due to the challenging nature of the underwater environment and the image acquisition conditions. This thesis proposes strategies and solutions to tackle the problems of very large underwater optical surveys (Giga-mosaics), presenting contributions in the image preprocessing, enhancing and blending steps, resulting in an improved visual quality in the final photo-mosaic / La unió de diverses imatges d’una mateixa escena en una d’única i més gran és coneguda com a foto-mosaic. Malauradament, els límits de les imatges són habitualment perceptibles, degut a imprecisions en els registres fotomètric i geomètric. La fusió d'imatges és l'etapa del procés d'unió a la qual aquests artefactes són minimitzats. Els colls d'ampolla en el processament i la manca d'eines específiques pel tractament del medi han restringint els foto-mosaics submarins a àrees reduïdes, malgrat que els estudis actuals poden cobrir centenars de milers de m2. . La producció d'aquests mosaics és complexa donada la naturalesa del medi subaquàtic i les condicions d'adquisició de les imatges. Aquesta tesi proposa estratègies i solucions per afrontar el problema de la generació de foto-mosaics submarins de grans dimensions (Giga-mosaics), i presenta contribucions en les etapes de preprocessament, realçat i fusió d’imatges, donant lloc a una qualitat visual millorada del foto-mosaic final