Tesis por compendio / [ES] Debido a la creciente popularidad sobre la variedad de los Vehículos No Tripulados tanto en el campo militar como en el comercial, y de sus capacidades para navegar por diversos entornos, ya sean terrestres, aéreos o marinos, se evidencia que la clásica planificación de trayectorias y movimientos bidimensionales 2D podría no ser suficiente en un futuro inmediato. De esta manera, se debe resaltar que el presente trabajo aborda el problema de los Vehículos Aéreos No Tripulados (UAVs) de ala fija. En este sentido, la necesidad de encontrar una trayectoria navegable en el espacio euclídeo 3D se hace cada vez más necesario. En el caso de los UAV, considerar su cinemática para generar trayectorias suaves en tres dimensiones puede tener un interés significativo para la navegación autónoma aérea. Finalmente, los beneficios adicionales que se pueden producir son importantes. La principal dificultad de este problema es que los vehículos aéreos de características no-holonómicas se ven obligados a avanzar sin la posibilidad de detenerse a través de trayectorias 3D con curvaturas limitadas. En este sentido, se ha investigado la manera de proporcionar una completa caracterización de trayectorias óptimas para UAVs con un radio de giro limitado que se mueve en el plano tridimensional a una velocidad constante. Para completar tales tareas, un planificador de trayectorias no sólo debe proporcionar rutas tridimensionales para alcanzar una posición de destino sin colisionar con obstáculos, sino también debe asegurar que tal trayectoria sea adecuada para los UAVs que poseen propiedades cinemáticas específicas. Por lo tanto, el desarrollo del trabajo ha completado la algoritmia que genera una trayectoria discreta tridimensional al definir un conjunto de puntos 3D, resultantes de una división del espacio euclídeo tridimensional de manera dinámica, determinando las mejores opciones de avance, evitando analizar cada espacio del entorno completo. De esta manera, partiendo de los puntos 3D resultantes de la planificación de trayectoria tridimensional, se ha generado una trayectoria en forma de curva suave construida en función de las limitaciones de giro del UAV (resaltando que es difícil asegurar que el camino resultante cumpla con las restricciones cinemáticas en las tres dimensiones simultáneamente). Finalmente, es importante destacar que a menudo las restricciones mencionadas se calculan secuencialmente y de forma bidimensional, sobre un par de dimensiones desacopladas, lo que limita la capacidad de optimización. Para todo ello, se ha desarrollado un algoritmo de suavizado para un planificador de trayectorias que considera las restricciones cinemáticas tridimensionales completas sin desacoplar las dimensiones. / [CA] Debut a la creixent popularitat sobre la varietat dels Vehicles No Tripulats tant en el camp militar com en el comercial, i de les seves capacitats per navegar per diversos entorns, ja siguin terrestres, aeris o marins, s'evidencia que la clàssica planificació de trajectòries i moviments bidimensionals 2D podria no ser suficient en un futur immediat. D'aquesta manera, s'ha de ressaltar que el present treball aborda el problema dels Vehicles Aeris No Tripulats (UAV) d'ala fixa. En aquest sentit, la necessitat de trobar una trajectòria navegable en l'espai euclidià 3D es fa cada vegada més necessari. En el cas dels UAV, considerar la seva cinemàtica per generar trajectòries suaus en tres dimensions pot tenir un interès significatiu per a la navegació autònoma aèria. Finalment, els beneficis addicionals que es poden produir són importants. La principal dificultat d'aquest problema és que els vehicles aeris de característiques no-holonómicas es veuen obligats a avançar sense la possibilitat de detenir-se a través de trajectòries 3D amb curvatures limitades. En aquest sentit, s'ha investigat la manera de proporcionar una completa caracterització de trajectòries òptimes per UAVs amb un radi de gir limitat que es mou en el pla tridimensional a una velocitat constant. Per completar aquestes tasques, un planificador de trajectòries no només ha de proporcionar rutes tridimensionals per assolir una posició de destinació sense col·lisionar amb obstacles, sinó també ha d'assegurar que tal trajectòria sigui adequada per als UAVs que posseeixen propietats cinemàtiques específiques. Per tant, el desenvolupament de la feina ha completat la algorísmia que genera una trajectòria discreta tridimensional a l'definir un conjunt de punts 3D, resultants d'una divisió de l'espai euclidià tridimensional de manera dinàmica, determinant les millors opcions d'avanç, evitant analitzar cada espai de l' entorn complet. D'aquesta manera, partint dels punts 3D resultants de la planificació de trajectòria tridimensional, s'ha generat una trajectòria en forma de corba suau construïda en funció de les limitacions de gir de l'UAV (ressaltant que és difícil assegurar que el camí resultant compleixi amb les restriccions cinemàtiques en les tres dimensions simultàniament). Finalment, és important destacar que sovint les restriccions esmentades es calculen seqöencialment i de forma bidimensional, sobre un parell de dimensions desacoblades, el que limita la capacitat d'optimització. Per tot això, s'ha desenvolupat un algoritme de suavitzat per a un planificador de trajectòries que considera les restriccions cinemàtiques tridimensionals completes sense desacoblar les dimensions. / [EN] Due to the growing popularity of the variety of Unmanned Vehicles in both the military and commercial fields, and their capabilities to navigate diverse environments, whether land, air or sea, it is evident that the classic two-dimensional 2D trajectory and motion planning may not be enough in the near future. Thus, it should be noted that this paper addresses the problem of fixed-wing Unmanned Aerial Vehicles (UAVs). In this sense, the need to find a navigable path in 3D Euclidean space becomes more and more necessary. In the case of UAVs, considering their kinematics to generate smooth trajectories in three dimensions may be of significant interest for autonomous air navigation. Finally, the additional benefits that can be produced are important. The main difficulty of this problem is that air vehicles with non-holonomic characteristics are forced to advance without the possibility of stopping through 3D trajectories with limited curvatures. In this regard, research has been conducted to provide a complete characterization of optimal trajectories for UAVs with a limited turning radius that move in the 3D plane at a constant speed. To complete such tasks, a path planner must not only provide three-dimensional paths to reach a target position without colliding with obstacles, but must also ensure that such a path is suitable for UAVs that possess specific kinematic properties. Therefore, the development of the work has completed the algorithm that generates a discrete three-dimensional path by defining a set of 3D points, resulting from a division of the three-dimensional Euclidean space in a dynamic way, determining the best forward options, avoiding to analyze each space of the whole environment. In this way, starting from the 3D points resulting from the three-dimensional path planning, a smooth curve path has been generated, built according to the UAV turning constraints (highlighting that it is difficult to ensure that the resulting path meets the kinematic constraints in the three dimensions simultaneously). Finally, it is important to note that often the constraints mentioned are calculated sequentially and in a two-dimensional shape, on a pair of decoupled dimensions, which limits the ability to optimize. For all this, a smoothing algorithm has been developed for a path planner that considers the complete three-dimensional kinematic constraints without decoupling the dimensions. / Este trabajo ha sido parcialmente financiado por el Gobierno de España a través del Ministerio de Economía y Competitividad bajo el proyecto de Investigación DP I2015−71443−R, y por la administración local de la Generalitat Valenciana a través de los proyectos GV /2017/029 y AICO/2019/055. El autor ha sido beneficiario de una beca otorgada por el Instituto de Fomento al Talento Humano (IFTH) (2015−AR2Q9209) a través del Gobierno de Ecuador. / Samaniego Riera, FE. (2021). Diseño de nuevos algoritmos de guiado y navegación con evasión de colisiones para vehículos aéreos no tripulados [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/161274 / Compendio

[ES] Las ciudades modernas están al límite de su capacidad en el plano horizontal. Muchas de ellas tienen un problema de tráfico muy complejo de paliar o resolver. La movilidad aérea urbana promete ser la revolución que puede resolver la saturación del tráfico en los futuros escenarios urbanos. Se espera que el crecimiento del mercado de la movilidad aérea urbana muestre una tendencia positiva constante, pero la tecnología asociada necesita aumentar su madurez. La gestión de múltiples vehículos aéreos, que dependen de tecnologías en auge como la inteligencia artificial y las estaciones de control en tierra automatizadas, requerirá una conexión tierra-aire-tierra sólida e ininterrumpida para completar sus trayectorias. La exigencia de una conexión ininterrumpida está naturalmente relacionada con una comprensión completa de los fenómenos que afectan al canal aire-tierra. La primera contribución es proponer un modelo de canal que pueda capturar las consecuencias de dichos fenómenos. Normalmente, un modelo de este tipo puede emitir el estado del canal en un punto determinado, prediciendo el estado del canal a lo largo de la trayectoria de la aeronave. Un modelo muy detallado exige herramientas y datos que proporcionen la información necesaria. La descripción y enumeración de cada pieza de información necesaria para una simulación de canal satisfactoria componen la segunda contribución. Una vez conocido el estado del canal, se pueden optimizar los puntos recorridos por la aeronave para cubrir aquellos con mejor rendimiento del canal. La tercera y última contribución es la propuesta de un conjunto de algoritmos de optimización para encontrar la ruta más adecuada. El algoritmo de optimización constituye el planificador de trayectorias, del que se espera que explore eficazmente el espacio de búsqueda y proponga una trayectoria que cumpla con los objetivos predefinidos: máxima calidad aire-tierra, disponibilidad y tiempo de vuelo. Cada método propuesto se pone a prueba en varios escenarios. Estos escenarios incluyen diversas situaciones que pueden estresar a los métodos y favorecer la elección de uno de ellos. Las situaciones incluidas son diferentes condiciones del terreno y zonas de exclusión aérea. / [CA] Les ciutats modernes estan al límit de la seua capacitat al pla horitzontal. Moltes tenen un problema de trànsit molt complex de pal·liar o resoldre. La mobilitat aèria urbana promet ser la revolució que pot resoldre la saturació del trànsit als futurs escenaris urbans. S'espera que el creixement del mercat de la mobilitat aèria urbana mostre una tendència positiva constant, però la tecnologia associada necessita augmentar-ne la maduresa. La gestió de múltiples vehicles aeris, que depenen de tecnologies en auge com la intel·ligència artificial i les estacions de control a terra automatitzades, requerirà una connexió terra-aire-terra sòlida i ininterrompuda per completar les seues trajectòries. L'exigència d'una connexió ininterrompuda està relacionada naturalment amb una comprensió completa dels fenòmens que afecten el canal aire-terra. La primera contribució és proposar un model de canal que puga capturar les conseqüències dels fenòmens esmentats. Normalment, un model d'aquest tipus pot emetre l'estat del canal en un punt determinat, predient l'estat del canal al llarg de la trajectòria de l'aeronau. Un model molt detallat exigeix eines i dades que proporcionen la informació necessària. La descripció i l'enumeració de cada peça d'informació necessària per a una simulació de canal satisfactòria componen la segona contribució. Una vegada conegut l'estat del canal, es poden optimitzar els punts recorreguts per l'aeronau per tal de cobrir aquells amb el millor rendiment del canal. La tercera i última contribució és la proposta d'un conjunt d'algorismes d'optimització per trobar la ruta més adequada. L'algorisme d'optimització constitueix el planificador de trajectòries, del qual s'espera que explore eficaçment l'espai de cerca i propose una trajectòria que complisca els objectius predefinits: màxima qualitat aire-terra, disponibilitat i temps de vol. Cada mètode proposat es posa a prova a diversos escenaris. Aquests escenaris inclouen diverses situacions que poden estressar els mètodes i afavorir-ne l'elecció. Les situacions incloses són diferents condicions del terreny i les zones d'exclusió aèria. / [EN] Modern cities are at the limit of their capacity in the horizontal plane. Many of them have a traffic problem that is highly complex to alleviate or solve. Urban air mobility promises to be the revolution that can solve traffic saturation in future urban scenarios. The growth of the urban air mobility market is expected to show a constant positive tendency, but the associated technology needs to raise its readiness levels. Managing aerial vehicle fleets, dependent on rising technologies such as artificial intelligence and automated ground control stations, will require a solid and uninterrupted connection to complete their trajectories. The requirement for an uninterrupted connection is naturally connected to a complete understanding of phenomena affecting the air-to-ground channel. The first contribution to the field is to propose a channel model that can capture the consequences of said phenomena. Typically, such a model can output the channel state at a given point, predicting the channel state throughout the aircraft's trajectory. A highly detailed model demands tools and data to deliver the necessary information. The description and enumeration of each piece of information required for a successful channel simulation compose the second contribution to the field. Once the channel state is known, the travelled points by the aircraft can be optimised to cover those with better channel performance. The third and last contribution to the field is proposing a set of optimisation algorithms to find the most suitable route. The optimisation algorithm forms the path planner, expected to efficiently explore the search space and propose a trajectory compliant with predefined objectives: maximum air-to-ground quality, availability, and flight time. Each proposed method is tested in various scenarios. These scenarios include various situations that can stress the methods and favour the choice of one. Included situations are different terrain conditions and no-fly zones. / Expósito García, A. (2023). Deterministic model of the radio channel applied to the optimization of the UAV trajectory for optimum air-to-ground communication in the environment of future urban scenarios [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/192614

<p dir="ltr">Unmanned Aerial Vehicles (UAVs) are increasingly applied in agricultural tasks such as crop monitoring, especially with AI-driven enhancements significantly increasing their autonomy and ability to execute complex operations without human interventions. However, existing UAV systems lack efficiency, intuitive user interfaces using natural language processing for command input, and robust security which is essential for real-time operations in dynamic environments. In this paper, we propose a novel solution to create a secure, efficient, and user-friendly interface for UAV control by integrating Large Language Model (LLM) with the case study on agricultural environment. In particular, we designed a four-stage approach that allows only authorized user to issue voice commands to the UAV. The command is issued to the LLM controller processed by LLM using API and generates UAV control code. Additionally, we focus on optimizing UAV battery life and enhancing scene interpretation of the environment. We evaluate our approach using AirSim and an agricultural setting built in Unreal Engine, testing under various conditions, including variable weather and wind factors. Our experimental results confirm our method's effectiveness, demonstrating improved operational efficiency and adaptability in diverse agricultural scenarios.</p>

We present a formal modeling approach for the design and simulation of Multi-Unmanned Aerial Vehicle (multi-UAV) inspection scenarios, where planning is based on model checking. As demonstration, we formalize and simulate a compositional UAV inspection system of a solar park using bigraphical reactive systems, which introduce the notion of time-varying bigraphs. Specifically, the UAV system is modeled as a process-algebraic expression, whose semantics is a bigraph state in a labeled transition system. The underlying Multi-Agent Path Finding problem is solved model-theoretically using Planning-by-Model-Checking. It solves the inherently connected collision-free path planning problem for multiple UAVs subject to contexts and local conditions. First, a bigraph is constructed algebraically, which can be decomposed systematically into separate parts with interfaces. The layered composite model accounts for location, navigation, UAVs, and contexts, which enables simple configuration and extension (changeability). Second, the executable operational semantics of our formal bigraph model are given by bigraphical reactive systems, where rules constitute the behavioral component of our model. Rules reconfigure the bigraph to simulate state changes, i.e., they allow to alter the conditions under which UAVs are permitted to move. Properties can be attached to nodes of the bigraph and evaluated in a simulation over the traces of the transition system according to some cost-based policies. In essence, the inherent multi-UAV path planning problem of our scenario is formulated as a reachability problem and solved by model checking the generated transition system. The bigraph-algebraic expression also allows us to reason about potential parallelization opportunities when moving UAVs. Moreover, we sketch how to directly simulate the bigraph specification in a ROS-based Gazebo simulation by examining the inspection and monitoring of a solar park as an application. The reactive system specification provides the blueprint for analysis, simulation, implementation and execution. Thus, the same algorithm used for verification is used as well for the simulation in ROS/Gazebo to execute plans.:1 Introduction 2 Overview: Scenario Description and Formal Modeling Approach 3 Background: Bigraphs and Model Checking 4 Construction of the UAV System via Composition 5 Making the Drones Fly: Executable Model Semantics 6 Collision-Free Path Planning Problem 7 Prototypical Implementation 8 Discussion 9 Related Work 10 Conclusion A UAV State Machine B Bigraphical Reactive Systems C RPO/IPO Semantic

<div>Exploring and surveilling the marine environment away from shore is critical for scientific, economic, and military purposes as we progress through the 21st century. Until recently, these missions far from shore were only possible using manned surface vehicles. Over the past decade, advances in energy density, actuators, electronics, and controls have enabled great improvements in vehicle endurance, yet, no solution is capable of supporting persistent operation especially when considering power hungry scientific surveys. This dissertation summarizes contributions related to the development of an adaptable underwater docking station and associated navigation solutions to allow applications in the wide range of maritime missions. The adaptable docking system is a novel approach to the standard funnel shaped docking station design that enables the dock to be collapsible, portable, and support a wide range of vehicles. It has been optimized and tested extensively in simulation. Field experiments in both pool and open water validate the simulation results. The associated control strategies for approach and terminal homing are also introduced and studied in simulation and field trials. These strategies are computationally efficient and enable operation in a variety of scenarios and conditions. Combined, the adaptable docking system and associated navigation strategies can form a baseline for future extended endurance missions away from manned support.</div><p></p>

Cette thèse aborde les problèmes inverses de contrôle optimal (IOCP) pour trouver les fonctions de coûts pour lesquelles les mouvements humains sont optimaux. En supposant que les observations de mouvements humains sont parfaites, alors que le processus de commande du moteur humain est imparfait, nous proposons un algorithme de commande approximative optimale. En appliquant notre algorithme pour les observations de mouvement humaines collectées: mouvement du bras humain au cours d'une tâche de vissage industrielle, une tâche de suivi visuel d’une cible et une tâche d'initialisation de la marche, nous avons effectué une analyse en boucle ouverte. Pour les trois cas, notre algorithme a trouvé les fonctions de coût qui correspondent mieux ces données, tout en satisfaisant approximativement les Karush-Kuhn-Tucker (KKT) conditions d'optimalité. Notre algorithme offre un beau temps de calcul pour tous les cas, fournir une opportunité pour son utilisation dans les applications en ligne. Pour la tâche de suivi visuel d’une cible, nous avons étudié une modélisation en boucle fermée avec deux boucles de rétroaction PD. Avec des données artificielles, nous avons obtenu des résultats cohérents en termes de tendances des gains et les critères trouvent par notre algorithme pour la tâche de suivi visuel d’une cible. Dans la seconde partie de notre travail, nous avons proposé une nouvelle approche pour résoudre l’IOCP, dans un cadre d'erreur bornée. Dans cette approche, nous supposons que le processus de contrôle moteur humain est parfait tandis que les observations ont des erreurs et des incertitudes d'agir sur eux, étant imparfaite. Les erreurs sont délimitées avec des limites connues, sinon inconnu. Notre approche trouve l'ensemble convexe de de fonction de coût réalisables avec la certitude qu'il comprend la vraie solution. Nous numériquement garanties en utilisant des outils d'analyse d'intervalle. / This thesis addresses inverse optimal control problems (IOCP) to find the cost functions for which the human motions are optimal. Assuming that the human motion observations are perfect, while the human motor control process is imperfect, we propose an approximately optimal control algorithm. By applying our algorithm to the human motion observations collected for: the human arm trajectories during an industrial screwing task, a postural coordination in a visual tracking task and a walking gait initialization task, we performed an open loop analysis. For the three cases, our algorithm returned the cost functions which better fit these data, while approximately satisfying the Karush-Kuhn-Tucker (KKT) optimality conditions. Our algorithm offers a nice computational time for all cases, providing an opportunity for its use in online applications. For the visual tracking task, we investigated a closed loop modeling with two PD feedback loops. With artificial data, we obtained consistent results in terms of feedback gains’ trends and criteria exhibited by our algorithm for the visual tracking task. In the second part of our work, we proposed a new approach to solving the IOCP, in a bounded error framework. In this approach, we assume that the human motor control process is perfect while the observations have errors and uncertainties acting on them, being imperfect. The errors are bounded with known bounds, otherwise unknown. Our approach finds the convex hull of the set of feasible cost function with a certainty that it includes the true solution. We numerically guaranteed this using interval analysis tools.

Dans un contexte industriel aéronautique où les problématiques de sécurité constituent un facteur différentiateur clé, l’objectif de cette thèse est de répondre à la problématique ambitieuse de la réduction des accidents de type opérationnel. Les travaux de recherche s’inscrivent dans le domaine des systèmes d’alarmes pour l’évitement de collision qui ne font pas une analyse approfondie des solutions d’évitement par rapport à la situation de danger. En effet, les situations d’urgence en vol ne bénéficient pas à ce jour d’une représentation et d’un guide des solutions associées formels. Bien que certains systèmes d’assistance existent et qu’une partie de la connaissance associée aux situations d’urgence ait pu être identifiée, la génération dynamique d’une séquence de manœuvres sous fortes contraintes de temps et dans un environnement non connu à l’avance représente une voie d’exploration nouvelle. Afin de répondre à cette question et de rendre objective la notion de danger, les travaux de recherche présentés dans cette thèse mettent en confrontation la capacité d’évolution d’un aéronef dans son environnement immédiat avec une enveloppe physique devenant contraignante. Afin de mesurer ce danger, les travaux de recherche ont conduit à construire un module de trajectoires capable d’explorer l’espace en 3D. Cela a permis de tirer des enseignements en terme de flexibilité des manœuvres d’évitement possibles à l’approche du sol. De plus l’elicitation des connaissances des pilotes et des experts d’Airbus Helicopters (ancien Eurocopter) mis en situation d’urgence dans le cas d’accidents reconstitués en simulation a conduit à un ensemble de paramètres pour l’utilisation de la méthode multicritère PROMETHEE II dans le processus de prise de décision relatif au choix de la meilleure trajectoire d’évitement et par conséquent à la génération d’alarmes anti-collision. / In the aeronautics industrial context, the issues related to the safety constitute a highly differentiating factor. This PhD thesis addresses the challenge of operational type accident reduction. The research works are positioned and considered within the context of existing alerting equipments for collision avoidance, who don’t report a thorough analysis of the avoidance manoeuvres with respect to a possible threat. Indeed, in-flight emergency situations are various and do not all have a formal representation of escape procedures to fall back on. Much of operational accident scenarios are related to human mistakes. Even if systems providing assistance already exist, the dynamic generation of a sequence of manoeuvres under high constraints in an unknown environment remain a news research axis, and a key development perspective. In order to address this problematic and make the notion of danger objective, the research works presented in this thesis confront the capabilities of evolution of an aircraft in its immediate environment with possible physical constraints. For that purpose, the study has conducted to generate a module for trajectory generation in the 3D space frame, capable of partitioning and exploring the space ahead and around the aircraft. This has allowed to draw conclusions in terms of flexibility of escape manoeuvres on approach to the terrain. Besides, the elicitation of the Airbus Helicopters (former Eurocopter) experts knowledge put in emergency situations, for reconstituted accident scenarios in simulation, have permitted to derive a certain number of criteria and rules for parametrising the multicriteria method PROMETHEE II in the process for the relative decision-making of the best avoidance trajectory solution. This has given clues for the generation of new alerting rules to prevent the collisions.

<p>This thesis presents solutions to some of the problems facing Autonomous Surface Vehicle (ASV) deployments in inland waterways through the development of navigational and control systems. Fluvial systems are one of the hardest inland waterways to navigate and are thus used as a use-case for system development. The systems are built to reduce the reliance on a-prioris during ASV operation. This is crucial for exceptionally dynamic environments such as fluvial bodies of water that have poorly defined routes and edges, can change course in short time spans, carry away and deposit obstacles, and expose or cover shoals and man-made structures as their water level changes. While navigation of fluvial systems is exceptionally difficult potential autonomous data collection can aid in important scientific missions in under studied environments.</p> <p><br></p> <p>The work has four contributions targeting solutions to four fundamental problems present in fluvial system navigation and control. To sense the course of fluvial systems for navigable path determination a fluvial segmentation study is done and a novel dataset detailed. To enable rapid path computations and augmentations in a fast moving environment a Dubins path generator and augmentation algorithm is presented ans is used in conjunction with an Integral Line-Of-Sight (ILOS) path following method. To rapidly avoid unseen/undetected obstacles present in fluvial environments a Deep Reinforcement Learning (DRL) agent is built and tested across domains to create dynamic local paths that can be rapidly affixed to for collision avoidance. Finally, a custom low-cost and deployable ASV, BREAM (Boat for Robotic Engineering and Applied Machine-Learning), capable of operating in fluvial environments is presented along with an autonomy package used in providing base level sensing and autonomy processing capability to varying platforms.</p> <p><br></p> <p>Each of these contributions form a part of a larger documented Fluvial Navigation Control Architecture (FNCA) that is proposed as a way to aid in a-priori free navigation of fluvial waterways. The architecture relates the navigational structures into high, mid, and low-level controller Guidance and Navigational Control (GNC) layers that are designed to increase cross vehicle and domain deployments. Each component of the architecture is documented, tested, and its application to the control architecture as a whole is reported.</p>

Multi-agent path planning is applied in a wide range of applications in robotics and autonomous vehicles, including aerial vehicles such as drones and other unmanned aerial vehicles (UAVs), to solve tasks in areas like surveillance, search and rescue, and transportation. In today's rapidly evolving technology in the fields of automation and artificial intelligence, multi-agent path planning is growing increasingly more relevant. The main problems encountered in multi-agent path planning are collision avoidance with other agents, obstacle evasion, and pathfinding from a starting point to an endpoint. In this project, the objectives were to create intelligent agents capable of navigating through two-dimensional eight-agent cost map environments to a static target, while avoiding collisions with other agents and simultaneously minimizing the path cost. The method of reinforcement learning was used by utilizing the development platform Unity and the open-source ML-Agents toolkit that enables the development of intelligent agents with reinforcement learning inside Unity. Perlin Noise was used to generate the cost maps. The reinforcement learning algorithm Proximal Policy Optimization was used to train the agents. The training was structured as a curriculum with two lessons, the first lesson was designed to teach the agents to reach the target, without colliding with other agents or moving out of bounds. The second lesson was designed to teach the agents to minimize the path cost. The project successfully achieved its objectives, which could be determined from visual inspection and by comparing the final model with a baseline model. The baseline model was trained only to reach the target while avoiding collisions, without minimizing the path cost. A comparison of the models showed that the final model outperformed the baseline model, reaching an average of $27.6\%$ lower path cost. / Multi-agent-vägsökning används inom en rad olika tillämpningar inom robotik och autonoma fordon, inklusive flygfarkoster såsom drönare och andra obemannade flygfarkoster (UAV), för att lösa uppgifter inom områden som övervakning, sök- och räddningsinsatser samt transport. I dagens snabbt utvecklande teknik inom automation och artificiell intelligens blir multi-agent-vägsökning allt mer relevant. De huvudsakliga problemen som stöts på inom multi-agent-vägsökning är kollisioner med andra agenter, undvikande av hinder och vägsökning från en startpunkt till en slutpunkt. I detta projekt var målen att skapa intelligenta agenter som kan navigera genom tvådimensionella åtta-agents kostnadskartmiljöer till ett statiskt mål, samtidigt som de undviker kollisioner med andra agenter och minimerar vägkostnaden. Metoden förstärkningsinlärning användes genom att utnyttja utvecklingsplattformen Unity och Unitys open-source ML-Agents toolkit, som möjliggör utveckling av intelligenta agenter med förstärkningsinlärning inuti Unity. Perlin Brus användes för att generera kostnadskartorna. Förstärkningsinlärningsalgoritmen Proximal Policy Optimization användes för att träna agenterna. Träningen strukturerades som en läroplan med två lektioner, den första lektionen var utformad för att lära agenterna att nå målet, utan att kollidera med andra agenter eller röra sig utanför gränserna. Den andra lektionen var utformad för att lära agenterna att minimera vägkostnaden. Projektet uppnådde framgångsrikt sina mål, vilket kunde fastställas genom visuell inspektion och genom att jämföra den slutliga modellen med en basmodell. Basmodellen tränades endast för att nå målet och undvika kollisioner, utan att minimera vägen kostnaden. En jämförelse av modellerna visade att den slutliga modellen överträffade baslinjemodellen, och uppnådde en genomsnittlig $27,6\%$ lägre vägkostnad.

Aim of this thesis is to search the market for suitable autonomous robot to be used by smart house. The research in this work is partly done on the range of abilities of smart houses in matter of sensor systems, ability of data processing and their use by mobile robots. The output of this thesis is robotics application written using Microsoft Robotics Developer Studio (C#) and simulated using Visual Simulation Environment. Main feature of this robotic application is the interface between robot and smart house, and robot and user. This interface enables employer to directly control robot's movement or to use automated pathfinding. The robot is able to navigate in dynamic environment and to register, interact and eventually forget temporary obstacles.