Unmanned Aerial Vehicles (UAVs) have now been accepted as an alternative medium to human workers for data collection processes in various industries. The capabilities of UAVs are now being extended from passive tasks of data collection to active tasks of interacting with the environment by equipping them with robotic arms and function as Unmanned Aerial Manipulators (UAMs). Research on Unmanned Aerial Manipulators has been growing in the last few years. The applications of UAMs in terms of sensor installation, inspections, door opening, valve turning, pick and drop, etc. have been studied for the oil and gas industry, and civil applications, etc. However, there is a lack of studies in understanding applications of UAMs and their capabilities in construction and in advancing construction activities. The goal of this research is to identify potential opportunities and challenges of the application of UAM in construction projects. The study will undertake an extensive literature review and semi-structured interviews with industry experts to address research questions. This study will have a significant contribution to the introduction and development of new contact-based UAV-guided technologies in construction. / Master of Science / Drones or Unmanned Aerial Manipulators have been used in the construction industry to collect visual data in form of images, videos, or to map surveys, and visually inspect the structures. However, if equipped with a robotic arm, they attain the capability of touching and interacting with the environment to effectively function as an Unmanned Aerial Manipulator (UAM). UAMs have researched for various applications such as sensor installation, touch-based sensor inspections, door opening, and closing, and pick up and drop, etc. However, there is a lack of study for their opportunities and challenges in the construction industry. This research focuses on understanding the opportunities and challenges associated with the application of UAMs in the construction industry.

This paper presents an implementation of autonomous indoor aerial gripping using a low-cost, custom-built quadrotor. Such research extends the typical functionality of micro air vehicles (MAV) from passive observation and sensing to dynamic interaction with the environment. To achieve this, three major challenges are overcome: precise positioning, sensing and manipulation of the object, and stabilization in the presence of disturbance due to interaction with the object. Navigation in both indoor and outdoor unstructured, Global Positioning System-denied (GPS-denied) environments is achieved using a visual Simultaneous Localization and Mapping (SLAM) algorithm that relies on an onboard monocular camera. A secondary camera, capable of detecting infrared light sources, is used to estimate the 3D location of the object, while an under-actuated and passively compliant manipulator is designed for effective gripping under uncertainty. The system utilizes nested ProportionalIntegral-Derivative (PID) controllers for attitude stabilization, vision-based navigation, and gripping. The quadrotor is therefore able to autonomously navigate, locate, and grasp an object, using only onboard sensors.

Unmanned aerial vehicles (UAVs), when paired with an onboard camera, have proven to be useful tools in many applications, including aerial photography, precision agriculture, and search and rescue operations. Likewise, UAVs capable of physically interacting with the environment have shown great potential to help people perform dangerous, or time-consuming tasks more safely and efficiently than they could on their own. However, due to onboard computation and battery life limitations and complex flight dynamics, using UAVs to physically interact with the environment is still a developing area of research. Considering these limitations, the primary goals of this work are to (1) develop a new UAV platform for aerial manipulation, (2) develop modular hardware and software for the platform to enable specific tasks to be performed autonomously, and (3) develop a visual target tracking method to enable robust performance of autonomous aerial manipulation tasks in unstructured, real-world environments. To that end, the design of the Interacting-BoomCopter UAV (I-BC) is presented here as a new platform for aerial manipulation. With a simple tricopter frame, a single additional actuator for generating horizontal forces, and lightweight, modular end-effectors, the I-BC aims to balance efficiency and functionality in performing aerial manipulation tasks, and is able to perform various tasks such as mounting sensors in hard-to-reach places, and opening small doors or panels. An onboard camera, force and distance sensors, and a powerful single board computer (SBC) enable the I-BC to operate autonomously in unstructured environments, with potential applications in areas such as large-scale infrastructure inspection, industrial inspection and maintenance, and nuclear decontamination efforts.

La manipulation aérienne a été un domaine de recherche actif ces dernières années, principalement parce que les applications actives des véhicules aériens autonomes (UAV en anglais), augmente l'employabilité de ces véhicules pour diverses applications.Le développement récent de la manipulation aérienne a trouvé des applications potentielles dans les deux domaines, militaires et civils. Les applications militaires incluent le patrouilleur des frontières, la détection des mines, la reconnaissance, etc., tandis que les applications civiles sont en matière de gestion des catastrophes, d'inspection des ponts, de construction, de livraison de matériel, de recherche et de sauvetage, etc.La recherche sur la robotique aérienne implique principalement des hélicoptères et des architectures de décollage et d'atterrissage verticales (VTOL). Le principal avantage de ces plates-formes est leur maniabilité et la capacité d'effectuer des vols stationnaires, ce qui est essentiel pour les applications. Cette thèse porte sur les avions VTOL, où l'hélicoptère à quatre rotors ou quadrirotor est principalement étudié.En ce qui concerne le problème de la manipulation aérienne, la quantité d'applications augmente, mais en même temps, la complexité de la modélisation et du contrôle d'un tel système est également plus grande. L'un des plus grands défis réside dans leur charge utile limitée. Certaines approches ont essayé de résoudre le problème en utilisant plusieurs robots pour transporter des charges utiles avec des pinces ou des câbles, où leurs effecteurs et pinces doivent être légers eux-mêmes et capables de saisir des formes complexes. Un autre défi est que la dynamique du robot est considérablement modifiée par l'ajout de charges utiles. Cependant, pour le transport de la charge utile, il est nécessaire que les robots puissent estimer l'inertie de la charge utile et s'y adapter pour améliorer les performances de suivi.Selon les antécédents et les défis sur les véhicules VTOL portant des charges utiles ou des manipulateurs, la contribution du présent travail est centrée sur la modélisation et la conception d'une loi de commande non linéaire et une analyse de stabilité formelle pour la stabilisation asymptotique d'un véhicule VTOL portant un bras manipulateur. Pour cela, un modèle général d'un quadrirotor portant un bras manipulateur est proposé. Après cela, une loi de commande presque globalement asymptotique lisse pour la stabilisation de l'attitude qui prend en compte les effets de mouvement du bras est conçue. Une fois que le problème d'attitude est résolu, il est possible de concevoir un contrôleur non linéaire globalement asymptotique pour la dynamique de position basée sur l'utilisation de somme des fonctions saturés afin de prendre en compte les limitations des actionneurs. Enfin, certaines expériences pour valider les lois de commande proposées sont effectuées. / Aerial manipulation has been an active area of research in recent years, mainly because the active tasking of Unmanned Aerial Vehicles (UAV) increases the employability of these vehicles for various applications.The recent development of the aerial manipulation has found potential applications in both, military and civilian domains. Military applications include border patrolling, mine detection, reconnaissance, etc., while civilian applications are in disaster management, bridge inspection, construction, material delivery, search and rescue, etc.The research on aerial robotics has mainly involved helicopters and Vertical Take-off and Landing (VTOL) architectures. The main advantage of these platforms is theirmaneuverability and the capacity to perform hovers, which is essential for the applications. This thesis deals with VTOL aircrafts, where the four rotor helicopter, quadcopter or quadrotor is mainly studied.Regarding the problem of aerial manipulation, the amount of applications are increased, but at the same time the complexity of modeling and control of such a system are equally bigger. One of the biggest challenges arise from their limited payload. Some approaches have tried to solve the problem using multiple robots to carry payloads with grippers or with cables, where their end effectors and grippers have to be lightweight themselves and capable of grasping complex shapes. Another challenge is that the dynamics of the robot are significantly altered by the addition of payloads. However, for payload transport, it is necessary that the robots are able to estimate the inertia of the payload and adapt to it to improve tracking performance.According to the background and challenges on VTOL vehicles carrying payloads or manipulators, the contribution of the present work is centered on the modelling and the design of a nonlinear control and a formal stability analysis for the asymptotical stabilization of a VTOL vehicle carrying a manipulator arm. For this a general model of a quadcopter carrying a manipulator arm is proposed. After that, a smooth almost globally asymptotically control law for attitude stabilization which takes into account the arm motion effects is designed. Once the attitude problem is solved, it is possible to design a a globally asymptotically nonlinear controller for the translational dynamics based in the usage of nested and sum of saturation functions in order to take into account the actuators limitations. Finally, some experiments in order to validate the proposed control laws are carried out.

Es ist vorhersehbar, dass die Luftmanipulatoren in den nächsten Jahrzehnten für viele Aufgaben eingesetzt werden, die entweder zu gefährlich oder zu teuer sind, um sie mit herkömmlichen Methoden zu bewältigen. In dieser Arbeit wird eine neuartige Lösung für die Gesamtsteuerung von hochredundanten Luftmanipulationssystemen vorgestellt. Die Ergebnisse werden auf eine Referenzkonfiguration angewendet, die als universelle Plattform für die Durchführung verschiedener Luftmanipulationsaufgaben etabliert wird. Diese Plattform besteht aus einer omnidirektionalen Drohne und einem seriellen Manipulator. Um den modularen Regelungsentwurf zu gewährleisten, werden zwei rechnerisch effiziente Algorithmen untersucht, um den virtuellen Eingang den Aktuatorbefehlen zuzuordnen. Durch die Integration eines auf einem künstlichen neuronalen Netz basierenden Diagnosemoduls und der rekonfigurierbaren Steuerungszuordnung in den Regelkreis, wird die Fehlertoleranz für die Drohne erzielt. Außerdem wird die Motorsättigung durch Rekonfiguration der Geschwindigkeits- und Beschleunigungsprofile behandelt. Für die Beobachtung der externen Kräfte und Drehmomente werden zwei Filter vorgestellt. Dies ist notwendig, um ein nachgiebiges Verhalten des Endeffektors durch die achsenselektive Impedanzregelung zu erreichen. Unter Ausnutzung der Redundanz des vorgestellten Luftmanipulators wird ein Regler entworfen, der nicht nur die Referenz der Endeffektor-Bewegung verfolgt, sondern auch priorisierte sekundäre Aufgaben ausführt. Die Wirksamkeit der vorgestellten Lösungen wird durch umfangreiche Tests überprüft, und das vorgestellte Steuerungssystem wird als sehr vielseitig und effektiv bewertet.:1 Introduction 2 Fundamentals 3 System Design and Modeling 4 Reconfigurable Control Allocation 5 Fault Diagnostics For Free Flight 6 Force and Torque Observer 7 Trajectory Generation 8 Hybrid Task Priority Control 9 System Integration and Performance Evaluation 10 Conclusion / In the following decades, aerial manipulators are expected to be deployed in scenarios that are either too dangerous for human beings or too expensive to be accomplished by traditional methods. This thesis presents a novel solution for the overall control of highly redundant aerial manipulation systems. The results are applied to a reference configuration established as a universal platform for performing various aerial manipulation tasks. The platform consists of an omnidirectional multirotor UAV and a serial manipulator. To ensure modular control design, two computationally efficient algorithms are studied to allocate the virtual input to actuator commands. Fault tolerance of the aerial vehicle is achieved by integrating a diagnostic module based on an artificial neural network and the reconfigurable control allocation into the control loop. Besides, the risk of input saturation of individual rotors is minimized by predicting and reconfiguring the speed and acceleration responses. Two filter-based observers are presented to provide the knowledge of external forces and torques, which is necessary to achieve compliant behavior of the end-effector through an axis-selective impedance control in the outer loop. Exploiting the redundancy of the proposed aerial manipulator, the author has designed a control law to achieve the desired end-effector motion and execute secondary tasks in order of priority. The effectiveness of the proposed designs is verified with extensive tests generated by following Monte Carlo method, and the presented control scheme is proved to be versatile and effective.:1 Introduction 2 Fundamentals 3 System Design and Modeling 4 Reconfigurable Control Allocation 5 Fault Diagnostics For Free Flight 6 Force and Torque Observer 7 Trajectory Generation 8 Hybrid Task Priority Control 9 System Integration and Performance Evaluation 10 Conclusion

Les dernières années ont vu le développement de recherches portant sur l'interaction physique entre les robots aériens et leur environnement, accompagné de l'apparition de nombreux nouveaux systèmes mécaniques et approches de régulation. La communauté centrée autour de la robotique aérienne observe actuellement un déplacement de paradigmes des approches classiques de guidage, de navigation et de régulation vers des tâches moins triviales, telle le développement de l'interaction physique entre robots aériens et leur environnement. Ceci correspond à une extension des tâches dites de manipulation, du sol vers les airs. Cette thèse contribue au domaine de la manipulation aérienne en proposant un nouveau concept appelé MAGMaS, pour " Multiple Aerial Ground Manipulator System ". Les motivations qui ont conduites à l'association de manipulateurs terrestres et aériens pour effectuer des tâches de manipulation coopérative, résident dans une volonté d'exploiter leurs particularités respectives. Les manipulateurs terrestres apportant leur importante force et les manipulateurs aériens apportant leur vaste espace de travail. La première contribution de cette thèse présente une modélisation rigoureuse des MAGMaS. Les propriétés du système ainsi que ses possibles extensions sont discutées. Les méthodes de planning, d'estimation et de régulation nécessaire à l'exploitation des MAGMaS pour des tâches de manipulation collaborative sont dérivées. Ce travail propose d'exploiter les redondances des MAGMaS grâce à un algorithme optimal d'allocation de forces entre les manipulateurs. De plus, une méthode générale d'estimation de forces pour robots aériens est introduite. Toutes les techniques et les algorithmes présentés dans cette thèse sont intégrés dans une architecture globale, utilisée à la fois pour la simulation et la validation expérimentale. Cette architecture est en outre augmentée par l'addition d'une structure de télé-présence, afin de permettre l'opération à distances des MAGMaS. L'architecture générale est validée par une démonstration de levage de barre, qui est une application représentative des potentiels usages des MAGMaS. Une autre contribution relative au développement des MAGMaS consiste en une étude exploratoire de la flexibilité dans les objets manipulés par un MAGMaS. Un modèle du phénomène vibratoire est dérivé afin de mettre en exergue ses propriétés en termes de contrôle. La dernière contribution de cette thèse consiste en une étude exploratoire sur l'usage des actionneurs à raideur variable dans les robots aériens, dotant ces systèmes d'une compliance mécanique intrinsèque et de capacité de stockage d'énergie. Les fondements théoriques sont associés à la synthèse d'un contrôleur non-linéaire. L'approche proposée est validée par le biais d'expériences reposant sur l'intégration d'un actionneur à raideur variable léger sur un robot aérien. / In recent years, the subject of physical interaction for aerial robots has been a popular research area with many new mechanical designs and control approaches being proposed. The aerial robotics community is currently observing a paradigm shift from classic guidance, navigation, and control tasks towards more unusual tasks, for example requesting aerial robots to physically interact with the environment, thus extending the manipulation task from the ground into the air. This thesis contributes to the field of aerial manipulation by proposing a novel concept known has Multiple Aerial-Ground Manipulator System or MAGMaS, including what appears to be the first experimental demonstration of a MAGMaS and opening a new route of research. The motivation behind associating ground and aerial robots for cooperative manipulation is to leverage their respective particularities, ground robots bring strength while aerial robots widen the workspace of the system. The first contribution of this work introduces a meticulous system model for MAGMaS. The system model's properties and potential extensions are discussed in this work. The planning, estimation and control methods which are necessary to exploit MAGMaS in a cooperative manipulation tasks are derived. This works proposes an optimal control allocation scheme to exploit the MAGMaS redundancies and a general model-based force estimation method is presented. All of the proposed techniques reported in this thesis are integrated in a global architecture used for simulations and experimental validation. This architecture is extended by the addition of a tele-presence framework to allow remote operations of MAGMaS. The global architecture is validated by robust demonstrations of bar lifting, an application that gives an outlook of the prospective use of the proposed concept of MAGMaS. Another contribution in the development of MAGMaS consists of an exploratory study on the flexibility of manipulated loads. A vibration model is derived and exploited to showcase vibration properties in terms of control. The last contribution of this thesis consists of an exploratory study on the use of elastic joints in aerial robots, endowing these systems with mechanical compliance and energy storage capabilities. Theoretical groundings are associated with a nonlinear controller synthesis. The proposed approach is validated by experimental work which relies on the integration of a lightweight variable stiffness actuator on an aerial robot.

Cette thèse se concentre sur les robots aériens autonomes qui interagissent avec l’environnement et en particulier sur la conception de nouvelles méthodes de commande et de planification de mouvement pour tels systèmes. De nos jours, les véhicules aériens autonomes sont de plus en plus utilisés dans des nombreux domaines d’application, mais ils viennent utilisés surtout comme des simples capteurs. Au vu de ça, les défis majeurs dans le domaine de l’interaction physique aérienne, est aujourd’hui d’aller au-delà de cette application limitée, et d’exploiter entièrement les capacités des robots aériens afin d’interagir avec l’environnement. Dans le but de réaliser cet objectif, cette thèse considère l’analyse d’une classe spécifique de systèmes aériens interagissant avec l’environnement : les véhicules aériens attachés avec des câbles ou des bars. Ce travail se concentre sur l’analyse formelle et minutieuse de véhicules aériens attachés, en allant du contrôle et l’évaluation d’état à la planification du mouvement. Nous avons examiné notamment la platitude différentielle du système, trouvant deux sorties plate possibles qui révèlent des nouvelles capacités de tel système pour l’interaction physiques. En plus, poussé par l’intérêt pour l’interaction physique aérienne d’A à Z, nous avons abordés des problèmes supplémentaires liés à la conception, au contrôle et à la planification du mouvement pour des manipulateurs aériens. / This thesis focuses on the study of autonomous aerial robots interacting with the surrounding environment, and in particular on the design of new control and motion planning methods for such systems. Nowadays, autonomous aerial vehicles are extensively employed in many fields of application but mostly as autonomously moving sensors. On the other hand, in the recent field of aerial physical interaction, the goal is to go beyond sensing-only applications and fully exploit the aerial robots capabilities in order to interact with the environment. With the aim of achieving this goal, this thesis considers the analysis of a particular class of aerial robots interacting with the environment: tethered aerial vehicles. This work focuses on the thorough formal analysis of tethered aerial vehicles ranging from control and state estimation to motion planning. In particular, the differential flatness property of the system is investigated, finding two possible flat outputs that reveal new capabilities of such system for the physical interaction. The theoretical results were finally employed to solve the challenging problem of landing and takeoff on/from a sloped surface. In addition, moved by the interest on aerial physical interaction from A to Z, we addressed supplementary problems related to the design, control and motion planning for aerial manipulators.

Diese Diplomarbeit beschäftigt sich mit der geometrischen Auslegung und Regelung einer vollaktuierten Drohne, die als fliegende Arbeitsplattform für einen Manipulator dienen soll. Dabei werden ausgehend von der geometrischen Beschreibung einer allgemeinen, symmetrischen Drohne mit sechs Rotoren Methoden entwickelt, die den anforderungsbezogenen Entwurf der Geometrie einer vollaktuierten Drohne ermöglichen. Darüber hinaus werden prinzipielle Einflussmechanismen einzelner Geometrieparameter auf die durch die Drohne erzeugbaren Kräfte und Momente aufgezeigt. Zur Charakterisierung des Raums aller erzeugbaren Lasten wird dieser auf sogenannte Stützvektoren reduziert. Als Stützvektoren dienen dabei die für den Schwebeflug nötige Schubkraft, die garantierte Mindestkraft in horizontaler Richtung und das garantierte Mindestmoment um eine beliebige Achse, zu deren Berechnung zusätzlich analytische Formeln hergeleitet werden. Aufbauend auf die Beschreibung durch Stützvektoren wird die Formuliernung von Metriken vorgestellt, die die Bewertung einer Drohnengeometrie durch eine einzige skalare Maßzahl ermöglichen, wodurch die je nach Anwendung optimale Drohnengeometrie ermittelt werden kann. Zur Regelung des Systems aus Drohne und Manipulator wurde ein Regelungskonzept entwickelt, welches durch eine Entkopplung der Bewegungsgleichungen eine virtuelle Verschiebung des Schwerpunkts in das Drohnenzentrum realisiert und so eine präzise Regelung unabhängig von der tatsächlichen Schwerpunktlage ermöglicht. / This thesis’ subject is the geometrical design and control of a fully actuated drone, intended to be used as a flying operating-platform for a manipulator. Starting with the general geometrical description of a symmetric drone with six rotors, methods for the application specific design of a fully actuated drone are developed. Furthermore general influencing principles of geometric parameters on the forces and torques that can be generated by the drone, are pointed out. To characterize the drone's wrench-space, it is reduced to so called support vectors, which are given by the hovering thrust, the minimum guaranteed force in a horizontal direction and the minimum guaranteed torque in any direction. Additionally, analytic formulas are derived for the mentioned support vectors. Based on the description by the support vectors, a formulation of metrics is introduced, to enable the assessment of a specific drone geometry by a single scalar measure, to determine the ideal drone geometry for a specific application. Targeting the issue of controlling the flight system, consisting of the drone and the manipulator, a concept is developed that realizes a virtual dissplacement of the center of mass by decoupling the equations of motion and therby facilitates a precise control, independent of the actual location of the system's center of mass.

Diese Diplomarbeit beschäftigt sich mit der geometrischen Auslegung und Regelung einer vollaktuierten Drohne, die als fliegende Arbeitsplattform für einen Manipulator dienen soll. Dabei werden ausgehend von der geometrischen Beschreibung einer allgemeinen, symmetrischen Drohne mit sechs Rotoren Methoden entwickelt, die den anforderungsbezogenen Entwurf der Geometrie einer vollaktuierten Drohne ermöglichen. Darüber hinaus werden prinzipielle Einflussmechanismen einzelner Geometrieparameter auf die durch die Drohne erzeugbaren Kräfte und Momente aufgezeigt. Zur Charakterisierung des Raums aller erzeugbaren Lasten wird dieser auf sogenannte Stützvektoren reduziert. Als Stützvektoren dienen dabei die für den Schwebeflug nötige Schubkraft, die garantierte Mindestkraft in horizontaler Richtung und das garantierte Mindestmoment um eine beliebige Achse, zu deren Berechnung zusätzlich analytische Formeln hergeleitet werden. Aufbauend auf die Beschreibung durch Stützvektoren wird die Formuliernung von Metriken vorgestellt, die die Bewertung einer Drohnengeometrie durch eine einzige skalare Maßzahl ermöglichen, wodurch die je nach Anwendung optimale Drohnengeometrie ermittelt werden kann. Zur Regelung des Systems aus Drohne und Manipulator wurde ein Regelungskonzept entwickelt, welches durch eine Entkopplung der Bewegungsgleichungen eine virtuelle Verschiebung des Schwerpunkts in das Drohnenzentrum realisiert und so eine präzise Regelung unabhängig von der tatsächlichen Schwerpunktlage ermöglicht. / This thesis’ subject is the geometrical design and control of a fully actuated drone, intended to be used as a flying operating-platform for a manipulator. Starting with the general geometrical description of a symmetric drone with six rotors, methods for the application specific design of a fully actuated drone are developed. Furthermore general influencing principles of geometric parameters on the forces and torques that can be generated by the drone, are pointed out. To characterize the drone's wrench-space, it is reduced to so called support vectors, which are given by the hovering thrust, the minimum guaranteed force in a horizontal direction and the minimum guaranteed torque in any direction. Additionally, analytic formulas are derived for the mentioned support vectors. Based on the description by the support vectors, a formulation of metrics is introduced, to enable the assessment of a specific drone geometry by a single scalar measure, to determine the ideal drone geometry for a specific application. Targeting the issue of controlling the flight system, consisting of the drone and the manipulator, a concept is developed that realizes a virtual dissplacement of the center of mass by decoupling the equations of motion and therby facilitates a precise control, independent of the actual location of the system's center of mass.