Avec le progrès technologique, de nouvelles technologies sont en cours de développement afin de contribuer à une meilleure expérience dans le domaine de l’éducation. En particulier, les laboratoires distants constituent un moyen intéressant et pratique qui peut motiver les étudiants à apprendre. L'étudiant peut à tout moment, et de n'importe quel endroit, accéder au laboratoire distant et faire son TP (travail pratique). Malgré les nombreux avantages, les technologies à distance dans l’éducation créent une distance entre l’étudiant et l’enseignant. Les élèves peuvent avoir des difficultés à faire le TP si aucune intervention appropriée ne peut être prise pour les aider. Dans cette thèse, nous visons à enrichir un laboratoire électronique distant conçu pour les étudiants en ingénierie et appelé «LaboREM» (pour remote laboratory) de deux manières: tout d'abord, nous permettons à l'étudiant d'envoyer des commandes de haut niveau à un mini-drone disponible dans le laboratoire distant. L'objectif est d'examiner les faces-avant des instruments de mesure électroniques, à l'aide de la caméra intégrée au drone. De plus, nous autorisons la communication élève-enseignant à distance à l'aide du drone, au cas où un enseignant serait présent dans le laboratoire distant. Enfin, le drone doit revenir pour atterrir sur la plate-forme de recharge automatique des batteries, quand la mission est terminée. Nous proposons aussi un système automatique pour estimer l'état de l'étudiant (frustré / concentré..) afin de prendre les interventions appropriées pour assurer un bon déroulement du TP distant. Par exemple, si l'élève a des difficultés majeures, nous pouvons lui donner des indications ou réduire le niveau de difficulté de l’exercice. Nous proposons de faire cela en utilisant des signes visuels (estimation de la pose de la tête et analyse de l'expression faciale). De nombreuses évidences sur l'état de l'étudiant peuvent être acquises, mais elles sont incomplètes, parfois inexactes et ne couvrent pas tous les aspects de l'état de l'étudiant. C'est pourquoi nous proposons dans cette thèse de fusionner les preuves en utilisant la théorie de Dempster-Shafer qui permet la fusion de preuves incomplètes. / With the technological advance, new learning technologies are being developed in order to contribute to better learning experience. In particular, remote labs constitute an interesting and a practical way that can motivate nowadays students to learn. The student can at any time, and from anywhere, access the remote lab and do his lab-work. Despite many advantages, remote technologies in education create a distance between the student and the teacher. Without the presence of a teacher, students can have difficulties, if no appropriate interventions can be taken to help them. In this thesis, we aim to enrich an existing remote electronic lab made for engineering students called “LaboREM” (for remote Laboratory) in two ways: first we enable the student to send high level commands to a mini-drone available in the remote lab facility. The objective is to examine the front panels of electronic measurement instruments, by the camera embedded on the drone. Furthermore, we allow remote student-teacher communication using the drone, in case there is a teacher present in the remote lab facility. Finally, the drone has to go back home when the mission is over to land on a platform for automatic recharge of the batteries. Second, we propose an automatic system that estimates the affective state of the student (frustrated/ confused/ flow..) in order to take appropriate interventions to ensure good learning outcomes. For example, if the student is having major difficulties we can try to give him hints or reduce the difficulty level. We propose to do this by using visual cues (head pose estimation and facial expression analysis). Many evidences on the state of the student can be acquired, however these evidences are incomplete, sometimes inaccurate, and do not cover all the aspects of the state of the student alone. This is why we propose to fuse evidences using the theory of Dempster-Shafer that allows the fusion of incomplete evidence.

Ce travail de thèse traite du développement d’une antenne microphonique compacte et d’une chaîne de traitement du signal dédiée, pour la reconnaissance et la localisation angulaire de cibles aériennes. L’approche globale proposée consiste en une détection initiale de cible potentielle, la localisation et le suivi de la cible, et une détection affinée par un filtrage spatial adaptatif informé par la localisation de la cible. Un algorithme original de localisation goniométrique est proposé. Il utilise l’algorithme RANSAC sur des données pression-vitesse large bande [100 Hz - 10 kHz], estimées en temps réel, dans le domaine temporel, par des différences et sommes finies avec des doublets de microphones à espacements inter-microphoniques adaptés à la fréquence. L’extension de la bande passante de l’antenne en hautes fréquences est rendue possible par l’utilisation de différences finies d’ordre élevé, ou de variantes de la méthode PAGE (Phase and Amplitude Gradient Estimation) adaptées à l’antenne développée. L’antenne acoustique compacte ainsi développée utilise 32 microphones MEMS numériques répartis dans le plan horizontal sur une zone de 7.5 centimètres, selon une géométrie d’antenne adaptée aux l’algorithmes de localisation et de filtrage spatial employés. Des essais expérimentaux de localisation et de suivi de trajectoire contrôlée par une sphère de spatialisation dans le domaine ambisonique ont montré une erreur de localisation moyenne de 4 degrés. Une base de données de signatures acoustiques de drones en vol a été créée, avec connaissance de la position du drone par rapport à l’antenne microphonique apportée par des mesures GPS. L’augmentation des données par bruitage artificiel, et la sélection dedescripteurs acoustiques par des algorithmes évolutionnistes, ont permis de détecter un drone inconnu dans un environnement sonore inconnu jusqu’à 200 mètres avec le classifieur JRip. Afin de faciliter la détection et d’en augmenter la portée, l’étape de détection initiale est précédée d’une formation de voies différentielle dans 4 directions principales (nord, sud, est, ouest), et l’étape de détection affinée est précédée d’une formation de voies de Capon informée par la localisation et le suivi de la cible à identifier. / This thesis deals with the development of a compact microphone array and a dedicated signal processing chain for aerialtarget recognition and direction of arrival (DOA) estimation. The suggested global approach consists in an initial detection ofa potential target, followed by a DOA estimation and tracking process, along with a refined detection, facilitated by adaptivespatial filtering. An original DOA estimation algorithm is proposed. It uses the RANSAC algorithm on real-time time-domainbroadband [100 Hz - 10 kHz] pressure and particle velocity data which are estimated using finite differences and sums ofsignals of microphone pairs with frequency-dependent inter-microphone spacings. The use of higher order finite differences, or variants of the Phase and Amplitude Gradient Estimation (PAGE) method adapted to the designed antenna, can extend its bandwidth at high frequencies. The designed compact microphone array uses 32 digital MEMS microphones, horizontally disposed over an area of 7.5 centimeters. This array geometry is suitable to the implemented algorithms for DOA estimation and spatial filtering. DOA estimation and tracking of a trajectory controlled by a spatialization sphere in the Ambisonic domain have shown an average DOA estimation error of 4 degrees. A database of flying drones acoustic signatures has been set up, with the knowledge of the drone’s position in relation to the microphone array set out by GPS measurements. Adding artificial noise to the data, and selecting acoustic features with evolutionary programming have enabled the detection of an unknown drone in an unknown soundscape within 200 meters with the JRip classifier. In order to facilitate the detection and extend its range, the initial detection stage is preceded by differential beamforming in four main directions (north, south, east, west), and the refined detection stage is preceded by MVDR beamforming informed by the target’s DOA.

L'utilisation de drones miniatures à voilure tournante est limitée par leur grande sensibilité face aux perturbations aérologiques. Cette particularité, ajoutée à la non linéarité de leur dynamique, rend complexe le développement de lois de commande pour de tels véhicules. Afin de permettre une automatisation de leur vol en tenant compte de ces difficultés, deux classes d'approches pour la synthèse de lois de commande sont étudiées dans cette thèse : la commande prédictive, puis la synthèse de lois de commande non linéaires via une analyse par fonctions de Lyapunov dans le cas o'u les vitesses du véhicule ne sont pas mesurées. Des contrôleurs de nature prédictive ont été proposés dans la littérature, mais sans considérer simultanément un modèle suffisamment représentatif de la dynamique d'un drone miniature à voilure tournante et une approche de commande garantissant la stabilité. A ce titre, nous proposons ici plusieurs algorithmes de commande prédictive ainsi que leur adaptation au développement de lois de guidage-pilotage de drone en considérant un modèle non linéaire à six degrés de liberté et en réalisant conjointement une analyse de la stabilité. Plusieurs applications sont présentées : stabilisation autour d'un point fixe, suivi de trajectoire en présence ou non de perturbations, évitement d'obstacles. Lors de certaines utilisations pratiques ou expérimentales d'un drone miniature, les mesures en vitesses du véhicule ne sont pas toujours disponibles. Des techniques de commande avec accès partiel à l'état ou utilisant des observateurs peuvent être alors appliquées. Afin de concilier ces deux classes d'approches, et d'obtenir simultanément de bonnes performances du système bouclé et une réduction de la complexité de la méthode utilisée (temps de calcul, analyse de la stabilité), nous proposons ici une méthode de synthèse de lois de commandes via une analyse par fonctions de Lyapunov. Cette méthode est basée sur l'introduction d'états virtuels au sein de la dynamique du système. Notre contribution réside également dans l'analyse de la stabilité, par la théorie des perturbations singulières, d'une approche de commande hiérarchique permettant la synthèse successive des lois de commande en position et en attitude.

Ce travail de thèse porte sur le comportement en vol de drones légers à voilure fixe en présence de vent. Ces dispositifs aériens offrent une transition en douceur de la théorie à la pratique dans le domaine de la commande autonome. En outre, ils fournissent une solution appropriée dans des environnements inaccessibles ou dangereux pour les êtres humains. Cependant, ne pas avoir un pilote humain à bord implique que les UAV reposent sur l'automatisation pour naviguer ou pour éviter les obstacles. De plus, leur vitesse de fonctionnement relativement faible les rend particulièrement affectés par le vent. Motivé par ces considérations, les objectifs de ce travail de recherche visent des résultats théoriques et expérimentaux dans le domaine de la conception de contrôleurs de vol pour les petits drones à voilure fixe de configuration classique permettant le vol stable dans les conditions de vent. Pour atteindre ces objectifs, plusieurs domaines de recherche sont abordés dans cette thèse comme il suit.Tout d'abord, une étude approfondie sur l'aspect aérodynamique de l'avion est menée afin d'obtenir le modèle mathématique du véhicule en présence de vent. En outre, des modèles qui reproduisent le comportement essentiel du système dans un contexte simplifié sont analysés. Par conséquent, des modèles non linéaires de complexité réduite, qui sont plus simples à analyser et simuler et plus adaptés à la conception de stratégies de contrôle, sont présentés. Deuxièmement, le problème à résoudre est formulé comme un problème de suivi de trajectoire dans lequel le dispositif de commande de vol doit être en mesure de diriger le véhicule le long d'un chemin. Des stratégies de navigation sont élaborées dans le but d'éliminer la déviation de l'avion par rapport à la trajectoire de référence. Le vent est considéré d'abord mesurable par une station au sol et, ensuite, estimé en utilisant une navigation adaptative basée sur la théorie de Lyapunov. La performance de l'algorithme d'estimation est améliorée en utilisant la stratégie de commande basée sur la méthode des fonctions de réglage. Le troisième axe de recherche est la conception et la mise en œuvre d'un dispositif expérimental qui se compose d'une station au sol utilisée pour la visualisation et la commande à distance du drone et d'un pilote automatique embarqué contenant la plate-forme de vol munie d'avionique appropriée.

La sûreté de fonctionnement est devenue indispensable pour tous les systèmes critiques où des vies humaines sont en jeu (comme l’aéronautique, le ferroviaire, etc.). Ceci a conduit à la conception et au développement des architectures tolérantes aux fautes, l’objectif de ces architectures étant de maintenir un service correct délivré par le système malgré la présence de fautes, et en particulier de garantir la sécurité-innocuité et la fiabilité du système. La tolérance aux fautes sur les drones aériens multirotors a récemment reçu une attention importante de la part de la communauté scientifique. En particulier, plusieurs travaux ont été développés sur la tolérance aux fautes des quadrirotors suite à des fautes partielles sur les actionneurs, et récemment des recherches ont abordé le problème de panne totale de l’un des actionneurs. D’après ces études, il a été montré qu’une défaillance totale d’un actionneur dans un quadrirotor rend le système non complètement contrôlable. Une solution proposée est de considérer des multirotors avec des actionneurs redondants (hexarotors ou octorotors). La redondance inhérente disponible dans ces véhicules est exploitée, en cas de défaillance sur les actionneurs, pour redistribuer les efforts de commande sur les moteurs sains de façon à garantir la stabilité et la contrôlabilité complète du système. Dans ce travail de thèse, des approches pour la conception de systèmes de commande tolérants aux fautes des drones multirotors sont étudiées et appliquées au contrôle des octorotors. Toutefois, les algorithmes sont conçus de manière à être applicables sur les autres types de multirotors avec des modifications mineures. D’abord, une analyse de contrôlabilité de l’octorotor après l’occurrence de défaillances sur les actionneurs est présentée. Ensuite, un module de détection et d’isolation de pannes moteurs basé sur un observateur non-linéaire et les mesures de la centrale inertielle est proposé. Les mesures des vitesses et des courants de moteurs fournis par les contrôleurs de vitesse sont également utilisées dans un autre algorithme de détection pour détecter les défaillances des actionneurs et distinguer les pannes moteurs des pertes des hélices. Un module de rétablissement basé sur la reconfiguration du multiplexage est proposé pour redistribuer les efforts de commande d’une manière optimale sur les actionneurs sains après l’occurrence de défaillances dans le système. Une architecture complète, comprenant la détection et l’isolation des défauts suivie par le rétablissement du système est validée expérimentalement sur un octorotor coaxial puis elle est comparée à d’autres architectures basées sur l’allocation de commande et la tolérance aux fautes passive par mode glissant. / With growing demands for safety and reliability, and an increasing awareness about the risks associated with system malfunction, dependability has become an essential concern in modern technological systems, particularly safety-critical systems such as aircrafts or railway systems. This has led to the design and development of fault tolerant control systems (FTC). The main objective of a FTC architecture is to maintain the desirable performance of the system in the event of faults and to prevent local faults from causing failures. The last years witnessed many developments in the area of fault detection and diagnosis and fault tolerant control for Unmanned Aerial rotary-wing Vehicles. In particular, there has been extensive work on stability improvements for quadrotors in case of partial failures, and recently, some works addressed the problem of a quadrotor complete propeller failure. However, these studies demonstrated that a complete loss of a quadrotor motor results in a vehicle that is not fully controllable. An alternative is then to consider multirotors with redundant actuators (octorotors or hexarotors). Inherent redundancy available in these vehicles can be exploited, in the event of an actuator failure, to redistribute the control effort among the remaining working actuators such that stability and complete controllability are retained. In this thesis, fault-tolerant control approaches for rotary-wing UAVs are investigated. The work focuses on developing algorithms for a coaxial octorotor UAV. However, these algorithms are designed to be applicable to any redundant multirotor under minor modifications. A nonlinear model-based fault detection and isolation system for motors failures is constructed based on a nonlinear observer and on the outputs of the inertial measurement unit. Motors speeds and currents given by the electronic speed controllers are also used in another fault detection and isolation module to detect actuators failures and distinguish between motors failures and propellers damage. An offline rule-based reconfigurable control mixing is designed in order to redistribute the control effort on the healthy actuators in case of one or more motors failures. A complete architecture including fault detection and isolation followed by system recovery is tested experimentally on a coaxial octorotor and compared to other architectures based on pseudo-inverse control allocation and a robust controller using second order sliding mode.

Les mini-drones à propulsion électrique sont susceptibles d’avoir une endurance inférieure à celle de drones plus grands.L’exploitation des interactions aérodynamiques, inspirée par les oiseaux migratoires, ainsi que le ravitaillement en vol , sont des approches prometteuses pour améliorer l’endurance des mini-drones. La commande par modes glissants d’ordre supérieur en temps continu (CTHOSM) a été considérée comme un candidat prometteur à ce problème ouvert difficile et a été appliquée avec succès à des modèles cinématiques simples. Dans nos travaux, nous étudions les implications de la présence de la dynamique de la boucle interne et de l’implémentation en temps discret à des taux d’échantillonnage modérés et constatons alors que l’application de la commande CTHOSM devient impossible. Nous proposons donc un schéma de guidage prédictif discret par modes glissants pour approximer les performances de la commande CTHOSM pour une dynamique réaliste du drone. On propose également un problème de référence accessible pour d'autres chercheurs. Les algorithmes de localisation probabilistes existants ne permettent pas la caractérisation de régions de confiance garanties de la position des autres membres de la formation. Dans ce contexte, nous proposons un nouveau filtre ensembliste caractérisant de telles régions de confiance sous forme ellipsoïdale. Nos premières évaluations ont montré que les efforts de calcul induits par cette mise en œuvre restent parfaitement compatibles avec les contraintes des systèmes avioniques des petits drones. / Small, electrically driven unmanned aircraft are likely to suffer from inferior endurance compared to their larger counterparts. Upwash exploitation by tight formation flight, as well as aerial recharging are the most promising control-driven approaches to mitigate this disadvantage. Continuous time higher order sliding mode control (CTHOSM) has been considered as a candidate for this challenging open problem and was successfully applied to simple kinematic models in simulation, where excellent relative position tracking performance can be demonstrated. In this work we study the implications of the presence of inner loop dynamics and discrete implementation at moderate sampling rates and we find that it precludes the application of CTHOSM control to fixed-wing UAS. We propose a predictive discrete sliding mode guidance scheme to approximate the performance of CTHOSM control assuming realistic fixed-wing UAS dynamics. We show that the proposed guidance scheme in combination with inner load factor tracking loops and a disturbance observer allows for relative position tracking performance compatible with the requirements of upwash exploitation. We propose as well an openly accessible benchmark problem. Existing probabilistic localization algorithms cannot provide guaranteed confidence regions of the relative position between UAS. We present a set membership filter that provides ellipsoidal regions guaranteed to contain the relative positions of the other UAS. It is compatible with the hardware constraints of small low-cost UAS. Simulations suggest computational efforts compatible with the computational resources typically available onboard small UAS.

近年來多軸空拍機快速發展與普及，可預見其未來將成為新一代的輔助攝影工具。空拍機打破距離、角度的限制，讓時下流行的自拍（Selfie）照片相較於以往以手臂或自拍棒輔助的方式，拍出更具特色及多樣性的構圖。然而當前空拍機操作方式複雜，使用者需花費一定的練習時間才能熟練地控制空拍機至預定位置進行拍攝。 本研究針對空拍機的使用情境進行觀察，歸納傳統操作方式造成的問題，再依不同互動控制方法討論過往研究提出的解決方法之優勢與限制，並依據自拍行為之心智模型及過往研究經驗，設計兩階段互動流程：相機定位階段（Positioning）及鏡頭構圖階段（Framing），並在各階段中分別提出直接指向（Direct Pointing）、移動微調（Fine Tuning）及構圖調整（Framing）三種有別於傳統類比搖桿操控之互動模式。 本研究另設計一俱觸覺控制回饋、可單手操作之實體自拍遙控器，搭配前述互動設計實作兼具自動化移動及以使用者為中心進行操作之空拍機自拍互動控制系統原型Skyfie，並於戶外環境設計實驗場域進行使用者測試，測試使用者指揮空拍機至指定位置拍照之操作，評估互動流程中各操作方法之優劣。測試結果顯示Skyfie 互動控制系統相較於傳統的類比搖桿操控方式更易於學習及使用，且符合使用者對空間的認知，並依照回饋意見進行互動模式修正，以達成對空拍機初學者而言也簡單易學的互動操作方式。 / As personal drones become more popular, we can envision a future where flying selfie bots are always with us. Drones break the limits of distance and angle, providing more diversified composition than taking selfie with arms or a selfie stick. However, users have to be very skillful to pilot the drone and are not easy to take aerial selfies by state-of-the-art methods. Based on user observation and the mindset of selfie taking, we summarize the problems caused by the traditional control methods and generalize the interaction flow of selfie taking into two stages: Positioning and Framing stage. In each stage, we present new interaction techniques including a direct pointing technique, fine-tuning technique, and a touch manipulation for framing. We also present a selfie remote controller designed for single-hand operation to collocates with the interaction techniques, and implement a proof-of-concept Skyfie system for an outdoor user testing. The result shows users felt intuitive and expressed enthusiasm to take aerial selfies with our techniques. Finally, we discuss the insights from the evaluation and conclude with future directions.

La planification HTN (Hierarchical Task Network, ou Réseau Hiérarchique de Tâches) est une approche très souvent utilisée pour produire des séquences de tâches servant à contrôler des systèmes intelligents. Cette thèse présente le planificateur HATP (Hierarchical Agent-base Task Planner, ou Planificateur Hiérarchique centré Agent) qui étend la planification HTN classique en enrichissant la représentation des domaines et leur sémantique afin d'être plus adaptées à la robotique, tout en offrant aussi une prise en compte des humains. Quand on souhaite générer un plan pour des robots tout en prenant en compte les humains, il apparaît que les problèmes sont complexes et fortement interdépendants. Afin de faire face à cette complexité, nous avons intégré à HATP un planificateur géométrique apte à déduire l'effet réel des actions sur l'environnement et ainsi permettre de considérer la visibilité et l'accessibilité des éléments. Cette thèse se concentre sur l'intégration de ces deux planificateurs de nature différente et étudie comment par leur combinaison ils permettent de résoudre de nouvelles classes de problèmes de planification pour la robotique. / Hierarchical Task Network (HTN) planning is a popular approach to build task plans to control intelligent systems. This thesis presents the HATP (Hierarchical Agent-based Task Planner) planning framework which extends the traditional HTN planning domain representation and semantics by making them more suitable for roboticists, and by offering human-awareness capabilities. When computing human-aware robot plans, it appears that the problems are very complex and highly intricate. To deal with this complexity we have integrated a geometric planner to reason about the actual impact of actions on the environment and allow to take into account the affordances (reachability, visibility). This thesis presents in detail this integration between two heterogeneous planning layers and explores how they can be combined to solve new classes of robotic planning problems

In recent years, companies such as Amazon and DHL have started to develop alternative last-mile delivery options because of the growing trend in e-commerce. Last-mile deliveries refer to the terminal to customer deliveries and have become increasingly challenging to manage, as traffic congestions in cities has risen. Therefore, companies have begun searching for alternative delivery methods, such as autonomous drones or unmanned aerial vehicles (UAV). The purpose of this thesis is to investigate drones in the current literature on last-mile delivery. First, by conducting a systematic literature review on the current literature available in two major databases. Second, by analyzing the collected literature sample and presenting it through a descriptive analysis focusing on bibliometrics and a thematic analysis that identifies emerging themes for drivers for drones’ application in last-mile delivery, barriers for drones’ application in last-mile delivery, and approaches for implementing drones in last-mile delivery.                        Drones’ application in last-mile delivery has the potential to reduce cost, decrease delivery time, reduce emissions, and reduce energy consumption. However, barriers that hinder the implementation, such as governmental regulations, need further consideration for the implementation to occur. Some evident gaps can be found related to the barriers. Both managers and researchers might find the thesis useful, as it provides a holistic view on the subject, with theoretical, managerial, and societal implications being presented.

Denna rapport handlar om sju studenters kandidatarbete som utfördes i kursen TDDD96 - Kandidatprojekt i programvaruutveckling vid Linköpings universitet under våren 2020. Målet med projektet var att utveckla en webbapplikation som visar en karta, där användaren kan styra drönare genom att specificera ett område på denna karta. Drönarna tar flygfoton över området som sedan visas på kartan. Resultatet blev en fungerande produkt för demonstrationssyften, en teknisk beskrivning av produkten och en användarmanual. Rapporten innehåller även sju individuella delar som ger en fördjupning inom olika delområden av projektet.