Parce que la robotique collaborative vise à libérer les robots des barrières physiques les séparant des opérateurs humains, de nouveaux défis apparaissent autour de la sécurité de ces derniers. S'il est possible de diminuer la dangerosité des robots en amont de leur conception, les logiciels qui les contrôlent doivent impérativement intégrer des mesures de sécurité, afin d'être compatibles avec des environnements humains dynamiques. Les algorithmes classiques de planification de trajectoire nécessitant de lourds calculs, il est avantageux de modifier la trajectoire en temps réel pour l'adapter à l'environnement dangereux. Dans ce projet de recherche, un algorithme de cinématique inverse, sous forme de problème d'optimisation, est utilisé afin de générer la commande du robot à partir d'une trajectoire définie hors-ligne. L'ajout de contraintes de sécurité à ce problème est particulièrement étudié : dans un premier temps, l'indice de manipulabilité, qui traduit la distance du robot à une configuration singulière, est considéré. Ainsi, il doit être maximisé tout au long de la trajectoire afin d'assurer la meilleure mobilité disponible. Dans un deuxième temps, le facteur humain a été intégré par la prise en compte du confort de celui-ci : afin de réduire le stress éprouvé par l'opérateur face à un robot aux mouvements imprévisibles, on s'assure de minimiser la distance entre l'effecteur et le regard de l'humain pour garantir une plus grande visibilité de la tâche. Dans les deux cas, nous avons présenté une formulation originale de ces critères afin de les intégrer dans le problème d'optimisation. Par ailleurs la contrainte d'évitement d'obstacles a aussi été utilisée, de même que la relaxation de la trajectoire, qui permet au robot de dévier un peu de cette dernière pendant une portion de la durée de la tâche. Enfin des tests en simulation et avec le robot réel Baxter de Rethink Robotics ont permis de valider notre approche et de vérifier les performances en conditions réelles, en utilisant une caméra RGB-D et un logiciel de détection d'humain en temps réel. / Abstract : Because collaborative robots are aimed at working in the vicinity of human workers without physical security fences, they bring new challenges about security. Even if robots can be conceived to be less harmful, their software has to integrate security features in order to be suitable for dynamic human environments. Since classical path planning algorithms require heavy calculations, it is interesting to modify the trajectory in real time to adapt it to the dangerous environment. In this research project, an inverse kinematics solver, in the form of an optimization problem, is used to generate the command of the robot to follow a trajectory defined offline. The addition of security constraints is studied: first, the manipulability index, which reflects the distance of the robot to singular configurations, is considered. Thus, it should be maximized all along the trajectory to ensure the best mobility available. Then the human is integrated by taking into account its comfort: in order to reduce the stress of working near an unpredictable moving robot, the distance between the end-effector and the human gaze is minimized to guarantee a greater visibility of the task. In both cases, we have presented a new formulation of those criteria to integrate them into the optimization problem. Moreover, the collision avoidance constraint is used, as well as the trajectory relaxation, which allows the robot to deviate from its trajectory for a certain amount of time during the task. Finally tests in simulation and with the real Baxter robot from Rethink Robotics validated our approach and the performance has been evaluated in real conditions, using a RGB-D camera and a real time human tracker software.

Systems consisting of multiple robots are traditionallydifficult to optimize. This project considers such a systemin a simulated warehouse setting, where the robots are todeliver boxes while avoiding collisions. Adding such collisionconstraints complicates the problem. For dynamical multi-agentsystems as these, reinforcement learning algorithms are oftenappropriate. We explore and implement a reinforcement learningalgorithm, called multi-agent rollout, that allows for re-planningduring operation. The algorithm is paired with a base policyof following the shortest path. Simulation results with up to10 robots indicates that the algorithm is promising for largescalemulti-robot systems. We have also discussed the possibilityof using neural networks and partitioning to further increaseperformance. / System med flera robotar har traditionellt sett ansetts mycket svåra att optimera. I detta projekt undersöks ett sådant system i en simulerad lagerlokal, där robotarna skall förflytta lådor samtidigt som de undviker kollisioner. För dessa dynamiska system med flera robotar är förstärkande inlärning ofta lämpligt. Vi undersöker och implementerar en förstärkandeinlärningsalgoritm kallad ”multi-agent rollout” vilken möjliggör omdirigering under drift. Algoritmen används tillsammans med en så kallad ”base policy” som alltid väljer kortaste vägen. Baserat på simulationsresultaten med upp till tio robotar verkar algoritmen lovande för storskaliga flerrobotsystem. Det diskuteras även om möjligheten av att använda neurala nätverk och partitionering för att vidare öka prestandan. / Kandidatexjobb i elektroteknik 2021, KTH, Stockholm

Cette thèse aborde les problèmes inverses de contrôle optimal (IOCP) pour trouver les fonctions de coûts pour lesquelles les mouvements humains sont optimaux. En supposant que les observations de mouvements humains sont parfaites, alors que le processus de commande du moteur humain est imparfait, nous proposons un algorithme de commande approximative optimale. En appliquant notre algorithme pour les observations de mouvement humaines collectées: mouvement du bras humain au cours d'une tâche de vissage industrielle, une tâche de suivi visuel d’une cible et une tâche d'initialisation de la marche, nous avons effectué une analyse en boucle ouverte. Pour les trois cas, notre algorithme a trouvé les fonctions de coût qui correspondent mieux ces données, tout en satisfaisant approximativement les Karush-Kuhn-Tucker (KKT) conditions d'optimalité. Notre algorithme offre un beau temps de calcul pour tous les cas, fournir une opportunité pour son utilisation dans les applications en ligne. Pour la tâche de suivi visuel d’une cible, nous avons étudié une modélisation en boucle fermée avec deux boucles de rétroaction PD. Avec des données artificielles, nous avons obtenu des résultats cohérents en termes de tendances des gains et les critères trouvent par notre algorithme pour la tâche de suivi visuel d’une cible. Dans la seconde partie de notre travail, nous avons proposé une nouvelle approche pour résoudre l’IOCP, dans un cadre d'erreur bornée. Dans cette approche, nous supposons que le processus de contrôle moteur humain est parfait tandis que les observations ont des erreurs et des incertitudes d'agir sur eux, étant imparfaite. Les erreurs sont délimitées avec des limites connues, sinon inconnu. Notre approche trouve l'ensemble convexe de de fonction de coût réalisables avec la certitude qu'il comprend la vraie solution. Nous numériquement garanties en utilisant des outils d'analyse d'intervalle. / This thesis addresses inverse optimal control problems (IOCP) to find the cost functions for which the human motions are optimal. Assuming that the human motion observations are perfect, while the human motor control process is imperfect, we propose an approximately optimal control algorithm. By applying our algorithm to the human motion observations collected for: the human arm trajectories during an industrial screwing task, a postural coordination in a visual tracking task and a walking gait initialization task, we performed an open loop analysis. For the three cases, our algorithm returned the cost functions which better fit these data, while approximately satisfying the Karush-Kuhn-Tucker (KKT) optimality conditions. Our algorithm offers a nice computational time for all cases, providing an opportunity for its use in online applications. For the visual tracking task, we investigated a closed loop modeling with two PD feedback loops. With artificial data, we obtained consistent results in terms of feedback gains’ trends and criteria exhibited by our algorithm for the visual tracking task. In the second part of our work, we proposed a new approach to solving the IOCP, in a bounded error framework. In this approach, we assume that the human motor control process is perfect while the observations have errors and uncertainties acting on them, being imperfect. The errors are bounded with known bounds, otherwise unknown. Our approach finds the convex hull of the set of feasible cost function with a certainty that it includes the true solution. We numerically guaranteed this using interval analysis tools.