This thesis details out a system developed with objective of conducting cooperative search operation in a partially-known environment, with a human operator, and two Unmanned Aerial Vehicles (UAVs) with nadir, and front on-board cameras. The system uses two phases of flight operations, where the first phase is aimed at gathering latest overhead images of the environment using a UAV’s nadir camera. These images are used to generate and update representations of the environment including 3D reconstruction, mosaic image, occupancy image, and a network graph. During the second phase of flight operations, a human operator marks multiple areas of interest for closer inspection on the mosaic generated in previous step, displayed via a UI. These areas are used by the path planner as visitation goals. The two-step path planner, which uses network graph, utilizes the weighted-A* planning, and Travelling Salesman Problem’s solution to compute an optimal visitation plan. This visitation plan is then converted into Mission waypoints for a second UAV, and are communicated through a navigation module over a MavLink connection. A UAV flying at low altitude, executes the mission plan, and streams a live video from its front-facing camera to a ground station over a wireless network. The human operator views the video on the ground station, and uses it to locate the target object, culminating the mission. / Master of Science / This thesis details out the work focused on developing a system capable of conducting search operation in an environment where prior information has been rendered outdated, while allowing human operator, and multiple robots to cooperate for the search. The system operation is divided into two phases of flight operations, where the first operation focuses on gathering the current information using a camera equipped unmanned aircraft, while the second phase involves utilizing the human operator’s instinct to select areas of interest for a close inspection. It is followed by a flight operation using a second unmanned aircraft aimed at visiting the selected areas and gathering detailed information. The system utilizes the data acquired through first phase, and generates a detailed map of the target environment. In the second phase of flight operations, a human uses the detailed map, and marks the areas of interest by drawing over the map. This allows the human operator to guide the search operation. The path planner generates an optimal plan of visitation which is executed by the second unmanned aircraft. The aircraft streams a live video to a ground station over a wireless network, which is used by the human operator for detecting the target object’s location, concluding the search operation.

[ES] La presente tesis aborda la Interacción Humano-Robot para tareas industriales de tratamiento superficial, con el objetivo de obtener una verdadera sinergia entre el operador humano y el sistema robotizado, así como un funcionamiento robusto. En concreto, la tesis establece las bases sobre las cuales un robot con asistencia por teleoperación o autónomamente interacciona con los humanos y con los otros robots en la zona de trabajo. Las propuestas se validan mediante experimentación real utilizando hasta dos robots manipuladores 6R y 7R respectivamente. Las principales contribuciones son: - Asistencia robótica para el lijado industrial con aproximación suave a la superficie y restricciones de límite - Control de robots bimanuales usando teleoperación asistida para tareas de tratamiento superficial - Interfaz basada en Realidad Aumentada para la teleoperación de robots bimanuales La aplicación de técnicas de Control en Modo Deslizante (SMC, por sussiglas en inglés) tanto convencional como no convencional y una arquitectura de control basada en prioridades son las herramientas clave para el desarrollo de estas contribuciones. / [CA] La present tesi aborda la Interacció Humà-Robot per a tasques industrials de tractament de superfícies, amb l'objectiu d'obtindre una veritable sinergia entre l'operador humà i el sistema robotitzat, així com un funcionament robust. En concret, la tesi estableix les bases sobre les quals un robot amb assistència per teleoperació o autònomament interacciona amb els humans i amb els altres robots a la zona de treball. Les propostes es validen mitjançant experimentació real utilitzant fins a dos robots manipuladors 6R i 7R, respectivament. Les principals contribucions són: - Assistència robòtica per al poliment industrial amb aproximació suau a la superfície i restriccions de límit - Control de robots bimanuals emprant teleoperació assistida per a tasques de tractament superficial - Intefaç basada en Realitat Augmentada per a la teleoperació de robots bimanuals L'aplicació de tècniques de Control en Mode Lliscant (SMC, per les seues sigles en anglés)tant convencional com no convencional i una arquitectura de control basada en prioritats són les eines clau pel desenvolupament d'aquestes contribucions. / [EN] The present thesis work addresses Human-Robot Interaction for industrial surface treatment tasks, aiming to attain a true synergy between the human operator and the robot system, as well as a robust performance. Specifically, this thesis establishes the basis on which a robot, either assisted by teleoperation or working autonomously, interacts with humans and with other robots in its working area. These proposals are validated through real experimentation using up to two robot manipulators, 6R and 7R respectively. The main contributions are: - Robotic assistance for industrial sanding with a smooth approach to the surface and boundary constraints - Bimanual robot control using assisted teleoperation for surface treatment tasks - Augmented reality-based interface for bimanual robot teleoperation The appliance of conventional and non-conventional Sliding Mode Control (SMC) techniques and a priority-based control architecture are the fundamental tools for the development of these contributions. / García Fernández, A. (2023). Robust human-robot collaboration for polishing tasks in the automotive industry [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/198673

The aim of the diploma thesis was to create a program with which it will be possible to control a collaborative robot by voice. First chapters contain a search of the current state in the field of collaborative robotics in terms of safety, work efficiency, robot programming and communication with the robot. Furthermore, the issue of machine processing of the human voice is discussed. In practical part was proposed an experiment in which we work with off-line simulation of UR3 robot in PolyScope 3.15.0 software. This simulation was linked to a Python program which uses SpeechRecognition and urx libraries. Simple voice instructions have been designed to move robot to defined position.

Η βιομηχανία παραγωγής ρούχων, ακόμα και σήμερα, αποτελεί ένα βιομηχανικό κλάδο όπου η αυτοματοποίηση είναι εν μέρει σχεδόν ανύπαρκτη και εν γένει σε εμβρυικό στάδιο. Ένα μεγάλο τμήμα της γραμμής παραγωγής αποτελεί το τμήμα κατά το οποίο κομμάτια υφάσματος ράβονται σε μία ραπτομηχανή. Το στάδιο της ραφής, παρόλο που είναι το μεγαλύτερο σε χρονική διάρκεια και το σημαντικότερο στην τελική ποιότητα, παραμένει σχεδόν εξολοκλήρου μία χειρονακτική εργασία. Οι ιδιαιτερότητες των υφασμάτων όπως: η πολύ μικρή αντίστασή τους σε κάμψη, οι μεγάλες παραμορφώσεις τους, η απρόβλεπτη στατική/δυναμική συμπεριφορά τους, η ανισότροπη και μη-γραμμική φύση τους και η ανομοιογένειά τους είναι οι κύριοι παράγοντες των έντονων δυσκολιών κατά τον χειρισμό τους. Η ρομποτική ραφή είναι ένα σχετικά νέο ερευνητικό πεδίο αλλά και εξαιρετικά πολύπλοκο πρόβλημα, όπου ελάχιστοι ερευνητές έχουν προσπαθήσει να προσεγγίσουν. Αυτή τη στιγμή, από όσο είναι δυνατόν να είναι γνωστόν, μόνο τρία ερευνητικά κέντρα ασχολούνται, σε διεθνή επίπεδο, ενώ το ένα από αυτά είναι η Ομάδα Ρομποτικής του Πανεπιστημίου Πατρών. Στόχος της διατριβής είναι η ανάπτυξη ενός ευέλικτου συστήματος το οποίο ενσωματώνει όλα εκείνα τα ευφυή χαρακτηριστικά ώστε να συμβάλει στη ρομποτική αυτοματοποίηση της ραφής υφασμάτων. Η επίτευξη αυτού του στόχου στηρίζεται σε μεθόδους υπολογιστικής νοημοσύνης, σε τακτικές εμπνευσμένες από τον τρόπο εργασίας του ίδιου του ανθρώπου και στην ποιοτική διαχείριση της γνώσης/δεδομένων που εμπεριέχουν ασάφεια. Ταυτόχρονα, επιτυγχάνεται ο έλεγχος της ραφής χωρίς τη χρήση αναλυτικών μοντέλων τόσο των υφασμάτων όσο και της διαδικασίας. Ο συντονισμός όλων των προηγουμένων επιτυγχάνεται από ένα ευέλικτο ευφυές ιεραρχικό σύστημα ελέγχου της διαδικασίας της ραφής. Στην παρούσα διατριβή αναπτύχθηκε ένα σύνολο νέων μεθόδων για την αυτοματοποιημένη ραφή υφασμάτων με ένα βιομηχανικό ρομπότ εφοδιασμένο με έναν αισθητήρα δύναμης και μία κλασσικού τύπου ραπτομηχανή. Η πρωτότυπη προσέγγιση που αποτελεί το πλαίσιο της διατριβής αποτελείται από ένα ιεραρχικό σύστημα εκτιμήσεων, αποφάσεων και ελέγχου της διαδικασίας ραφής. Γίνεται μία συστηματική μελέτη, καταγραφή και αξιολόγηση όλων των χειρισμών του υφάσματος, πριν και κατά τη διάρκεια της ραφής, ως προς τις απαιτήσεις τους σε συστήματα αισθητήρων αλλά και στρατηγικών ελέγχου. Αναπτύσσεται μία πρωτότυπη βάση δεδομένων και ένα έμπειρο σύστημα που ενσωματώνουν όλη αυτή την προγενέστερη γνώση και εμπειρία. Παρουσιάζεται η ιδέα της εφαρμογής μεθόδων υπολογιστικής νοημοσύνης στο επιστημονικό πεδίο της ραφής υφασμάτων και εφαρμογής μεθόδων ευφυούς ελέγχου, για την τάνυση των υφασμάτων, βασισμένες σε νευρωνικά δίκτυα οι οποίες, για πρώτη φορά, χρησιμοποιούν ποιοτικές εκτιμήσεις των ιδιοτήτων και των χαρακτηριστικών των υφασμάτων. Έτσι, εισάγεται η έννοια των λεκτικών μεταβλητών για την ποιοτική περιγραφή των ιδιοτήτων των υφασμάτων. Στο πλαίσιο αυτό, εκφράζεται για πρώτη φορά, ποιοτικά σαν ποσοστό, η έννοια της “εκτατότητας” (extensibility) των υφασμάτων, που είναι μία βασική και καθοριστική ιδιότητά τους κατά την εργασία της ραφής τους. Επίσης περιγράφεται η ανάπτυξη μιας νέας μεθόδου αυτοματοποιημένου πειραματικού προσδιορισμού της “εκτατότητας” των υφασμάτων. Η πρωτότυπη αυτή προσέγγιση εφαρμόστηκε σε μονά και διπλά υφάσματα ενώ τα πειράματα εφελκυσμού ενσωματώθηκαν “έξυπνα” στην ίδια τη ραπτομηχανή και λίγο πριν τη διαδικασία της ραφής. Παρουσιάζεται ένα ασαφές σύστημα εξαγωγής της επιθυμητής τάνυσης, κατά τη ραφή του κάθε υφάσματος, το οποίο βασίζεται στην ποιοτική εκτίμηση της “εκτατότητας” του υφάσματος και διαμορφώθηκε από την εμπειρία του έμπειρου χειριστή και την ασαφή συνεπαγωγή που κάνει αυτός ανάμεσα στην “εκτατότητα” και την επιθυμητή τάνυση. Αναπτύχθηκε μία νέα μέθοδος ελέγχου της τάνυσης του υφάσματος κατά τη ραφή του. Σε αυτή χρησιμοποιήθηκε ένας νευρωνικός ελεγκτής ευθείας τροφοδότησης για τον έλεγχο του ρομποτικού άκρου εργασίας με σκοπό τη διατήρηση της τάνυσης του υφάσματος σύμφωνα με την εκάστοτε επιθυμητή. Επιπροσθέτως, παρουσιάζεται η επέκταση της προτεινόμενης προσέγγισης, του νευρωνικού ελέγχου της τάνυσης, η οποία έδειξε τη δυνατότητα γενίκευσής της και σε άλλες παραπλήσιες εργασίες. Επίσης, καταγράφονται τα νέα ερευνητικά πεδία που ανοίγουν στο χώρο της συνεργασίας ανθρώπου-ρομπότ για τον χειρισμό υπερ-εύκαμπτων και εύκαμπτων αντικειμένων. Τελικά, παρουσιάζεται μία συστηματική εργαστηριακή εκτέλεση ραφών, σε μία μεγάλη ποικιλία τόσο μονών όσο και διπλών υφασμάτων, με ρομπότ ενώ συγκρίθηκαν αυτές με ραφές από έμπειρους. Μέσα από τις πειραματικές ραφές αναδεικνύεται, η αναζητούμενη ευελιξία του συστήματος και η ικανοποιητική απόκρισή του σε μία μεγάλη ποικιλομορφία υφασμάτων. / The clothing industry, even today, is an industry where automation is partly almost nonexistent and generally in their infancy stages. A large part of the production line is the part in which pieces of fabrics are sewn using a sewing machine. The sewing process, while being the largest in duration and the most important to the final quality of the cloths, remains almost entirely one handiwork. The specifics of fabrics like: their very little bending resistance, their large deformations, their unpredictable static / dynamic behavior, their anisotropic and non-linear nature and heterogeneity are the main factors of acute difficulties in their handling. The robotized sewing of fabrics is a relatively new research field but it is also an extremely complex problem, where few researchers have tried to investigate it. Right now, as far as can be known, only three research centers in international level are involved this field, while one of them is the Robotics Group of the University of Patras. The aim of this thesis is to develop a flexible system which incorporates all those intelligent features in order to help automate robotic sewing of fabrics. This objective is based on computational intelligence methods, in approaches inspired by the way a human works and finally in the qualitative management of the knowledge/data that involve uncertainties. Simultaneously, the sewing control is achieved without using analytical models of both the fabrics and process. The coordination, of all of the previous mentioned, is achieved by a flexible hierarchical intelligent control system of the sewing process. This thesis developed a set of new set of methods for automated sewing of fabrics using an industrial robot, equipped with a force sensor, and a conventional sewing machine. The novel approach, which composes the main framework of this thesis, consists of a hierarchical system of estimations, decisions and process control of the sewing task. It is a systematic study, of recording and evaluating all the fabric handling tasks before and during the sewing process, according to the necessary requirements in sensor systems and control strategies. An original database and an expert system incorporating all this prior knowledge and experience is developed. The idea of applying methods of computational intelligence to the scientific field of sewing fabrics is presented. Also, the application of intelligent control methods, for stretching the fabrics during the sewing, which is based on neural networks while using qualitative assessment of the properties and characteristics of fabrics, is presented. Therefore, the concept of using linguistic variables for the qualitative description of the properties of fabrics, is introduced. In this context, it is the first time where the concept of the "extensibility" of a fabric is expressed quantitatively as a percentage. This is an essential and determining property of a fabric that should be taken into account during the sewing process. Also, the development of a new method for the automated experimental determination of "extensibility" of fabrics is described. This original approach has been applied to single and double layers of fabrics, while the tensile experiments are ‘intelligently’ incorporated into the same sewing machine and just before the sewing process. A fuzzy system for determining the desired tension for each of the fabrics is presented. This system is based on a qualitative assessment of "extensibility" of each fabric and it is initialized by the experience of the experts and the fuzzy implication they make between "extensibility" and desired tension. A new method to control the tension of the fabric during the sewing is developed. A feedforward neural controller, to control the robotic gripper to maintain the tension of the fabric according to the respective desired, has been used. Additionally, an expansion of the proposed approach is presented, for the case of the neuro-control of the tension, which showed the controller’s ability of generalization to other similar tasks. Also, new research areas that have been opened in the field of human-robot cooperation for handling non-rigid and very flexible objects are stated. Finally, there is presented a systematic experimental robotic execution of seams in a wide variety of both single and double layers of fabrics, while the, produced by the robot, seams are compared with the seams produced by the experts. Through experimental phase and the results of the stitched fabrics it is highlighted the desired flexibility of the system and its satisfactory response in a wide variety of fabrics.