<p>Robot grasping is emerging as an active area of research in robotics as the interest in human-robot interaction is gaining worldwide because of diverse industrial settings for sharing tasks and workplaces. It mainly focuses on the quality of generated grasps for object manipulation. However, despite advancements, these methods need to consider the human-robot collaboration settings where robots and humans will have to grasp the same objects concurrently. Therefore, generating robot grasps compatible with human preferences of simultaneously holding an object is necessary to ensure a safe and natural collaboration experience. In this work, we propose a novel, deep neural network-based method called CoGrasp that generates human-aware robot grasps by contextualizing human preference models of object grasping into the robot grasp selection process. We validate our approach against existing state-of-the-art robot grasping methods through simulated and real-robot experiments and user studies. In real robot experiments, our method achieves about 88% success rate in producing stable grasps that allow humans to interact and grasp objects simultaneously in a socially compliant manner. Furthermore, our user study with 10 independent participants indicated our approach enables a safe, natural, and socially aware human-robot objects' co-grasping experience compared to a standard robot grasping technique.</p> <p>To facilitate the grasping process, we also introduce a vision-language model that works as a pre-processing system before the grasping action takes place. In most settings, the robots are equipped with sensors that allow them to capture the scene, on which the vision model is used to do a detection task and objectify the visible contents in the environment. The language model is used to program the robot to make it possible for them to understand and execute the required sequence of tasks. Using the process of object detection, we build a set of object queries from the sensor image and allow the user to provide an input query for a task to be performed. We then perform a similarity score among these queries to localize the object that needs attention, and once identified, we can use a grasping process for the task at hand.</p>

Teaching a robot how to behave so it becomes completely autonomous is not a simple task. When robotic systems become truly intelligent, interactions with them will feel natural and easy, but nothing could be further from truth. Make a robot understand its surroundings is a huge task that the computer vision field tries to address, and deep learning techniques are bringing us closer. But at the cost of the data. Synthetic data generation is the process of generating artificial data that is used to train machine learning models. This data is generated using computer algorithms and simulations, and is designed to resemble real-world data as closely as possible. The use of synthetic data has become increasingly popular in recent years, particularly in the field of deep learning, due to the shortage of high-quality annotated real-world data and the high cost of collecting it. For that reason, in this thesis we are addressing the task of facilitating the generation of synthetic data with the creation of a framework which leverages advances in modern rendering engines. In this context, the generated synthetic data can be used to train models for tasks such as 6D object pose estimation or grasp estimation. 6D object pose estimation refers to the problem of determining the position and orientation of an object in 3D space, while grasp estimation involves predicting the position and orientation of a robotic hand or gripper that can be used to pick up and manipulate the object. These are important tasks in robotics and computer vision, as they enable robots to perform complex manipulation and grasping tasks. In this work we propose a way of extracting grasping information from hand-object interactions in virtual reality, so that synthetic data can also boost research in that area. Finally, we use this synthetically generated data to test the proposal of applying 6D object pose estimation architectures to grasping region estimation. This idea is based on both problems sharing several underlying concepts such as object detection and orientation. / Enseñar a un robot a ser completamente autónomo no es tarea fácil. Cuando los sistemas robóticos sean realmente inteligentes, las interacciones con ellos parecerán naturales y fáciles, pero nada más lejos de la realidad. Hacer que un robot comprenda y asimile su entorno es una difícil cruzada que el campo de la visión por ordenador intenta abordar, y las técnicas de aprendizaje profundo nos están acercando al objetivo. Pero el precio son los datos. La generación de datos sintéticos es el proceso de generar datos artificiales que se utilizan para entrenar modelos de aprendizaje automático. Estos datos se generan mediante algoritmos informáticos y simulaciones, y están diseñados para parecerse lo más posible a los datos del mundo real. El uso de datos sintéticos se ha vuelto cada vez más popular en los últimos años, especialmente en el campo del aprendizaje profundo, debido a la escasez de datos reales anotados de alta calidad y al alto coste de su recopilación. Por ello, en esta tesis abordamos la tarea de facilitar la generación de datos sintéticos con la creación de una herramienta que aprovecha los avances de los motores modernos de renderizado. En este contexto, los datos sintéticos generados pueden utilizarse para entrenar modelos para tareas como la estimación de la pose 6D de objetos o la estimación de agarres. La estimación de la pose 6D de objetos se refiere al problema de determinar la posición y orientación de un objeto en el espacio 3D, mientras que la estimación del agarre implica predecir la posición y orientación de una mano robótica o pinza que pueda utilizarse para coger y manipular el objeto. Se trata de tareas importantes en robótica y visión por computador, ya que permiten a los robots realizar tareas complejas de manipulación y agarre. En este trabajo proponemos una forma de extraer información de agarres a partir de interacciones mano-objeto en realidad virtual, de modo que los datos sintéticos también puedan impulsar la investigación en esa área. Por último, utilizamos estos datos generados sintéticamente para poner a prueba la propuesta de aplicar arquitecturas de estimación de pose 6D de objetos a la estimación de regiones de agarre. Esta propuesta se basa en que ambos problemas comparten varios conceptos subyacentes, como la detección y orientación de objetos. / This thesis has been funded by the Spanish Ministry of Education [FPU17/00166]

The rapid advancements in Robotics and Mixed Reality (MR) have opened new avenues for intuitive human-robot interaction. In this thesis, an intuitive and accessible robot grasping application is developed using MR to enable programming using the operator’s hand movements, reducing the technical complexity associated with traditional programming. The developed application leverages the strengths of MR to provide users with an immersive and intuitive environment. It includes powerful tools such as QR code recognition for quick deployment of virtual objects or the utilization of a Virtual Station that can be placed at any desired location, allowing remote and safe control of the robot. Three modes have been implemented, including manual target placing and thorough editing of its properties, path recording of the user's hand trajectory, and real-time replication of the operator's hand movements by the robot.  To assess the effectiveness and intuitiveness of the developed application, a series of user tests are presented. These evaluations include user feedback and task completion time compared to traditional programming methods, which provide valuable insights into the application's usability, efficiency, and user satisfaction. The intuitiveness of the developed application democratizes robot programming, expanding accessibility to a wider range of users, including inexperienced operators and students. / <p>Det finns övrigt digitalt material (t.ex. film-, bild- eller ljudfiler) eller modeller/artefakter tillhörande examensarbetet som ska skickas till arkivet.</p><p>There are other digital material (eg film, image or audio files) or models/artifacts that belongs to the thesis and need to be archived.</p><p>Utbytesstudenter</p>

Since the advent of machine learning and machine vision methods, progress has been made in tackling the long-standing research question of autonomous grasping of arbitrary objects using robotic end-effectors. Building on these efforts, we focus on a subset of the general grasping problem concerning the automation of a forwarder. This forestry vehicle collects and transports felled and cut tree logs in a forest environment to a nearby roadside landing. The forwarder must safely and energy-efficiently grip logs to minimize fuel consumption and reduce loading times. In this thesis project, we develop a data-driven model for predicting the expected outcome of grasping attempts made by the forwarder's crane. For a given pile of logs, such a model can estimate the optimal horizontal location and angle for applying the claw grapple, enabling effective grasp planning. We utilize physics-based simulations to create a ground truth dataset of 12 500 000 simulated grasps distributed across 5000 randomly generated log piles. Our semi-generative, supervised model is a fully convolutional network that inputs the orthographic depth image of a pile and returns images predicting the corresponding grasps' initial grapple angle and outcome metrics as a function of position. Over five folds of cross-validation, our model predicted the number of grasped logs and the initial grapple angle with a normalized root mean squared error of 15.77(2)% and 2.64(4)%, respectively. The grasps' energy efficiency and energy waste were similarly predicted with a relative error of 14.43(2)% and 21.06(3)%. / Sedan tillkomsten av maskininlärnings- och maskinseendebaserade metoder har betydande framsteg gjorts inom forskningsområdet för autonom greppning av godtyckliga objekt med en robotisk sluteffektor. Vi bygger vidare på dessa resultat och fokuserar på en del av det generella greppningsproblemet gällande automatisering av en skotare. Denna skogsmaskin samlar in och transporterar fällda och kapade trädstammar från avverkningsplats till upplag intill närliggande skogsbilväg. Skotaren måste greppa och lyfta stockarna på ett säkert och energieffektivt sätt för att minimera bränsleförbrukningen samt minska lastningstiderna. I detta examensarbete utvecklar vi en datadriven modell för att förutsäga det förväntade resultatet av gripförsök utförda av skotarens kran. För en given timmerstockshög kan en sådan modell uppskatta den optimala positionen och vinkeln för att applicera skotarens gripklo, vilket möjliggör effektiv planering av lastningen. Vi använder fysikbaserade simuleringar för att skapa ett dataset med 12 500 000 simulerade gripförsök fördelade över 5000 slumpmässigt genererade timmerhögar. Vår semi-generativa, övervakade modell är ett djupt faltningsnätverk utan helt sammankopplade neuronlager som tar in en ortografisk djupbild av en timmerhög och returnerar bilder som predikterar de motsvarande gripförsökens initiala gripvinkel och resultatmått som en funktion av position. Vid en femfaldig korsvalidering förutsåg vår modell antalet greppade stockar och den initiala gripvinkeln med ett normaliserat rotmedelkvadratfel på 15.77(2)% respektive 2.64(4)%. Gripförsökens energieffektivitet och energiförlust predikterades på liknande sätt med ett relativt fel på 14.43(2)% och 21.06(3)%.

No description available.

On soutient ici que la théorie des relations de Meinong, bien qu’elle s’établisse selon une visée psychologique, a des implications ontologiques fortes en raison d’un aspect propre à la perspective de Meinong. C’est à la lumière des exigences issues du rapport entre psychologie et ontologie que le réalisme meinongien peut être éclairé. Associée à la problématique des complexions que Meinong élabore suite à la découverte des qualités gestaltiques par Ehrenfels, et à certaines applications qui en sont faites dans la théorie de la mesure, sa théorie des relations conduit Meinong à distinguer les activités de l’esprit et les propriétés des objets de ces activités – certaines de ses propriétés ne pouvant ontologiquement dépendre de l’esprit. Dans ces conditions, et au vu des textes, on soutient que la distinction de Twardowski entre contenu et objet n’est pas ce qui détermine la position de Meinong sur les objets, dont les objets dits d’ordre supérieur. Par contre, Meinong semble disposer d’une distinction très semblable à celle de Twardowski dans ses recherches sur les relations et les complexions, encore qu’il semble adopter une posture critique envers les implications de la distinction de Twardowski, cette posture traduisant la spécificité du réalisme meinongien. La théorie des relations conditionne aussi la position de Meinong quant à la distinction entre jugements existentiels et jugements catégoriques. Son refus du représentationnalisme twar-dowskien comme de la perspective Brentano-martyenne sur la réductibilité des jugements catégoriques aux jugements existentiels est intrinsèquement lié à sa thèse sur les assomptions et les objets qui sont « hors-l’être ». / In this work, it is claimed that Meinong’s theory of relations, although established in a psychological aim, has strong ontological implications under a particular aspect and peculiar to Meinong’s view. The requirements appearing from this relationship between psychology and ontology enlighten the meinongian realism. Associated with the problem of complexions which Meinong inherited from the discovery of gestalt qualities by Ehrenfels ; and regarding some applications which are made in the theory of the measure ; such a theory of relations leads Meinong to distinguishing the activities of the mind and the properties of the objects of these activities – properties that cannot ontologically depend on the mind. We claim that the distinction of Twardowski between content and object is not what determines the position of Meinong on objects and on objects of higher order. Meinong seems to have conceived a very similar distinction along his researches on relations and complexions. He even seemed to adopt a critical posture toward some implications of the Twardowski’s distinction - this posture clarifying the specificity of the meinongian realism. The theory of relations also grounds the Meinong’s view on the distinction between existential judgments and categorical judgments. His refusal of Twardowski’s representationalism, and his refusal of the Brentano-martyan view on the reducibility of the categorical judgments to existential ones, are internally connected with his thesis on assumptions and on “absistent” objects.

Cette thèse présente la conception et la commande d’une main robotique légère et peu onéreuse pour un robot compagnon humanoïde. La main est conçue pour exprimer des émotions à travers des gestes et pour saisir de petits objets légers. Sa géométrie est définie à l’aide de données anthropométriques. Sa cinématique est simplifiée par rapport à la main humaine pour réduire le nombre d’actionneurs tout en respectant ses exigences fonctionnelles. La main préserve son anthropomorphisme grâce aux nombres et au placement de la base des doigts et à une bonne opposabilité du pouce. La mécatronique de la main repose sur un compromis entre des phalanges couplés, qui permettent de bien connaître la posture des doigts pendant les gestes, et des phalanges capable de s’adapter à la forme des objets pendant la saisie, réunis en une conception hybride unique. Ce compromis est rendu possible grâce à deux systèmes d’actionnement distincts placés en parallèle. Leur coexistence est garantie par une transmission compliante basée sur des barres en élastomère. La solution proposée réduit significativement le poids et la taille de la main en utilisant sept actionneurs de faible puissance pour les gestes et un seul moteur puissant pour la saisie. Le système est conçue pour être embarqué sur Romeo, un robot humanoïde de1.4 [m] produit par Aldebaran. Les systèmes d’actionnements sont dimensionnés pour ouvrir et fermer les doigts en moins de 1 [s] et pour saisir une canette pleine de soda. La main est réalisée et contrôlée pour garantir une interaction sûre avec l’homme mais aussi pour protéger l’intégrité de la mécanique. Un prototype (ALPHA) est réalisé pour valider la conception et ses capacités fonctionnelles. / This thesis presents the design and control of a low-cost and lightweight robotic hand for a social humanoid robot. The hand is designed to perform expressive hand gestures and to grasp small and light objects. Its geometry follows anthropometric data. Its kinematics simplifies the human hand structure to reduce the number of actuators while ensuring functional requirements. The hand preserves anthropomorphism by properly placing five fingers on the palm and by ensuring an equilibrated thumb opposability. Its mechanical system results from the compromise between fully-coupled phalanges and self-adaptable fingers in a unique hybrid design. This answers the need for known finger postures while gesturing and for finger adaptation to different object shapes while grasping. The design is based on two distinct actuation systems embodied in parallel within the palm and the fingers. Their coexistence is ensured by a compliant transmission based on elastomer bars. The proposed solution significantly reduces the weightand the size of the hand by using seven low-power actuators for gesturing and a single high-power motor for grasping. The overall system is conceived to be embedded on Romeo, a humanoid robot 1.4 [m] tall produced by Aldebaran. Actuation systems are dimensioned to open and close the fingers in less than1 [s] and to grasp a full soda can. The hand is realized and controlled to ensure safe human-robot interaction and to preserve mechanical integrity. A prototype(ALPHA) is realized to validate the design feasibility and its functional capabilities.

The observations made in brain-lesioned patients and the result of functional brain imaging studies converge to the hypothesis that the posterior parietal cortex (PPC) is involved in calculation and number processing. However, if numerical disorders generally result from a left parietal lesion, the results of some brain imaging studies suggest that the right PPC could also play a role in number magnitude processing. In order to clarify this question, we used transcranial magnetic stimulation to induce a virtual lesion of the left or right PPC in healthy subjects while they performed number comparison. Our results show that the integrity of the left PPC is a necessary condition for the precise discrimination required during close number comparison; whereas the comparison of far numbers can be performed by either hemisphere as suggested by the fact that this task is affected only by the simultaneous virtual lesion of both hemispheres. In order to better identify which processes underlie the numerical competence of the PPC, we then studied the possible interactions between number processing and visuo-motor functions. Indeed, a meta-analysis performed on functional imaging data revealed that number processing depends on parietal regions, but also on certain premotor areas, which are very close to those involved in the control of finger movements. In a first series of experiments, we thus observed an excitability increase in motor circuits during the enumeration of dots presented on a computer screen. Given that the counting task was performed with both hands at rest, this increase was interpreted as reflecting the mental simulation of pointing movements or sequential finger rising as counting goes on. In a second series of experiments, we showed that information related to number magnitude could interfere with the aperture of the finger grip required to grasp an object. These results suggest that the conformation of the hand to object size shares, with the representation of numbers, common processes for magnitude estimate. In conclusion, our thesis supports the hypothesis that our numerical capacities rely, at least partially, on visuo-motor functions involving the PPC; this could explain why the numerical capacities of the left hemisphere, which is dominant for motor activities, are more precise. / Les observations réalisées chez les patients cérébrolésés ainsi que le résultat des études d'imagerie cérébrale fonctionnelle convergent vers l'hypothèse selon laquelle le cortex pariétal postérieur (CPP) est impliqué dans le traitement des nombres et le calcul. Cependant, si les troubles du calcul résultent le plus souvent d'une lésion pariétale gauche, les résultats de certaines études d'imagerie fonctionnelle suggèrent que le CPP droit pourrait également jouer un rôle dans le traitement de la magnitude des nombres. Afin de clarifier cette question, nous avons utilisé la stimulation magnétique transcrânienne pour induire une lésion virtuelle du CPP gauche ou droit chez des sujets sains réalisant une tâche de comparaison de nombres. Nos résultats montrent que l'intégrité du CPP gauche est une condition nécessaire à la discrimination précise requise lors de la comparaison de nombres proches; la comparaison de nombres éloignés peut, quant à elle, être réalisée par l'un ou l'autre hémisphère comme le suggère le fait que cette tâche n'est affectée que par lésion virtuelle simultanée des deux hémisphères. Afin de mieux appréhender les processus sur lesquels s'appuient les compétences numériques du CPP, nous avons ensuite étudié les interactions possibles entre le traitement des nombres et les fonctions visuo-motrices. En effet, une méta-analyse réalisée sur des données d'imagerie fonctionelle a révélé que le traitement des nombres dépend de régions pariétales, mais également de certaines aires prémotrices, proches de celles impliquées dans le contrôle des mouvements des doigts. Dans une première série d'expériences, nous avons ainsi observé une augmentation de l'excitabilité des circuits moteurs lors du comptage de points présentés sur l'écran d'un ordinateur. Etant donné que la tâche de comptage était réalisée avec les mains au repos, cette augmentation a été interprétée comme le reflet d'une simulation mentale de mouvements de pointage ou d'extension séquentielle des doigts pendant le comptage. Dans une deuxième série d'expériences, nous avons montré que l'information relative à la magnitude des nombres pouvait interférer avec l'ouverture de la pince bidigitale requise pour saisir un objet. Ces résultats suggèrent que la conformation de la main adaptée à la taille des objets partage, avec la représentation des nombres, des processus communs d'estimation de la magnitude. En conclusion, notre travail supporte l'hypothèse selon laquelle nos capacités numériques pourraient, en partie du moins, reposer sur des fonctions visuo-motrices impliquant le CPP ; ceci pourrait expliquer pourquoi les capacités numériques de l'hémisphère gauche, dominant pour les activités motrices, sont plus précises.

The observations made in brain-lesioned patients and the result of functional brain imaging studies converge to the hypothesis that the posterior parietal cortex (PPC) is involved in calculation and number processing. However, if numerical disorders generally result from a left parietal lesion, the results of some brain imaging studies suggest that the right PPC could also play a role in number magnitude processing. In order to clarify this question, we used transcranial magnetic stimulation to induce a virtual lesion of the left or right PPC in healthy subjects while they performed number comparison. Our results show that the integrity of the left PPC is a necessary condition for the precise discrimination required during close number comparison; whereas the comparison of far numbers can be performed by either hemisphere as suggested by the fact that this task is affected only by the simultaneous virtual lesion of both hemispheres. In order to better identify which processes underlie the numerical competence of the PPC, we then studied the possible interactions between number processing and visuo-motor functions. Indeed, a meta-analysis performed on functional imaging data revealed that number processing depends on parietal regions, but also on certain premotor areas, which are very close to those involved in the control of finger movements. In a first series of experiments, we thus observed an excitability increase in motor circuits during the enumeration of dots presented on a computer screen. Given that the counting task was performed with both hands at rest, this increase was interpreted as reflecting the mental simulation of pointing movements or sequential finger rising as counting goes on. In a second series of experiments, we showed that information related to number magnitude could interfere with the aperture of the finger grip required to grasp an object. These results suggest that the conformation of the hand to object size shares, with the representation of numbers, common processes for magnitude estimate. In conclusion, our thesis supports the hypothesis that our numerical capacities rely, at least partially, on visuo-motor functions involving the PPC; this could explain why the numerical capacities of the left hemisphere, which is dominant for motor activities, are more precise. / Les observations réalisées chez les patients cérébrolésés ainsi que le résultat des études d'imagerie cérébrale fonctionnelle convergent vers l'hypothèse selon laquelle le cortex pariétal postérieur (CPP) est impliqué dans le traitement des nombres et le calcul. Cependant, si les troubles du calcul résultent le plus souvent d'une lésion pariétale gauche, les résultats de certaines études d'imagerie fonctionnelle suggèrent que le CPP droit pourrait également jouer un rôle dans le traitement de la magnitude des nombres. Afin de clarifier cette question, nous avons utilisé la stimulation magnétique transcrânienne pour induire une lésion virtuelle du CPP gauche ou droit chez des sujets sains réalisant une tâche de comparaison de nombres. Nos résultats montrent que l'intégrité du CPP gauche est une condition nécessaire à la discrimination précise requise lors de la comparaison de nombres proches; la comparaison de nombres éloignés peut, quant à elle, être réalisée par l'un ou l'autre hémisphère comme le suggère le fait que cette tâche n'est affectée que par lésion virtuelle simultanée des deux hémisphères. Afin de mieux appréhender les processus sur lesquels s'appuient les compétences numériques du CPP, nous avons ensuite étudié les interactions possibles entre le traitement des nombres et les fonctions visuo-motrices. En effet, une méta-analyse réalisée sur des données d'imagerie fonctionelle a révélé que le traitement des nombres dépend de régions pariétales, mais également de certaines aires prémotrices, proches de celles impliquées dans le contrôle des mouvements des doigts. Dans une première série d'expériences, nous avons ainsi observé une augmentation de l'excitabilité des circuits moteurs lors du comptage de points présentés sur l'écran d'un ordinateur. Etant donné que la tâche de comptage était réalisée avec les mains au repos, cette augmentation a été interprétée comme le reflet d'une simulation mentale de mouvements de pointage ou d'extension séquentielle des doigts pendant le comptage. Dans une deuxième série d'expériences, nous avons montré que l'information relative à la magnitude des nombres pouvait interférer avec l'ouverture de la pince bidigitale requise pour saisir un objet. Ces résultats suggèrent que la conformation de la main adaptée à la taille des objets partage, avec la représentation des nombres, des processus communs d'estimation de la magnitude. En conclusion, notre travail supporte l'hypothèse selon laquelle nos capacités numériques pourraient, en partie du moins, reposer sur des fonctions visuo-motrices impliquant le CPP ; ceci pourrait expliquer pourquoi les capacités numériques de l'hémisphère gauche, dominant pour les activités motrices, sont plus précises.

Today, most robots used in the industry are preprogrammed and require a welldefined and controlled environment. Reprogramming such robots is often a costly process requiring an expert. By enabling robots to learn tasks from human demonstration, robot installation and task reprogramming are simplified. In a longer time perspective, the vision is that robots will move out of factories into our homes and offices. Robots should be able to learn how to set a table or how to fill the dishwasher. Clearly, robot learning mechanisms are required to enable robots to adapt and operate in a dynamic environment, in contrast to the well defined factory assembly line. This thesis presents contributions in the field of robot task learning. A distinction is made between direct and indirect learning. Using direct learning, the robot learns tasks while being directly controlled by a human, for example in a teleoperative setting. Indirect learning, however, allows the robot to learn tasks by observing a human performing them. A challenging and realistic assumption that is decisive for the indirect learning approach is that the task relevant objects are not necessarily at the same location at execution time as when the learning took place. Thus, it is not sufficient to learn movement trajectories and absolute coordinates. Different methods are required for a robot that is to learn tasks in a dynamic home or office environment. This thesis presents contributions to several of these enabling technologies. Object detection and recognition are used together with pose estimation in a Programming by Demonstration scenario. The vision system is integrated with a localization module which enables the robot to learn mobile tasks. The robot is able to recognize human grasp types, map human grasps to its own hand and also evaluate suitable grasps before grasping an object. The robot can learn tasks from a single demonstration, but it also has the ability to adapt and refine its knowledge as more demonstrations are given. Here, the ability to generalize over multiple demonstrations is important and we investigate a method for automatically identifying the underlying constraints of the tasks. The majority of the methods have been implemented on a real, mobile robot, featuring a camera, an arm for manipulation and a parallel-jaw gripper. The experiments were conducted in an everyday environment with real, textured objects of various shape, size and color. / QC 20100706