La presente Tesis Doctoral tiene como objetivo general el empleo de sistemas sensoriales de visión y fuerza conjuntamente para realizar el guiado de robots en aquellas tareas en las que no solo se requiere controlar la trayectoria del robot sino también su interacción con el entorno. Para ello, en primer lugar se describe un nuevo método para el seguimiento de trayectorias empleando visión artificial denominado control visual basado en flujo de movimiento . Este sistema salva las limitaciones de los métodos existentes hasta la actualidad para el seguimiento de trayectorias basados en control visual, permitiendo realizar un seguimiento independientemente del tiempo, ajustable en precisión y velocidad, y garantizando un correcto comportamiento tanto en la imagen como en el espacio 3-D. Seguidamente se extiende este método al caso en el que el objeto del cual se extrae la información visual se encuentre en movimiento, mostrando una metodología para la estimación de dicho movimiento y su inclusión en la estrategia de seguimiento de trayectorias . Asimismo, se introducen las consideraciones necesarias para permitir el seguimiento ante oclusiones temporales. A continuación se describe una nueva estrategia para la combinación de la información procedente de los sensores visual y de fuerza. Para ello, se combina la información procedente de un sistema de control visual basado en flujo de movimiento con la de uno de control de fuerza permitiendo controlar conjuntamente el seguimiento de la trayectoria y su interacción con el entorno. Se aplica esta estrategia a entornos no estructurados, por lo tanto, se requiere un reconocimiento previo del objeto con el que interactúa el robot para garantizar la coherencia entre las informaciones obtenidas de ambos sistemas sensoriales. Asimismo, se muestra que resulta fundamental el presentar un comportamiento intemporal para garantizar un correcto seguimiento. A lo largo de la Tesis Doctoral se muestran distintos casos prácticos con los que se avalan las aportaciones realizadas. / This PhD Thesis focuses on the joint use of visual and force systems to guide robots in tasks which require not only a control of the trajectory but also of robot's interaction with its setting. First, a new trajectory tracking method which employs computer vision, called movement flow-based visual servoing, is described. This system avoids the limitations of other existing methods in tracking trajectories based on visual servoing, allowing a non-time-dependent tracking whose precision and velocity can be adjusted, and which guarantees the correct behaviour of both the image and the 3-D space. The method is then extended to the case where the object from which visual information is taken, is in movement . To do so, a methodology for estimatiog such movement and including this estimation in the tracking strategy, is shown. Likewise, the necessary considerations for tracking in the face of temporary occlusions, are also explained. A new strategy for combining the information taken from the visual and force sensors is then described. To do so, the information from a movement flow-based visual servoing system is combined with that from a force control system, which allows the joint control of the tracking and the robot's interaction with its surroundings . This strategy is applied here to non-structured settings and, therefore, requires previous knowledge about the object with which the robot interacts, in order to guarantee the coherence between the two sets of information obtained from both sensorial systems. It is also shown that non-time-dependent behaviour is indispensable in order to guarantee a correct tracking. Throughout this Doctoral Thesis, different practical cases are presented, which support the contributions.

Esta Tesis doctoral está orientada al estudio de estrategias y técnicas para el tratamiento de oclusiones. Las oclusiones suponen uno de los principales problemas en la percepción de una escena mediante visión por computador. Las condiciones de luz, los puntos de vista con los que se captura información de la escena, las posiciones y orientaciones de los objetos presentes en la escena son algunas de las causas que provocan que los objetos puedan quedar ocluidos parcialmente. Las investigaciones expuestas en esta Tesis se pueden agrupar en función de su objetivo en dos grupos: técnicas cuya finalidad es detectar la presencia de oclusiones y estrategias que permiten mejorar la percepción de un sistema de visión por computador, aun en el caso de la presencia de oclusiones. En primer lugar, se han desarrollado una serie de técnicas orientadas a la detección de oclusiones a partir de procesos de extracción de características y de segmentación color en imágenes. Estas técnicas permiten definir qué regiones en la imagen son susceptibles de considerarse zonas de oclusión, debido a una mala percepción de la escena, como consecuencia de observarla con un mal punto de vista. Como aplicación de estas técnicas se han desarrollado algoritmos basados en la segmentación color de la imagen y en la detección de discontinuidades mediante luz estructurada. Estos algoritmos se caracterizan por no incluir conocimiento previo de la escena. En segundo lugar, se han presentado una serie de estrategias que permiten corregir y/o modificar el punto de vista de la cámara con la que se observa la escena. De esta manera, las oclusiones identificadas, mediante los métodos expuestos en la primera parte de la Tesis, y que generalmente son debidas a una mala localización de la cámara pueden ser eliminadas o atenuadas cambiando el punto de vista con el que se produce la observación. En esta misma línea se presentan dos estrategias para mejorar la posición y orientación espacial de la cámara cuando ésta se emplea para la captura de imágenes en procesos de reconocimiento. La primera de ellas se basa en la retroproyección de características obtenidas de una imagen real, a partir de una posición cualquiera, en imágenes virtuales correspondientes a las posibles posiciones que puede adoptar la cámara. Este algoritmo lleva a cabo la evaluación de un mapa de distancias entre estas características buscando en todo momento, maximizar estas distancias para garantizar un mejor punto de vista. La ventaja radica en que en ningún caso se hace necesario mover la cámara para determinar una nueva posición que mejore la percepción de la escena. La segunda de estas estrategias, busca corregir la posición de la cámara buscando la ortogonalidad. En este caso, se ha partido de la hipótesis inicial de que la mayor superficie visible siempre se suele conseguir situando la cámara ortogonalmente al plano en el que se sitúa el objeto.

La Tesis que se presenta es una respuesta que tiene sus orígenes en los cambios que se han ido sucediendo en los últimos años tanto en el contexto universitario como en el no universitario. Estos cambios han originado una mayor reflexión en la importancia de los procesos de enseñanza y aprendizaje y la necesidad de su adaptación a las necesidades del alumnado por su constatada y reconocida heterogeneidad y diversidad que caracteriza a cualquier contexto educativo de las diferentes etapas educativas. El profesorado universitario, abocado en la docencia y en la investigación de nuevos procesos de enseñanza y aprendizaje, está obligado a trasladar y a incardinar todo su trabajo en dar respuesta a estas demandas actuales. Desde esta perspectiva de asumir propuestas de investigación interdisciplinares y aplicativas a entornos educativos universitarios y no universitarios se considera, en la Tesis que se presenta, uno de los desafíos más complejos del sistema educativo actual: la respuesta educativa a la diversidad. Para ello, la unión de los supuestos teórico-prácticos procedentes de la pedagogía y didáctica, en el ámbito de la educación especial, y los recursos tecnológicos provenientes de la tecnología virtual y robótica van a dar respuesta a las cuestiones de investigación planteadas. Una vez realizada una revisión de la literatura e investigaciones sobre la temática de la Tesis, a continuación se describe la utilización de realidad virtual inmersiva para la mejora de las funciones ejecutivas y competencias sociales y emocionales del alumnado con síndrome de Asperger. Se hace uso de realidad virtual inmersiva debido a la versatilidad de posibilidades que presenta, el realismo y su adaptación a las necesidades del alumnado. La realidad virtual inmersiva permitirá programar tareas totalmente estructuradas, concretas con instrucciones individuales desde un entorno de aprendizaje eminentemente visual, estrategias didácticas, todas ellas, esenciales para el estilo cognitivo del alumnado con síndrome de Asperger. El objetivo general que se ha planteado en esta Tesis es aplicar una serie de entornos visuales inmersivos que representan contextos sociales y educativos para que el alumnado con síndrome de Asperger pueda practicar y mejorar sus habilidades sociales y emocionales a través de una serie de protocolos de tareas. En la presente Tesis se proponen estos protocolos de tareas que se han aplicado a grupos de alumnos con síndrome de Asperger y en los que se ha constatado una mejora en sus competencias ejecutivas y emocionales. Además, se ha constatado una transferencia a la realidad de los aprendizajes entrenados en los entornos inmersivos. Con el objetivo de dar mayor realismo a los entornos inmersivos, en la presente Tesis se propone un sistema de visión artificial así como un sistema de control visual. El primero de ellos, lleva a cabo un filtrado de la información visual obtenida con el objetivo de que el controlador visual sea capaz de, no sólo realizar el guiado de un robot empleando información visual ruidosa, sino también determinar si las medidas se ajustan al modelo de movimiento propuesto por el filtro. Esta aproximación se emplea para determinar cuando el alumno Asperger realiza ciertos patrones de movimiento que han de ser detectados como acciones anómalas. El uso de este sistema de visión ha permitido que el sistema de realidad virtual inmersiva reconozca automáticamente las expresiones del alumno Asperger con lo que es capaz de actualizar el escenario inmersivo de acuerdo a las expresiones realizadas. Esto último permite, no sólo personalizar los escenarios inmersivos, sino también dar un mayor realismo al entorno, aspecto que es crucial para la correcta transferencia a la realidad de los aprendizajes. Además, se define un controlador capaz de realizar el correcto seguimiento de trayectorias en la imagen cuando se obtiene una medida ruidosa de las características visuales. El controlador propuesto junto al proceso de filtrado es capaz de compensar el ruido obteniendo una rápida respuesta y un comportamiento suave a nivel articular. Todos los desarrollos relativos al sistema de control visual se han integrado en un robot de 7 grados de libertad.

En la tesis se aborda el estudio de las técnicas de Control Adaptativo, así como de los algoritmos necesarios para el diseño de un controlador de este tipo y de los requerimientos que se deben cumplir en la implementación del mismo en el caso monovariable. En la tesis se incluye, además de una introducción al diseño e implementación de los sistemas de control adaptativo, la presentación de una serie de algoritmos de control determinista (entre ellos figuran: control robusto, control predictivo.) de identificación (mínimos cuadrados) y de supervisión (de la estimación de parámetros, de diseño del controlador y del comportamiento en bucle cerrado).En cada caso se incluyen simulaciones o control en tiempo real con plantas externas al computador para probar métodos de diseño propuestos, como en el caso del control robusto, métodos de supervisión del control adaptativo para la resolución de problemas en la identificación y el diseño..., así como realizar comparaciones entre los mismos.Se incluyen asimismo técnicas de filtrado de perturbaciones, filtrado de outliers o implicaciones aritméticas, entre otras, para la resolución de problemas de interface o implementación que se pueden presentar.

This Thesis presents an optimal framework with dynamic perceptibility and chaos compensation for the control of robot manipulators. The fundamental objective of this framework is to obtain a variety of control laws for implementing dynamic visual servoing systems. In addition, this Thesis presents different contributions like the concept of dynamic perceptibility that is used to avoid image and robot singularities, the framework itself, that implements a delayed feedback controller for chaos compensation, and the extension of the framework for space robotic systems. Most of the image-based visual servoing systems implemented to date are indirect visual controllers in which the control action is joint or end-effector velocities to be applied to the robot in order to achieve a given desired location with respect to an observed object. The direct control of the motors for each joint of the robot is performed by the internal controller of the robot, which translates these velocities into joint torques. This Thesis mainly addresses the direct image-based visual servoing systems for trajectory tracking. In this case, in order to follow a given trajectory previously specified in the image space, the control action is defined as a vector of joint torques. The framework detailed in the Thesis allows for obtaining different kind of control laws for direct image-based visual servoing systems. It also integrates the dynamic perceptibility concept into the framework for avoiding image and robot singularities. Furthermore, a delayed feedback controller is also integrated so the chaotic behavior of redundant systems is compensated and thus, obtaining a smoother and efficient movement of the system. As an extension of the framework, the dynamics of free-based space systems is considered when determining the control laws, being able to determine trajectories for systems that do not have the base attached to anything. All these different steps are described throughout the Thesis. This Thesis describes in detail all the calculations for developing the visual servoing framework and the integration of the described optimization techniques. Simulation and experimental results are shown for each step, developing the controllers in an FPGA for further optimization, since this architecture allows to reduce latency and can be easily adapted for controlling of any joint robot by simply modifying certain modules that are hardware dependents. This architecture is modular and can be adapted to possible changes that may occur as a consequence of the incorporation or modification of a control driver, or even changes in the configuration of the data acquisition system or its control. This implementation, however, is not a contribution of this Thesis, but is necessary to briefly describe the architecture to understand the framework’s potential. These are the main objectives of the Thesis, and two robots where used for experimental results. A commercial industrial seven-degrees-of-freedom robot: Mitsubishi PA10, and another three-degrees-of-freedom robot. This last one’s design and implementation has been developed in the research group where the Thesis is written.

En esta Tesis se presenta una arquitectura innovadora para el control de tareas de manipulación de objetos deformables, usando sistemas robóticos compuestos por brazos articulados y manos humanoides. Esta arquitectura se basa principalmente en información sensorial obtenida desde sensores táctiles con los que se ha equipado a las manos robóticas. El principal objetivo del desarrollo de las técnicas que se describirán en esta memoria es obtener un sistema fiable, aplicable, y adaptable. Para que el sistema sea fiable, éste ha de ofrecer una respuesta correcta en ejecución continua durante su aplicación. La aplicabilidad del sistema se plantea también como un objetivo principal, ya que se desea que los algoritmos desarrollados puedan ser utilizados en usos reales de aplicación de manipulación robótica de objetos deformables. Por último, se plantea como objetivo principal del sistema la adaptabilidad, es decir, que el sistema desarrollado pueda aplicarse tanto con distintos tipos de elementos (robots, manos robóticas y sensores táctiles), como con distintos tipos de objetos deformables. La manipulación de objetos deformables es aún un reto abierto en el campo de la manipulación robótica. En la manipulación robótica de objetos rígidos, el modelado y cálculo de fuerzas y velocidades de interacción entre objeto y elemento prensor normalmente resultan viables. Sin embargo, cuando se trata de objetos deformables con múltiples grados de deformación, la complejidad de los modelados y cálculos aumenta considerablemente. Muchos han sido los trabajos presentados en los que se estudia el control de la manipulación de objetos deformables usando técnicas de control basadas en el modelado de los objetos y el cálculo de las fuerzas de interacción. Dichos trabajos usan versiones adaptadas de las leyes dinámicas que rigen la interacción entre dos objetos rígidos, incluyendo conceptos como el rango limitado de fuerzas aplicadas. Estas técnicas son muy precisas cuando se utilizan en entornos estructurados, pero no resultan viables cuando se intentan aplicar en entornos no estructurados o con múltiples tipos de objetos a tratar, para los que no se dispone de un modelo físico. Como respuesta al principal problema que ofrecen los sistemas de manipulación basados en utilización de modelos dinámicos, su falta de adaptabilidad, en esta Tesis se ofrece una visión alternativa para afrontar el reto de manipular objetos deformables, en la que el sistema no depende de tener previamente un modelo del objeto que va a usar. De esta manera se consigue un sistema ágil y adaptable que puede operar con una gran diversidad de objetos aun cuando el modelado no existe o es inapropiado. Esto se consigue controlando el sistema usando únicamente información interna de posicionamiento articular de los dedos y el brazo, e información de sensores táctiles colocados en las manos robóticas. El sistema se ha basado en el comportamiento humano para manipular objetos. El ser humano utiliza principalmente información táctil combinada con el propio conocimiento del posicionamiento y movimientos de los dedos de las manos para conocer cómo se deforma un objeto y si este se agarra con estabilidad o se producen deslizamientos entre mano y objeto. La arquitectura propuesta se ha organizado en tres niveles: agarre y exploración táctil, control táctil y planificación de tareas. El primer nivel se corresponde a la primera interacción entre mano y objeto, donde se establecen los puntos de contacto idóneos para realizar el agarre en función de la forma del objeto, y se incorpora además un procedimiento de exploración del objeto para analizar su rigidez combinando información táctil con información de desplazamiento de los dedos. De esta manera, se obtiene en la propia tarea de manipulación una descripción simplificada del objeto, sin tener que recurrir a un estudio dinámico previo del mismo. El segundo nivel se corresponde con el control de los dedos en función de la información táctil obtenida durante toda la tarea de manipulación, que permite tanto evitar deslizamientos y pérdida de contacto con el objeto, como producir deformaciones locales en él. En este nivel se presenta el concepto innovador de control táctil aplicado a los dedos de manos humanoides. Se describe también el concepto de imágenes táctiles, usadas para encapsular información táctil proveniente de distintos tipos de sensores en una misma representación escalada. Esta representación permite identificar el estado de las configuraciones de contacto, y por lo tanto utilizar el control táctil en función de las variaciones que se vayan produciendo en ellas. Por último, al nivel más alto, se presenta el método de planificación de tareas propuesto. Este método se basa en los niveles anteriores, que dan información descriptiva del objeto usado y de la configuración de contactos. Se divide en dos partes, un planificador global que establece movimientos de brazo y mano para realizar las trayectorias deseadas para llevar a cabo una tarea, y un planificador local que se encarga de controlar la interacción entre cada uno de los dedos y el objeto, previniendo la pérdida de contacto y aplicando deformaciones locales cuando la tarea lo requiere. La Tesis se ha organizado acordemente a la estructura descrita anteriormente. El primer Capítulo incluye una introducción de los objetivos, ámbito y motivación de la Tesis. En el segundo Capítulo se describe el mecanismo de agarre y exploración propuesto. Se hace además en este Capítulo un repaso sobre el estado del arte en técnicas de agarre y modelado, y una descripción de los principales conceptos relacionados con el agarre (matriz de agarre, modelado y medidas de calidad). En el tercer Capítulo se describe el sistema de control táctil propuesto y el uso de imágenes táctiles. Se añade además un repaso histórico sobre técnicas de control en la manipulación de objetos y tecnologías relacionadas con los sensores táctiles. El Capítulo cuarto describe el planificador propuesto, tanto a nivel local como a nivel global. En este Capítulo se presenta también un repaso histórico sobre técnicas de planificación en la manipulación de objetos, tanto usando un sistema uni-manual como un sistema bi-manual. Se incluye además un análisis sobre el comportamiento dinámico de objetos deformables, que se usa como base en la planificación de las tareas para provocar deformación. Los tres Capítulos que forman el núcleo de la Tesis, contienen una sección de pruebas en las que se justifica la utilización de los métodos propuestos en casos reales de aplicación y se demuestra la viabilidad del sistema. La Tesis se completa con un Capítulo final de conclusiones, resumen y enumeración de las publicaciones relacionadas con las aportaciones comentadas anteriormente.

We still struggle to deliver autonomous robots that perform manipulation tasks as simple for a human as picking up items. A portion of the difficulty of this task lays on the fact that such operation requires a robot that can deal with uncertainty in an unstructured environment. We propose in this thesis the use of visual and tactile perception for providing solutions that can improve the robustness of a robotic manipulator in such environment. In this thesis, we approach robotic grasping using a single 3D point cloud with a partial view of the objects present in the scene. Moreover, the objects are unknown: they have not been previously recognised and we do not have a 3D model to compute candidate grasping points. In experimentation, we prove that our solution is fast and robust, taking in average 17 ms to find a grasp which is stable 85% of the time. Tactile sensors provide a rich source of information regarding the contact experienced by a robotic hand during the manipulation of an object. In this thesis, we exploit with deep learning this type of data for approaching the prediction of the stability of a grasp and the detection of the direction of slip of a contacted object. We prove that our solutions could correctly predict stability 76% of the time with a single tactile reading. We also demonstrate that learning temporal and spatial patterns leads to detections of the direction of slip which are correct up to 82% of the time and are only delayed 50 ms after the actual slip event begins. Despite the good results achieved on the previous two tactile tasks, this data modality has a serious flaw: it can only be registered during contact. In contrast, humans can estimate the feeling of grasping an object just by looking at it. Inspired by this, we present in this thesis our contributions for learning to generate tactile responses from vision. We propose a supervised solution based on training a deep neural network that models the behaviour of a tactile sensor, given 3D visual information of the target object and grasp data as an input. As a result, our system has to learn to link vision to touch. We prove in experimentation that our system learns to generate tactile responses on a set of 12 items, being off by only 0.06 relative error points. Furthermore, we also experiment with a semi-supervised solution for learning this task with a reduced need of labelled data. In experimentation, we show that it learns our tactile data generation task with 50% less data than the supervised solution, incrementing only 17% the error. Last, we introduce our work in the generation of candidate grasps which are improved through simulation of the tactile responses they would generate. This work unifies the contributions presented in this thesis, as it applies modules on calculating grasps, stability prediction and tactile data generation. In early experimentation, it finds grasps which are more stable than the original ones produced by our method based on 3D point clouds. / This doctoral thesis has been carried out with the support of the Spanish Ministry of Economy, Industry and Competitiveness through the grant BES-2016-078290.

Las misiones espaciales actuales y futuras no se entienden sin la utilización de robots. Es dentro de este ámbito general en el que se plantea la presente Tesis Doctoral, con el propósito de proponer tecnologías para el control y guiado de robots en órbita que les permita desarrollar las misiones en las que están actualmente implicados y en las que, sin duda, estarán en un futuro próximo. Para la implementación y simulación de los distintos algoritmos y controladores propuestos se ha implementado un framework basado en ROS denominado OnOrbitROS. Este entorno extiende las capacidades de ROS para permitir la simulación de sistemas robóticos espaciales en órbita. Tras definir y validar esta herramienta se han realizado distintas aportaciones tanto para la planificación como para el control de robots espaciales en órbita. Estas aportaciones se han aplicado tanto a sencillos manipuladores en libre flotación como a complejos robots humanoides guiados empleando realimentación sensorial procedente de cámaras y sensores de fuerza. Así, se ha propuesto un algoritmo de planificación para robots en órbita capaz de generar de forma automática los movimientos que ha de describir un robot para alcanzar un determinado objetivo. Este algoritmo, basado en optimización, definirá las trayectorias de las articulaciones o del efector final del robot. Tras proponer este algoritmo se ha trabajado en la propuesta de controladores con el propósito de realizar el seguimiento de las trayectorias definidas. Se han propuesto nuevos controladores con distintas propiedades, aplicaciones y características dinámicas cuyos resultados avalan su aplicación en robots de estas características. Cabe destacar, por ejemplo, la definición de ontroladores basados en optimización, controladores con realimentación visual y fuerza, controladores basados en velocidad, fuerza o aceleración, etc. A lo largo de la Tesis se exponen cada uno de estos controladores, se describen sus características y aplicaciones, y se muestra su desempeño en la realización de tareas típicas desarrolladas por estos robots en órbita.

Esta tesis presenta una nueva perspectiva para abordar el problema del desensamblado no destructivo de un producto. Se plantea, para llevar a cabo las tareas necesarias, un sistema flexible de desensamblado automático. Este sistema utiliza una representación de los productos basada en una jerarquización de los componentes que los forman; para generar, basándose en dicha jerarquía, la secuencia de componentes a separar, que permiten desensamblar el componente o el conjunto de componentes deseado. Dicha secuencia se genera en función de una serie de acciones que dependen de las relaciones existentes entre los componentes. Para cada componente de la secuencia se calcula: cuál es la trayectoria de movimientos que debe seguir para separarse del resto; incluyendo, en el cálculo de esta trayectoria, el robot que realiza el desensamblado. Los movimientos se calculan utilizando un modelo geométrico de los componentes. Una vez generada esta información, se fusiona en un sistema real, utilizando un sistema de visión artificial para el reconocimiento y localización de los componentes, gracias al cual se aporta flexibilidad al sistema de desensamblado. Por último se presenta el funcionamiento de la célula flexible de desensamblado sobre un sistema real; basada en un brazo robot con cinco grados de libertad, y se evalúa sobre dos tipos distintos de PC’s: uno sobremesa y otro semitorre. / This PhD thesis presents a new perspective for approaching the problem of the non-destructive disassembly of a product. A representation of the products, based on a hierarchy of its components is considered here to carry out the require tasks. This generated the disassembly sequence for the components that are to be removed, which permits the disassembly of the required component or set of components. This sequence is generated considering a series of actions that depends on the relationships that exists among the different components. For each component in the sequence, the trajectory of movements that should be follow for the removal of the reaming components is calculated, including the robot that carries out the disassembly, in the calculation of the trajectory. The movements are calculated using a geometric model of the components. One this information has been generated, it is merged into a real system, using an artificial vision system to recognize and located the components, from which the disassembly system gets its flexibility. Finally, the behaviour of the flexible disassembly cell is presented within a real system, using this cell to carry out the disassembly of two different types of PCs, a desktop and a upright, by means of a robot arm with five degrees of freedom.

No description available.