Magíster en Ciencias de la Ingeniería, Mención Eléctrica. Ingeniero Civil Eléctrico / Esta tesis se enfoca en la interfaz hombre máquina (Human-Machine Interface) de un sistema de Teleoperación Bilaterial, con el objetivo de mejorar la experiencia del operador, incrementando la eficiencia y calidad del trabajo realizado por el robot controlado por el usuario. Se propone un sistema de teleoperación basado en la tecnología háptica, la cual entrega al usuario información del entorno de trabajo del robot a través del sentido del tacto además de la información tradicional entregada a través del sentido de la vista. Con un dispositivo de control háptico el usuario es capaz de percibir los relieves y formas de los objetos que rodean al robot. Para concretar el desarrollo de la teleoperación háptica, se implementa un método de cálculo de fuerza de retroalimentación utilizando la Point Cloud obtenida desde el entorno de operación del robot. En la teleoperación tradicional, el usuario sólo es asistido por las imágenes de las cámaras ubicadas en el sitio de operación. Con la metodología propuesta, el operador puede tomar mejores decisiones ya que además de la información visual, posee la información táctil. La hipótesis de este trabajo es que la teleoperación háptica permite al operador controlar un brazo robótico con mayor precisión, comparando su desempeño con una teleoperación no háptica. La retroalimentación háptica en el dispositivo de control permite evitar movimientos indeseados con el robot, y por lo tanto previene colisiones. En el sistema de teleoperación propuesto, el brazo robótico tiene sujeto una cámara RGB-D cerca del efector, con lo cual se obtienen imágenes 3D del ambiente desde diferentes ángulos. El movimiento del efector del robot es controlado por el usuario a través del dispositivo háptico Phantom Omni, el cual está sujeto a las restricciones del algoritmo de proxy. Usando el algoritmo háptico, la información de posición del proxy y el movimiento requerido por el operador, se realiza el desplazamiento del efector del robot. El efector se mueve libremente cuando no hay obstáculos, pero al detectar una posible colisión emite una señal que activa en el dispositivo Phantom Omni una fuerza de retroalimentación para el usuario, quien percibe la repulsión del objeto presente en el ambiente real del robot. La validación experimental de la metodología de teleoperación propuesta, consiste en la realización de pruebas de seguimiento de trayectoria por 20 operadores humanos voluntarios, utilizando el efector del robot industrial KUKA y un panel de pruebas. Los operadores deben completar las pruebas de seguimiento mediante el uso de retroalimentación háptica y también en la ausencia de esta. Además, se les pide completar estas tareas usando dos modos de cinemática del robot. Para cada usuario voluntario se obtuvo el error de posición del efector del robot en cada sección de la trayectoria, se contabilizó la cantidad de correcciones de posición, cantidad de colisiones (fuertes y débiles), y además se obtuvo el tiempo requerido para completar la tarea. Los resultados obtenidos a partir del análisis estadístico de la validación experimental, confirman que con el método de teleoperación háptico (comparado con la teleoperación no háptica) se aumenta la precisión del operador en tareas de seguimiento de trayectoria. Este aumento en la precisión se refleja en la reducción del error promedio entre el desplazamiento ideal y el desplazamiento realizado por los usuarios, además de reducir el número de colisiones totales entre el efector del robot y el panel de pruebas. De esta manera, se confirma la hipótesis planteada, demostrando que al agregar el sentido háptico a sistemas de control bilaterales aumenta la precisión de teleoperación y se reducen los tiempos de entrenamiento que requieren los operadores para mover el robot real con éxito. / This thesis is focused on the Human-Machine Interface of a Bilateral Teleoperation System, the objective of which is to improve the operator experience via increasing the e ciency and quality of the teleoperated robot tasks. The teleoperation system proposed in this work uses haptic technology that provides the user with environmental information from the robot workspace via the senses of touch and sight, using the haptic device and a traditional screen. With the haptic control device, the user senses the reliefs and forms of the objects that surround the robot. To make this possible, it is necessary calculate the force feedback from the Point Cloud data of the robot workspace. Using traditional teleoperation systems, the user is only assisted by images from cameras located in the operation zone. On the other hand, with the proposed approach the operator can make better decisions with more information (haptic and visual) from the robot environment. The hypothesis of this work is that the haptic teleoperation gives the user a more precise control of the robotic arm compared to traditional non-haptic teleoperation. The haptic feedback in the control device avoids undesirable movements with the robotic arm and, therefore, prevents collisions. In the proposed teleoperation system, the robotic arm has a RGB-D camera near its end-e ector, enabling 3D images to be taken of the environment using di erent angles. The end-e ector movement is controlled by the user through the haptic device Phantom Omni and the proxy algorithm. Using the force feedback algorithm, the proxy position, and the required movement from the operator, the robot end-e ector can be moved. The end-e ector moves freely when no obstacles are detected, but when a possible collision is close, a signal is activated in the Phantom Omni, and the force is fed back to the user, who perceives the object repulsion from the real robot workspace. The experimental validation of the proposed methodology consists of follow path tasks in a test panel with 20 volunteers, using the end-e ector of an industrial robot KUKA. The operators must complete the follow path tasks with and without the force feedback. Furthermore, the users have to complete the tasks with two modes of robot cinematic control. For each user, the following are obtained: the e ector error position in every step of the trajectory, the total position corrections, the number of collisions (strong and weak), and nally the total time in completing the tasks. The results obtained from the statistical analysis of experimental validation con rm that using the method of haptic teleoperation instead of the non-haptic method increases the operator precision in a follow path task. This precision increment is observed in the mean error reduction between the ideal trajectory and the trajectory generated by the users, and decrease of the total number of collisions between the robot end-e ector and the test panel. The hypothesis is con rmed, proving that incorporating the touch sense to a bilateral teleoperation system increases the precision and decreases the training time required by the users for moving the robot in the real environment.

Monocular cues are spatial sensory inputs which are picked up exclusively from one eye. They are in majority static features that provide depth information and are extensively used in graphic art to create realistic representations of a scene. Since the spatial information contained in these cues is picked up from the retinal image, the existence of a link between it and the theory of direct perception can be conveniently assumed. According to this theory, spatial information of an environment is directly contained in the optic array. Thus, this assumption makes possible the modeling of visual perception processes through computational approaches. In this thesis, angular variation is considered as a monocular cue, and the concept of direct perception is adopted by a computer vision approach that considers it as a suitable principle from which innovative techniques to calculate spatial information can be developed. The expected spatial information to be obtained from this monocular cue is the position and orientation of an object with respect to the observer, which in computer vision is a well known field of research called 2D-3D pose estimation. In this thesis, the attempt to establish the angular variation as a monocular cue and thus the achievement of a computational approach to direct perception is carried out by the development of a set of pose estimation methods. Parting from conventional strategies to solve the pose estimation problem, a first approach imposes constraint equations to relate object and image features. In this sense, two algorithms based on a simple line rotation motion analysis were developed. These algorithms successfully provide pose information; however, they depend strongly on scene data conditions. To overcome this limitation, a second approach inspired in the biological processes performed by the human visual system was developed. It is based in the proper content of the image and defines a computational approach to direct perception. The set of developed algorithms analyzes the visual properties provided by angular variations. The aim is to gather valuable data from which spatial information can be obtained and used to emulate a visual perception process by establishing a 2D-3D metric relation. Since it is considered fundamental in the visual-motor coordination and consequently essential to interact with the environment, a significant cognitive effect is produced by the application of the developed computational approach in environments mediated by technology. In this work, this cognitive effect is demonstrated by an experimental study where a number of participants were asked to complete an action-perception task. The main purpose of the study was to analyze the visual guided behavior in teleoperation and the cognitive effect caused by the addition of 3D information. The results presented a significant influence of the 3D aid in the skill improvement, which showed an enhancement of the sense of presence. / Las señales monoculares son entradas sensoriales capturadas exclusivamente por un solo ojo que ayudan a la percepción de distancia o espacio. Son en su mayoría características estáticas que proveen información de profundidad y son muy utilizadas en arte gráfico para crear apariencias reales de una escena. Dado que la información espacial contenida en dichas señales son extraídas de la retina, la existencia de una relación entre esta extracción de información y la teoría de percepción directa puede ser convenientemente asumida. De acuerdo a esta teoría, la información espacial de todo le que vemos está directamente contenido en el arreglo óptico. Por lo tanto, esta suposición hace posible el modelado de procesos de percepción visual a través de enfoques computacionales. En esta tesis doctoral, la variación angular es considerada como una señal monocular, y el concepto de percepción directa adoptado por un enfoque basado en algoritmos de visión por computador que lo consideran un principio apropiado para el desarrollo de nuevas técnicas de cálculo de información espacial. La información espacial esperada a obtener de esta señal monocular es la posición y orientación de un objeto con respecto al observador, lo cual en visión por computador es un conocido campo de investigación llamado estimación de la pose 2D-3D. En esta tesis doctoral, establecer la variación angular como señal monocular y conseguir un modelo matemático que describa la percepción directa, se lleva a cabo mediante el desarrollo de un grupo de métodos de estimación de la pose. Partiendo de estrategias convencionales, un primer enfoque implanta restricciones geométricas en ecuaciones para relacionar características del objeto y la imagen. En este caso, dos algoritmos basados en el análisis de movimientos de rotación de una línea recta fueron desarrollados. Estos algoritmos exitosamente proveen información de la pose. Sin embargo, dependen fuertemente de condiciones de la escena. Para superar esta limitación, un segundo enfoque inspirado en los procesos biológicos ejecutados por el sistema visual humano fue desarrollado. Está basado en el propio contenido de la imagen y define un enfoque computacional a la percepción directa. El grupo de algoritmos desarrollados analiza las propiedades visuales suministradas por variaciones angulares. El propósito principal es el de reunir datos de importancia con los cuales la información espacial pueda ser obtenida y utilizada para emular procesos de percepción visual mediante el establecimiento de relaciones métricas 2D- 3D. Debido a que dicha relación es considerada fundamental en la coordinación visuomotora y consecuentemente esencial para interactuar con lo que nos rodea, un efecto cognitivo significativo puede ser producido por la aplicación de métodos de L estimación de pose en entornos mediados tecnológicamente. En esta tesis doctoral, este efecto cognitivo ha sido demostrado por un estudio experimental en el cual un número de participantes fueron invitados a ejecutar una tarea de acción-percepción. El propósito principal de este estudio fue el análisis de la conducta guiada visualmente en teleoperación y el efecto cognitivo causado por la inclusión de información 3D. Los resultados han presentado una influencia notable de la ayuda 3D en la mejora de la habilidad, así como un aumento de la sensación de presencia.

Human-machine interaction in teleoperation, through the adequate user interface, allows achieving the level of intelligence necessary to execute complex tasks that cannot be executed by machines or robots alone neither directly by humans. H-R interaction techniques facilitate the execution of such tasks making them more efficient and effective through the improvement of their user interface. Humans have inherent motor limitations (such as physiological tremor) and perceptive limitations (mainly perception of distance and time), which can prevent them from operating smoothly and precisely enough for certain applications. Some studies have already tackled this problem and its effect on the human-machine interaction and teleoperated systems. There are psychomotor models that show that the human manipulation efficiency, in actions such as pointing an object, depends on several factors. Among these models, the most representative corresponds to Fitts’ Law, in which the execution time is a logarithmic function of the size and distance to the object. In teleoperation, and based on these models, a modification of the visual scale in the user’s interface has a direct effect on the task execution time and on the precision that can be achieved. The same occurs with a change in the amplitude of the movement executed by the human operator with respect to that performed by the system. Therefore, scaling the movement between master and slave has a significant effect on the efficiency and effectiveness executing a task. This research work is oriented to the design and development of a method conceived to improve effectiveness thanks to a larger visual and motor efficiency of the human-machine interface. The method is based on the modification of the information flow between human, machine and interface by means of the scaling of both, the human movements and the image of the visualized task. Operation time, hand movements and the need for visual attention can thus be reduced with this computerized assistance. The changes of scale adapt to the task, which positively affects its performance in terms of precision and speed. Therefore, the proposed methodology aims to link the human operator working space to the machine or robot working space through an interface that introduces two scaling processes. A first change of scale is applied between the movement produced by the human operator and the movement produced in the visual interface (for instance, movement of the robot end-effector that is visualized on the computer screen); and a second change oriented to scale the real space of the task over the visual space of the interface. These changes of scale should be adjusted to the objects of interest, which result in a modification of the spatial resolution according to the task to be performed and to the size, shape distance and speed of the objects. Such changes modify the information flow between human and machine according to the characteristics and limitations of both. / La interacció persona-màquina en teleoperació, a través de la interfície d’usuari, permet aconseguir el nivell d’intel•ligència necessari per executar en cooperació tasques complexes que no poden ser realitzades per màquines o robots per si sols o directament per les persones. Les tècniques d’interacció faciliten el desenvolupament d’aquestes tasques fent-les mes eficients i eficaces, mitjançant la millora de qualsevol sistema que incorpori una interfície d’usuari. Les persones posseeixen limitacions motores inherents a la naturalesa humana (com la tremolor fisiològica) i limitacions perceptives (com la percepció de la distància o el temps) que impedeixen realitzar una operació suficientment suau i precisa en certes aplicacions. Alguns estudis tracten aquest fenomen i el seu efecte en els sistemes persona-màquina i sistemes teleoperats. Existeixen models psicomotors que mostren que la eficiència de la manipulació humana en la selecció d’un objecte depèn de determinats factors. Entre aquests models, el més representatiu correspon a la Llei de Fitts, in on el temps d’execució es una funció logarítmica de la mida i la distancia al objecte. En teleoperació, i en base a aquests models psicomotors, es demostra que una modificació en l’escala visual de la interfície té un efecte directe en el temps d’execució d’una tasca i en la precisió assolible. El mateix succeeix amb un canvi en l’amplitud del moviment que realitza l’operador respecte al realitzat pel sistema, de manera que l’escalat del moviment entre mestre i esclau té un efecte significatiu en l’eficiència i eficàcia amb la que s’executa una tasca. Aquest treball d’investigació està orientat al disseny i desenvolupament d’un mètode concebut per millorar l’eficàcia gràcies a una major eficiència visual i motora de la interfície persona-màquina. El mètode es basa en la modificació del flux d’informació entre persona, màquina i interfície mitjançant l’escalat tant del moviment de la persona com de la imatge de la tasca visualitzada. El temps d’operació, els moviments de la mà de la persona i el grau d’atenció poden reduir-se amb aquesta assistència computeritzada. Els canvis d’escala s’adapten a la tasca, afectant positivament el rendiment en termes de precisió i rapidesa. Així doncs, la metodologia proposada està orientada a connectar l’espai de treball de la persona amb l’espai de treball de la màquina o robot a través de la interfície que introdueix dos processos d’escala. Un primer canvi d’escala s’aplica entre el moviment produït per l’operador i el produït a la interfície visual i un segon canvi està orientat a escalar l’espai real de la tasca sobre la interfície visual. Aquests canvis d’escala han de ser ajustats als objectes d’interès, resultant en una modificació de la resolució espacial d’acord amb la tasca a realitzar i la mida, forma, i velocitat dels objectes. Aquests canvis d’escala modifiquen el flux d’informació entre l’operador i la màquina d’acord amb les característiques i limitacions d’ambdós. / La interacción persona-máquina en teleoperación, a través de la interfaz de usuario, permite conseguir el nivel de inteligencia necesario para ejecutar en cooperación tareas complejas que no pueden ser realizadas por máquinas o robots por si solos o directamente por las personas. Las técnicas de interacción facilitan el desarrollo de dichas tareas haciéndolas más eficientes y eficaces, mediante la mejora de cualquier sistema que incorpore una interfaz de usuario. Las personas poseen limitaciones motoras inherentes a la naturaleza humana (como el temblor fisiológico) y limitaciones perceptivas (como la percepción de la distancia o el tiempo) que impiden realizar una operación suficientemente suave y precisa en ciertas aplicaciones. Algunos estudios tratan este fenómeno y su efecto en los sistemas persona-máquina y sistemas teleoperados. Existen modelos psicomotores que muestran que la eficiencia de la manipulación humana en la selección de un objeto depende de determinados factores. Entre estos modelos, el más representativo corresponde a la Ley de Fitts en donde el tiempo de ejecución es una función logarítmica del tamaño y la distancia al objeto. En teleoperación, y en base a estos modelos psicomotores, se demuestra que una modificación en la escala visual de la interfaz tiene un efecto directo en el tiempo de ejecución de una tarea y en la precisión alcanzable. Lo mismo ocurre con un cambio en la amplitud de movimiento que realiza el operador con respecto al realizado por el sistema, con lo que el escalado del movimiento entre maestro y esclavo tiene un efecto significativo en la eficiencia y eficacia con la que se ejecuta una tarea. Este trabajo de investigación está orientado al diseño y desarrollo de un método concebido para mejorar la eficacia gracias a una mayor eficiencia visual y motora de la interfaz persona-máquina. El método se basa en la modificación del flujo de información entre persona, máquina e interfaz mediante el escalado tanto del movimiento de la persona como de la imagen de la tarea visualizada. El tiempo de operación, los movimientos de la mano de la persona y el grado de atención pueden reducirse con esta asistencia computarizada. Los cambios de escala se adaptan a la tarea, afectando positivamente al rendimiento en términos de precisión y rapidez. Por lo tanto, la metodología propuesta está orientada a conectar el espacio de trabajo de la persona con el espacio de trabajo de la máquina o robot a través de la interfaz que introduce dos procesos de escala. Un primer cambio de escala se aplica entre el movimiento producido por el operador y el producido en la interfaz visual y un segundo cambio está orientado a escalar el espacio real de la tarea sobre la interfaz visual. Estos cambios de escala deben ser ajustados a los objetos de interés, resultando en una modificación de la resolución espacial acorde con la tarea a realizar y el tamaño, forma, distancia y velocidad de los objetos. Dichos cambios de escala modifican el flujo de información entre el operador y la máquina acordes con las características y limitaciones de ambos.

Los sistemas teleoperados siguen siendo un campo de investigación de vigente importancia en el mundo. Cuentan con diversas áreas de aplicación y por ello continuamente se desarrollan nuevos algoritmos de control con los que mejorar las prestaciones de telepresencia y estabilidad del sistema en conjunto. Sin embargo, existe la necesidad de probar la eficacia de esos algoritmos en entornos reales aparte de los simulados. La Pontificia Universidad Católica del Perú es una de las instituciones académicas que realiza investigaciones de ese tipo. Específicamente, en sus laboratorios se está desarrollando un algoritmo de teleoperación bilateral basado en la convergencia de estados para manipuladores en entorno submarino. Por lo tanto, en el presente trabajo de investigación se detallarán los lineamientos para el diseño de una plataforma teleoperada donde realizar las pruebas en entorno terrestre del referido nuevo algoritmo o de algún otro basado en la convergencia de estados.