abstract: Robotic systems are outmatched by the abilities of the human hand to perceive and manipulate the world. Human hands are able to physically interact with the world to perceive, learn, and act to accomplish tasks. Limitations of robotic systems to interact with and manipulate the world diminish their usefulness. In order to advance robot end effectors, specifically artificial hands, rich multimodal tactile sensing is needed. In this work, a multi-articulating, anthropomorphic robot testbed was developed for investigating tactile sensory stimuli during finger-object interactions. The artificial finger is controlled by a tendon-driven remote actuation system that allows for modular control of any tendon-driven end effector and capabilities for both speed and strength. The artificial proprioception system enables direct measurement of joint angles and tendon tensions while temperature, vibration, and skin deformation are provided by a multimodal tactile sensor. Next, attention was focused on real-time artificial perception for decision-making. A robotic system needs to perceive its environment in order to make decisions. Specific actions such as “exploratory procedures” can be employed to classify and characterize object features. Prior work on offline perception was extended to develop an anytime predictive model that returns the probability of having touched a specific feature of an object based on minimally processed sensor data. Developing models for anytime classification of features facilitates real-time action-perception loops. Finally, by combining real-time action-perception with reinforcement learning, a policy was learned to complete a functional contour-following task: closing a deformable ziplock bag. The approach relies only on proprioceptive and localized tactile data. A Contextual Multi-Armed Bandit (C-MAB) reinforcement learning algorithm was implemented to maximize cumulative rewards within a finite time period by balancing exploration versus exploitation of the action space. Performance of the C-MAB learner was compared to a benchmark Q-learner that eventually returns the optimal policy. To assess robustness and generalizability, the learned policy was tested on variations of the original contour-following task. The work presented contributes to the full range of tools necessary to advance the abilities of artificial hands with respect to dexterity, perception, decision-making, and learning. / Dissertation/Thesis / Doctoral Dissertation Mechanical Engineering 2016

The rapid, accurate determination of the positions and strengths of sources of dangerous radioactivity takes high priority after a catastrophic event to ensure the safety of personnel, civilians, and emergency responders. This thesis presents approaches and algorithms to autonomously investigate radioactive material using an unmanned aerial vehicle. Performing this autonomous analysis comprises five major steps: ingress from a base of operations to the danger zone, initial detection of radioactive material, measurement of the strength of radioactive emissions, analysis of the data to provide position and intensity estimates, and finally egress from the area of interest back to the launch site. In all five steps, time is of critical importance: faster responses promise potentially saved lives. A time-optimal ingress and egress path planning method solves the first and last steps. Vehicle capabilities and instrument sensitivity inform the development of an efficient search path within the area of interest. Two algorithms—a grid-based recursive Bayesian estimator and a novel radiation contour analysis method—are presented to estimate the position of radioactive sources using simple gross gamma ray event count data from a nondirectional radiation detector. The latter procedure also correctly estimates the number of sources present and their intensities. Ultimately, a complete unsupervised mission is developed, requiring minimal initial operator interaction, that provides accurate characterization of the radiation environment of an area of interest as quickly as reasonably possible. / Master of Science

Diese Dissertation befasst sich mit der sensorgeführten Regelung von Industrierobotern zur Konturverfolgung. Beispiele dafür sind das robotergestützte Nähen, Entgraten oder das Auftragen von Dichtmasse entlang von Schweißnähten. Beim Nähen und Entgraten müssen während der Verfolgung der Kontur bestimmte Kontaktkräfte an möglicherweise nachgiebigen Werkstücken eingehalten werden. Dabei ist es in modernen Fertigungsprozessen wichtig, die Bewegung des Roboters mit wenig Einrichtaufwand vorzugeben. Dazu werden Sensorsysteme eingesetzt, die Bildinformationen und Kraftmessungen verarbeiten, um den Roboter mit gewünschter Kontaktkraft entlang sichtbarer Konturen eines Werkstückes zu führen. Der Fokus dieser Arbeit ist die Fusion der Sensordaten, um die Vorteile der einzelnen Sensoren in einer Aufgabe zu vereinen. Es werden Messwerte eines Kraft-Momenten Sensors, einer Kamera, eines Beschleunigungssensors und der kartesischen Position und Orientierung des Roboters verwendet. Zuerst wird die Berechnung der kartesischen Roboterposition untersucht. Es wird ein Beobachter vorgestellt, um unter Verwendung eines Beschleunigungssensors die Präzision des Positionssignales zu erhöhen. Anschließend wird das Kamerasystem untersucht und ein Verfahren vorgestellt, um Geschwindigkeit, Position und Orientierung des robotergeführten Werkzeuges entlang der Kontur vorzugeben. Danach wird auf die Ermittlung von Kontaktkräften eingegangen, wobei die Kompensation von Trägheitskräften mittels Beschleunigungssensoren untersucht wird. Der letzte Abschnitt befasst sich mit der Verbindung von bildgestützter Konturverfolgung und Kraftregelung an nachgiebigen Werkstücken. Durch die Nachgiebigkeit des Werkstückmaterials verformt sich die Kontur bei Kontakt. Durch bildgestützte Konturverfolgung wird eine Anpassung an diese Verformung vorgenommen -- somit besteht über die Verformbarkeit des Werkstückes eine Kopplung zwischen den beiden Regelkreisen. Diese Kopplung wird gelöst, indem auf Basis eines dynamischen Modells der Umgebung eine Kompensation der Werkstückverformung berechnet wird. Die Modellparameter zur Kompensation werden durch online Identifikation ermittelt. / This thesis focuses on the sensor-guided control of industrial robots for contour-following. Examples include the robot-guided sewing, grinding or the application of sealant along weld seams. Grinding and sewing require a certain contact force while following a countour of a workpiece, whereas the worpieces might be compliant. Modern production processes require a fast and simple way to set up the motion of the robot for the required task. Therefore sensor systems are used, which process visual and tactile information to guide the tool at a desired contact force along visible contours of a workpiece. The focus of this work is the fusion of sensor data, used to benefit from the advantages of each of the individual sensors in one control scheme. I combine the measurements of a force-torque sensor, a camera, an acceleration sensor and of the Cartesian position of the robot. First, I introduce details on the calculation of the Cartesian robot position. I present an observer-based structure that uses an acceleration sensor to improve the precision of the robot position signal. Then, I analyze the camera system and present a control structure that adapts the position, orientation and velocity of the robot-guided tool along the contour. Thereafter, I show details of force measurement, whereas I compensate for inertial forces using an acceleration sensor. The last chapter addresses the combination of visual contour-following and force control on compliant workpieces. Under a certain contact force, the workpiece deforms due to its compliance. The position and orientation then is adapted to this deformed contour by visual control -- hence, there is a coupling between force and visual control. This coupling is solved by compensating for workpiece deformation using a dynamic model of the environment. The environmental parameters for compensation are identified online.

Diese Dissertation befasst sich mit der sensorgeführten Regelung von Industrierobotern zur Konturverfolgung. Beispiele dafür sind das robotergestützte Nähen, Entgraten oder das Auftragen von Dichtmasse entlang von Schweißnähten. Beim Nähen und Entgraten müssen während der Verfolgung der Kontur bestimmte Kontaktkräfte an möglicherweise nachgiebigen Werkstücken eingehalten werden. Dabei ist es in modernen Fertigungsprozessen wichtig, die Bewegung des Roboters mit wenig Einrichtaufwand vorzugeben. Dazu werden Sensorsysteme eingesetzt, die Bildinformationen und Kraftmessungen verarbeiten, um den Roboter mit gewünschter Kontaktkraft entlang sichtbarer Konturen eines Werkstückes zu führen. Der Fokus dieser Arbeit ist die Fusion der Sensordaten, um die Vorteile der einzelnen Sensoren in einer Aufgabe zu vereinen. Es werden Messwerte eines Kraft-Momenten Sensors, einer Kamera, eines Beschleunigungssensors und der kartesischen Position und Orientierung des Roboters verwendet. Zuerst wird die Berechnung der kartesischen Roboterposition untersucht. Es wird ein Beobachter vorgestellt, um unter Verwendung eines Beschleunigungssensors die Präzision des Positionssignales zu erhöhen. Anschließend wird das Kamerasystem untersucht und ein Verfahren vorgestellt, um Geschwindigkeit, Position und Orientierung des robotergeführten Werkzeuges entlang der Kontur vorzugeben. Danach wird auf die Ermittlung von Kontaktkräften eingegangen, wobei die Kompensation von Trägheitskräften mittels Beschleunigungssensoren untersucht wird. Der letzte Abschnitt befasst sich mit der Verbindung von bildgestützter Konturverfolgung und Kraftregelung an nachgiebigen Werkstücken. Durch die Nachgiebigkeit des Werkstückmaterials verformt sich die Kontur bei Kontakt. Durch bildgestützte Konturverfolgung wird eine Anpassung an diese Verformung vorgenommen -- somit besteht über die Verformbarkeit des Werkstückes eine Kopplung zwischen den beiden Regelkreisen. Diese Kopplung wird gelöst, indem auf Basis eines dynamischen Modells der Umgebung eine Kompensation der Werkstückverformung berechnet wird. Die Modellparameter zur Kompensation werden durch online Identifikation ermittelt. / This thesis focuses on the sensor-guided control of industrial robots for contour-following. Examples include the robot-guided sewing, grinding or the application of sealant along weld seams. Grinding and sewing require a certain contact force while following a countour of a workpiece, whereas the worpieces might be compliant. Modern production processes require a fast and simple way to set up the motion of the robot for the required task. Therefore sensor systems are used, which process visual and tactile information to guide the tool at a desired contact force along visible contours of a workpiece. The focus of this work is the fusion of sensor data, used to benefit from the advantages of each of the individual sensors in one control scheme. I combine the measurements of a force-torque sensor, a camera, an acceleration sensor and of the Cartesian position of the robot. First, I introduce details on the calculation of the Cartesian robot position. I present an observer-based structure that uses an acceleration sensor to improve the precision of the robot position signal. Then, I analyze the camera system and present a control structure that adapts the position, orientation and velocity of the robot-guided tool along the contour. Thereafter, I show details of force measurement, whereas I compensate for inertial forces using an acceleration sensor. The last chapter addresses the combination of visual contour-following and force control on compliant workpieces. Under a certain contact force, the workpiece deforms due to its compliance. The position and orientation then is adapted to this deformed contour by visual control -- hence, there is a coupling between force and visual control. This coupling is solved by compensating for workpiece deformation using a dynamic model of the environment. The environmental parameters for compensation are identified online.

Den Kern der vorliegenden Arbeit bilden sog. sensorgeführte Roboterbewegungen, d. h. die Nutzung von Informationen externer Sensoren zur Regelung des Roboters. Da gängige Industrierobotersysteme üblicherweise positionsgeregelt sind und seitens der Robotersteuerung lediglich der Zugriff zu den Sollwerten der Lageregelkreise erlaubt wird, kann auch der Regelkreis der sensorgeführten Roboterbewegung nur über den Lageregelkreis geschlossen werden. Aus diesem Grunde werden hier nur positionsbasierte Regelungsansätze verfolgt. Die Kraft-/ Momentregelung gilt als eine der wichtigsten Varianten sensorgeführter Roboterbewegungen. Dementsprechend widmet sich auch ein großer Teil dieser Arbeit dem Thema, mit dem Ziel durch innovative und übersichtliche Regelalgorithmen die Akzeptanz der Kraft-/ Momentregelung in industriellen Produktionsprozessen zu erhöhen. Beginnend mit der eindimensionalen Kraftregelung führt der Weg dabei über Konzepte zur Konturenverfolgung und kraft-/ momentgeregelten Montageaufgaben hin zur Kooperation von Robotern. In einem weiteren Teil wird ein Konzept zur Kollisionsvermeidung zwischen Robotern und Hindernissen präsentiert. Es basiert auf dem Ansatz der virtuellen Potential- bzw. Kraftfelder. Dabei ruft das künstliche Feld eine Bewegung des Roboters hervor, die vom Hindernis weg führt. Um das Feld zu erzeugen, wird die Methode der künstlichen Punktladungen entwickelt. Diese werden auf der Oberfläche eines Hindernisses platziert und generieren dann das virtuelle Kraftfeld. Die Platzierung kann z. B. mithilfe der CAD-Daten des Hindernisses erfolgen. Bei bewegten Objekten müssen alle Ladungspositionen ständig aktualisiert werden. Für Lehr- und Präsentationszwecke ist das sog. inverse Pendel eine oft genutzte Regelstrecke. Sein Aufrichten und Stabilisieren ist auch mit Hilfe eines Industrieroboters möglich. Dazu beschäftigt sich ein Kapitel dieser Arbeit mit Fragen zur Modellbildung der Kombination inverses Pendel und Industrieroboter und mit Regelungskonzepten für das Aufschwingen und Balancieren. Letztendlichen wird in diesem Zusammenhang noch ein Visual-Servoing System präsentiert, dass den Neigungswinkel des Pendels mit einer Kamera bestimmt. Alle hier vorgestellten Konzepte und Algorithmen werden Anhand von praktischen Experimenten verifiziert. / This work deals with so-called sensor guided robot motions, which means using the data of external sensors to control the robot. The control loop of the sensor guided robot motion can be only closed around the position control loop, because industrial robot systems usually work position controlled and only access to the desired positions is enabled. For this reason here only position based control approaches are regarded. Force/torque control is a very important type of sensor guided robot motions. According to this, a good portion of this work deals with the subject of force/torque control. Thus, the acceptance of force/torque control in industrial production processes should be increased, by using innovative and clear control algorithms. For this purpose force control in one degree of freedom, contour-following, force/torque controlled assembling tasks and the cooperation between robots are discussed here in different chapters. Thereafter, a concept to collision avoidance between robots and obstacles is presented. It uses the approach of virtual potential/force fields. In this case the artificial field induces a robot motion away from the obstacle. The method of artificial charges is developed to generate this field. For this purpose virtual charges are placed on the surface of the obstacles. Placing of the charges can be performed using e.g. CAD data of the obstacles. Having moving obstacles charge positions must be updated continuously. The inverted pendulum is commonly used teaching students in control theory. The swinging up and the stabilization of the pendulum also can be performed by an industrial robot. One chapter of this work deals with modelling of the robot mounted inverted pendulum and control algorithms for its swinging up and its stabilization. Finally, in combination with the inverted pendulum a visual-servoing system is presented, which measures the pendulum inclination angle by camera. All concepts introduced in this work are verified by practical experiments.

Den Kern der vorliegenden Arbeit bilden sog. sensorgeführte Roboterbewegungen, d. h. die Nutzung von Informationen externer Sensoren zur Regelung des Roboters. Da gängige Industrierobotersysteme üblicherweise positionsgeregelt sind und seitens der Robotersteuerung lediglich der Zugriff zu den Sollwerten der Lageregelkreise erlaubt wird, kann auch der Regelkreis der sensorgeführten Roboterbewegung nur über den Lageregelkreis geschlossen werden. Aus diesem Grunde werden hier nur positionsbasierte Regelungsansätze verfolgt. Die Kraft-/ Momentregelung gilt als eine der wichtigsten Varianten sensorgeführter Roboterbewegungen. Dementsprechend widmet sich auch ein großer Teil dieser Arbeit dem Thema, mit dem Ziel durch innovative und übersichtliche Regelalgorithmen die Akzeptanz der Kraft-/ Momentregelung in industriellen Produktionsprozessen zu erhöhen. Beginnend mit der eindimensionalen Kraftregelung führt der Weg dabei über Konzepte zur Konturenverfolgung und kraft-/ momentgeregelten Montageaufgaben hin zur Kooperation von Robotern. In einem weiteren Teil wird ein Konzept zur Kollisionsvermeidung zwischen Robotern und Hindernissen präsentiert. Es basiert auf dem Ansatz der virtuellen Potential- bzw. Kraftfelder. Dabei ruft das künstliche Feld eine Bewegung des Roboters hervor, die vom Hindernis weg führt. Um das Feld zu erzeugen, wird die Methode der künstlichen Punktladungen entwickelt. Diese werden auf der Oberfläche eines Hindernisses platziert und generieren dann das virtuelle Kraftfeld. Die Platzierung kann z. B. mithilfe der CAD-Daten des Hindernisses erfolgen. Bei bewegten Objekten müssen alle Ladungspositionen ständig aktualisiert werden. Für Lehr- und Präsentationszwecke ist das sog. inverse Pendel eine oft genutzte Regelstrecke. Sein Aufrichten und Stabilisieren ist auch mit Hilfe eines Industrieroboters möglich. Dazu beschäftigt sich ein Kapitel dieser Arbeit mit Fragen zur Modellbildung der Kombination inverses Pendel und Industrieroboter und mit Regelungskonzepten für das Aufschwingen und Balancieren. Letztendlichen wird in diesem Zusammenhang noch ein Visual-Servoing System präsentiert, dass den Neigungswinkel des Pendels mit einer Kamera bestimmt. Alle hier vorgestellten Konzepte und Algorithmen werden Anhand von praktischen Experimenten verifiziert. / This work deals with so-called sensor guided robot motions, which means using the data of external sensors to control the robot. The control loop of the sensor guided robot motion can be only closed around the position control loop, because industrial robot systems usually work position controlled and only access to the desired positions is enabled. For this reason here only position based control approaches are regarded. Force/torque control is a very important type of sensor guided robot motions. According to this, a good portion of this work deals with the subject of force/torque control. Thus, the acceptance of force/torque control in industrial production processes should be increased, by using innovative and clear control algorithms. For this purpose force control in one degree of freedom, contour-following, force/torque controlled assembling tasks and the cooperation between robots are discussed here in different chapters. Thereafter, a concept to collision avoidance between robots and obstacles is presented. It uses the approach of virtual potential/force fields. In this case the artificial field induces a robot motion away from the obstacle. The method of artificial charges is developed to generate this field. For this purpose virtual charges are placed on the surface of the obstacles. Placing of the charges can be performed using e.g. CAD data of the obstacles. Having moving obstacles charge positions must be updated continuously. The inverted pendulum is commonly used teaching students in control theory. The swinging up and the stabilization of the pendulum also can be performed by an industrial robot. One chapter of this work deals with modelling of the robot mounted inverted pendulum and control algorithms for its swinging up and its stabilization. Finally, in combination with the inverted pendulum a visual-servoing system is presented, which measures the pendulum inclination angle by camera. All concepts introduced in this work are verified by practical experiments.