Weingarten, Diplomarbeit, 2007.

Zugl.: Bielefeld, Univ., Diss.

Zugl.: Hannover, Univ., Diss., 2008

Zugl.: Diss.

Diese Forschungsarbeit thematisiert die operationsunterstützende Robotertechnik in der chirurgischen Erwerbsarbeit. Im Fokus steht die Frage nach technikbasierten Veränderungen durch den Einsatz des DaVinci-Operationssystems und deren Auswirkungen auf den Beruf, genauer gesagt, auf die Profession und das subjektivierende Arbeitshandeln des Chirurgen. Zudem findet eine Untersuchung der handlungsbezogenen Interaktion zwischen Operateur und DaVinci-Operationssystem, im theoretischen Blickfeld der sozio-technischen Konstellation, statt. Die empirische Grundlage bilden 14 durchgeführte, leitfadengestützte Experteninterviews, deren Ergebnisse in einer qualitativen Interviewanalyse deskriptiv erfasst und auf Grundlage der theoretisch gewählten Perspektiven der sozio-technischen Konstellation, dem subjektivierten Arbeitshandeln sowie der Professionssoziologie diskutiert werden. Zusammenfassend ergibt sich eine erkennbare technisch-determinierte Veränderung des Berufs, die teilweise diametral in der Auffassung der Befragten geschieht. Diese Untersuchung hat einen explorativen Charakter und beleuchtet ausschließlich die mit dem DaVinci arbeitenden Ärzte und kann somit als Grundlage weiterführender, spezifischer Untersuchungen zu Aspekten des Themas fungieren. / This research work focuses on operation-supporting robotics in surgical gainful employment.
 The focus is on the question of technology-based changes through the use of the DaVinci operation system and their effects on the profession, or more precisely on the profession and the subjective working behaviour of the surgeon. In addition, an investigation of the action-related interaction between the surgeon and the DaVinci surgical system takes place within the theoretical field of view of the socio-technical constellation. The empirical basis is formed by 14 guided expert interviews, the results of which are recorded descriptively in a qualitative interview analysis and discussed on the basis of the theoretically chosen perspectives of the socio-technical constellation, the subjective working practice and the sociology of the profession. In summary, there is a recognisable technically determined change in the profession, which is partly diametrically opposed in the opinion of the interviewees. The study has an explorative character and focuses exclusively on physicians working with DaVinci and can therefore serve as a basis for further, specific studies on aspects of the topic.

Diese Arbeit beschäftigt sich mit der Verbesserung von Mensch-Roboter Interaktion in Mensch-Roboter Teams für Teleoperation Szenarien, wie z.B. robotergestützte Feuerwehreinsätze. Hierbei wird ein Konzept und eine Architektur für ein System zur Unterstützung von Teleoperation von Mensch-Roboter Teams vorgestellt. Die Anforderungen an Informationsaustausch und -verarbeitung, insbesondere für die Anwendung Rettungseinsatz, werden ausgearbeitet. Weiterhin wird das Design der Benutzerschnittstellen für Mensch-Roboter Teams dargestellt und Prinzipien für Teleoperation-Systeme und Benutzerschnittstellen erarbeitet. Alle Studien und Ansätze werden in einem Prototypen-System implementiert und in verschiedenen Benutzertests abgesichert. Erweiterungsmöglichkeiten zum Einbinden von 3D Sensordaten und die Darstellung auf Stereovisualisierungssystemen werden gezeigt. / This work deals with teams in teleoperation scenarios, where one human team partner (supervisor) guides and controls multiple remote entities (either robotic or human) and coordinates their tasks. Such a team needs an appropriate infrastructure for sharing information and commands. The robots need to have a level of autonomy, which matches the assigned task. The humans in the team have to be provided with autonomous support, e.g. for information integration. Design and capabilities of the human-robot interfaces will strongly influence the performance of the team as well as the subjective feeling of the human team partners. Here, it is important to elaborate the information demand as well as how information is presented. Such human-robot systems need to allow the supervisor to gain an understanding of what is going on in the remote environment (situation awareness) by providing the necessary information. This includes achieving fast assessment of the robot´s or remote human´s state. Processing, integration and organization of data as well as suitable autonomous functions support decision making and task allocation and help to decrease the workload in this multi-entity teleoperation task. Interaction between humans and robots is improved by a common world model and a responsive system and robots. The remote human profits from a simplified user interface providing exactly the information needed for the actual task at hand. The topic of this thesis is the investigation of such teleoperation interfaces in human-robot teams, especially for high-risk, time-critical, and dangerous tasks. The aim is to provide a suitable human-robot team structure as well as analyze the demands on the user interfaces. On one side, it will be looked on the theoretical background (model, interactions, and information demand). On the other side, real implementations for system, robots, and user interfaces are presented and evaluated as testbeds for the claimed requirements. Rescue operations, more precisely fire-fighting, was chosen as an exemplary application scenario for this work. The challenges in such scenarios are high (highly dynamic environments, high risk, time criticality etc.) and it can be expected that results can be transferred to other applications, which have less strict requirements. The present work contributes to the introduction of human-robot teams in task-oriented scenarios, such as working in high risk domains, e.g. fire-fighting. It covers the theoretical background of the required system, the analysis of related human factors concepts, as well as discussions on implementation. An emphasis is placed on user interfaces, their design, requirements and user testing, as well as on the used techniques (three-dimensional sensor data representation, mixed reality, and user interface design guidelines). Further, the potential integration of 3D sensor data as well as the visualization on stereo visualization systems is introduced.

This work focuses on coordination methods and the control of motion in groups of nonholonomic wheeled mobile robots, in particular of the car-like type. These kind of vehicles are particularly restricted in their mobility. In the main part of this work the two problems of formation motion coordination and of rendezvous in distributed multi-vehicle systems are considered. We introduce several enhancements to an existing motion planning approach for formations of nonholonomic mobile robots. Compared to the original method, the extended approach is able to handle time-varying reference speeds as well as adjustments of the formation's shape during reference trajectory segments with continuously differentiable curvature. Additionally, undesired discontinuities in the speed and steering profiles of the vehicles are avoided. Further, the scenario of snow shoveling on an airfield by utilizing multiple formations of autonomous snowplows is discussed. We propose solutions to the subproblems of motion planning for the formations and tracking control for the individual vehicles. While all situations that might occur have been tested in a simulation environment, we also verified the developed tracking controller in real robot hardware experiments. The task of the rendezvous problem in groups of car-like robots is to drive all vehicles to a common position by means of decentralized control laws. Typically there exists no direct interaction link between all of the vehicles. In this work we present decentralized rendezvous control laws for vehicles with free and with bounded steering. The convergence properties of the approaches are analyzed by utilizing Lyapunov based techniques. Furthermore, they are evaluated within various simulation experiments, while the bounded steering case is also verified within laboratory hardware experiments. Finally we introduce a modification to the bounded steering system that increases the convergence speed at the expense of a higher traveled distance of the vehicles. / Diese Arbeit befasst sich mit Methoden zur Bewegungskoordination und Regelung in Gruppen autonomer, nichtholomer Fahrzeuge, wobei vornehmlich autoähnliche mobile Roboter betrachtet werden. Diese Fahrzeuge sind besonders eingeschränkt in ihrer Bewegungsfreiheit. Im Hauptteil der Arbeit werden die Probleme der Formationsbewegung und des Rendezvous in Gruppen verteilter Fahrzeuge betrachtet. Für ein bestehendes Verfahren zur Bewegungsplanung für Formationen nichtholonomer, mobiler Fahrzeuge werden eine Reihe von Verbesserungen vorgestellt. Diese ermöglichen dem erweiterten Verfahren den Umgang mit Referenztrajektorien mit nicht-konstanter Geschwindigkeit und stetig differenzierbarer Krümmung. Außerdem werden im Gegensatz zum ursprünglichen Ansatz unerwünschte Sprungstellen in den Geschwindigkeits- und Krümmungsprofilen der Fahrzeuge vermieden. Desweiteren wird in dieser Arbeit das Schneeräumen auf Flughafenrollfeldern mittels Formationen autonomer Schneepflugfahrzeuge diskutiert. Dabei werden Lösungen für die Teilprobleme Bewegungsplanung der Formationen und Spurführungsregelung der einzelnen Fahrzeuge vorgestellt. Zusätzlich zu den durchgeführten Simulationen werden außerdem die Ergebnisse von Hardwareexperimenten mit der entwickelten Spurführungsregelung präsentiert. Das Rendezvous-Problem in Gruppen autoähnlicher Roboter besteht darin, die Fahrzeuge durch dezentrale Regelgesetze zu einer gemeinsamen Position in der Ebene zu bewegen. Dabei besteht typischerweise keine direkte Interaktionsverbindung zwischen allen Fahrzeugen der Gruppe. In dieser Arbeit werden verteilte Rendezvous-Regelgesetze für Fahrzeuge mit unbeschränktem und mit beschränktem Lenkwinkel eingeführt und deren Konvergenzeigenschaften mit Methoden zur Stabilitätsanalyse nicht-linearer Systeme untersucht. Die vorgestellten Regelsysteme werden weiterhin anhand von Simulationen und Hardwareexperimenten verifiziert. Schließlich wird noch eine Erweiterung des Systems für Fahrzeuge mit beschränktem Lenkwinkel vorgestellt, welches die Konvergenzgeschwindigkeit auf Kosten der zurückgelegten Distanz der Fahrzeuge erhöht.

In den letzten Jahren ist die Forschung in der Robotik soweit fortgeschritten, dass die Mensch-Maschine Schnittstelle zunehmend die kritischste Komponente für eine hohe Gesamtperformanz von Systemen zur Navigation und Koordination von Robotern wird. In dieser Dissertation wird untersucht wie Mixed-Reality Technologien für Nutzerschnittstellen genutzt werden können, um diese Gesamtperformanz zu erhöhen. Hierzu werden Konzepte und Technologien entwickelt, die durch Evaluierung mit Nutzertest ein optimiertes und anwenderbezogenes Design von Mixed-Reality Nutzerschnittstellen ermöglichen. Er werden somit sowohl die technische Anforderungen als auch die menschlichen Faktoren für ein konsistentes Systemdesign berücksichtigt. Nach einer detaillierten Problemanalyse und der Erstellung eines Systemmodels, das den Menschen als Schlüsselkomponente mit einbezieht, wird zunächst die Anwendung der neuartigen 3D-Time-of-Flight Kamera zur Navigation von Robotern, aber auch für den Einsatz in Mixed-Reality Schnittstellen analysiert und optimiert. Weiterhin wird gezeigt, wie sich der Netzwerkverkehr des Videostroms als wichtigstes Informationselement der meisten Nutzerschnittstellen für die Navigationsaufgabe auf der Netzwerk Applikationsebene in typischen Multi-Roboter Netzwerken mit dynamischen Topologien und Lastsituation optimieren lässt. Hierdurch ist es möglich in sonst in sonst typischen Ausfallszenarien den Videostrom zu erhalten und die Bildrate zu stabilisieren. Diese fortgeschrittenen Technologien werden dann auch dem entwickelten Konzept der generischen 3D Mixed Reality Schnittselle eingesetzt. Dieses Konzept ermöglicht eine integrierte 3D Darstellung der verfügbaren Information, so dass räumliche Beziehungen von Informationen aufrechterhalten werden und somit die Anzahl der mentalen Transformationen beim menschlichen Bediener reduziert wird. Gleichzeitig werden durch diesen Ansatz auch immersive Stereo Anzeigetechnologien unterstützt, welche zusätzlich das räumliche Verständnis der entfernten Situation fördern. Die in der Dissertation vorgestellten und evaluierten Ansätze nutzen auch die Tatsache, dass sich eine lokale Autonomie von Robotern heute sehr robust realisieren lässt. Dies wird zum Beispiel zur Realisierung eines Assistenzsystems mit variabler Autonomie eingesetzt. Hierbei erhält der Fernbediener über eine Kraftrückkopplung kombiniert mit einer integrierten Augmented Reality Schnittstelle, einen Eindruck über die Situation am entfernten Arbeitsbereich, aber auch über die aktuelle Navigationsintention des Roboters. Die durchgeführten Nutzertests belegen die signifikante Steigerung der Navigationsperformanz durch den entwickelten Ansatz. Die robuste lokale Autonomie ermöglicht auch den in der Dissertation eingeführten Ansatz der prädiktiven Mixed-Reality Schnittstelle. Die durch diesen Ansatz entkoppelte Regelschleife über den Menschen ermöglicht es die Sichtbarkeit von unvermeidbaren Systemverzögerungen signifikant zu reduzieren. Zusätzlich können durch diesen Ansatz beide für die Navigation hilfreichen Blickwinkel in einer 3D-Nutzerschnittstelle kombiniert werden – der exozentrische Blickwinkel und der egozentrische Blickwinkel als Augmented Reality Sicht. / With the progress in robotics research the human machine interfaces reach more and more the status of being the major limiting factor for the overall system performance of a system for remote navigation and coordination of robots. In this monograph it is elaborated how mixed reality technologies can be applied for the user interfaces in order to increase the overall system performance. Concepts, technologies, and frameworks are developed and evaluated in user studies which enable for novel user-centered approaches to the design of mixed-reality user interfaces for remote robot operation. Both the technological requirements and the human factors are considered to achieve a consistent system design. Novel technologies like 3D time-of-flight cameras are investigated for the application in the navigation tasks and for the application in the developed concept of a generic mixed reality user interface. In addition it is shown how the network traffic of a video stream can be shaped on application layer in order to reach a stable frame rate in dynamic networks. The elaborated generic mixed reality framework enables an integrated 3D graphical user interface. The realized spatial integration and visualization of available information reduces the demand for mental transformations for the human operator and supports the use of immersive stereo devices. The developed concepts make also use of the fact that local robust autonomy components can be realized and thus can be incorporated as assistance systems for the human operators. A sliding autonomy concept is introduced combining force and visual augmented reality feedback. The force feedback component allows rendering the robot's current navigation intention to the human operator, such that a real sliding autonomy with seamless transitions is achieved. The user-studies prove the significant increase in navigation performance by application of this concept. The generic mixed reality user interface together with robust local autonomy enables a further extension of the teleoperation system to a short-term predictive mixed reality user interface. With the presented concept of operation, it is possible to significantly reduce the visibility of system delays for the human operator. In addition, both advantageous characteristics of a 3D graphical user interface for robot teleoperation- an exocentric view and an augmented reality view – can be combined.

Zugl.: Stuttgart, Universiẗat, Diss., 2009.

In this thesis, time-optimal control of the bi-steerable robot is addressed. The bi-steerable robot, a vehicle with two independently steerable axles, is a complex nonholonomic system with applications in many areas of land-based robotics. Motion planning and optimal control are challenging tasks for this system, since standard control schemes do not apply. The model of the bi-steerable robot considered here is a reduced kinematic model with the driving velocity and the steering angles of the front and rear axle as inputs. The steering angles of the two axles can be set independently from each other. The reduced kinematic model is a control system with affine and non-affine inputs, as the driving velocity enters the system linearly, whereas the steering angles enter nonlinearly. In this work, a new approach to solve the time-optimal control problem for the bi-steerable robot is presented. In contrast to most standard methods for time-optimal control, our approach does not exclusively rely on discretization and purely numerical methods. Instead, the Pontryagin Maximum Principle is used to characterize candidates for time-optimal solutions. The resultant boundary value problem is solved by optimization to obtain solutions to the path planning problem over a given time horizon. The time horizon is decreased and the path planning is iterated to approximate a time-optimal solution. An optimality condition is introduced which depends on the number of cusps, i.e., reversals of the driving direction of the robot. This optimality condition allows to single out non-optimal solutions with too many cusps. In general, our approach only gives approximations of time-optimal solutions, since only normal regular extremals are considered as solutions to the path planning problem, and the path planning is terminated when an extremal with minimal number of cusps is found. However, for most desired configurations, normal regular extremals with the minimal number of cusps provide time-optimal solutions for the bi-steerable robot. The convergence of the approach is analyzed and its probabilistic completeness is shown. Moreover, simulation results on time-optimal solutions for the bi-steerable robot are presented. / In dieser Dissertation wird die zeitoptimale Steuerung des zweiachsgelenkten Roboters behandelt. Der zweiachsgelenkte Roboter, ein Fahrzeug mit zwei voneinander unabhängig lenkbaren Achsen, ist ein komplexes nichtholonomes System mit Anwendungen in vielen Bereichen der Land-Robotik. Bahnplanung und optimale Steuerung sind anspruchsvolle Aufgaben für dieses System, da Standardverfahren hierfür nicht anwendbar sind. Das hier betrachtete Modell des zweiachsgelenkten Roboters ist ein reduziertes kinematisches Modell mit der Fahrgeschwindigkeit und den Lenkwinkeln als Eingangsgrößen. Die Lenkwinkel der beiden Achsen können unabhängig voneinander vorgegeben werden. Das reduzierte kinematische Modell ist ein Kontrollsystem mit affinen und nichtaffinen Eingängen, da die Fahrgeschwindigkeit linear in das System eingeht, während die Lenkwinkel nichtlineare Eingangsgrößen sind. In dieser Arbeit wird ein neuer Ansatz zur Lösung des zeitoptimalen Steuerungsproblems für den zweiachsgelenkten Roboter vorgestellt. Im Gegensatz zu den meisten Standardmethoden für die zeitoptimale Steuerung basiert unser Ansatz nicht ausschließlich auf Diskretisierung und rein numerischen Verfahren. Stattdessen wird das Pontryagin Maximum Prinzip angewendet, um Kandidaten für zeitoptimale Lösungen zu charakterisieren. Das sich dabei ergebende Randwertproblem wird durch Optimierung gelöst, um Lösungen für das Bahnplanungsproblem über einem bestimmten Zeithorizont zu erhalten. Die Bahnplanung wird über einem abnehmenden Zeithorizont iteriert, um eine zeitoptimale Lösung zu approximieren. Eine Optimalitätsbedingung wird eingeführt, die von der Anzahl der Richtungsumkehrungen des Roboters abhängt. Diese Optimalitätsbedingung erlaubt es, nichtoptimale Lösungen mit zu vielen Richtungsumkehrungen auszusondern. Im Allgemeinen liefert unser Ansatz nur Approximationen zeitoptimaler Lösungen, da nur normale reguläre Extremalen als Lösungen für das Bahnplanungsproblem betrachtet werden und die Bahnplanung beendet wird, sobald eine Extremale mit der minimalen Anzahl von Richtungsumkehrungen gefunden wurde. Allerdings ergeben normale reguläre Extremalen mit der minimalen Anzahl von Richtungsumkehrungen für die meisten Zielkonfigurationen des zweiachsgelenkten Roboters zeitoptimale Lösungen. Die Konvergenz des Ansatzes wird untersucht und seine probabilistische Vollständigkeit wird bewiesen. Des Weiteren werden Simulationsergebnisse für zeitoptimale Lösungen des zweiachsgelenkten Roboters präsentiert.