Der Konferenzbeitrag zeigt den Forschungs- und Technikstand bezüglich des Griff-in-die-Kiste auf. Basierend auf einer Literaturrecherche werden Beispiele für regelbasierte und lernende Verfahren vorgestellt. Anschließend erfolgt eine systematische Gegenüberstellung der Verfahren. Hierfür werden die Anforderungen, die ein Griff-in-die-Kiste-System zu erfüllen hat, dargelegt. Die Kriterien resultieren aus einer Expertenbefragung des produktionstechnischen Umfelds der Weidmüller Gruppe. Neben den Anforderungen werden die Gewichtungen zur Bildung einer Rangfolge ermittelt. Die erarbeiteten Anforderungen dienen anschließend zur Bewertung der regelbasierten und lernenden Verfahren. Die Analyse mündet in einer methodischen Lücke zwischen beiden Paradigmen und stellt die Ausgangsbasis für die weitere Arbeit zur Entwicklung des industriellen Griff-in-die-Kiste dar. Abschließend werden erste Arbeitsergebnisse zur Objekterkennung von Reihenklemmen veröffentlicht. In einer Untersuchung werden die Zuverlässigkeit, die Robustheit sowie die Einrichtdauer einer Objekterkennung mithilfe von Deep Learning ermittelt. Das angestrebte Forschungsergebnis stellt einen Entwicklungsschritt von automatisierten Systemen, die in einem definierten Wirkbereich eigenständig arbeiten, zu autonomen Systemen, die selbstständig auf zeitvariante Größen reagieren, dar.

The goal of this thesis is to use fringe-pattern phase analysis to calibrate the distortion of a camera lens. The benefit of using this method is that the distortion can be calculated using data from each individual pixel and the methodology does not need any model. The phase used to calibrate the images is calculated in two different ways, either utilizing the monogenic signal or through fringe-pattern phase analysis. The calibration approaches were also validated through different methods. Primarily by utilizing the Hough transform and calibrating simulated distortion. The thesis also introduces a validation approach utilizing the phase orientation calculated through the monogenic signal. The thesis also implements different approaches such as flat field correction to limit the impact of the image sensor noise to mitigate the phase noise. It is also investigated which fringe-pattern frequencies are best suited for calibration through comparative analysis. The comparative analysis identified problems with too high and low frequencies of the fringe-patterns when calibrating using fringe-pattern phase analysis.

This report aims to evaluate a wirelessly controlled robotic arm mounted on a 3-wheel platform that would act as a stabilized camera gimbal. The evaluation is focused on doing experiments to determine the accuracy and repeatability of the robotic arm and to examine if the arm can self-stabilize. Evaluation of the robot was done by 3D-printing a prototype and running experiments using a laser module attached to the robotic arm and measuring the error between the actual obtained points and the target points. The experiments were done on three iterations of the prototype where small changes have been done to the software and hardware components which in the last iteration gave an accuracy of 0,21mm and repeatability of 3,508mm. Stabilization was also achieved with a range of +/- 60 degrees in 3 orientations, roll, pitch and yaw. / Denna rapport utvärderar en fjärrstyrd robot-arm som är monterad på en 3-hjuligplattform som ska fungera som en stabiliserad kamera gimbal. Utvärderingen är utformat på att göra experiment för att bestämma noggrannheten och repeterbarheten av robotarmen och undersöka om robotarmen kan självstabilisera sig. En prototyp har skapats med hjälp av en 3D-skrivare och experiment gjordes genom att montera en laser på robotarmen, där mätningar har gjorts mellan målpunkterna och de erhållna punkterna. Efter 3 iterationer där vissa ändringar har gjorts till hårdvaran och mjukvaran, har en noggrannhet på 0,21mm, och repeterbarhet på 3,508mm åstadkommit. Stabiliseringen har också uppnåtts inom ett intervall av +/- 60 grader i 3 vinkel riktningarna.

Diese Arbeit beschäftigt sich mit der Verbesserung von Mensch-Roboter Interaktion in Mensch-Roboter Teams für Teleoperation Szenarien, wie z.B. robotergestützte Feuerwehreinsätze. Hierbei wird ein Konzept und eine Architektur für ein System zur Unterstützung von Teleoperation von Mensch-Roboter Teams vorgestellt. Die Anforderungen an Informationsaustausch und -verarbeitung, insbesondere für die Anwendung Rettungseinsatz, werden ausgearbeitet. Weiterhin wird das Design der Benutzerschnittstellen für Mensch-Roboter Teams dargestellt und Prinzipien für Teleoperation-Systeme und Benutzerschnittstellen erarbeitet. Alle Studien und Ansätze werden in einem Prototypen-System implementiert und in verschiedenen Benutzertests abgesichert. Erweiterungsmöglichkeiten zum Einbinden von 3D Sensordaten und die Darstellung auf Stereovisualisierungssystemen werden gezeigt. / This work deals with teams in teleoperation scenarios, where one human team partner (supervisor) guides and controls multiple remote entities (either robotic or human) and coordinates their tasks. Such a team needs an appropriate infrastructure for sharing information and commands. The robots need to have a level of autonomy, which matches the assigned task. The humans in the team have to be provided with autonomous support, e.g. for information integration. Design and capabilities of the human-robot interfaces will strongly influence the performance of the team as well as the subjective feeling of the human team partners. Here, it is important to elaborate the information demand as well as how information is presented. Such human-robot systems need to allow the supervisor to gain an understanding of what is going on in the remote environment (situation awareness) by providing the necessary information. This includes achieving fast assessment of the robot´s or remote human´s state. Processing, integration and organization of data as well as suitable autonomous functions support decision making and task allocation and help to decrease the workload in this multi-entity teleoperation task. Interaction between humans and robots is improved by a common world model and a responsive system and robots. The remote human profits from a simplified user interface providing exactly the information needed for the actual task at hand. The topic of this thesis is the investigation of such teleoperation interfaces in human-robot teams, especially for high-risk, time-critical, and dangerous tasks. The aim is to provide a suitable human-robot team structure as well as analyze the demands on the user interfaces. On one side, it will be looked on the theoretical background (model, interactions, and information demand). On the other side, real implementations for system, robots, and user interfaces are presented and evaluated as testbeds for the claimed requirements. Rescue operations, more precisely fire-fighting, was chosen as an exemplary application scenario for this work. The challenges in such scenarios are high (highly dynamic environments, high risk, time criticality etc.) and it can be expected that results can be transferred to other applications, which have less strict requirements. The present work contributes to the introduction of human-robot teams in task-oriented scenarios, such as working in high risk domains, e.g. fire-fighting. It covers the theoretical background of the required system, the analysis of related human factors concepts, as well as discussions on implementation. An emphasis is placed on user interfaces, their design, requirements and user testing, as well as on the used techniques (three-dimensional sensor data representation, mixed reality, and user interface design guidelines). Further, the potential integration of 3D sensor data as well as the visualization on stereo visualization systems is introduced.

This work focuses on coordination methods and the control of motion in groups of nonholonomic wheeled mobile robots, in particular of the car-like type. These kind of vehicles are particularly restricted in their mobility. In the main part of this work the two problems of formation motion coordination and of rendezvous in distributed multi-vehicle systems are considered. We introduce several enhancements to an existing motion planning approach for formations of nonholonomic mobile robots. Compared to the original method, the extended approach is able to handle time-varying reference speeds as well as adjustments of the formation's shape during reference trajectory segments with continuously differentiable curvature. Additionally, undesired discontinuities in the speed and steering profiles of the vehicles are avoided. Further, the scenario of snow shoveling on an airfield by utilizing multiple formations of autonomous snowplows is discussed. We propose solutions to the subproblems of motion planning for the formations and tracking control for the individual vehicles. While all situations that might occur have been tested in a simulation environment, we also verified the developed tracking controller in real robot hardware experiments. The task of the rendezvous problem in groups of car-like robots is to drive all vehicles to a common position by means of decentralized control laws. Typically there exists no direct interaction link between all of the vehicles. In this work we present decentralized rendezvous control laws for vehicles with free and with bounded steering. The convergence properties of the approaches are analyzed by utilizing Lyapunov based techniques. Furthermore, they are evaluated within various simulation experiments, while the bounded steering case is also verified within laboratory hardware experiments. Finally we introduce a modification to the bounded steering system that increases the convergence speed at the expense of a higher traveled distance of the vehicles. / Diese Arbeit befasst sich mit Methoden zur Bewegungskoordination und Regelung in Gruppen autonomer, nichtholomer Fahrzeuge, wobei vornehmlich autoähnliche mobile Roboter betrachtet werden. Diese Fahrzeuge sind besonders eingeschränkt in ihrer Bewegungsfreiheit. Im Hauptteil der Arbeit werden die Probleme der Formationsbewegung und des Rendezvous in Gruppen verteilter Fahrzeuge betrachtet. Für ein bestehendes Verfahren zur Bewegungsplanung für Formationen nichtholonomer, mobiler Fahrzeuge werden eine Reihe von Verbesserungen vorgestellt. Diese ermöglichen dem erweiterten Verfahren den Umgang mit Referenztrajektorien mit nicht-konstanter Geschwindigkeit und stetig differenzierbarer Krümmung. Außerdem werden im Gegensatz zum ursprünglichen Ansatz unerwünschte Sprungstellen in den Geschwindigkeits- und Krümmungsprofilen der Fahrzeuge vermieden. Desweiteren wird in dieser Arbeit das Schneeräumen auf Flughafenrollfeldern mittels Formationen autonomer Schneepflugfahrzeuge diskutiert. Dabei werden Lösungen für die Teilprobleme Bewegungsplanung der Formationen und Spurführungsregelung der einzelnen Fahrzeuge vorgestellt. Zusätzlich zu den durchgeführten Simulationen werden außerdem die Ergebnisse von Hardwareexperimenten mit der entwickelten Spurführungsregelung präsentiert. Das Rendezvous-Problem in Gruppen autoähnlicher Roboter besteht darin, die Fahrzeuge durch dezentrale Regelgesetze zu einer gemeinsamen Position in der Ebene zu bewegen. Dabei besteht typischerweise keine direkte Interaktionsverbindung zwischen allen Fahrzeugen der Gruppe. In dieser Arbeit werden verteilte Rendezvous-Regelgesetze für Fahrzeuge mit unbeschränktem und mit beschränktem Lenkwinkel eingeführt und deren Konvergenzeigenschaften mit Methoden zur Stabilitätsanalyse nicht-linearer Systeme untersucht. Die vorgestellten Regelsysteme werden weiterhin anhand von Simulationen und Hardwareexperimenten verifiziert. Schließlich wird noch eine Erweiterung des Systems für Fahrzeuge mit beschränktem Lenkwinkel vorgestellt, welches die Konvergenzgeschwindigkeit auf Kosten der zurückgelegten Distanz der Fahrzeuge erhöht.

While teleoperation of technical highly sophisticated systems has already been a wide field of research, especially for space and robotics applications, the automation industry has not yet benefited from its results. Besides the established fields of application, also production lines with industrial robots and the surrounding plant components are in need of being remotely accessible. This is especially critical for maintenance or if an unexpected problem cannot be solved by the local specialists. Special machine manufacturers, especially robotics companies, sell their technology worldwide. Some factories, for example in emerging economies, lack qualified personnel for repair and maintenance tasks. When a severe failure occurs, an expert of the manufacturer needs to fly there, which leads to long down times of the machine or even the whole production line. With the development of data networks, a huge part of those travels can be omitted, if appropriate teleoperation equipment is provided. This thesis describes the development of a telemaintenance system, which was established in an active production line for research purposes. The customer production site of Braun in Marktheidenfeld, a factory which belongs to Procter & Gamble, consists of a six-axis cartesian industrial robot by KUKA Industries, a two-component injection molding system and an assembly unit. The plant produces plastic parts for electric toothbrushes. In the research projects "MainTelRob" and "Bayern.digital", during which this plant was utilised, the Zentrum für Telematik e.V. (ZfT) and its project partners develop novel technical approaches and procedures for modern telemaintenance. The term "telemaintenance" hereby refers to the integration of computer science and communication technologies into the maintenance strategy. It is particularly interesting for high-grade capital-intensive goods like industrial robots. Typical telemaintenance tasks are for example the analysis of a robot failure or difficult repair operations. The service department of KUKA Industries is responsible for the worldwide distributed customers who own more than one robot. Currently such tasks are offered via phone support and service staff which travels abroad. They want to expand their service activities on telemaintenance and struggle with the high demands of teleoperation especially regarding security infrastructure. In addition, the facility in Marktheidenfeld has to keep up with the high international standards of Procter & Gamble and wants to minimize machine downtimes. Like 71.6 % of all German companies, P&G sees a huge potential for early information on their production system, but complains about the insufficient quality and the lack of currentness of data. The main research focus of this work lies on the human machine interface for all human tasks in a telemaintenance setup. This thesis provides own work in the use of a mobile device in context of maintenance, describes new tools on asynchronous remote analysis and puts all parts together in an integrated telemaintenance infrastructure. With the help of Augmented Reality, the user performance and satisfaction could be raised. A special regard is put upon the situation awareness of the remote expert realized by different camera viewpoints. In detail the work consists of: - Support of maintenance tasks with a mobile device - Development and evaluation of a context-aware inspection tool - Comparison of a new touch-based mobile robot programming device to the former teach pendant - Study on Augmented Reality support for repair tasks with a mobile device - Condition monitoring for a specific plant with industrial robot - Human computer interaction for remote analysis of a single plant cycle - A big data analysis tool for a multitude of cycles and similar plants - 3D process visualization for a specific plant cycle with additional virtual information - Network architecture in hardware, software and network infrastructure - Mobile device computer supported collaborative work for telemaintenance - Motor exchange telemaintenance example in running production environment - Augmented reality supported remote plant visualization for better situation awareness / Die Fernsteuerung technisch hochentwickelter Systeme ist seit vielen Jahren ein breites Forschungsfeld, vor allem im Bereich von Weltraum- und Robotikanwendungen. Allerdings hat die Automatisierungsindustrie bislang zu wenig von den Ergebnissen dieses Forschungsgebiets profitiert. Auch Fertigungslinien mit Industrierobotern und weiterer Anlagenkomponenten müssen über die Ferne zugänglich sein, besonders bei Wartungsfällen oder wenn unvorhergesehene Probleme nicht von den lokalen Spezialisten gelöst werden können. Hersteller von Sondermaschinen wie Robotikfirmen verkaufen ihre Technologie weltweit. Kunden dieser Firmen besitzen beispielsweise Fabriken in Schwellenländern, wo es an qualifizierten Personal für Reparatur und Wartung mangelt. Wenn ein ernster Fehler auftaucht, muss daher ein Experte des Sondermaschinenherstellers zum Kunden fliegen. Das führt zu langen Stillstandzeiten der Maschine. Durch die Weiterentwicklung der Datennetze könnte ein großer Teil dieser Reisen unterbleiben, wenn eine passende Fernwartungsinfrastruktur vorliegen würde. Diese Arbeit beschreibt die Entwicklung eines Fernwartungssystems, welches in einer aktiven Produktionsumgebung für Forschungszwecke eingerichtet wurde. Die Fertigungsanlage des Kunden wurde von Procter & Gamble in Marktheidenfeld zur Verfügung gestellt und besteht aus einem sechsachsigen, kartesischen Industrieroboter von KUKA Industries, einer Zweikomponentenspritzgussanlage und einer Montageeinheit. Die Anlage produziert Plastikteile für elektrische Zahnbürsten. Diese Anlage wurde im Rahmen der Forschungsprojekte "MainTelRob" und "Bayern.digital" verwendet, in denen das Zentrum für Telematik e.V. (ZfT) und seine Projektpartner neue Ansätze und Prozeduren für moderne Fernwartungs-Technologien entwickeln. Fernwartung bedeutet für uns die umfassende Integration von Informatik und Kommunikationstechnologien in der Wartungsstrategie. Das ist vor allem für hochentwickelte, kapitalintensive Güter wie Industrierobotern interessant. Typische Fernwartungsaufgaben sind beispielsweise die Analyse von Roboterfehlermeldungen oder schwierige Reparaturmaßnahmen. Die Service-Abteilung von KUKA Industries ist für die weltweit verteilten Kunden zuständig, die teilweise auch mehr als einen Roboter besitzen. Aktuell werden derartige Aufgaben per Telefonauskunft oder mobilen Servicekräften, die zum Kunden reisen, erledigt. Will man diese komplizierten Aufgaben durch Fernwartung ersetzen um die Serviceaktivitäten auszuweiten muss man mit den hohen Anforderungen von Fernsteuerung zurechtkommen, besonders in Bezug auf Security Infrastruktur. Eine derartige umfassende Herangehensweise an Fernwartung bietet aber auch einen lokalen Mehrwert beim Kunden: Die Fabrik in Marktheidenfeld muss den hohen internationalen Standards von Procter & Gamble folgen und will daher die Stillstandzeiten weiter verringern. Wie 71,6 Prozent aller deutschen Unternehmen sieht auch P&G Marktheidenfeld ein großes Potential für frühe Informationen aus ihrem Produktionssystem, haben aber aktuell noch Probleme mit der Aktualität und Qualität dieser Daten. Der Hauptfokus der hier vorgestellten Forschung liegt auf der Mensch-Maschine-Schnittstelle für alle Aufgaben eines umfassenden Fernwartungskontextes. Diese Arbeit stellt die eigene Arbeiten bei der Verwendung mobiler Endgeräte im Kontext der Wartung und neue Softwarewerkzeuge für die asynchrone Fernanalyse vor und integriert diese Aspekte in eine Fernwartungsinfrastruktur. In diesem Kontext kann gezeigt werden, dass der Einsatz von Augmented Reality die Nutzerleistung und gleichzeitig die Zufriedenheit steigern kann. Dabei wird auf das sogenannte "situative Bewusstsein" des entfernten Experten besonders Wert gelegt. Im Detail besteht die Arbeit aus: - Unterstützung von Wartungsaufgaben mit mobilen Endgeräten - Entwicklung und Evaluation kontextsensitiver Inspektionssoftware - Vergleich von touch-basierten Roboterprogrammierung mit der Vorgängerversion des Programmierhandgeräts - Studien über die Unterstützung von Reparaturaufgaben durch Augmented Reality - Zustandsüberwachung für eine spezielle Anlage mit Industrieroboter - Mensch-Maschine Interaktion für die Teleanalyse eines Produktionszyklus - Grafische Big Data Analyse einer Vielzahl von Produktionszyklen - 3D Prozess Visualisierung und Anreicherung mit virtuellen Informationen - Hardware, Software und Netzwerkarchitektur für die Fernwartung - Computerunterstützte Zusammenarbeit mit Verwendung mobiler Endgeräte für die Fernwartung - Fernwartungsbeispiel: Durchführung eines Motortauschs in der laufenden Produktion - Augmented Reality unterstütze Visualisierung des Anlagenkontextes für die Steigerung des situativen Bewusstseins

This thesis explores the application of Contrastive Language-Image Pre-Training (CLIP), a vision-language model, in an automated video surveillance system for anomaly detection. The ability of CLIP to perform zero-shot learning, coupled with its robustness against minor image alterations due to its lack of reliance on pixel-level image analysis, makes it a suitable candidate for this application. The study investigates the performance of CLIP in tandem with various anomaly detection algorithms within a visual surveillance system. A custom dataset was created for video anomaly detection, encompassing two distinct views and two varying levels of anomaly difficulty. One view offers a more zoomed-in perspective, while the other provides a wider perspective. This was conducted to evaluate the capacity of CLIP to manage objects that occupy either a larger or smaller portion of the entire scene. Several different anomaly detection methods were tested with varying levels of supervision, including unsupervised, one-class classification, and weakly- supervised algorithms, which were compared against each other. To create better separation between the CLIP embeddings, a metric learning model was trained and then used to transform the CLIP embeddings to a new embedding space. The study found that CLIP performs effectively when anomalies take up a larger part of the image, such as in the zoomed-in view where some of the One- Class-Classification (OCC) and weakly supervised methods demonstrated superior performance. When anomalies take up a significantly smaller part of the image in the wider view, CLIP has difficulty distinguishing anomalies from normal scenes even using the transformed CLIP embeddings. For the wider view the results showed on better performance for the OCC and weakly supervised methods.

Grasping novel objects is challenging because of incomplete object data and because of uncertainties inherent in real world applications. To robustly perform grasps on previously unseen objects, feedback from touch is essential. In our research, we study how information from touch sensors can be used to improve grasping novel objects. Since it is not trivial to extract relevant object properties and deduce appropriate actions from touch sensing, we employ machine learning techniques to learn suitable behaviors. We have shown that grasp stability estimation based on touch can be improved by including an approximate notion of object shape. Further we have devised a method to guide local grasp adaptations based on our stability estimation method. Grasp corrections are found by simulating tactile data for grasps in the vicinity of the current grasp. We present several experiments to demonstrate the applicability of our methods. The thesis is concluded by discussing our results and suggesting potential topics for further research. / Att greppa nya föremål är utmanande, både eftersom roboten inte har fullständig information om objekten och på grund av den inneboende osäkerheten i verkliga tillämpningar. Återkoppling från känselsensorer är viktigt för att kunna greppa föremål som inte påträffats tidigare. I vår forskning så studerar vi hur information från känselsensorer kan användas för att förbättra greppandet av nya föremål. Eftersom det är svårt att extrahera relevanta egenskaper om föremål och härleda lämpliga åtgärder, baserat på känselsensorer, så har vi använt maskininlärning för att lära roboten lämpliga beteenden. Vi har visat att uppskattningar av stabiliteten av ett grepp baserat på känselsensorer kan förbättras genom att även använda en grov approximation av föremålets form. Vi har även konstruerat en metod som vägleder lokala justeringar av grepp, baserat på vår metod som uppskattar stabiliteten av ett grepp. Dess justeringar hittas genom att simulera känselsensordata för grepp i närheten av det nuvarande greppet. Vi presenterar flera experiment som demonstrerar tillämpbarheten av våra metoder. Avhandlingen avslutas med en diskussion om våra resultat och förslag på möjliga ämnen för fortsatt forskning. / <p>QC 20170510</p>

As online retail continues to grow, large amounts of valuable data, such as transaction and search history, and, specifically for fashion retail, similarly structured images of clothing, is generated. By using unsupervised learning, it is possible to tap into this almost unlimited supply of data. This thesis set out to determine to what extent generative models – in particular, deep convolutional variational autoencoders – can be used to automatically extract representative features from images of clothing in a completely unsupervised manner. In reviewing variations of the autoencoder, both in terms of reconstruction quality and the ability to generate new realistic samples, results suggest that there exists an optimal size of the latent vector in relation to the image data complexity. Furthermore, by weighting the latent loss and generation loss in the loss function, it was possible to disentangle the learned features such that each feature captured a unique defining characteristic of clothing items (here t-shirts and tops). / I takt med att E-handeln fortsätter att växa och kunderna i ökad utsträckning rör sig online, genereras stora mängder värdefull data, exempelvis transaktions- och sökhistorik, och specifikt för klädeshandeln, välstrukturerade bilder av kläder. Genom att använda oövervakad maskininlärning (unsupervised machine learning) är det möjligt att utnyttja denna, nästan obegränsade mängd data. Detta arbete syftar till att utreda i vilken utsträckning generativa modeller, särskilt djupa självkodande neurala faltningsnätverk (deep convolutional variational autoencoders), kan användas för att automatiskt extrahera definierande drag från bilder av kläder. Genom att granska olika varianter av självkodaren framträder en optimal relation mellan storleken på den latenta vektorn och komplexiteten på den bilddata som nätverket tränades på. Vidare noterades att dragen kan fördeladas unikt på variablerna, i detta fall t-shirts och toppar, genom att vikta den latenta förlustfunktionen.

No description available.