No description available.

No description available.

Die Schätzung von Posen ist ein bedeutendes Forschungsgebiet im Bereich der künstlichen Intelligenz, das die Mensch-Maschine-Interaktion vorantreibt und auch im Sport immer mehr an Relevanz gewinnt. Während menschliche Fußballspieler auf dem Feld mit den Schiedsrichtern ganz natürlich interagieren, wurde dieser Aspekt jedoch bisher in der Standard Platform League des Robocups vernachlässigt. Diese Arbeit untersucht einen weiteren Ansatz, um die Klassifizierung von statischen und dynamischen Schiedsrichterposen durchzuführen und damit dem großen Ziel, dass bis Mitte des 21. Jahrhunderts ein vollständig autonomes Roboter-Team nach den offiziellen FIFA-Regeln gegen den aktuellen Weltmeister gewinnen soll, einen Schritt näher zu kommen. Hierfür wurden Videos von relevanten Schiedsrichterposen erstellt und gesammelt. Anschließend wurden die menschlichen Gelenke mittels MoveNet extrahiert und die Pose mithilfe eines Convolutional Neural Networks klassifiziert. Dabei wurden zwei verschiedene Ansätze verfolgt: Ein Modell für jede Pose und ein Modell für alle Posen. Die Untersuchung zeigt, dass gute bis sehr gute Ergebnisse für statische und dynamische Posen erzielt werden können, wobei die Genauigkeit von einem Modell pro Pose 91,3% bis 99,3% mit einem Durchschnitt von 96,1% erreicht und die Genauigkeit von einem Modell für alle Posen eine Genauigkeit von 90,9% erreicht. Die erfolgreiche Anwendung der entwickelten Methodik zur Schätzung von Posen im Roboterfußball eröffnet vielversprechende Perspektiven für die Zukunft dieses Bereichs. Die gewonnenen Erkenntnisse können nicht nur zur Verbesserung der Leistungsfähigkeit von Fußballrobotern beitragen, sondern auch einen bedeutenden Beitrag zur weiteren Integration von KI-Technologien in unsere Gesellschaft leisten.:Inhaltsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis Abkürzungsverzeichnis 1 Einleitung 2 Einsatzszenario 2.1 Der RoboCup 2.2 Die Standard Platform League 2.3 Die In-Game Visual Referee Challenge 3 Grundlagen neuronaler Netze 3.1 Artificial Neural Networks 3.2 Convolutional Neural Networks 3.2.1 Architektur 3.2.2 Aktivierungsfunktionen 3.2.3 Weitere Optimierungsmöglichkeiten 3.3 Verschiedene Lernmethoden 3.4 Evaluation 4 State of the Art 10 4.1 Machine Learning Ansätze 4.1.1 Decision Trees 4.1.2 k-NN Algorithmus 4.2 Deep Learning Ansätze 4.2.1 Artificial Neural Network 4.2.2 Convolutionan Neural Network 4.2.3 Recurrent Neural Network 4.3 Auswahl des Vorgehens 4.3.1 Schlüsselpunkterkennung 4.3.2 Posenerkennung 5 Eigene Implementierung 5.1 Datensatz 5.2 Vorverarbeitung der Daten 5.2.1 Vorverarbeitung der Videos 5.2.2 Erstellung der Trainings- und Validierungsdaten 5.3 Ansatz 1: Ein Model pro Pose 5.3.1 Datensatz 5.3.2 Architektur 5.3.3 Bewertung 5.4 Ansatz 2: Ein Model für alle Posen 5.4.1 Datensatz 5.4.2 Architektur 5.4.3 Bewertung 5.5 Vergleich der Ansätze 6 Fazit und Ausblick 6.1 Fazit 6.2 Ausblick Literatur A Anhang A.1 RoboCup Standard Platform League (NAO) Technical Challenges A.2 Modelcard Movenet A.3 Code und Datensätze Eigenständigkeitserklärung

With the development of posibilities of image processing, stereoscopy, prices of web cameras and power of computers an opportunity to multiply an experience with working with 3D programs showed. From the picture from webcamera an estimation of a pose of user's head can be made. According to this pose a view on 3D scene can be changed. Then, when user moves his head, he will have a feeling as if monitor was a window through which one can see the scene behind. With the system which is the result of this project it will be possible to easily and cheaply add this kind of behaviour to any 3D application.

<p dir="ltr">This dissertation presents the findings and research conducted during my Ph.D. study, which focuses on developing grasp policies for modular end-effectors on mobile manipulation platforms operating in cluttered environments. The primary objective of this research is to enhance the performance and accuracy of robotic manipulation systems in complex, real-world scenarios. The work has potential implications for various domains, including the rapidly growing Industry 4.0 and the advancement of autonomous systems in space habitats.</p><p dir="ltr">The dissertation offers a comprehensive literature review, emphasizing the challenges faced by mobile manipulation platforms in cluttered environments and the state-of-the-art techniques for grasping and manipulation. It showcases the development and evaluation of a Modular End-Effector System (MEES) for mobile manipulation platforms, which includes the investigation of object 6D pose estimation techniques, the generation of a deep learning-based grasping dataset for MEES, the development of a suction cup gripper grasping policy (Sim-Suction), the development of a two-finger grasping policy (Sim-Grasp), and the integration of Modular End-Effector System grasping policy (Sim-MEES). The proposed methodology integrates hardware designs, control algorithms, data-driven methods, and large language models to facilitate adaptive grasping strategies that consider the unique constraints and requirements of cluttered environments.</p><p dir="ltr">Furthermore, the dissertation discusses future research directions, such as further investigating the Modular End-Effector System grasping policy. This Ph.D. study aims to contribute to the advancement of robotic manipulation technology, ultimately enabling more versatile and robust mobile manipulation platforms capable of effectively interacting with complex environments.</p>

Joint detection is vital for characterizing human pose and serves as a foundation for a wide range of computer vision applications such as physical training, health care, entertainment. This dissertation proposed two methods to detect joints in the human body for pose analysis. The first method detects joints by combining body model and automatic feature points detection together. The human body model maps the detected extreme points to the corresponding body parts of the model and detects the position of implicit joints. The dominant joints are detected after implicit joints and extreme points are located by a shortest path based methods. The main contribution of this work is a hybrid framework to detect joints on the human body to achieve robustness to different body shapes or proportions, pose variations and occlusions. Another contribution of this work is the idea of using geodesic features of the human body to build a model for guiding the human pose detection and estimation. The second proposed method detects joints by segmenting human body into parts first and then detect joints by making the detection algorithm focusing on each limb. The advantage of applying body part segmentation first is that the body segmentation method narrows down the searching area for each joint so that the joint detection method can provide more stable and accurate results.

Interaktiv projicerad förstärkt verklighet är ett delområde inom projicerad förstärktverklighet, där interaktiviteten handlar om att projicera virtuelldata på en entitet somär rörlig. Denna projektion kan åstadkommas genom att använda en kalibrerad projektor-djupkamerasystem som detekterar entitet med hjälp av datorseende. Dettainteraktiva system har varierande antal tillämpningsområden, dock framkommer enkritisk problemformulering, vilket är noggrannheten för dessa system. Noggrannheten i detta fall är hur korrekt projektionen sker på den specifika entiteten, noggrannheten är därför en viktig aspekt för att validera ifall vissa tillämpningar är möjliga implementera. Lösningen för detta problem är att implementera interaktiv projicerad förstärkt verklighet och utföra prototyptester med det implementerade systemet och sedan vidare analysera noggrannheten med testdata. Prototypen kalibrerasmed befintliga verktyg från tidigare studier, detekterar med hjälp av positionsuppskattning och kan sedan projicera punkter på specifika kroppsdelar som även följerpersonen vid rörelse. Resultatet som framkom blev en prototyp som testades för noggrannheten. Testernasker med hjälp av datorseende för att extrahera mätdata såsom projicerade punktenoch förväntade punkten. Från analysen av testdata framkom det att projektionensnoggrannhet är lämplig för tillämpningar som inte kräver exceptionell noggrannhet,såsom nöje, konst, spel och med mera. Ytterligare forskning krävs för användningsområden som kräver exceptionell noggrannhet som tillämpningar inom sjukvård ochkirurgi. / Interactive projected augmented reality is a subfield within projected augmented reality, where the interactivity is about projecting virtual data onto an entity that canpotentially be in movement. This projection can be accomplished by using a calibrated projector-depth camera system that detects entities using computer vision.This interactive system has a varying number of application areas; however, a criticalproblem emerges, which is the accuracy of these systems. The accuracy in this caseis how correctly the projection takes place on the specific entity, the accuracy istherefore an important aspect to validate if certain applications are possible to implement correctly. The solution for this problem is by implementing interactive projectedaugmented reality and perform prototype tests with the implemented system andthen further analyzing the accuracy with test data. The prototype is calibrated withexisting tools from previous studies, detects using pose detection, which can thenproject points on specific body parts that also follows the person during movement.The result that got developed was a prototype that was tested for accuracy. The testsare done using computer vision to extract measurement data such as the projectedpoint and the expected point. The result from the analysis of the test data showedthat the accuracy of the projection is suitable for applications that do not requireexceptional accuracy, such as entertainment, art, games and so on. Further research is required for applications that require exceptional accuracy such ashealthcare and surgical applications.