Physikalische Simulation ist eine effektive und praktische Methode, um die Probleme der realen Welt zu untersuchen und zu erforschen. Jedoch kann die Simulation wertvolle Ergebnisse für die Robotik nur in enger Verbindung zu den realen Robotern liefern. In der Arbeit haben wie Methoden untersucht, die einen glatten Übergang von simulierten zu realen Robotern für die Steuerung humanoider Roboter erlauben. Wir haben ein Framework entwickelt, in dem Roboter sowohl in realen als auch in simulierten Umgebungen arbeiten können. Wir haben einen Simulator für humanoide Roboter auf konzeptioneller und experimenteller Ebene durch entsprechende Experimente evaluiert. Weiterhin haben wir den Simulator um zusätzliche Modelle erweitert und Parameter mithilfe Evolutionärer Algorithmen optimiert. Schließlich haben wir Bewegungen in Simulationen mit Maschinellem Lernen entwickelt und erfolgreich auf reale Roboter übertragen. Als Resultat können Roboter Teams sowohl in den Simulationsligen als auch in den realen Ligen des RoboCup mit identischen Steuerungen Fußball spielen. Das ergibt eine enge Verbindung zwischen den Entwicklern von simulierten und realen Robotern. / Physical simulation is an effective and practical method, to apply to the study and exploration of real world problems. However, simulation can offer valuable results for robotics only in close connection to real robots. In this thesis, we investigated how to create a mechanism that provides a smooth gradient to transfer humanoid robot control from simulated robot to real robot. We developed a framework for running robots both in real and simulated settings; and evaluated a humanoid robot simulator at a conceptual model level and results level by conducting experiments. Then, we improved the simulator by adding missing models and optimizing parameters with Evolutionary Algorithms. Finally, we developed motions in the simulations, with the help of Machine Learning, and transferred them to real robots successfully. As a result, a robot team can play soccer using identical controls in both the simulation and real RoboCup leagues. This constitutes a close connection between the communities working with simulated and real robots.

Gesten sind ein Kommunikationsweg, der einem Betrachter Informationen oder Absichten übermittelt. Daher können sie effektiv in der Mensch-Roboter-Interaktion, oder in der Mensch-Maschine-Interaktion allgemein, verwendet werden. Sie stellen eine Möglichkeit für einen Roboter oder eine Maschine dar, um eine Bedeutung abzuleiten. Um Gesten intuitiv benutzen zukönnen und Gesten, die von Robotern ausgeführt werden, zu verstehen, ist es notwendig, Zuordnungen zwischen Gesten und den damit verbundenen Bedeutungen zu definieren -- ein Gestenvokabular. Ein Menschgestenvokabular definiert welche Gesten ein Personenkreis intuitiv verwendet, um Informationen zu übermitteln. Ein Robotergestenvokabular zeigt welche Robotergesten zu welcher Bedeutung passen. Ihre effektive und intuitive Benutzung hängt von Gestenerkennung ab, das heißt von der Klassifizierung der Körperbewegung in diskrete Gestenklassen durch die Verwendung von Mustererkennung und maschinellem Lernen. Die vorliegende Dissertation befasst sich mit beiden Forschungsbereichen. Als eine Voraussetzung für die intuitive Mensch-Roboter-Interaktion wird zunächst ein Aufmerksamkeitsmodell für humanoide Roboter entwickelt. Danach wird ein Verfahren für die Festlegung von Gestenvokabulare vorgelegt, das auf Beobachtungen von Benutzern und Umfragen beruht. Anschliessend werden experimentelle Ergebnisse vorgestellt. Eine Methode zur Verfeinerung der Robotergesten wird entwickelt, die auf interaktiven genetischen Algorithmen basiert. Ein robuster und performanter Gestenerkennungsalgorithmus wird entwickelt, der auf Dynamic Time Warping basiert, und sich durch die Verwendung von One-Shot-Learning auszeichnet, das heißt durch die Verwendung einer geringen Anzahl von Trainingsgesten. Der Algorithmus kann in realen Szenarien verwendet werden, womit er den Einfluss von Umweltbedingungen und Gesteneigenschaften, senkt. Schließlich wird eine Methode für das Lernen der Beziehungen zwischen Selbstbewegung und Zeigegesten vorgestellt. / Gestures consist of movements of body parts and are a mean of communication that conveys information or intentions to an observer. Therefore, they can be effectively used in human-robot interaction, or in general in human-machine interaction, as a way for a robot or a machine to infer a meaning. In order for people to intuitively use gestures and understand robot gestures, it is necessary to define mappings between gestures and their associated meanings -- a gesture vocabulary. Human gesture vocabulary defines which gestures a group of people would intuitively use to convey information, while robot gesture vocabulary displays which robot gestures are deemed as fitting for a particular meaning. Effective use of vocabularies depends on techniques for gesture recognition, which considers classification of body motion into discrete gesture classes, relying on pattern recognition and machine learning. This thesis addresses both research areas, presenting development of gesture vocabularies as well as gesture recognition techniques, focusing on hand and arm gestures. Attentional models for humanoid robots were developed as a prerequisite for human-robot interaction and a precursor to gesture recognition. A method for defining gesture vocabularies for humans and robots, based on user observations and surveys, is explained and experimental results are presented. As a result of the robot gesture vocabulary experiment, an evolutionary-based approach for refinement of robot gestures is introduced, based on interactive genetic algorithms. A robust and well-performing gesture recognition algorithm based on dynamic time warping has been developed. Most importantly, it employs one-shot learning, meaning that it can be trained using a low number of training samples and employed in real-life scenarios, lowering the effect of environmental constraints and gesture features. Finally, an approach for learning a relation between self-motion and pointing gestures is presented.

In den letzten Jahren sind immer mehr erschwingliche Kamera-Sensoren mit einer zunehmenden Vielfalt optischer Abbildungsfunktionen verfügbar geworden. Low-Cost-Optiken können aufgrund höherer Toleranzen und unterschiedlicher optischer Materialien von der gewünschten Lochkamera Metrik abweichen. Weitwinkel- und Fischaugenobjektive, verzerrende katadioptrische Objektive (spiegelnd und refraktiv) und andere ungewöhnliche Objektive weichen von der Annahme des Modells einer Lochkamera mit einer Brennweite ab. Actionkameras können die gesamte Umgebung mit zwei Objektiven abbilden, diese entsprechen meist nicht mehr dem Lochkameramodell. Kameras werden auch für Messaufgaben hinter zusätzlichen optischen Elementen eingesetzt. Die vorliegende Arbeit erweitert die ersten Erkenntnisse im Bereich der differenzierbaren (glatten) Kameramodelle ohne Einschränkungen. Viele existierende Modelle sind auf bestimmte Objektivtypen spezialisiert. In dieser Arbeit werden mehrere solcher allgemeinen Modelle eingeführt, ohne dass eine global feste Brennweite und spezielle Anforderungen an die Symmetrie der Abbildung erforderlich sind. Eine Einführung alternativer Fehlermetriken im Objektraum bringt auch enorme Rechenvorteile, da eine Abbildungsrichtung analytisch berechnet und viele der Berechnungsergebnisse konstant gehalten werden können. Zur Initialisierung solcher Modelle wird in dieser Arbeit eine generische lineare Kamera vorgestellt. Das wesentliche Merkmal dabei ist eine künstliche Transformation in höhere Dimensionen, welche mit linearen Verfahren weiterverwendet werden. Sie modellieren bereits nichtlineare Verzerrungen und Asymmetrien. Eine Multikamera-Kalibrierungssoftware wird ebenfalls beschrieben und implementiert. Das Ergebnis der Arbeit ist ein theoretischer Rahmen für glatte Kameramodelle im Objektraum selbst – anstelle der Abbildung in den Bildraum – mit mehreren konkreten Modellvorschlägen, Implementierungen und dem angepassten und erweiterten Kalibrierungsprozess. / In recent years, more and more affordable camera sensors with an increasing variety of optical imaging features have become available. Low-cost optics may deviate from the desired pinhole metric due to higher tolerances and different optical materials. Wide-angle and fisheye lenses, distorting catadioptric lenses (specular and refractive) and other unusual lenses deviate from the single focal pinhole camera model assumption, which is sometimes intentional. Action cameras can map the entire environment using two lenses, these usually no longer correspond to the pinhole camera model. Cameras are also used for measuring tasks behind additional optical elements – with unforeseeable deviations in the line of sight. The present work expands the first findings in the field of differentiable (smooth) camera models without constraints. Many existing models specialise in certain types of lenses. In this work, several such general models are introduced without requiring fixed global focal length and symmetry requirements. An introduction of alternative error metrics in the object space also gives enormous computational advantages, since one imaging direction can be calculated analytically and many of the calculation results can be kept constant. For the generation of meaningful starting values of such models, this work introduces a generic linear camera. The essential feature of is an artificial transformation into higher dimensions. These transformed coordinates can then continue to be used with linear methods. They already model non-linear distortions and asymmetries. A multi-camera calibration software that efficiently implements these models is also described and implemented. The result of the work is a theoretical framework for smooth camera models in the object space itself - instead of the established mapping into the image space - with several concrete model proposals, implementations and the adapted and extended calibration process.

Für mobile autonome Roboter ist ein solides Modell der Umwelt eine wichtige Voraussetzung um die richtigen Entscheidungen zu treffen. Die gängigen existierenden Verfahren zur Weltmodellierung basieren auf dem Bayes-Filter und verarbeiten Informationen mit Hidden Markov Modellen. Dabei wird der geschätzte Zustand der Welt (Belief) iterativ aktualisiert, indem abwechselnd Sensordaten und das Wissen über die ausgeführten Aktionen des Roboters integriert werden; alle Informationen aus der Vergangenheit sind im Belief integriert. Wenn Sensordaten nur einen geringen Informationsgehalt haben, wie zum Beispiel Peilungsmessungen, kommen sowohl parametrische Filter (z.B. Kalman-Filter) als auch nicht-parametrische Filter (z.B. Partikel-Filter) schnell an ihre Grenzen. Das Problem ist dabei die Repräsentation des Beliefs. Es kann zum Beispiel sein, dass die gaußschen Modelle beim Kalman-Filter nicht ausreichen oder Partikel-Filter so viele Partikel benötigen, dass die Rechendauer zu groß wird. In dieser Dissertation stelle ich ein neues Verfahren zur Weltmodellierung vor, das Informationen nicht sofort integriert, sondern erst bei Bedarf kombiniert. Das Verfahren wird exemplarisch auf verschiedene Anwendungsfälle aus dem RoboCup (autonome Roboter spielen Fußball) angewendet. Es wird gezeigt, wie vierbeinige und humanoide Roboter ihre Position und Ausrichtung auf einem Spielfeld sehr präzise bestimmen können. Grundlage für die Lokalisierung sind bildbasierte Peilungsmessungen zu Objekten. Für die Roboter-Ausrichtung sind dabei Feldlinien eine wichtige Informationsquelle. In dieser Dissertation wird ein Verfahren zur Erkennung von Feldlinien in Kamerabildern vorgestellt, das ohne Kalibrierung auskommt und sehr gute Resultate liefert, auch wenn es starke Schatten und Verdeckungen im Bild gibt. / For autonomous mobile robots, a solid world model is an important prerequisite for decision making. Current state estimation techniques are based on Hidden Markov Models and Bayesian filtering. These methods estimate the state of the world (belief) in an iterative manner. Data obtained from perceptions and actions is accumulated in the belief which can be represented parametrically (like in Kalman filters) or non-parametrically (like in particle filters). When the sensor''s information gain is low, as in the case of bearing-only measurements, the representation of the belief can be challenging. For instance, a Kalman filter''s Gaussian models might not be sufficient or a particle filter might need an unreasonable number of particles. In this thesis, I introduce a new state estimation method which doesn''t accumulate information in a belief. Instead, perceptions and actions are stored in a memory. Based on this, the state is calculated when needed. The system has a particular advantage when processing sparse information. This thesis presents how the memory-based technique can be applied to examples from RoboCup (autonomous robots play soccer). In experiments, it is shown how four-legged and humanoid robots can localize themselves very precisely on a soccer field. The localization is based on bearings to objects obtained from digital images. This thesis presents a new technique to recognize field lines which doesn''t need any pre-run calibration and also works when the field lines are partly concealed and affected by shadows.

Die Interaktion zwischen Maschinen und ihrer Umgebung sollte zuverlässig, sicher und ökologisch adequat sein. Um das in komplexen Szenarien langfristig zu gewährleisten, wird eine Theorie adaptiven Verhaltens benötigt. In der Entwicklungsrobotik und verkörperten künstlichen Intelligenz wird Verhalten als emergentes Phänomen auf der fortlaufenden dynamischen Interaktion zwischen Agent, Körper und Umgebung betrachtet. Die Arbeit untersucht Roboter, die in der Lage sind, schnell und selbständig einfache Bewegungen auf Grundlage sensomotorischer Information zu erlernen. Das langfristige Ziel dabei ist die Wiederverwendung gelernter Fertigkeiten in späteren Lernprozessen um damit ein komplexes Interaktionsrepertoire mit der Welt entstehen zu lassen, das durch Entwicklungsprozesse vollständig und fortwährend adaptiv in der sensomotorischen Erfahrung verankert ist. Unter Verwendung von Methoden des maschinellen Lernens, der Neurowissenschaft, Statistik und Physik wird die Frage in die Komponenten Repräsentation, Exploration, und Lernen zerlegt. Es wird ein Gefüge für die systematische Variation und Evaluation von Modellen errichtet. Das vorgeschlagene Rahmenwerk behandelt die prozedurale Erzeugung von Hypothesen als Flussgraphen über einer festen Menge von Funktionsbausteinen, was die Modellsuche durch nahtlose Anbindung über simulierte und physikalische Systeme hinweg ermöglicht. Ein Schwerpunkt der Arbeit liegt auf dem kausalen Fussabdruck des Agenten in der sensomotorischen Zeit. Dahingehend wird ein probabilistisches graphisches Modell vorgeschlagen um Infor- mationsflussnetzwerke in sensomotorischen Daten zu repräsentieren. Das Modell wird durch einen auf informationtheoretischen Grössen basierenden Lernalgorithmus ergänzt. Es wird ein allgemeines Modell für Entwicklungslernen auf Basis von Echtzeit-Vorhersagelernen präsentiert und anhand dreier Variationen näher besprochen. / The interaction of machines with their environment should be reliable, safe, and ecologically adequate. To ensure this over long-term complex scenarios, a theory of adaptive behavior is needed. In developmental robotics, and embodied artificial intelligence behavior is regarded as a phenomenon that emerges from an ongoing dynamic interaction between entities called agent, body, and environment. The thesis investigates robots that are able to learn rapidly and on their own, how to do primitive motions, using sensorimotor information. The long-term goal is to reuse acquired skills when learning other motions in the future, and thereby grow a complex repertoire of possible interactions with the world, that is fully grounded in, and continually adapted to sensorimotor experience through developmental processes. Using methods from machine learning, neuroscience, statistics, and physics, the question is decomposed into the relationship of representation, exploration, and learning. A framework is provided for systematic variation and evaluation of models. The proposed framework considers procedural generation of hypotheses as scientific workflows using a fixed set of functional building blocks, and allows to search for models by seamless evaluation in simulation and real world experiments. Additional contributions of the thesis are related to the agent's causal footprint in sensorimotor time. A probabilistic graphical model is provided, along with an information-theoretic learning algorithm, to discover networks of information flow in sensorimotor data. A generic developmental model, based on real time prediction learning, is presented and discussed on the basis of three different algorithmic variations.

Ermüdungsrissbildung ist ein gefährliches und kostenintensives Phänomen, welches frühzeitig erkannt werden muss. Weil kleine Fehlstellen jedoch hohe Testempfindlichkeit erfordern, wird die Prüfzuverlässigkeit durch Falschanzeigen vermindert. Diese Arbeit macht sich deshalb die Diversität unterschiedlicher zerstörungsfreier Oberflächenprüfmethoden zu Nutze, um mittels Datenfusion die Zuverlässigkeit der Fehlererkennung zu erhöhen. Der erste Beitrag dieser Arbeit in neuartigen Ansätzen zur Fusion von Prüfbildern. Diese werden durch Oberflächenabtastung mittels Wirbelstromprüfung, thermischer Prüfung und magnetischer Streuflussprüfung gewonnen. Die Ergebnisse zeigen, dass schon einfache algebraische Fusionsregeln gute Ergebnisse liefern, sofern die Daten adäquat vorverarbeitet wurden. So übertrifft Datenfusion den besten Einzelsensor in der pixelbasierten Falscherkennungsrate um den Faktor sechs bei einer Nutentiefe von 10 μm. Weiterhin wird die Fusion im Bildtransformationsbereich untersucht. Jedoch werden die theoretischen Vorteile solcher richtungsempfindlichen Transformationen in der Praxis mit den vorliegenden Daten nicht erreicht. Nichtsdestotrotz wird der Vorteil der Fusion gegenüber Einzelsensorprüfung auch hier bestätigt. Darüber hinaus liefert diese Arbeit neuartige Techniken zur Fusion auch auf höheren Ebenen der Signalabstraktion. Ein Ansatz, der auf Kerndichtefunktionen beruht, wird eingeführt, um örtlich verteilte Detektionshypothesen zu integrieren. Er ermöglicht, die praktisch unvermeidbaren Registrierungsfehler explizit zu modellieren. Oberflächenunstetigkeiten von 30 μm Tiefe können zuverlässig durch Fusion gefunden werden, wogegen das beste Einzelverfahren erst Tiefen ab 40–50 μm erfolgreich auffindet. Das Experiment wird auf einem zweiten Prüfkörper bestätigt. Am Ende der Arbeit werden Richtlinien für den Einsatz von Datenfusion gegeben, und die Notwendigkeit einer Initiative zum Teilen von Messdaten wird betont, um zukünftige Forschung zu fördern. / Fatigue cracking is a dangerous and cost-intensive phenomenon that requires early detection. But at high test sensitivity, the abundance of false indications limits the reliability of conventional materials testing. This thesis exploits the diversity of physical principles that different nondestructive surface inspection methods offer, by applying data fusion techniques to increase the reliability of defect detection. The first main contribution are novel approaches for the fusion of NDT images. These surface scans are obtained from state-of-the-art inspection procedures in Eddy Current Testing, Thermal Testing and Magnetic Flux Leakage Testing. The implemented image fusion strategy demonstrates that simple algebraic fusion rules are sufficient for high performance, given adequate signal normalization. Data fusion reduces the rate of false positives is reduced by a factor of six over the best individual sensor at a 10 μm deep groove. Moreover, the utility of state-of-the-art image representations, like the Shearlet domain, are explored. However, the theoretical advantages of such directional transforms are not attained in practice with the given data. Nevertheless, the benefit of fusion over single-sensor inspection is confirmed a second time. Furthermore, this work proposes novel techniques for fusion at a high level of signal abstraction. A kernel-based approach is introduced to integrate spatially scattered detection hypotheses. This method explicitly deals with registration errors that are unavoidable in practice. Surface discontinuities as shallow as 30 μm are reliably found by fusion, whereas the best individual sensor requires depths of 40–50 μm for successful detection. The experiment is replicated on a similar second test specimen. Practical guidelines are given at the end of the thesis, and the need for a data sharing initiative is stressed to promote future research on this topic.

Die motorischen Fähigkeiten humanoider Roboter werden häufig von antriebsbedingten Nichtlinearitäten und Reibungseffekten negativ beeinflusst. Zur deren Kompensation werden üblicherweise modellbasierte Regelkreise genutzt, die i.d.R. von einer hochfrequenten Signalverarbeitung und mehreren Sensorqualitäten abhängen. Entgegen solch modellbasierten Techniken werden in der vorliegenden Arbeit modellfreie Steuerungsmethoden auf Basis parallel gekoppelter Antriebe entwickelt. Zur Entwicklung und Untersuchung dieser Steuerungsmethoden wird nach der von Pfeifer in seinem Werk “How the body shapes the way we think” beschriebenen synthetischen Methodik vorgegangen. Entgegen modellbasierten Untersuchungen auf Basis von Simulationen stehen bei der synthetischen Methodik empirische Untersuchungen am realen System im Vordergrund. Als Ausgangspunkt dienen konventionelle elektromechanische Antriebe mit deren bekannten leistungseinschränkenden Nichtlinearitäten und Reibungseffekten. Durch die parallele Kopplung mehrerer Antriebe an einem einzelnen Gelenk wird das Spektrum der Steuerungsmöglichkeiten deutlich erweitert. Es zeigt sich, dass (1) durch eine konstante antagonistische Vorspannung das Arbeitsverhalten von konventionellen Proportionalreglern optimiert werden kann, (2) durch dynamische asymmetrische Änderung der Vorspannung Nichtlinearitäten bei niedrigen Geschwindigkeiten ausgeglichen werden können und (3) getriebebedingte Reibungseffekte mit einer phasenverschobenen Pulsmodulation der Steuersignale kompensiert werden können. Weiterhin wird gezeigt, wie die erarbeiteten Steuerungsmethoden auf beliebig viele parallel gekoppelte Antriebe übertragen werden können. Für den praktischen Einsatz der Steuerungsmethoden werden diese in einer hybriden Steuerung zusammengeführt. Diese wird durch eine weitere Funktion, den Energiesparmodus beim Halten statischer Positionen, ergänzt und am humanoiden Roboter Myon implementiert und experimentell evaluiert. / Motor functions of humanoid robots are often negatively influenced by nonlinearities and friction effects of the actuators. The popular means of compensation are control circuits based on modelling, which rely on powerful HF Signal processing and various sensor qualities. In contrast, this thesis develops non-modelling control methods based on parallel coupled actuators. Development and exploration of these control methods follow Pfeifer’s synthetic methodology as described in his work “How the body shapes the way we think”. In contrast to the analysis based on emulation as used in modelling, the synthetic methodology focuses rather on empirical tests within the real system. The present work explores control methods for parallel coupled actuators for use in robot points. It starts from conventional electromechanical actuators with their known power limiting nonlinearities and frictional effects. Linking several parallel coupled actuators to a single joint significantly expands the spectrum of control capabilities. Using two parallel coupled actuators as an example, it is examined to which extent undesirable properties of single actuators can be compensated. The results show that (1) the Performance of conventional proportional controllers can be optimized by a constant antagonistic bias voltage, (2) nonlinearities at low velocities can be balanced out by a dynamic asymmetrical adjustment of the bias, and that (3) gear related frictional effects can be compensated by a phase shifted pulse modulation of the control signals. In addition, it is shown how the developed control methods can be applied to a random number of parallel coupled actuators. For practical use, the various control methods are combined in a hybrid control, which is supplemented by an energy saving mode when maintaining static positions. The hybrid control is being implemented into the humanoid robot Myon and evaluated by experiment.

Heutige Roboter sind nur begrenzt in der Lage etwas zu erlernen, sich unerwarteten Umständen anzupassen oder auf diese zu reagieren. Als Antwort auf diese Fragen, develomental robotics setzt sich den Aufbau eines künstlichen Systems zum Ziel, das motorische und kognitive Fähigkeiten analog zur menschlichen Entwicklung durch Interaktion mit der Umgebung entwickeln kann. In dieser Arbeit wird ein ähnlich Ansatz verwendet, mit Hilfe dessen grundlegende Verhaltenskomponenten identifiziert werden sollen, die eine autonome Aneignung motorischer und kognitive Fähigkeiten durch die Roboter ermöglichen könnten. Diese Arbeit untersucht die sensomotorische Interaktion als Mittel zur Schaffung von Erfahrungen. Es werden Experimente zu explorative Verhaltensweisen zur Aneigung von Arbewegungen, der Werkzeugnutzung und von interaktiven Fähigkeiten vorgestellt. In diesem Rahmen wird auch die Entwicklung sozialer Fähigkeiten, insbesondere durch joint attention, behandelt. Dabei werden zwei Vorraussetzugen zu joint attention untersucht: Zeigegesten und Erkennung von visueller Salienz. Dabei wurde das Framework der interen Modelle für die Darstellung von sensomotorischen Erfahrungen angewendet. Insbesondere wurden inverse und Vorwärtsmodelle mit unterschiedlichen Konfigurationen am sensorischen und motorischen Daten, die vom Roboter durch exploratives Verhalten, durch Beobachtung menschliche Vorführern, oder durch kinästhetisches Lehren erzeugt wurden geschult. Die Entscheidung zu Gunsten dieses Framework wurde getroffen, da es in der Lage ist, sensomotorische Zyklen zu simulieren. Diese Arbeit untersucht, wie grundlegende kognitive Fähigkeiten in einen humanoiden Roboter unter Berücksichtigung sensorischer und motorischer Erfahrungen implementiert werden können. Insbesondere wurden interne Simulationsprozesse für die Implementierung von Kognitivenfahigkeiten wie die Aktionsauswahl, die Werkzeugnutzung, die Verhaltenserkennung und die Self-Other distinction, eingesetzt. / State-of-the-art robots are still not properly able to learn from, adapt to, react to unexpected circumstances, and to autonomously and safely operate in uncertain environments. Researchers in developmental robotics address these issues by building artificial systems capable of acquiring motor and cognitive capabilities by interacting with their environment, inspired by human development. This thesis adopts a similar approach in finding some of those basic behavioural components that may allow for the autonomous development of sensorimotor and social skills in robots. Here, sensorimotor interactions are investigated as a mean for the acquisition of experience. Experiments on exploration behaviours for the acquisition of arm movements, tool-use and interactive capabilities are presented. The development of social skills is also addressed, in particular of joint attention, the capability to share the focus of attention between individuals. Two prerequisites of joint attention are investigated: imperative pointing gestures and visual saliency detection. The established framework of the internal models is adopted for coding sensorimotor experience in robots. In particular, inverse and forward models are trained with different configurations of low-level sensory and motor data generated by the robot through exploration behaviours, or observed by human demonstrator, or acquired through kinaesthetic teaching. The internal models framework allows the generation of simulations of sensorimotor cycles. This thesis investigates also how basic cognitive skills can be implemented in a humanoid robot by allowing it to recreate the perceptual and motor experience gathered in past interactions with the external world. In particular, simulation processes are used as a basis for implementing cognitive skills such as action selection, tool-use, behaviour recognition and self-other distinction.