Diese Doktorarbeit führt ein hierarchisches Modell für das unüberwachte Lernen aus quasi-natürlichen Videosequenzen ein. Das Modell basiert auf den Lernprinzipien der Langsamkeit und Spärlichkeit, für die verschiedene Ansätze und Implementierungen vorgestellt werden. Eine Vielzahl von Neuronentypen im Hippocampus von Nagern und Primaten kodiert verschiedene Aspekte der räumlichen Umgebung eines Tieres. Dazu gehören Ortszellen (place cells), Kopfrichtungszellen (head direction cells), Raumansichtszellen (spatial view cells) und Gitterzellen (grid cells). Die Hauptergebnisse dieser Arbeit basieren auf dem Training des hierarchischen Modells mit Videosequenzen aus einer Virtual-Reality-Umgebung. Das Modell reproduziert die wichtigsten räumlichen Codes aus dem Hippocampus. Die Art der erzeugten Repräsentationen hängt hauptsächlich von der Bewegungsstatistik des simulierten Tieres ab. Das vorgestellte Modell wird außerdem auf das Problem der invaranten Objekterkennung angewandt, indem Videosequenzen von simulierten Kugelhaufen oder Fischen als Stimuli genutzt wurden. Die resultierenden Modellrepräsentationen erlauben das unabhängige Auslesen von Objektidentität, Position und Rotationswinkel im Raum. / This thesis introduces a hierarchical model for unsupervised learning from naturalistic video sequences. The model is based on the principles of slowness and sparseness. Different approaches and implementations for these principles are discussed. A variety of neuron classes in the hippocampal formation of rodents and primates codes for different aspects of space surrounding the animal, including place cells, head direction cells, spatial view cells and grid cells. In the main part of this thesis, video sequences from a virtual reality environment are used for training the hierarchical model. The behavior of most known hippocampal neuron types coding for space are reproduced by this model. The type of representations generated by the model is mostly determined by the movement statistics of the simulated animal. The model approach is not limited to spatial coding. An application of the model to invariant object recognition is described, where artificial clusters of spheres or rendered fish are presented to the model. The resulting representations allow a simple extraction of the identity of the object presented as well as of its position and viewing angle.

Die sequenzielle Aktivität von Ortszellen im Hippocampus entspricht vielfach früheren Erlebnissen, was auf eine Rolle in Gedächtnisprozessen hinweist. Jüngere experimentelle Befunde zeigen allerdings, dass Zielorte in sequenzieller Aktivität überrepräsentiert sind. Dies legt eine Rolle dieser Aktivitätsmuster in der Verhaltensplanung nahe, wobei ein detailliertes Verständnis sowohl des Ursprungs als auch der Funktion von Ortszellsequenzen im Hippocampus bislang fehlt. Insbesondere ist nicht bekannt, welcher Mechanismus solche Sequenzen auf adaptive und konstruktive Weise generiert, wodurch effizientes Planen ermöglicht würde. Um der Beantwortung dieser Fragen näher zu kommen, stelle ich ein neu entwickeltes pulscodiertes Netzwerkmodell vor, in dem räumliches Lernen und die Generierung von Sequenzen untrennbar voneinander abhängig sind. Anhand von Simulationen zeige ich, dass dieses Modell die Erzeugung von noch nicht erlebten Sequenztrajektorien in bekannten Umgebungen erklärt, was deren Nutzen für flexible Pfadplanung hervorhebt. Zusätzlich stelle ich die Ergebnisse eines detaillierten Vergleichs zwischen simulierten neuronalen Pulsfolgen und experimentellen Daten auf der Ebene der Populationsdynamik vor. Diese Resultate zeigen, wie sequenzielle räumliche Repräsentationen durch die Interaktion zwischen lokaler oszillatorischer Dynamik und externen Einflüssen geprägt werden.:1. Introduction 2. Neurobiological and theoretical accounts of hippocampal function 3. A computational model of place-cell sequences for goal-finding 4. A statistical note on step size decoding in place-cell sequences 5. Summary and Discussion Bibliography / Hippocampal place-cell sequences observed during awake immobility often represent previous experience, suggesting a role in memory processes. However, recent reports of goals being overrepresented in sequential activity suggest a role in short-term planning, although a detailed understanding of the origins of hippocampal sequential activity and of its functional role is still lacking. In particular, it is unknown which mechanism could support efficient planning by generating place-cell sequences biased toward known goal locations, in an adaptive and constructive fashion. To address these questions, I propose a spiking network model of spatial learning and sequence generation as interdependent processes. Simulations show that this model explains the generation of never-experienced sequence trajectories in familiar environments and highlights their utility in flexible route planning. In addition, I report the results of a detailed comparison between simulated spike trains and experimental data, at the level of network dynamics. These results demonstrate how sequential spatial representations are shaped by the interaction between local oscillatory dynamics and external inputs.:1. Introduction 2. Neurobiological and theoretical accounts of hippocampal function 3. A computational model of place-cell sequences for goal-finding 4. A statistical note on step size decoding in place-cell sequences 5. Summary and Discussion Bibliography

In dieser Doktorarbeit wird Langsamkeit als unüberwachtes Lernprinzip in sensorischen Systemen untersucht. Dabei wird zwei Aspekten besondere Aufmerksamkeit gewidmet: der mathematischen Analyse von Slow Feature Analysis - einer Implementierung des Langsamkeitsprinzips - und der Frage, wie das Langsamkeitsprinzip biologisch umgesetzt werden kann. Im ersten Teil wird zunächst eine mathematische Theorie für Slow Feature Analysis entwickelt, die zeigt, dass die optimalen Funktionen für Slow Feature Analysis die Lösungen einer partiellen Differentialgleichung sind. Die Theorie erlaubt, das Verhalten komplizierter Anwendungen analytisch vorherzusagen und intuitiv zu verstehen. Als konkrete Anwendungen wird das Erlernen von Orts- und Kopfrichtungszellen, sowie von komplexen Zellen im primären visuellen Kortex vorgestellt. Im Rahmen einer technischen Anwendung werden die theoretischen Ergebnisse verwendet, um einen neuen Algorithmus für nichtlineare blinde Quellentrennung zu entwickeln und zu testen. Als Abschluss des ersten Teils wird die Beziehung zwischen dem Langsamkeitsprinzip und dem Lernprinzip der verhersagenden Kodierung mit Hilfe eines informationstheoretischen Ansatzes untersucht. Der zweite Teil der Arbeit befasst sich mit der Frage der biologischen Implementierung des Langsamkeitsprinzips. Dazu wird zunächst gezeigt, dass Spikezeit-abhängige Plastizität unter bestimmten Bedingungen als Implementierung des Langsamkeitsprinzips verstanden werden kann. Abschließend wird gezeigt, dass sich die Lerndynamik sowohl von gradientenbasiertem Langsamkeitslernen als auch von Spikezeit-abhängiger Plastizität mathematisch durch Reaktions-Diffusions-Gleichungen beschreiben lässt. / In this thesis, we investigate slowness as an unsupervised learning principle of sensory processing. Two aspects are given particular emphasis: (a) the mathematical analysis of Slow Feature Analysis (SFA) as one particular implementation of slowness learning and (b) the question, how slowness learning can be implemented in a biologically plausible fashion. In the first part of the thesis, we develop a mathematical framework for SFA and show that the optimal functions for SFA are the solutions of a partial differential eigenvalue problem. The theory allows (a) to make analytical predictions for the behavior of complicated applications and (b) an intuitive understanding of how the statistics of the input data are reflected in the optimal functions of SFA. The theory is applied to the learning of place and head-direction representations and to the learning of complex cell receptive fields as found in primary visual cortex. As a technical application, we use the theoretical results to develop and test a new algorithm for nonlinear blind source separation. The first part of the thesis is concluded by an information-theoretic analysis of the relation between slowness learning and predictive coding. In the second part of the thesis, we study the question, how slowness learning could be implemented in a biologically plausible manner. To this end, we first show that spike timing-dependent plasticity can under certain conditions be interpreted as an implementation of slowness learning. Finally, we show that both gradient-based slowness learning and spike timing-dependent plasticity lead to receptive field dynamics that can be described in terms of reaction-diffusion equations.