In dieser Doktorarbeit wird Langsamkeit als unüberwachtes Lernprinzip in sensorischen Systemen untersucht. Dabei wird zwei Aspekten besondere Aufmerksamkeit gewidmet: der mathematischen Analyse von Slow Feature Analysis - einer Implementierung des Langsamkeitsprinzips - und der Frage, wie das Langsamkeitsprinzip biologisch umgesetzt werden kann. Im ersten Teil wird zunächst eine mathematische Theorie für Slow Feature Analysis entwickelt, die zeigt, dass die optimalen Funktionen für Slow Feature Analysis die Lösungen einer partiellen Differentialgleichung sind. Die Theorie erlaubt, das Verhalten komplizierter Anwendungen analytisch vorherzusagen und intuitiv zu verstehen. Als konkrete Anwendungen wird das Erlernen von Orts- und Kopfrichtungszellen, sowie von komplexen Zellen im primären visuellen Kortex vorgestellt. Im Rahmen einer technischen Anwendung werden die theoretischen Ergebnisse verwendet, um einen neuen Algorithmus für nichtlineare blinde Quellentrennung zu entwickeln und zu testen. Als Abschluss des ersten Teils wird die Beziehung zwischen dem Langsamkeitsprinzip und dem Lernprinzip der verhersagenden Kodierung mit Hilfe eines informationstheoretischen Ansatzes untersucht. Der zweite Teil der Arbeit befasst sich mit der Frage der biologischen Implementierung des Langsamkeitsprinzips. Dazu wird zunächst gezeigt, dass Spikezeit-abhängige Plastizität unter bestimmten Bedingungen als Implementierung des Langsamkeitsprinzips verstanden werden kann. Abschließend wird gezeigt, dass sich die Lerndynamik sowohl von gradientenbasiertem Langsamkeitslernen als auch von Spikezeit-abhängiger Plastizität mathematisch durch Reaktions-Diffusions-Gleichungen beschreiben lässt. / In this thesis, we investigate slowness as an unsupervised learning principle of sensory processing. Two aspects are given particular emphasis: (a) the mathematical analysis of Slow Feature Analysis (SFA) as one particular implementation of slowness learning and (b) the question, how slowness learning can be implemented in a biologically plausible fashion. In the first part of the thesis, we develop a mathematical framework for SFA and show that the optimal functions for SFA are the solutions of a partial differential eigenvalue problem. The theory allows (a) to make analytical predictions for the behavior of complicated applications and (b) an intuitive understanding of how the statistics of the input data are reflected in the optimal functions of SFA. The theory is applied to the learning of place and head-direction representations and to the learning of complex cell receptive fields as found in primary visual cortex. As a technical application, we use the theoretical results to develop and test a new algorithm for nonlinear blind source separation. The first part of the thesis is concluded by an information-theoretic analysis of the relation between slowness learning and predictive coding. In the second part of the thesis, we study the question, how slowness learning could be implemented in a biologically plausible manner. To this end, we first show that spike timing-dependent plasticity can under certain conditions be interpreted as an implementation of slowness learning. Finally, we show that both gradient-based slowness learning and spike timing-dependent plasticity lead to receptive field dynamics that can be described in terms of reaction-diffusion equations.

In dieser Doktorarbeit untersuchen wir zeitliche Langsamkeit als Prinzip für die Selbstorganisation des sensorischen Kortex sowie für computer-basierte Mustererkennung. Wir beginnen mit einer Einführung und Diskussion dieses Prinzips und stellen anschliessend den Slow Feature Analysis (SFA) Algorithmus vor, der das matemathisches Problem für diskrete Zeitreihen in einem endlich dimensionalen Funktionenraum löst. Im Hauptteil der Doktorarbeit untersuchen wir zeitliche Langsamkeit als Lernprinzip für rezeptive Felder im visuellen Kortex. Unter Verwendung von SFA werden Transformationsfunktionen gelernt, die, angewendet auf natürliche Bildsequenzen, möglichst langsam variierende Merkmale extrahieren. Die Funktionen können als nichtlineare raum-zeitliche rezeptive Felder interpretiert und mit Neuronen im primären visuellen Kortex (V1) verglichen werden. Wir zeigen, dass sie viele Eigenschaften von komplexen Zellen in V1 besitzen, nicht nur die primären, d.h. Gabor-ähnliche optimale Stimuli und Phaseninvarianz, sondern auch sekundäre, wie Richtungsselektivität, nicht-orthogonale Inhibition sowie End- und Seiteninhibition. Diese Resultate zeigen, dass ein einziges unüberwachtes Lernprinzip eine solche Mannigfaltigkeit an Eigenschaften begründen kann. Für die Analyse der mit SFA gelernten nichtlinearen Funktionen haben wir eine Reihe mathematischer und numerischer Werkzeuge entwickelt, mit denen man die quadratischen Formen als rezeptive Felder charakterisieren kann. Wir erweitern sie im weiteren Verlauf, um sie von allgemeinerem Interesse für theoretische und physiologische Modelle zu machen. Den Abschluss dieser Arbeit bildet die Anwendung des Prinzips der zeitlichen Langsamkeit auf Mustererkennungsprobleme. Die fehlende zeitliche Struktur in dieser Problemklasse erfordert eine Modifikation des SFA-Algorithmus. Wir stellen eine alternative Formulierung vor und wenden diese auf eine Standard-Datenbank von handgeschriebenen Ziffern an. / In this thesis we investigate the relevance of temporal slowness as a principle for the self-organization of the visual cortex and for technical applications. We first introduce and discuss this principle and put it into mathematical terms. We then define the slow feature analysis (SFA) algorithm, which solves the mathematical problem for multidimensional, discrete time series in a finite dimensional function space. In the main part of the thesis we apply temporal slowness as a learning principle of receptive fields in the visual cortex. Using SFA we learn the input-output functions that, when applied to natural image sequences, vary as slowly as possible in time and thus optimize the slowness objective. The resulting functions can be interpreted as nonlinear spatio-temporal receptive fields and compared to neurons in the primary visual cortex (V1). We find that they reproduce (qualitatively and quantitatively) many of the properties of complex cells in V1, not only the two basic ones, namely a Gabor-like optimal stimulus and phase-shift invariance, but also secondary ones like direction selectivity, non-orthogonal inhibition, end-inhibition and side-inhibition. These results show that a single unsupervised learning principle can account for a rich repertoire of receptive field properties. In order to analyze the nonlinear functions learned by SFA in our model, we developed a set of mathematical and numerical tools to characterize quadratic forms as receptive fields. We expand them in a successive chapter to be of more general interest for theoretical and physiological models. We conclude this thesis by showing the application of the temporal slowness principle to pattern recognition. We reformulate the SFA algorithm such that it can be applied to pattern recognition problems that lack of a temporal structure and present the optimal solutions in this case. We then apply the system to a standard handwritten digits database with good performance.