The ability of the visual system for object recognition is remarkable. A better understanding of its processing would lead to better computer vision systems and could improve our understanding of the underlying principles which produce intelligence. We propose a computational model of the visual areas V1 and V2, implementing a rich connectivity inspired by the neocortical circuit. We combined the three most important cortical plasticity mechanisms. 1) Hebbian synaptic plasticity to learn the synapse strengths of excitatory and inhibitory neurons, including trace learning to learn invariant representations. 2) Intrinsic plasticity to regulate the neurons responses and stabilize the learning in deeper layers. 3) Structural plasticity to modify the connections and to overcome the bias for the learnings from the initial definitions. Among others, we show that our model neurons learn comparable receptive fields to cortical ones. We verify the invariant object recognition performance of the model. We further show that the developed weight strengths and connection probabilities are related to the response correlations of the neurons. We link the connection probabilities of the inhibitory connections to the underlying plasticity mechanisms and explain why inhibitory connections appear unspecific. The proposed model is more detailed than previous approaches. It can reproduce neuroscientific findings and fulfills the purpose of the visual system, invariant object recognition. / Das visuelle System des Menschen hat die herausragende Fähigkeit zur invarianten Objekterkennung. Ein besseres Verständnis seiner Arbeitsweise kann zu besseren Computersystemen für das Bildverstehen führen und könnte darüber hinaus unser Verständnis von den zugrundeliegenden Prinzipien unserer Intelligenz verbessern. Diese Arbeit stellt ein Modell der visuellen Areale V1 und V2 vor, welches eine komplexe, von den Strukturen des Neokortex inspirierte, Verbindungsstruktur integriert. Es kombiniert die drei wichtigsten kortikalen Plastizitäten: 1) Hebbsche synaptische Plastizität, um die Stärke der exzitatorischen und inhibitorischen Synapsen zu lernen, welches auch „trace“-Lernen, zum Lernen invarianter Repräsentationen, umfasst. 2) Intrinsische Plastizität, um das Antwortverhalten der Neuronen zu regulieren und damit das Lernen in tieferen Schichten zu stabilisieren. 3) Strukturelle Plastizität, um die Verbindungen zu modifizieren und damit den Einfluss anfänglicher Festlegungen auf das Lernergebnis zu reduzieren. Neben weiteren Ergebnissen wird gezeigt, dass die Neuronen des Modells vergleichbare rezeptive Felder zu Neuronen des visuellen Kortex erlernen. Ebenso wird die Leistungsfähigkeit des Modells zur invariante Objekterkennung verifiziert. Des Weiteren wird der Zusammenhang von Gewichtsstärke und Verbindungswahrscheinlichkeit zur Korrelation der Aktivitäten der Neuronen aufgezeigt. Die gefundenen Verbindungswahrscheinlichkeiten der inhibitorischen Neuronen werden in Zusammenhang mit der Funktionsweise der inhibitorischen Plastizität gesetzt, womit erklärt wird warum inhibitorische Verbindungen unspezifisch erscheinen. Das vorgestellte Modell ist detaillierter als vorangegangene Arbeiten. Es ermöglicht neurowissenschaftliche Erkenntnisse nachzuvollziehen, wobei es ebenso die Hauptleistung des visuellen Systems erbringt, invariante Objekterkennung. Darüber hinaus ermöglichen sein Detailgrad und seine Selbstorganisationsprinzipien weitere neurowissenschaftliche Erkenntnisse und die Modellierung komplexerer Modelle der Verarbeitung im Gehirn.

A substantial number of works have aimed at modeling the receptive field properties of the primary visual cortex (V1). Their evaluation criterion is usually the similarity of the model response properties to the recorded responses from biological organisms. However, as several algorithms were able to demonstrate some degree of similarity to biological data based on the existing criteria, we focus on the robustness against loss of information in the form of occlusions as an additional constraint for better understanding the algorithmic level of early vision in the brain. We try to investigate the influence of competition mechanisms on the robustness. Therefore, we compared four methods employing different competition mechanisms, namely, independent component analysis, non-negative matrix factorization with sparseness constraint, predictive coding/biased competition, and a Hebbian neural network with lateral inhibitory connections. Each of those methods is known to be capable of developing receptive fields comparable to those of V1 simple-cells. Since measuring the robustness of methods having simple-cell like receptive fields against occlusion is difficult, we measure the robustness using the classification accuracy on the MNIST hand written digit dataset. For this we trained all methods on the training set of the MNIST hand written digits dataset and tested them on a MNIST test set with different levels of occlusions. We observe that methods which employ competitive mechanisms have higher robustness against loss of information. Also the kind of the competition mechanisms plays an important role in robustness. Global feedback inhibition as employed in predictive coding/biased competition has an advantage compared to local lateral inhibition learned by an anti-Hebb rule.

In dieser Arbeit werden zwei wesentliche neue Ergebnisse vorgestellt. Das erste bezieht sich auf die olfaktorische Kodierung und das zweite auf das sensorische Gedaechtnis. Beide Phaenomene werden am Beispiel des Gehirns der Honigbiene untersucht. In Bezug auf die olfaktorische Kodierung zeige ich, dass die neuronale Dynamik waehrend der Stimulation im Antennallobus duftspezifische Trajektorien beschreibt, die in duftspezifischen Attraktoren enden. Das Zeitinterval, in dem diese Attraktoren erreicht werden, betraegt unabhaengig von der Identitaet und der Konzentration des Duftes ungefaehr 800 ms. Darueber hinaus zeige ich, dass Support-Vektor Maschinen, und insbesondere Perzeptronen, ein realistisches und biologisches Model der Wechselwirkung zwischen dem Antennallobus (dem kodierenden Netwerk) und dem Pilzkoerper (dem dekodierenden Netzwerk) darstellen. Dieses Model kann sowohl Reaktionszeiten von ca. 300 ms als auch die Invarianz der Duftwahrnehmung gegenueber der Duftkonzentration erklaeren. In Bezug auf das sensorische Gedaechtnis zeige ich, dass eine einzige Stimulation ohne Belohnung dem Hebbschen Postulat folgend Veraenderungen der paarweisen Korrelationen zwischen Glomeruli induziert. Ich zeige, dass diese Veranderungen der Korrelationen bei 2/3 der Bienen ausreichen, um den letzten Stimulus zu bestimmen. In der zweiten Minute nach der Stimulation ist eine erfolgreiche Bestimmung des Stimulus nur bei 1/3 der Bienen moeglich. Eine Hauptkomponentenanalyse der spontanen Aktivitaet laesst erkennen, dass das dominante Muster des Netzwerks waehrend der spontanen Aktivitaet nach, aber nicht vor der Stimulation das duftinduzierte Aktivitaetsmuster bei 2/3 der Bienen nachbildet. Man kann deshalb die duftinduzierten (Veraenderungen der) Korrelationen als Spuren eines Kurzzeitgedaechtnisses bzw. als Hebbsche "Reverberationen" betrachtet werden. / Two major novel results are reported in this work. The first concerns olfactory coding and the second concerns sensory memory. Both phenomena are investigated in the brain of the honeybee as a model system. Considering olfactory coding I demonstrate that the neural dynamics in the antennal lobe describe odor-specific trajectories during stimulation that converge to odor-specific attractors. The time interval to reach these attractors is, regardless of odor identity and concentration, approximately 800 ms. I show that support-vector machines and, in particular perceptrons provide a realistic and biological model of the interaction between the antennal lobe (coding network) and the mushroom body (decoding network). This model can also account for reaction-times of about 300 ms and for concentration invariance of odor perception. Regarding sensory memory I show that a single stimulation without reward induces changes of pairwise correlation between glomeruli in a Hebbian-like manner. I demonstrate that those changes of correlation suffice to retrieve the last stimulus presented in 2/3 of the bees studied. Succesful retrieval decays to 1/3 of the bees within the second minute after stimulation. In addition, a principal-component analysis of the spontaneous activity reveals that the dominant pattern of the network during the spontaneous activity after, but not before stimulation, reproduces the odor-induced activity pattern in 2/3 of the bees studied. One can therefore consider the odor-induced (changes of) correlation as traces of a short-term memory or as Hebbian reverberations.

A substantial number of works have aimed at modeling the receptive field properties of the primary visual cortex (V1). Their evaluation criterion is usually the similarity of the model response properties to the recorded responses from biological organisms. However, as several algorithms were able to demonstrate some degree of similarity to biological data based on the existing criteria, we focus on the robustness against loss of information in the form of occlusions as an additional constraint for better understanding the algorithmic level of early vision in the brain. We try to investigate the influence of competition mechanisms on the robustness. Therefore, we compared four methods employing different competition mechanisms, namely, independent component analysis, non-negative matrix factorization with sparseness constraint, predictive coding/biased competition, and a Hebbian neural network with lateral inhibitory connections. Each of those methods is known to be capable of developing receptive fields comparable to those of V1 simple-cells. Since measuring the robustness of methods having simple-cell like receptive fields against occlusion is difficult, we measure the robustness using the classification accuracy on the MNIST hand written digit dataset. For this we trained all methods on the training set of the MNIST hand written digits dataset and tested them on a MNIST test set with different levels of occlusions. We observe that methods which employ competitive mechanisms have higher robustness against loss of information. Also the kind of the competition mechanisms plays an important role in robustness. Global feedback inhibition as employed in predictive coding/biased competition has an advantage compared to local lateral inhibition learned by an anti-Hebb rule.