Dans ce document, nous présentons une nouvelle approche en apprentissage machine pour la classification. Le cadre que nous proposons est basé sur des circuits booléens, plus précisément le classifieur produit par notre algorithme a cette forme. L’utilisation des bits et des portes logiques permet à l’algorithme d’apprentissage et au classifieur d’utiliser des opérations vectorielles binaires très efficaces. La qualité du classifieur, produit par notre approche, se compare très favorablement à ceux qui sont produits par des techniques classiques, à la fois en termes d’efficacité et de précision. En outre, notre approche peut être utilisée dans un contexte où la confidentialité est une nécessité, par exemple, nous pouvons classer des données privées. Ceci est possible car le calcul ne peut être effectué que par des circuits booléens et les données chiffrées sont quantifiées en bits. De plus, en supposant que le classifieur a été déjà entraîné, il peut être alors facilement implémenté sur un FPGA car ces circuits sont également basés sur des portes logiques et des opérations binaires. Par conséquent, notre modèle peut être facilement intégré dans des systèmes de classification en temps réel. / In this document we present a novel approach in machine learning for classification. The framework we propose is based on boolean circuits, more specifically the classifier produced by our algorithm has that form. Using bits and boolean gates enable the learning algorithm and the classifier to use very efficient boolean vector operations. The accuracy of the classifier we obtain with our framework compares very favourably with those produced by conventional techniques, both in terms of efficiency and accuracy. Furthermore, the framework can be used in a context where information privacy is a necessity, for example we can classify private data. This can be done because computation can be performed only through boolean circuits as encrypted data is quantized in bits. Moreover, assuming that the classifier was trained, it can then be easily implemented on FPGAs (i.e., Field-programmable gate array) as those circuits are also based on logic gates and bitwise operations. Therefore, our model can be easily integrated in real-time classification systems.

Les logiciels de correction grammaticale commettent parfois des détections illégitimes (fausses alertes), que nous appelons ici surdétections. La présente étude décrit les expériences de mise au point d’un système créé pour identifier et mettre en sourdine les surdétections produites par le correcteur du français conçu par la société Druide informatique. Plusieurs classificateurs ont été entraînés de manière supervisée sur 14 types de détections faites par le correcteur, en employant des traits couvrant di-verses informations linguistiques (dépendances et catégories syntaxiques, exploration du contexte des mots, etc.) extraites de phrases avec et sans surdétections. Huit des 14 classificateurs développés sont maintenant intégrés à la nouvelle version d’un correcteur commercial très populaire. Nos expériences ont aussi montré que les modèles de langue probabilistes, les SVM et la désambiguïsation sémantique améliorent la qualité de ces classificateurs. Ce travail est un exemple réussi de déploiement d’une approche d’apprentissage machine au service d’une application langagière grand public robuste. / Grammar checking software sometimes erroneously flags a correct word sequence as an error, a problem we call overdetection in the present study. We describe the devel-opment of a system for identifying and filtering out the overdetections produced by the French grammar checker designed by the firm Druide Informatique. Various fami-lies of classifiers have been trained in a supervised way for 14 types of detections flagged by the grammar checker, using features that capture diverse linguistic phe-nomena (syntactic dependency links, POS tags, word context exploration, etc.), extracted from sentences with and without overdetections. Eight of the 14 classifiers we trained are now part of the latest version of a very popular commercial grammar checker. Moreover, our experiments have shown that statistical language models, SVMs and word sense disambiguation can all contribute to the improvement of these classifiers. This project is a striking illustration of a machine learning component suc-cessfully integrated within a robust, commercial natural language processing application.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Par l'accumulation de mutations bénéfiques lors de cycles successifs de mutagénèse, l'évolution dirigée offre un cadre rationnel pour l'amélioration des protéines à vocation industrielle. Elle permet une exploration large de l'espace possible des séquences ainsi que leurs capacités fonctionnelles. Elle est cependant lourde à mettre en oeuvre et nécessite des moyens importants. Des approches in silico font usage d'un jeu minimal de données expérimentales et utilisent la modélisation statistique combinée à des algorithmes d'apprentissage machine. Elles ont été développées pour explorer de façon heuristique l'espace possible des séquences et de la fitness et d'identifier les mutations et interactions entre résidus les plus intéressantes. C'est l'objet de cette thèse qui explore la construction et l'application de modèles statistiques s'appuyant sur des jeux minimaux de données expérimentales pour relier fitness, ou activité, à la séquence biologique des variants. L'étude s'articule autour d'un choix crucial d'une méthode de numérisation, de descripteurs de la séquence et de méthodes de régression. La méthode ProSAR de R. Fox (2005) et les limites de son applicabilité sur des jeux de données expérimentales ont été étudiées. De nouvelles méthodes ont aussi été développées, prenant en compte les propriétés physico-chimiques des acides aminés et leurs périodicités. Elle a permis de découvrir de nouveaux descripteurs reliant la séquence à l'activité et propose des approches innovantes qui ont la capacité de traiter des cadres biologiques très divers, même lorsque peu de données biologiques sont disponibles. / Via the accumulation of beneficial mutations through successive rounds of mutations, directed evolution offers a rational framework for the amelioration of protein of industrial interest. It enables the large exploration of the sequence space and fitness. However, they are wet-lab intensive and may reveal to be time consuming and costly. In silico approaches using minimal sets of experimental data and statistical models combined with machine learning algorithms have been developed to explore heuristically the sequence space and to identify the effect of the potential epistatic interactions between residues on protein fitness. This work focused on the construction and application of statistical models relying on minimal experimental datasets to study protein sequence to activity relationships (ProSAR). In particular, the choices of appropriate numerical encoding methods, of descriptors extracted from protein sequences and of regression methods were investigated. The original ProSAR method from R. Fox (2005) and the limits of its applicability on experimental datasets have been studied. New methods that consider physico-chemical features of amino acids and their periodicities have been explored. This study unveils novel descriptors of the sequence-activity relationship and provides innovative approaches that can deal with very diverse biological datasets, even when few biological data are available.

L’hallucination est une expérience subjective vécue en pleine conscience consistant en une perception impossible à distinguer d’une perception réelle, mais survenant en l’absence de tout stimulus en provenance de l’environnement externe. Les symptômes hallucinatoires, qui peuvent concerner toutes les modalités sensorielles, sont retrouvés dans divers troubles neurologiques et psychiatriques mais également chez certains sujets indemnes de toute pathologie. Dans le champ de la psychiatrie, la pathologie la plus fréquemment associée aux hallucinations reste la schizophrénie et la modalité auditive est la plus représentée, puisque 60 à 80% des patients souffrant de ce trouble sont concernés. Le retentissement fonctionnel des hallucinations auditives peut être important, altérant significativement la qualité de vie des patients.Dans ce contexte, la prise en charge de ce type de symptômes s’avère un enjeu considérable pour les personnes souffrant de schizophrénie. Pourtant, les moyens thérapeutiques actuellement disponibles (traitements médicamenteux antipsychotiques notamment) ne permettent pas toujours une rémission complète de la symptomatologie hallucinatoire et l’on considère que 25 à 30% des hallucinations auditives sont « pharmaco-résistantes ». C’est à partir de ce constat que, ces dernières années, ont émergé, pour le traitement des hallucinations auditives, des techniques de neuromodulation comme la stimulation magnétique transcrânienne répétée ou la stimulation électrique transcrânienne par courant continu. Toutefois, les résultats de ces nouvelles thérapies sur les hallucinations auditives résistantes restent modérés et le développement de stratégies alternatives demeure un enjeu de recherche majeur.Actuellement, les travaux en imagerie fonctionnelle permettent d'affiner les modèles physiopathologiques des hallucinations auditives, mais leur intérêt pourrait aller au-delà de la recherche fondamentale, avec possiblement des applications cliniques telles que l'assistance thérapeutique. Ce travail de thèse s’inscrit précisément dans le développement de l’imagerie cérébrale de « capture » des hallucinations auditives, c’est-à-dire l’identification des patterns d’activation fonctionnels associés à la survenue des hallucinations auditives.La première partie de ce travail est consacrée à la détection automatisée des hallucinations auditives en IRM fonctionnelle. L’identification des périodes hallucinatoires survenues au cours d’une session d’IRM fonctionnelle est actuellement possible par une méthode de capture semi-automatisée validée. Celle-ci permet une labellisation des données acquises au cours d’une session de repos en périodes « hallucinatoires » et « non-hallucinatoires ». Toutefois, le caractère long et fastidieux de cette méthode limite largement son emploi. Nous avons donc souhaité montrer comment les stratégies d’apprentissage machine (support vector machine ou SVM, notamment) permettent l’automatisation de cette technique par le développement de classificateurs performants, généralisables et associés à un faible coût de calcul (indispensable en vue d’une utilisation en temps réel). Nous proposons également le développement d’algorithmes de reconnaissance de la période « pré-hallucinatoire », en mettant en évidence que ce type de classificateur présente aussi des performances largement significatives. Enfin, nous avons pu montrer que l’utilisation de stratégies d’apprentissage-machine alternatives au SVM (e.g, le TV-Elastic-net), obtient des performances significativement supérieures au SVM [...] / Hallucination is a transient subjective experience perceived as real, but occurring in the absence of an appropriate stimulation coming from the external environment. Hallucinatory events, which can occur across every sensory modality, are observed in various neurological and psychiatric disorders but also among “non-clinical” populations. The most frequent disorder associated with hallucinations in the field of psychiatry is schizophrenia. Auditory-verbal experiences are particularly frequent, with a lifetime-prevalence of 60 to 80% in patients suffering from schizophrenia. Hallucinations may cause long-term disability and poorer quality of life.In this context, the management of auditory-verbal hallucinations in patients with schizophrenia constitutes a major challenge. However, despite the increasing sophistication of biological and psychosocial research methods in the field, no significant therapeutic breakthrough has occurred in the last decade and a consensus exists that a significant proportion of patients with schizophrenia (i.e., around 25 %), exhibit drug-resistant auditory-verbal hallucinations. Non-pharmacological treatments, such as repetitive transcranial magnetic stimulation (rTMS) or transcranial direct current stimulation (tDCS) have been proposed as an option for addressing the unmet medical needs described above. However, these neuromodulation techniques show a moderate effect in alleviating drug-resistant auditory-verbal hallucinations and the development of innovative therapeutic strategies remains a major challenge.In recent years, the number of brain imaging studies in the field of auditory-verbal hallucinations has grown substantially, leading to a better pathophysiological understanding of this subjective phenomenon. Recent progress in deciphering the neural underpinnings of AVHs has strengthened transdiagnostic neurocognitive models that characterize auditory-verbal hallucinations, but more specifically these findings built the bases for new therapeutic strategies. In this regards the development of auditory hallucinations “capture" brain-imaging studies (i.e. the identification of functional patterns associated with the occurrence of auditory hallucinations), was the main topic of this thesis.The first part of this work is devoted to the automatized detection of auditory-verbal hallucinations using functional MRI (fMRI). The identification of hallucinatory periods occurring during a fMRI session is now possible using a semi-automatized procedure based on an independent component analysis applied to resting fMRI data combined with a post-fMRI interview (i.e. the patient is asked to report auditory-verbal hallucinations immediately after acquisition). This “two-steps method” allows for the identification of hallucination periods (ON) and non-hallucination ones (OFF). However, the time-consuming nature of this a posteriori labelling procedure considerably limits its use. In these regards, we show how machine-learning, especially support vector machine (SVM), allows the automation of hallucinations capture. We present new results of accurate and generalizable classifiers which could be used in real-time because of their low computational-cost. We also highlight that algorithms able to identify the "pre-hallucinatory" period exhibit significant performances. Finally, we propose the use of an alternative learning-machine strategy, based on TV-Elastic-net, which achieves slightly better performances and more interpretable discriminative maps than SVM [...]

L’ethnomusicologie est l’étude de la musique en mettant l’accent sur les aspects culturels, sociaux, matériels, cognitifs et/ou biologiques. Ce sujet de thèse, motivé par Pr. Marc Chemillier, ethnomusicologue au laboratoire CAMS-EHESS, traite du développement d’un système automatique de transcription dédié aux répertoires de musique de la cithare marovany de Madagascar. Ces répertoires sont transmis oralement, résultant d’un processus de mémorisation/ transformation de motifs musicaux de base. Ces motifs sont un patrimoine culturel important du pays, et évoluent en permanence sous l’influence d’autres pratiques et genres musicaux. Les études ethnomusicologiques actuelles visent à comprendre l’évolution du répertoire traditionnel, et de préserver ce patrimoine. Pour servir cette cause, notre travail consiste à fournir des outils informatiques d’analyse musicale pour organiser et structurer des enregistrements audio de cet instrument. La transcription automatique de musique consiste à estimer les notes d’un enregistrement à travers les trois attributs : temps de début, hauteur et durée de note. Notre travail sur cette thématique repose sur l’incorporation de connaissances musicales a priori dans les systèmes informatiques. Une première étape de cette thèse fût donc de générer cette connaissance et de la formaliser en vue de cette incorporation. Cette connaissance explorer les caractéristiques multi-modales du signal musical, incluant le timbre, le langage musical et les techniques de jeu. La recherche effectée dans cette thèse se distingue en deux axes : un premier plus appliqué, consistant à développer un système de transcription de musique dédié à la marovany, et un second plus fondamental, consistant à fournir une analyse plus approfondie des contributions de la connaissance dans la transcription automatique de musique. Notre premier axe de recherche requiert une précision de transcription très bonne (c.a.d. une F-measure supérieure à 95 % avec des tolérances d’erreur standardes) pour faire office de supports analytiques dans des études musicologiques. Pour cela, nous utilisons une technologie de captation multicanale appliquée aux instruments à cordes pincées. Les systèmes développés à partir de cette technologie utilisent un capteur par corde, permettant de décomposer un signal polyphonique en une somme de signaux monophoniques respectifs à chaque corde, ce qui simplifie grandement la tâche de transcription. Différents types de capteurs (optiques, piézoélectriques, électromagnétiques) ont été testés. Après expérimentation, les capteurs piézoélectriques, bien qu’invasifs, se sont avérés avoir les meilleurs rapports signal-sur-bruit et séparabilité inter-capteurs. Cette technologie a aussi permis le développement d’une base de données dite “ground truth" (vérité de terrain), indispensable pour l’évaluation quantitative des systèmes de transcription de musique. Notre second axe de recherche propose des investigations plus approfondies concernant l’incorporation de connaissance a priori dans les systèmes automatiques de transcription de musique. Deux méthodes statistiques ont été utilisées comme socle théorique, à savoir le PLCA (Probabilistic Latent Component Analysis) pour l’estimation multi-pitch et le HMM (Hidden Markov Models). / Ethnomusicology is the study of musics around the world that emphasize their cultural, social, material, cognitive and/or biological. This PhD sub- ject, initiated by Pr. Marc CHEMILLIER, ethnomusicolog at the laboratory CAMS-EHESS, deals with the development of an automatic transcription system dedicated to the repertoires of the traditional marovany zither from Madagascar. These repertoires are orally transmitted, resulting from a pro- cess of memorization/transformation of original base musical motives. These motives represent an important culture patrimony, and are evolving contin- ually under the inuences of other musical practices and genres mainly due to globalization. Current ethnomusicological studies aim at understanding the evolution of the traditional repertoire through the transformation of its original base motives, and preserving this patrimony. Our objectives serve this cause by providing computational tools of musical analysis to organize and structure audio recordings of this instrument. Automatic Music Transcription (AMT) consists in automatically estimating the notes in a recording, through three attributes: onset time, duration and pitch. On the long range, AMT systems, with the purpose of retrieving meaningful information from complex audio, could be used in a variety of user scenarios such as searching and organizing music collections with barely any human labor. One common denominator of our diferent approaches to the task of AMT lays in the use of explicit music-related prior knowledge in our computational systems. A step of this PhD thesis was then to develop tools to generate automatically this information. We chose not to restrict ourselves to a speciprior knowledge class, and rather explore the multi-modal characteristics of musical signals, including both timbre (i.e. modeling of the generic \morphological" features of the sound related to the physics of an instrument, e.g. intermodulation, sympathetic resonances, inharmonicity) and musicological (e.g. harmonic transition, playing dynamics, tempo and rhythm) classes. This prior knowledge can then be used in com- putational systems of transcriptions. The research work on AMT performed in this PhD can be divided into a more \applied research" (axis 1), with the development of ready-to-use operational transcription tools meeting the cur- rent needs of ethnomusicologs to get reliable automatic transcriptions, and a more \basic research" (axis 2), providing deeper insight into the functioning of these tools. Our axis of research requires a transcription accuracy high enough 1 (i.e. average F-measure superior to 95 % with standard error tolerances) to provide analytical supports for musicological studies. Despite a large enthusiasm for AMT challenges, and several audio-to-MIDI converters available commercially, perfect polyphonic AMT systems are out of reach of today's al- gorithms. In this PhD, we explore the use of multichannel capturing sensory systems for AMT of several acoustic plucked string instruments, including the following traditional African zithers: the marovany (Madagascar), the Mvet (Cameroun), the N'Goni (Mali). These systems use multiple string- dependent sensors to retrieve discriminatingly some physical features of their vibrations. For the AMT task, such a system has an obvious advantage in this application, as it allows breaking down a polyphonic musical signal into the sum of monophonic signals respective to each string.

Le bruit, en particulier celui dû au trafic routier, est cité par de nombreuses études comme une source de préoccupation sociétale majeure. Jusqu'à présent les réponses des pouvoirs publics ne se basent que sur une quantification énergétique de l'exposition sonore, souvent via la mesure ou l'estimation du LA ou du Lden, et des prises de décisions relatives à la diminution du niveau sonore. Or des études psychoacoustiques ont montré que le niveau sonore n'expliquait qu'une faible part de la gêne sonore ressentie. Il est donc intéressant d'avoir plus d'information sur la source de bruit et de ne pas la réduire à un simple niveau sonore. Dans cette thèse, nous proposons de concevoir un outil permettant d'estimer la gêne sonore associée à chaque véhicule du trafic routier via l'utilisation de son signal audio et de modèles de gêne sonore. Pour ce faire, le signal audio du véhicule est isolé de l'ensemble du trafic routier urbain grâce à l'utilisation de méthodes inverses et de grands réseaux de microphones ainsi que du traitement d'images pour obtenir sa trajectoire. Grâce à la connaissance de la trajectoire ainsi que du signal, le véhicule est classifié par une méthode de machine learning suivant la taxonomie de Morel et al. Une fois sa catégorie obtenue, la gêne spécifique du véhicule est estimée grâce à un modèle de gêne sonore utilisant des indices psychoacoustiques et énergétiques. Cela permet l'estimation des gênes sonores spécifiques à chaque véhicule au sein du trafic routier. L'application de cette méthode est faite lors d'une journée de mesure sur une grande artère parisienne. / Noise, especially road traffic noise, is cited by many studies as a source of major societal concern. So far, public responses are based only on energy quantification of sound exposure, often by measuring or estimating LA or Lden, and sound-level reduction related decision are taken. Nevertheless, psychoacoustic studies have shown that the sound level explains only a small part of the perceived noise annoyance. It is interesting to have more information about the source of noise and not to reduce the information to its sound level. In this thesis a tool is proposed for estimating the noise annoyance induced by each road vehicle using its audio signal and noise annoyance models. To do so, the audio signal of the vehicle is isolated by using inverse methods, large microphones arrays and image processing to obtain its trajectory. The knowledge of the trajectory and of the signal allows the vehicle to be classified by a machine learning method according to Morel et al. taxonomy. Once its category obtained, the specific annoyance of the vehicle is estimated thanks to a noise annoyance model using psychoacoustic and energetic indices. This allows the estimation of specific noise annoyance for each vehicle within the road traffic. The application of this method is made during a measurement day on a large Parisian artery.

Cette thèse s'intéresse au problème de la reconnaissance d'objets dans les images vidéo et plus particulièrement à celui de leur localisation. Elle a été conduite dans le contexte d'une collaboration scientifique entre l'INRIA Rhône-Alpes et MBDA France. De ce fait, une attention particulière a été accordée à l’applicabilité des approches proposées aux images infra-rouges. La méthode de localisation proposée repose sur l'utilisation d'une fenêtre glissante incluant une cascade à deux étages qui, malgré sa simplicité, permet d'allier rapidité et précision. Le premier étage est un étage de filtrage rejetant la plupart des faux positifs au moyen d’un classifieur SVM linéaire. Le deuxième étage élimine les fausses détections laissées par le premier étage avec un classifieur SVM non-linéaire plus lent, mais plus performant. Les fenêtres sont représentées par des descripteurs HOG et Bag-of-words. La seconde contribution de la thèse réside dans une méthode permettant de combiner localisation d'objets et catégorisation d'images. Ceci permet, d'une part, de prendre en compte le contexte de l'image lors de la localisation des objets, et d'autre part de s'appuyer sur la structure géométrique des objets lors de la catégorisation des images. Cette méthode permet d'améliorer les performances pour les deux tâches et produit des détecteurs et classifieurs dont la performance dépasse celle de l'état de l'art. Finalement, nous nous penchons sur le problème de localisation de catégories d'objets similaires et proposons de décomposer la tâche de localisation d'objets en deux étapes. Une première étape de détection permet de trouver les objets sans déterminer leurs positions tandis qu’une seconde étape d’identification permet de prédire la catégorie de l'objet. Nous montrons que cela permet de limiter les confusions entre les classes, principal problème observé pour les catégories d'objets visuellement similaires. La thèse laisse une place importante à la validation expérimentale, conduites sur la base PASCAL VOC ainsi que sur des bases d’images spécifiquement réalisées pour la thèse. / This thesis addresses the problem of object recognition in images and more precisely the problem of object localization. It have been conducted in the context of a scientific collaboration between INRIA Rhônes-Alpes and MBDA France. Therefore, a particular attention was accorded to the applicability of the proposed approaches on infrared images. The localization method proposed here relies on the sliding windows mechanism combined with a two stage cascade that, despite its simplicity, allies rapidity and precision. The first stage is a filtering stage that rejects most of the false positives using a linear classifier. The second stage prunes the detections of the first classifier using a slower yet efficient non-linear classifier. Windows are represented with HOG and Bag-of-words descriptors. The second contribution of this thesis is a method that combines object localization and image categorization. This allows, on the one hand, to take into account context information in localization, and on the other hand, to rely on geometrical structure of objects while performing image categorization. This combination leads to a significant quality improvement and obtains performance superior to the state of the art for both tasks. Finally, we consider the problem of localizing visually similar object categories and suggest to decompose the task of object localization into two steps. The first is a detection step that allows to find objects without determining their category while the second step, an identification step, predicts the objects categories. We show that this approach limits inter-class confusion, which is the main difficulty faced when localizing visually similar object classes. This thesis accords an important place to experimental validation conducted on PASCAL VOC databases as well as other databases specifically introduced for the thesis.

L'objectif de la recherche en Intelligence Artificielle (IA) est de répliquer les capacités cognitives humaines au moyen des ordinateurs modernes. Les résultats de ces dernières années semblent annoncer une révolution technologique qui pourrait changer profondément la société. Nous focalisons notre intérêt sur deux aspects cognitifs fondamentaux, l'apprentissage et la mémoire. Les mémoires associatives offrent la possibilité de stocker des éléments d'information et de les récupérer à partir d'une partie de leur contenu, et imitent ainsi la mémoire cérébrale. L'apprentissage profond permet de passer d'une perception analogique du monde extérieur à une représentation parcimonieuse et plus compacte. Dans le chapitre 2, nous présentons une mémoire associative inspirée des réseaux de Willshaw, avec une connectivité contrainte. Cela augmente la performance de récupération des messages et l'efficacité du stockage de l'information.Dans le chapitre 3, une architecture convolutive a été appliquée sur une tâche de lecture de mots partiellement affichés dans des conditions similaires à une étude de psychologie sur des sujets humains. Cette expérimentation montre la similarité de comportement du réseau avec les sujets humains concernant différentes caractéristiques de l'affichage des mots.Le chapitre 4 introduit une méthode de représentation des catégories par des assemblées de neurones dans les réseaux profonds. Pour les problèmes à grand nombre de classes, cela permet de réduire significativement les dimensions d'un réseau.Le chapitre 5 décrit une méthode d'interfaçage des réseaux de neurones profonds non supervisés avec les mémoires associatives à cliques. / The objective of research in Artificial Intelligence (AI) is to reproduce human cognitive abilities by means of modern computers. The results of the last few years seem to announce a technological revolution that could profoundly change society. We focus our interest on two fundamental cognitive aspects, learning and memory. Associative memories offer the possibility to store information elements and to retrieve them using a sub-part of their content, thus mimicking human memory. Deep Learning allows to transition from an analog perception of the outside world to a sparse and more compact representation.In Chapter 2, we present a neural associative memory model inspired by Willshaw networks, with constrained connectivity. This brings an performance improvement in message retrieval and a more efficient storage of information.In Chapter 3, a convolutional architecture was applied on a task of reading partially displayed words under similar conditions as in a former psychology study on human subjects. This experiment put inevidence the similarities in behavior of the network with the human subjects regarding various properties of the display of words.Chapter 4 introduces a new method for representing categories usingneuron assemblies in deep networks. For problems with a large number of classes, this allows to reduce significantly the dimensions of a network.Chapter 5 describes a method for interfacing deep unsupervised networks with clique-based associative memories.

No description available.