La durée d'analyse d'une scène visuelle complexe constitue une contrainte biologique fondamentale pour les modèles théoriques du traitement neuronal de l'information visuelle. La mesure d'indices psychophysiques et électrophysiologiques lors d'une tâche de catégorisation visuelle rapide permet de démontrer que le système visuel humain transforme une scène visuelle complexe en une représentation de haut niveau, portant une valeur sémantique ou comportementale, en seulement 150 ms. Ce résultat est indépendant du caractère naturel ou artificiel de la catégorie cible utilisée. L'activité cérébrale enregistrée avant 150 ms reflète les propriétés physiques du stimulus, et n'est pas corrélée avec le comportement du sujet. D'un point de vue théorique, quels mécanismes neuronaux peuvent sous-tendre une telle capacité?<br />L'architecture hiérarchique du système visuel des primates et les délais de conduction électrique suggèrent que l'information visuelle circule majoritairement vers l'avant, et qu' un seul potentiel d'action par neurone pourra coder l'information entre 2 étapes successives. Ceci exclut le codage par fréquence d'émission de potentiels d'action, classiquement utilisé par les modèles de la vision. J'illustre cependant le fait que l'information visuelle peut être encodée par les dates relatives d'émission des potentiels d'action sur une population neuronale, l'information la plus saillante étant toujours représentée par les premières décharges. La structure temporelle de la première vague de potentiels d'action générée par la rétine en réponse à une stimulation visuelle peut porter explicitement l'information. Cette vague se propageant à travers le système est régénérée à chaque étape de traitement, et sa structure temporelle peut être modifiée par (i) la sélectivité des neurones corticaux, (ii) des interactions latérales et (iii) des influences attentionnelles provenant d'aires cérébrales centrales.

Les instruments optiques a bord de satellite mesurent le rayonnement solaire reflechi par la mer et l'atmosphere. Ce rayonnement est fortement contamine par son interaction avec l'atmosphere dans les longueurs d'ondes qui interessent la couleur de l'ocean. L'elimination prealable de cette contanimation pour observer la veritable couleur de l'eau est appele correction atmospherique. Ce travail se focalise sur l'algorithme de correction atmospherique du capteur SeaWiFS. Il montre l'apport des methodes mathematiques que sont les reseaux de neurones artificiels et l'inversion variationnelle pour les algorithmes de correction atmospherique. Une premiere inversion par reseaux de neurones dans le proche infra-rouge permet de restituer les proprietes optiques des aerosols. Ces restitutions sont comparees, sur la mer Mediterranee, avec les produits SeaWiFS et validees avec des mesures au sol, montrant une meilleure estimation du coefficient d'Angstrom et une estimation egale de l'epaisseur optique. La deuxieme inversion se fait sur tout le spectre visible et proche infra-rouge en combinant reseaux de neurones et inversion variationnelle. Les cartes de chlorophylle-a sont comparees, sur la meme zone, a des donnees in-situ montrant une meilleure estimation des faibles valeurs que l'algorithme SeaWIFS.

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions. / Deep Learning is a quickly growing area of research in machine learning, providing impressive results on different tasks ranging from image classification to speech and language modelling. In particular, a subclass of deep models, recurrent neural networks, promise even more. Recurrent models can capture the temporal structure in the data. They can learn correlations between events that might be far apart in time and, potentially, store information for unbounded amounts of time in their innate memory. In this work we first focus on understanding why depth is useful. Similar to other published work, our results prove that deep models can be more efficient at expressing certain families of functions compared to shallow models. Different from other work, we carry out our theoretical analysis on deep feedforward networks with piecewise linear activation functions, the kind of models that have obtained state of the art results on different classification tasks. The second part of the thesis looks at the learning process. We analyse a few recently proposed optimization techniques, including Hessian Free Optimization, natural gradient descent and Krylov Subspace Descent. We propose the framework of generalized trust region methods and show that many of these recently proposed algorithms can be viewed from this perspective. We argue that certain members of this family of approaches might be better suited for non-convex optimization than others. The last part of the document focuses on recurrent neural networks. We start by looking at the concept of memory. The questions we attempt to answer are: Can recurrent models exhibit unbounded memory? Can this behaviour be learnt? We show this to be true if hints are provided during learning. We explore, afterwards, two specific difficulties of training recurrent models, namely the vanishing gradients and exploding gradients problem. Our analysis concludes with a heuristic solution for the exploding gradients that involves clipping the norm of the gradients. We also propose a specific regularization term meant to address the vanishing gradients problem. On a toy dataset, employing these mechanisms, we provide anecdotal evidence that the recurrent model might be able to learn, with out hints, to exhibit some sort of unbounded memory. Finally we explore the concept of depth for recurrent neural networks. Compared to feedforward models, for recurrent models the meaning of depth can be ambiguous. We provide several ways in which a recurrent model can be made deep and empirically evaluate these proposals.

L'objectif de ce memoire est de presenter une etude des principales approches existantes pour la synthese de transformations perception-action permettant le pilotage reactif d'un robot mobile vers un but situe dans un univers inconnu. Cette etude est motivee par les limitations du systeme de navigation mis en place dans le cadre du projet Europeen Mithra Eureka EU:110 et qui est base sur l'execution d'un chemin extrait d'un modele parametrique de l'environnement percu. La premiere transformation consideree est basee sur les methodes dites de champs de forces, derivees des methodes a base de potentiels. Nous proposons en particulier une approche heuristique favorisant les mouvements de translation afin de limiter les phenomenes de blocage du robot. La totalite des problemes n'etant pas resolus, nous nous sommes alors interesses a une deuxieme categorie d'outils de synthese de transformations: la logique floue. Les experiences realisees nous ont permis de constater que les problemes rencontres sont similaires a ceux des champs de forces. La seconde partie du manuscrit est dediee a l'utilisation en robotique de techniques issues de l'apprentissage automatique en controle. Nous nous sommes plus particulierement interesses a deux grandes categories d'approches : le supervise et le renforce. Apre`s avoir rappele les contraintes propres a la robotique qu'un algorithme d'apprentissage choisi doit etre en mesure de gerer, nous avons propose dans le cadre de l'apprentissage supervise l'utilisation d'un reseau de neurones de type Grow and Learn couple a une analyse en composantes principales des donnees capteurs. Nous avons ensuite propose un nouvel algorithme d'apprentissage de regles floues pouvant etre utilise dans le cadre d'une approche de type Adaptive Heuristic Critic en apprentissage renforce.

Les karsts sont l'une des formations aquifères les plus présentes au monde. Exploités, ils fournissent de l'eau potable pour près de 25% de la population mondiale. Cependant la forte hétérogénéité de leur structure implique un comportement non-linéaire particulièrement difficile à simuler et à prévoir. Les réseaux de neurones formels sont des modèles d'apprentissage statistique qui ont été largement utilisés en hydrologie de surface depuis les années 1990, grâce à leurs propriétés de parcimonie et d'approximation universelle. Dans cette thèse, il est proposé d'utiliser les réseaux de neurones pour étudier le comportement des aquifères karstiques. L'aquifère du Lez est choisi pour appliquer le modèle par réseaux de neurones. Cet aquifère, situé près de l'agglomération de Montpellier (400 000 habitants), est exploité pour fournir de l'eau potable à une grande partie de l'agglomération. Dans un premier temps, un réseau de neurones " classique ", de type boîte noire, est appliqué à la simulation et à la prévision des débits de la source du Lez. Une méthode de sélection des entrées de pluie est proposée, couplant analyse par corrélations croisées et méthode de validation croisée. Les résultats montrent l'adéquation du modèle neuronal pour la simulation et la prévision du débit de la source d'un aquifère karstique complexe. Le test du modèle est effectué sur les deux cycles hydrologiques comportant les crues les plus intenses de la base de données. Les hydrogrammes montrent que le modèle neuronal a été capable de correctement prévoir les débits des crues majeures en test, qui sont supérieurs aux débits présents dans la base d'apprentissage du modèle. La prévision est acceptable jusqu'à un horizon de prévision de un jour. Dans un second temps, une méthode d'extraction des données contenues dans la boîte noire est proposée. Afin de contraindre le modèle neuronal à donner des valeurs physiquement interprétables, des connaissances a priori sur la géologie de l'aquifère sont incluses dans l'architecture du réseau de neurones. La méthode KnoX (Knowledge eXtraction) proposée dans cette étude permet d'extraire du modèle les contributions des différentes zones géologiques à la source du Lez ainsi que les temps de réponse correspondants. L'application de la méthode KnoX à un hydrosystème fictif dont on contrôle en particulier les temps de réponse et contributions des différents sous-hydrosystèmes fictifs a permis de valider cette méthode. Les résultats obtenus sur le bassin du Lez sont très satisfaisants et en adéquation avec les connaissances actuelles que l'on a sur ce système. De plus la méthode a permis d'affiner ces connaissances, notamment l'infiltration retardée par des aquifères perchés et les limites du bassin d'alimentation de la source du Lez. Enfin, la méthode KnoX est générique et applicable à tout hydrosystème pour lequel on dispose de mesures de pluie et de débit.

Cette thèse a pour but d'améliorer la tâche de reconnaître des gestes de main en utilisant des techniques d'apprentissage par ordinateur et de traitement du signal. Les principales contributions de la thèse sont dédiés à la théorie de l'apprentissage par ordinateur et à l'interaction homme-machine. L'objectif étant d'implanter toutes méthodes en temps réel, toute méthode employé au cours de cette thèse était un compromis entre puissance et temps de calcul nécessaire.Plusieurs pistes ont été poursuivi : au début, la fusion des informations fournies par plusieurs capteurs tu type « time-of-flight » a été étudiée, dans le but d'améliorer le taux de reconnaissances correctes par rapport au cas avec un seul capteur. En particulier, l'impact des différentes caractéristiques calculés à partir d'une nuage de points, et de ses paramètres, a été évalué. Egalement, la performance des réseaux multi-couches (MLP) à été comparé avec celle d'un séparateur à vaste marge (SVM).En s'appuyant sur ces résultats, l'implantation du système dans une voiture a eté effectuée. Tout d'abord, nous avons montré que le système n'est pas du tout gêné par le fait d'être exposé aux conditions d'éclairage « outdoor ». L'extension de la base d'entraînement et une modification des caractéristiques calculé de la nuage des points a pu augmenter le taux de bonnes reconnaissances de façon très significative, ainsi que le rajout des mesures de confiance à la classification.Afin d'améliorer la performance des classifieurs à la base des réseaux multi-couche (MLP), une nouvelle méthode assez simple a été mise au point ensuite. Cette méthode met au profit des informations déjà présentes dans la dernière couche du réseau. En combinant cette nouvelle approche avec une technique de fusion, le taux de bonnes reconnaissances est amélioré, et surtout pour le cas des échantillons « difficiles ». Ces résultats ont été analysés et comparés de façon approfondie en comparant des différentes possibilités de fusion dans un tel contexte. L'exploitation du fait que les données traitées dont des séquences, et qu'il y a par conséquent une cohérence temporelle dans des échantillons successifs, a également été abordée un utilisant les mêmes techniques de fusion. Un système de « infotainment » implanté sur un smartphone, qui utilise les techniques décrites ici, a également été réalisé.Dans un dernier temps, un modèle simplifié de la reconnaissance des gestes dynamiques a été proposé et validé dans un contexte applicatif. Il a été montré que un geste peut être défini de façon assez robuste par une pose initiale et une pose finale, qui sont classé par le système décrit ci-dessus. / This thesis aims at improving the complex task of hand gesture recognition by utilizing machine learning techniques to learn from features calculated from 3D point cloud data. The main contributions of this work are embedded in the domains of machine learning and in the human-machine interaction. Since the goal is to demonstrate that a robust real-time capable system can be set up which provides a supportive means of interaction, the methods researched have to be light-weight in the sense that descriptivity balances itself with the calculation overhead needed to, in fact, remain real-time capable. To this end several approaches were tested:Initially the fusion of multiple ToF-sensors to improve the overall recognition rate was researched. It is examined, how employing more than one sensor can significantly boost recognition results in especially difficult cases and get a first grasp on the influence of the descriptors for this task as well as the influence of the choice of parameters on the calculation of the descriptor. The performance of MLPs with standard parameters is compared with the performance of SVMs for which the parameters have been obtained via grid search.Building on these results, the integration of the system into the car interior is shown. It is demonstrated how such a system can easily be integrated into an outdoor environment subject to strongly varying lighting conditions without the need for tedious calibration procedures. Furthermore the introduction of a modified light-weight version of the descriptor coupled with an extended database significantly boosts the frame rate for the whole recognition pipeline. Lastly the introduction of confidence measures for the output of the MLPs allows for more stable classification results and gives an insight on the innate challenges of this multiclass problem in general.In order to improve the classification performance of the MLPs without the need for sophisticated algorithm design or extensive parameter search a simple method is proposed which makes use of the existing recognition routines by exploiting information already present in the output neurons of the MLPs. A simple fusion technique is proposed which combines descriptor features with neuron confidences coming from a previously trained net and proves that augmented results can be achieved in nearly all cases for problem classes and individuals respectively.These findings are analyzed in-depth on a more theoretical scale by comparing the effectiveness of learning solely on neural activities in the output layer with the previously introduced fusion approach. In order to take into account temporal information, the thesis describes a possible approach on how to exploit the fact that we are dealing with a problem within which data is processed in a sequential manner and therefore problem-specific information can be taken into account. This approach classifies a hand pose by fusing descriptor features with neural activities coming from previous time steps and lays the ground work for the following section of making the transition towards dynamic hand gestures. Furthermore an infotainment system realized on a mobile device is introduced and coupled with the preprocessing and recognition module which in turn is integrated into an automotive setting demonstrating a possible testing environment for a gesture recognition system.In order to extend the developed system to allow for dynamic hand gesture interaction a simplified approach is proposed. This approach demonstrates that recognition of dynamic hand gesture sequences can be achieved with the simple definition of a starting and an ending pose based on a recognition module working with sufficient accuracy and even allowing for relaxed restrictions in terms of defining the parameters for such a sequence.

Les robots intégrés aux chaînes de production sont généralement isolés des ouvriers et ne prévoient pas d'interaction physique avec les humains. Dans le futur, le robot humanoïde deviendra un partenaire pour vivre ou travailler avec les êtres humains. Cette coexistence prévoit l'interaction physique et sociale entre le robot et l'être humain. En robotique humanoïde les futurs progrès dépendront donc des connaissances dans les mécanismes cognitifs présents dans les interactions interpersonnelles afin que les robots interagissent avec les humains physiquement et socialement. Un bon exemple d'interaction interpersonnelle est l'acte de la poignée de la main qui possède un rôle social très important. La particularité de cette interaction est aussi qu'elle est basée sur un couplage physique et social qui induit une synchronisation des mouvements et des efforts. L'intérêt d'étudier la poignée de main pour les robots consiste donc à élargir leurs propriétés comportementales pour qu'ils interagissent avec les humains de manière plus habituelle.Cette thèse présente dans un premier chapitre un état de l'art sur les travaux dans les domaines des sciences humaines, de la médecine et de la robotique humanoïde qui sont liés au phénomène de la poignée de main. Le second chapitre, est consacré à la nature physique du phénomène de poignée de main chez l'être humain par des mesures quantitatives des mouvements. Pour cela un système de mesures a été construit à l'Université Nationale Technique de Donetsk (Ukraine). Il est composé d'un gant instrumenté par un réseau de capteurs portés qui permet l'enregistrement des vitesses et accélérations du poignet et les forces aux points de contact des paumes, lors de l'interaction. Des campagnes de mesures ont permis de montrer la présence d'un phénomène de synchronie mutuelle précédé d'une phase de contact physique qui initie cette synchronie. En tenant compte de cette nature rythmique, un contrôleur à base de neurones rythmiques de Rowat-Selverston, intégrant un mécanisme d'apprentissage de la fréquence d'interaction, est proposé et etudié dans le troisième chapitre pour commander un bras robotique. Le chapitre quatre est consacré aux expériences d'interaction physique homme/robot. Des expériences avec un bras robotique Katana montrent qu'il est possible d'apprendre à synchroniser la rythmicité du robot avec celle imposée par une per-sonne lors d'une poignée de main grâce à ce modèle de contrôleur bio-inspiré. Une conclusion générale dresse le bilan des travaux menés et propose des perspectives. / Automated production lines integrate robots which are isolated from workers, so there is no physical interaction between a human and robot. In the near future, a humanoid robot will become a part of the human environment as a companion to help or work with humans. The aspects of coexistence always presuppose physical and social interaction between a robot and a human. In humanoid robotics, further progress depends on knowledge of cognitive mechanisms of interpersonal interaction as robots physically and socially interact with humans. An illustrative example of interpersonal interaction is an act of a handshake that plays a substantial social role. The particularity of this form of interpersonal interaction is that it is based on physical and social couplings which lead to synchronization of motion and efforts. Studying a handshake for robots is interesting as it can expand their behavioral properties for interaction with a human being in more natural way. The first chapter of this thesis presents the state of the art in the fields of social sciences, medicine and humanoid robotics that study the phenomenon of a handshake. The second chapter is dedicated to the physical nature of the phenomenon between humans via quantitative measurements. A new wearable system to measure a handshake was built in Donetsk National Technical University (Ukraine). It consists of a set of several sensors attached to the glove for recording angular velocities and gravitational acceleration of the hand and forces in certain points of hand contact during interaction. The measurement campaigns have shown that there is a phenomenon of mutual synchrony that is preceded by the phase of physical contact which initiates this synchrony. Considering the rhythmic nature of this phenomenon, the controller based on the models of rhythmic neuron of Rowat-Selverston, with learning the frequency during interaction was proposed and studied in the third chapter. Chapter four deals with the experiences of physical human-robot interaction. The experimentations with robot arm Katana show that it is possible for a robot to learn to synchronize its rhythm with rhythms imposed by a human during handshake with the proposed model of a bio-inspired controller. A general conclusion and perspectives summarize and finish this work.

No description available.

L'acquisition autonome de representations et de fonctionnalites en robotique pose de nombreux problemes theoriques. Aujourd'hui, les systemes robotiques autonomes sont concus autour d'un ensemble de fonctionnalites. Leurs representations du monde sont issues de l'analyse d'un probleme et d'une modelisation prealablement donnees par les concepteurs. Cette approche limite les capacites d'apprentissage. Nous proposons dans cette these un systeme ouvert de representations et de fonctionnalites. Ce systeme apprend en experimentant son environnement et est guide par l'augmentation d'une fonction de valeur. L'objectif du systeme consiste a agir sur son environnement pour reactiver les representations dont il avait appris une connotation positive. Une analyse de la capacite a generaliser la production d'actions appropriees pour ces reactivations conduit a definir un ensemble de proprietes necessaires pour un tel systeme. Le systeme de representation est constitue d'un reseau d'unites de traitement semblables et utilise un codage par position. Le sens de l'etat d'une unite depend de sa position dans le reseau. Ce systeme de representation possede des similitudes avec le principe de numeration par position. Une representation correspond a l'activation d'un ensemble d'unites. Ce systeme a ete implemente dans une suite logicielle appelee NeuSter qui permet de simuler des reseaux de plusieurs millions d'unites et milliard de connexions sur des grappes heterogenes de machines POSIX. Les premiers resultats permettent de valider les contraintes deduites de l'analyse. Un tel systeme permet d'apprendre dans un meme reseau, de facon hierarchique et non supervisee, des detecteurs de bords et de traits, de coins, de terminaisons de traits, de visages, de directions de mouvement, de rotations, d'expansions, et de phonemes. NeuSter apprend en ligne en utilisant uniquement les donnees de ses capteurs. Il a ete teste sur des robots mobiles pour l'apprentissage et le suivi d'objets.

Nous proposons une généralisation des modèles actuels, utilisés en neuroscience pour l'analyse des statistiques de trains de potentiels d'action, et basé sur le paradigme de maximisation de l'entropie statistique sous contraintes. Notre méthode permet d'estimer des distributions de Gibbs avec un potentiel paramétrique arbitraire, généralisant les modèles actuels (Ising ou chaines de Markov du premier ordre). Notre méthodologie permet de tenir compte des effets de mémoire dans la dynamique. Elle fournit de manière directe la divergence de Kullback-Leibler entre le statistique empirique et le modèle statistique. Elle ne présuppose pas une forme spécifique du potentiel de Gibbs et ne nécessite pas l'hypothèse de bilan détaillé En outre, elle permet la comparaison de différents modèles statistiques et offre un contrôle des effets de taille finie, propres à la statistique empirique, par le biais de résultats des grandes déviations. Nous avons également développé un logiciel implémentant cette méthode et nous présentons des résultats d'application à des données biologiques issues d'enregistrements par multi-électrode sur des cellules ganglionnaires de rétines animaux. De plus, notre formalisme permet d'étudier l'évolution de la distribution des potentiels d'action lors de la variation des poids synaptiques induits par plasticité. Nous montrons une application a l'analyse de données synthétiques issues d'un réseau neuronal simulé soumis a de la plasticité de type (STDP).