Un des enjeux majeurs de la biochimie et de la biologie cellulaire actuelle est de pouvoir suivre de manière dynamique les événements moléculaires à l'intérieur de la cellule vivante dans son contexte fonctionnel, c'est-à-dire in situ (dans son tissu d'origine). Il ne suffit plus, par exemple, d'identifier une réaction biochimique in vitro pour pouvoir savoir si un enzyme ou un autre rencontrera son substrat à l'intérieur de la cellule. Il apparaît de plus en plus évident que des facteurs spatio-temporels très fins à l'intérieur de la cellule vivante déterminent en grande partie la spécificité des signaux cellulaires. Il suffit de penser aux fluctuations calciques intracellulaires, par exemple, qui participent à une multitude de cascades de signalisation; sans spécificité spatiale et temporelle, la cellule ne pourrait utiliser les signaux calciques de manière utile et efficace. A cette fin, on propose un système de microscopie laser qui incorpore un axicon, lequel a la propriété de focaliser la lumière en un faisceau quasi-Bessel. Le contrôle du profil du faisceau incident sur l'axicon procure une ligne focale sur l'axe longitudinal ayant une intensité constante dans le milieu absorbant ainsi qu'une grande résolution transverse. Conséquemment, nous devons balayer notre échantillon en deux dimensions seulement pour obtenir une image complète de tout le volume, réduisant ainsi considérablement le temps d'acquisition. Nous présenterons les résultats théoriques de la génération d'un faisceau quasi-Bessel dans un échantillon absorbant, les caractéristiques du laser Ti:saphir utilisé ainsi que le schéma proposé pour la microscopie laser avec un axicon. Nous verrons qu'il est possible d'imager des échantillons fluorescents allant jusqu'à 1 mm d'épaisseur avec un seul balayage. Dans cette thèse, nous passerons en revue quelques principes qui sont à la base des avantages de la microscopie par excitation à deux photons afin de mettre en relief certains des défis (résolution spatiale, résolution temporelle, sensibilité, profondeur de pénétration dans le tissu et phototoxicité) pour améliorer l'utilisation de cette approche pour l'imagerie cellulaire fonctionnelle. Les propriétés des faisceaux de Bessel formés par l'axicon seront étudiées en profondeur. Nous décrirons ensuite notre microscope à deux photons avec un axicon et nous présenterons plusieurs résultats obtenus avec ce dernier.

Les neurones dopaminergiques du mésencéphale (mDA) sont impliqués de manière critique dans diverses fonctions clés du cerveau, y compris les mouvements volontaires, la récompense, l'attention et l'apprentissage. La bonne spécification des neurones dopaminergique, ainsi que l’établissement des circuits dopaminergiques sont nécessaires à un bon fonctionnement du cerveau. Le dysfonctionnement des circuits dopaminergiques est lié au développement de troubles neuropsychiatriques, y compris le trouble déficitaire de l'attention avec hyperactivité (TDAH), le trouble obsessionnel compulsif (TOC) et les troubles liés aux TOCs, comme le syndrome de Gilles de la Tourette. L’obtention d’un circuit dopaminergique fonctionnel dépend du développement des neurones dopaminergiques. Les facteurs de transcription Lmx1a et Lmx1b font partie de la famille des LIM à homeodomain et sont des déterminants précoces de l’avenir des neurones dopaminergique. Lmx1a/b sont essentiels pour chaque étape de la différenciation des progéniteurs de neurone dopaminergique. Il a été démontré précédemment que les souris Lmx1a/b cKO ont une activité locomotrice augmentée par rapport aux contrôles. Ici, une caractérisation approfondie des souris Lmx1a/b a révélé que ces souris avaient un comportement hyperactif, en lien avec le TDAH, et démontraient des symptômes du type TOC. Au niveau cellulaire, la perte de fonction de Lmx1a/b a induit une réduction de l’arborisation dendritique et de la fréquence des courants postsynaptiques excitateurs miniatures spontanés (mEPSCs) dans les neurones dopaminergiques. Le profil d'expression des gènes chez les souris Lmx1a / b cKO a révélé que Lmx1a/b contrôle l'expression de Slitrk2 et Slitrk5, deux membres de la famille des protéines Slit et Trk (Slitrk). Le gain et la perte de fonction de Slitrk2 et Slitrk5 dans des cultures de neurones dopaminergiques ont montré que Slitrk2 régule positivement et Slitrk5 régulent négativement la croissance dendritique. Également, le gain et la perte de fonction de Slitrk2 ont induit une variation de la densité des punctas synaptiques excitateurs (PSD95 et VGLUT). En conséquence, la perte de fonction de Slitrk2 a réduit la fréquence des mEPSCs, tandis que l'augmentation de l'expression de Slitrk2 a augmenté la fréquence des mEPSCs, sans changement d'amplitude ou dans la fréquence ou de l'amplitude des mIPSCs. Ces données suggèrent un rôle pour Slitrk2 dans la formation de synapses excitatrices fonctionnelles. À l'inverse, le gain et la perte de fonction de Slitrk5 ont induit une modification de la densité des punctas synaptiques inhibiteurs (géphyrine et VGAT). La perte d’expression de Slitrk5 a réduit la fréquence des mIPSCs tandis que l'augmentation de l'expression de Slitrk5 a augmenté la fréquence des mIPSCs, sans changement dans l'amplitude ou de la fréquence et de l'amplitude des mEPSCs. Ces données suggèrent un rôle pour Slitrk5 dans la formation de synapses fonctionnelles inhibitrices. Nous avons également étudié les conséquences sur le comportement de Slitrk2 et Slitrk5 dans les neurones mDA. Les souris, dans lesquelles Slitrk2 a été invalidé dans la VTA, démontrent un changement significatif dans l'activité locomotrice et montrent de l’hyperactivité. À l'inverse, les souris avec une expression réduite de Slitrk5 présentent une activité locomotrice réduite et un comportement analogue à un TOC. Ces changements de comportement peuvent être causés par une modification de l'activité des neurones dopaminergiques. L'inhibition chronique des neurones de la VTA, en utilisant une approche pharmacogénétique, pendant le développement postnatal à induit une activité motrice augmentée, similaire au TDAH, et un comportement analogue à un TOC. Ceci évoque certains aspects du comportement des souris Lmx1a/b cKO. Une inhibition aiguë a entraîné une diminution de l'activité locomotrice, alors que l'inhibition chronique chez des animaux plus âgés n'a eu aucun effet. Ensemble, ces résultats indiquent que Lmx1a/b, Slitrk2, et Slitrk5 sont des acteurs clés du développement des neurones dopaminergique et de la formation des synapses, ce qui peut avoir un impact sur le développement de TDAH et de TOC. / Midbrain dopaminergic (mDA) neurons are critically involved in various key functions of the brain, including voluntary movement, reward, attention, and learning. The proper specification of dopaminergic neurons, as well as the establishment of dopaminergic circuits are necessary to a good functioning of the brain. Dopaminergic circuitry dysfunctions are linked to the development of neuropsychiatric disorders, including attention deficit hyperactivity disorder (ADHD), obsessive-compulsive disorder (OCD) and OCD-like disorders, such as Gilles de la Tourette’s syndrome. The LIM-homeodomain transcriptional factors Lmx1a and Lmx1b are early determinants of the dopaminergic fate and are essential for each step of mDA progenitor differentiation. Previously, it has been demonstrated that Lmx1a/b cKO mice show increased locomotor activity. Further characterization of Lmx1a/b cKO mice revealed that these mice had ADHD- and OCD-like behaviour. The loss of function of Lmx1a/b reduced dendritic morphology and frequency of spontaneous miniature excitatory postsynaptic currents (mEPSCs) in mDA neurons. Gene expression profiling in Lmx1a/b cKO mice revealed that Lmx1a/b controls the expression of Slitrk2 and Slitrk5, two members of the Slit and Trk-like (Slitrk) protein family. Gain and loss of function of Slitrk2 and Slitrk5 in mDA neuron cultures showed that Slitrk2 positively regulates and Slitrk5 negatively regulate dendritic growth. Additionally, gain and loss of function of Slitrk2 induced a change in the density of excitatory synaptic puncta (PSD95 and VGLUT). Accordingly, Slitrk2 knockdown reduced the frequency of mEPSCs while increased Slitrk2 expression increased the frequency of mEPSCs, with no change in amplitude or in mIPSCs frequency or amplitude. These data suggest a role for Slitrk2 in the formation of functional excitatory synapses. Inversely, gain and loss of function of Slitrk5 induced a modification in the density of inhibitory synaptic puncta (gephyrin and VGAT). Slitrk5 knockdown reduced the frequency of mIPSCs while increased Slitrk5 expression increased the frequency of mIPSCs, with no change in amplitude or in mEPSCs frequency or amplitude. These data suggest a role for Slitrk5 in the formation of functional inhibitory synapses. We also investigated the consequences on behaviour of Slitrk2 and Slitrk5 reduced expression in mDA neurons. Mice, in which Slitrk2 was knocked down in the VTA, display significant change in locomotor activity and show ADHD. Inversely, mice with reduced expression of Slitrk5 exhibit lower activity and OCD-like behaviour. These behavioural changes might be caused by a change in mDA neuron firing activity. Chronic inhibition of mDA neurons during postnatal development using a pharmacogenetic approach induced ADHD and OCD-like behaviour and mimic some aspects of the Lmx1a/b cKO mice. Acute inhibition resulted in decreased locomotor activity, while chronic inhibition in older animals had no effect. Altogether, these results indicate that Lmx1a/b and Slitrk2/5 are key players of mDA neuron development and synapse formation, which may have an impact on ADHD and OCD-like disorders. / Résumé en espagnol

Titre de l'écran-titre (visionné le 16 août 2023) / Certaines caractéristiques de la larve de poisson-zèbre, telles que sa petite taille et sa transparence optique, en font un modèle stratégique en neurophotonique, en particulier avec la perspective d'études de l'activité du cerveau entier à l'échelle cellulaire. Malgré le relativement petit nombre de neurones présents dans le cerveau du poisson-zèbre, son organisation comprend plusieurs régions anatomiquement, biochimiquement et fonctionnellement analogues à celles présentes chez d'autres vertébrés, incluant l'humain. Les comportements émergeant de cette organisation forment un registre riche ouvrant la porte à la recherche en neurosciences. Par exemple, le système dopaminergique du poisson-zèbre régule plusieurs fonctions analogues chez l'humain, telles que les émotions et les fonctions motrices. Au cours de mon projet, j'ai modifié puis optimisé un microscope à fluorescence par excitation à deux photons, ce qui m'a permis de mesurer l'activité de plus de 60 000 neurones dans une lignée de poisson-zèbre transgénique exprimant un indicateur de calcium fluorescent (GCaMP6s) panneuronal. Pour identifier les neurones dopaminergiques, j'ai fait appel au marquage immunohistochimique des larves fixées suivant leur imagerie calcique. En projetant la localisation des neurones marqués sur les données fonctionnelles par recalage d'images, j'ai pu quantifier l'activité neuronale de la population dopaminergique. Enfin, pour mesurer les manifestations comportementales correspondant à l'activité neuronale, j'ai intégré au microscope un montage incluant un écran, projetant des stimuli visuels, et une caméra haute vitesse, captant les battements de queue. Ce montage a permis de corréler le comportement de nage de spécimens avec l'activité de neurones dont la distribution spatiale est cohérente avec la littérature. Mes travaux de maîtrise ont ainsi mis en place un modèle intégré d'imagerie neuronale, de stimulation sensorielle, et de comportement chez la larve de poisson-zèbre qui permettra d'explorer le rôle des différents circuits neuronaux dans le fonctionnement du cerveau ainsi que l'influence de l'exposome sur leur fonction.

L’apprentissage machine est un vaste domaine où l’on cherche à apprendre les paramètres de modèles à partir de données concrètes. Ce sera pour effectuer des tâches demandant des aptitudes attribuées à l’intelligence humaine, comme la capacité à traiter des don- nées de haute dimensionnalité présentant beaucoup de variations. Les réseaux de neu- rones artificiels sont un exemple de tels modèles. Dans certains réseaux de neurones dits profonds, des concepts "abstraits" sont appris automatiquement. Les travaux présentés ici prennent leur inspiration de réseaux de neurones profonds, de réseaux récurrents et de neuroscience du système visuel. Nos tâches de test sont la classification et le débruitement d’images quasi binaires. On permettra une rétroac- tion où des représentations de haut niveau (plus "abstraites") influencent des représentations à bas niveau. Cette influence s’effectuera au cours de ce qu’on nomme relaxation, des itérations où les différents niveaux (ou couches) du modèle s’interinfluencent. Nous présentons deux familles d’architectures, l’une, l’architecture complètement connectée, pouvant en principe traiter des données générales et une autre, l’architecture convolutionnelle, plus spécifiquement adaptée aux images. Dans tous les cas, les données utilisées sont des images, principalement des images de chiffres manuscrits. Dans un type d’expérience, nous cherchons à reconstruire des données qui ont été corrompues. On a pu y observer le phénomène d’influence décrit précédemment en comparant le résultat avec et sans la relaxation. On note aussi certains gains numériques et visuels en terme de performance de reconstruction en ajoutant l’influence des couches supérieures. Dans un autre type de tâche, la classification, peu de gains ont été observés. On a tout de même pu constater que dans certains cas la relaxation aiderait à apprendre des représentations utiles pour classifier des images corrompues. L’architecture convolutionnelle développée, plus incertaine au départ, permet malgré tout d’obtenir des reconstructions numériquement et visuellement semblables à celles obtenues avec l’autre architecture, même si sa connectivité est contrainte. / Machine learning is a vast field where we seek to learn parameters for models from concrete data. The goal will be to execute various tasks requiring abilities normally associated more with human intelligence than with a computer program, such as the ability to process high dimensional data containing a lot of variations. Artificial neural networks are a large class of such models. In some neural networks said to be deep, we can observe that high level (or "abstract") concepts are automatically learned. The work we present here takes its inspiration from deep neural networks, from recurrent networks and also from neuroscience of the visual system. Our test tasks are classification and denoising for near binary images. We aim to take advantage of a feedback mechanism through which high-level representations, that is to say relatively abstract concepts, can influence lower-level representations. This influence will happen during what we call relaxation, which is iterations where the different levels (or layers) of the model can influence each other. We will present two families of architectures based on this mechanism. One, the fully connected architecture, can in principle accept generic data. The other, the convolutional one, is specifically made for images. Both were trained on images, though, and mostly images of written characters. In one type of experiment, we want to reconstruct data that has been corrupted. In these tasks, we have observed the feedback influence phenomenon previously described by comparing the results we obtained with and without relaxation. We also note some numerical and visual improvement in terms of reconstruction performance when we add upper layers’ influence. In another type of task, classification, little gain has been noted. Still, in one setting where we tried to classify noisy data with a representation trained without prior class information, relaxation did seem to improve results significantly. The convolutional architecture, a bit more risky at first, was shown to produce numerical and visual results in reconstruction that are near those obtained with the fully connected version, even though the connectivity is much more constrained.

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions. / Deep Learning is a quickly growing area of research in machine learning, providing impressive results on different tasks ranging from image classification to speech and language modelling. In particular, a subclass of deep models, recurrent neural networks, promise even more. Recurrent models can capture the temporal structure in the data. They can learn correlations between events that might be far apart in time and, potentially, store information for unbounded amounts of time in their innate memory. In this work we first focus on understanding why depth is useful. Similar to other published work, our results prove that deep models can be more efficient at expressing certain families of functions compared to shallow models. Different from other work, we carry out our theoretical analysis on deep feedforward networks with piecewise linear activation functions, the kind of models that have obtained state of the art results on different classification tasks. The second part of the thesis looks at the learning process. We analyse a few recently proposed optimization techniques, including Hessian Free Optimization, natural gradient descent and Krylov Subspace Descent. We propose the framework of generalized trust region methods and show that many of these recently proposed algorithms can be viewed from this perspective. We argue that certain members of this family of approaches might be better suited for non-convex optimization than others. The last part of the document focuses on recurrent neural networks. We start by looking at the concept of memory. The questions we attempt to answer are: Can recurrent models exhibit unbounded memory? Can this behaviour be learnt? We show this to be true if hints are provided during learning. We explore, afterwards, two specific difficulties of training recurrent models, namely the vanishing gradients and exploding gradients problem. Our analysis concludes with a heuristic solution for the exploding gradients that involves clipping the norm of the gradients. We also propose a specific regularization term meant to address the vanishing gradients problem. On a toy dataset, employing these mechanisms, we provide anecdotal evidence that the recurrent model might be able to learn, with out hints, to exhibit some sort of unbounded memory. Finally we explore the concept of depth for recurrent neural networks. Compared to feedforward models, for recurrent models the meaning of depth can be ambiguous. We provide several ways in which a recurrent model can be made deep and empirically evaluate these proposals.

Les recherches effectuées dans le domaine de la reconnaissance automatique de la parole (RAP) permettent d'envisager un éventail toujours plus large d'applications industrielles ou grand public. Cependant, la compréhension des mécanismes de production et de reconnaissance de la parole par l'Homme ne suffit pas en elle-même pour élaborer effectivement les dites applications. Les conditions de laboratoire qui ont prévalues lors de l'enregistrement des premiers corpus de parole utilisés à des fins de recherches sont en effet très différentes des conditions réelles que l'on rencontre généralement dans les lieux de travail ou de vie. Ayant le plus souvent été enregistrés en chambre anéchoïde, ces corpus ne permettaient pas plus d'appréhender les dégradations que le milieu peut engendrer sur le signal de parole que de constater quelles pouvaient être les modifications provoquées sur ce signal par un locuteur essayant de s'adapter à son milieu. Certaines des recherches actuelles en RAP essaient donc d'améliorer les capacités de résistance au bruit des systèmes existants. Pour ce faire, il est possible d'utiliser un système d'abord défini pour la reconnaissance de la parole non bruitée en lui ajoutant un mécanisme lui permettant de s'adapter à certaines conditions de bruit. Il est également possible de définir un système ab-nihilo qui soit tout aussi bien adapté aux conditions non bruitées qu'aux conditions bruitées. Le sujet de cette thèse porte sur la reconnaissance de petits vocabulaires, tels que les lettres ou les chiffres, prononcés de manière continue en milieu bruité. Pour mener à bien cette étude, différentes architectures connexionnistes ont été étudiées. L'utilisation de modèles connexionnistes nous a permis de mettre au point, grâce au mécanisme d'apprentissage, des systèmes qui sont immédiatement adaptés à différentes conditions de bruit. Un premier système a été mis en place qui permet, en trois étapes, de reconnaître les mots du vocabulaire étudié. Une première étape identifie des points d'ancrage dans le signal, ces points d'ancrage correspondant à une segmentation des parties vocaliques du signal. Une deuxième étape permet de reconnaître les voyelles contenues dans les segments retenus alors qu'une troisième étape permet de distinguer les différents mots du vocabulaire qui possèdent les mêmes voyelles. Cette architecture, basée sur des perceptrons multicouches, a prouvé être de bonne qualité mais l'étape de segmentation s'est révélée être de moindre qualité à des rapports signal sur bruit faible c'est à dire de l'ordre de 6 décibels ou moins. Ceci nous a poussé à étudier des modèles connexionnistes dynamiques, à l'opposé des perceptrons multicouches qui sont des modèles statiques. Les modèles dynamiques ont la particularité de mettre en place des mécanismes de récurrence qui permettent de mieux appréhender les phénomènes temporels tel que peut l'être un problème de segmentation de la parole. Le modèle gamma, un modèle connexionniste à récurrence locale, a ainsi été choisi tout autant pour ses capacités à modéliser les évènements temporels que pour la facilité avec laquelle il peut être analysé. Il a été appliqué à des problèmes de reconnaissance de séquences, ce qui a permis d'explorer ses capacités, ainsi qu'à des tâches de segmentation, pour tenter de résoudre les problèmes posés par les perceptrons multicouches lors de l'utilisation de notre premier système.

L’apprentissage machine est un vaste domaine où l’on cherche à apprendre les paramètres de modèles à partir de données concrètes. Ce sera pour effectuer des tâches demandant des aptitudes attribuées à l’intelligence humaine, comme la capacité à traiter des don- nées de haute dimensionnalité présentant beaucoup de variations. Les réseaux de neu- rones artificiels sont un exemple de tels modèles. Dans certains réseaux de neurones dits profonds, des concepts "abstraits" sont appris automatiquement. Les travaux présentés ici prennent leur inspiration de réseaux de neurones profonds, de réseaux récurrents et de neuroscience du système visuel. Nos tâches de test sont la classification et le débruitement d’images quasi binaires. On permettra une rétroac- tion où des représentations de haut niveau (plus "abstraites") influencent des représentations à bas niveau. Cette influence s’effectuera au cours de ce qu’on nomme relaxation, des itérations où les différents niveaux (ou couches) du modèle s’interinfluencent. Nous présentons deux familles d’architectures, l’une, l’architecture complètement connectée, pouvant en principe traiter des données générales et une autre, l’architecture convolutionnelle, plus spécifiquement adaptée aux images. Dans tous les cas, les données utilisées sont des images, principalement des images de chiffres manuscrits. Dans un type d’expérience, nous cherchons à reconstruire des données qui ont été corrompues. On a pu y observer le phénomène d’influence décrit précédemment en comparant le résultat avec et sans la relaxation. On note aussi certains gains numériques et visuels en terme de performance de reconstruction en ajoutant l’influence des couches supérieures. Dans un autre type de tâche, la classification, peu de gains ont été observés. On a tout de même pu constater que dans certains cas la relaxation aiderait à apprendre des représentations utiles pour classifier des images corrompues. L’architecture convolutionnelle développée, plus incertaine au départ, permet malgré tout d’obtenir des reconstructions numériquement et visuellement semblables à celles obtenues avec l’autre architecture, même si sa connectivité est contrainte. / Machine learning is a vast field where we seek to learn parameters for models from concrete data. The goal will be to execute various tasks requiring abilities normally associated more with human intelligence than with a computer program, such as the ability to process high dimensional data containing a lot of variations. Artificial neural networks are a large class of such models. In some neural networks said to be deep, we can observe that high level (or "abstract") concepts are automatically learned. The work we present here takes its inspiration from deep neural networks, from recurrent networks and also from neuroscience of the visual system. Our test tasks are classification and denoising for near binary images. We aim to take advantage of a feedback mechanism through which high-level representations, that is to say relatively abstract concepts, can influence lower-level representations. This influence will happen during what we call relaxation, which is iterations where the different levels (or layers) of the model can influence each other. We will present two families of architectures based on this mechanism. One, the fully connected architecture, can in principle accept generic data. The other, the convolutional one, is specifically made for images. Both were trained on images, though, and mostly images of written characters. In one type of experiment, we want to reconstruct data that has been corrupted. In these tasks, we have observed the feedback influence phenomenon previously described by comparing the results we obtained with and without relaxation. We also note some numerical and visual improvement in terms of reconstruction performance when we add upper layers’ influence. In another type of task, classification, little gain has been noted. Still, in one setting where we tried to classify noisy data with a representation trained without prior class information, relaxation did seem to improve results significantly. The convolutional architecture, a bit more risky at first, was shown to produce numerical and visual results in reconstruction that are near those obtained with the fully connected version, even though the connectivity is much more constrained.

Les cellules souches embryonnaires (cellules ES) sont pluripotentes et ont donc le potentiel de se différencier en cellules des trois feuillets embryonnaires, ainsi qu'en cellules de la lignée germinale. Ces propriétés en font un modèle pour l'étude des mécanismes de prolifération et de différenciation. Le facteur de transcription Lmx1b est impliqué dans la maintenance du phénotype différencié des neurones dopaminergiques mésencéphaliques. Et il a aussi été montré comme un facteur clef dans la différenciation et la maintenance des neurones sérotoninergiques du rhombencéphale générés dans les noyaux du Raphé. Dans ce travail, nous nous sommes intéressés aux capacités de Lmx1b d'influencer la différenciation des cellules ES de souris en neurones sérotoninergiques. La première stratégie adoptée a résulté en une expression ectopique stable de Lmx1b dans les cellules ES et leurs dérivés. Le niveau d'expression de Lmx1b a fortement influencé les capacités de différenciation neuronale des cellules. Puis, l'analyse de marqueurs de différenciation spécifiques a montré une augmentation de l'expression des marqueurs sérotoninergiques, au contraire des marqueurs dopaminergiques ou de neurones moteur. La seconde stratégie a consisté en une surexpression inductible de Lmx1b dans les précurseurs neuraux dérivés de cellules ES pour mimer l'expression physiologique de Lmx1b. Après induction, Lmx1b était bien exprimé dans les cellules durant toutes les étapes de différenciation neuronale. L'activation de l'expression de Lmx1b au stade des colonies neuroépithéliales a aussi résulté en une amélioration de la différenciation sérotoninergique. Les résultats de ce travail soulignent les capacités de Lmx1b à diriger la différenciation des précurseurs neuraux dérivés de cellules ES vers la voie sérotoninergique in vitro.

Les risques psychosociaux sont un enjeu de santé publique majeur, en particulier à cause des troubles qu'ils peuvent engendrer : stress, changements d'humeurs, burn-out, etc. Bien que le diagnostic de ces troubles doive être réalisé par un professionel, l'Affective Computing peut apporter une contribution en améliorant la compréhension des phénomènes. L'Affective Computing (ou Informatique Affective) est un domaine pluridisciplinaire, faisant intervenir des concepts d'Intelligence Artificielle, de psychologie et de psychiatrie, notamment. Dans ce travail de recherche, on s'intéresse à deux éléments pouvant faire l'objet de troubles : l'état émotionnel et l'état dépressif des individus.Le concept d'émotion couvre un très large champ de définitions et de modélisations, pour la plupart issues de travaux en psychiatrie ou en psychologie. C'est le cas, par exemple, du circumplex de Russell, qui définit une émotion comme étant la combinaison de deux dimensions affectives, nommées valence et arousal. La valence dénote le caractère triste ou joyeux d'un individu, alors que l'arousal qualifie son caractère passif ou actif. L'évaluation automatique des états émotionnels a suscité, dans la dernière décénie, un regain d'intérêt notable. Des méthodes issues de l'Intelligence Artificielle permettent d'atteindre des performances intéressantes, à partir de données capturées de manière non-invasive, comme des vidéos. Cependant, il demeure un aspect peu étudié : celui des intensités émotionnelles, et de la possibilité de les reconnaître. Dans cette thèse, nous avons exploré cet aspect au moyen de méthodes de visualisation et de classification pour montrer que l'usage de classes d'intensités émotionnelles, plutôt que de valeurs continues, bénéficie à la fois à la reconnaissance automatique et à l'interprétation des états.Le concept de dépression connaît un cadre plus strict, dans la mesure où c'est une maladie reconnue en tant que telle. Elle atteint les individus sans distinction d'âge, de genre ou de métier, mais varie en intensité ou en nature des symptômes. Pour cette raison, son étude tant au niveau de la détection que du suivi, présente un intérêt majeur pour la prévention des risques psychosociaux.Toutefois, son diagnostic est rendu difficile par le caractère parfois anodin des symptômes et par la démarche souvent délicate de consulter un spécialiste. L'échelle de Beck et le score associé permettent, au moyen d'un questionnaire, d'évaluer la sévérité de l'état dépressif d'un individu. Le système que nous avons développé est capable de reconnaître automatiquement le score dépressif d'un individu à partir de vidéos. Il comprend, d'une part, un descripteur visuel spatio-temporel bas niveau qui quantifie les micro et les macro-mouvements faciaux et, d'autre part, des méthodes neuronales issues des sciences cognitives. Sa rapidité autorise des applications de reconnaissance des états dépressifs en temps réel, et ses performances sont intéressantes au regard de l'état de l'art. La fusion des modalités visuelles et auditives a également fait l'objet d'une étude, qui montre que l'utilisation de ces deux canaux sensoriels bénéficie à la reconnaissance des états dépressifs.Au-delà des performances et de son originalité, l'un des points forts de ce travail de thèse est l'interprétabilité des méthodes. En effet, dans un contexte pluridisciplinaire tel que celui posé par l'Affective Computing, l'amélioration des connaissances et la compréhension des phénomènes étudiés sont des aspects majeurs que les méthodes informatiques sous forme de "boîte noire" ont souvent du mal à appréhender. / Psychosocial risks are a major public health issue, because of the disorders they can trigger : stress, mood swings, burn-outs, etc. Although propoer diagnosis can only be made by a healthcare professionnel, Affective Computing can make a contribution by improving the understanding of the phenomena. Affective Computing is a multidisciplinary field involving concepts of Artificial Intelligence, psychology and psychiatry, among others. In this research, we are interested in two elements that can be subject to disorders: the emotional state and the depressive state of individuals.The concept of emotion covers a wide range of definitions and models, most of which are based on work in psychiatry or psychology. A famous example is Russell's circumplex, which defines an emotion as the combination of two emotional dimensions, called valence and arousal. Valence denotes an individual's sad or joyful character, while arousal denotes his passive or active character. The automatic evaluation of emotional states has generated a significant revival of interest in the last decade. Methods from Artificial Intelligence allow to achieve interesting performances, from data captured in a non-invasive manner, such as videos. However, there is one aspect that has not been studied much: that of emotional intensities and the possibility of recognizing them. In this thesis, we have explored this aspect using visualization and classification methods to show that the use of emotional intensity classes, rather than continuous values, benefits both automatic recognition and state interpretation.The concept of depression is more strict, as it is a recognized disease as such. It affects individuals regardless of age, gender or occupation, but varies in intensity or nature of symptoms. For this reason, its study, both at the level of detection and monitoring, is of major interest for the prevention of psychosocial risks.However, his diagnosis is made difficult by the sometimes innocuous nature of the symptoms and by the often delicate process of consulting a specialist. The Beck's scale and the associated score allow, by means of a questionnaire, to evaluate the severity of an individual's state of depression. The system we have developed is able to automatically recognize an individual's depressive score from videos. It includes, on the one hand, a low-level visual spatio-temporal descriptor that quantifies micro and macro facial movements and, on the other hand, neural methods from the cognitive sciences. Its speed allows applications for real-time recognition of depressive states, and its performance is interesting with regard to the state of the art. The fusion of visual and auditory modalities has also been studied, showing that the use of these two sensory channels benefits the recognition of depressive states.Beyond performance and originality, one of the strong points of this thesis is the interpretability of the methods. Indeed, in a multidisciplinary context such as that of Affective Computing, improving knowledge and understanding of the studied phenomena is a key point that usual computer methods implemeted as "black boxes" can't deal with.

Une grande variété d'information se prête bien à être interprétée comme signal; à peu près toute quantité fluctuant continuellement dans l'espace se trouve inclue. La vie quotidienne abonde d'exemples; les images peuvent être vues comme une variation de couleur à travers l'espace bidimensionnel; le son, la pression à travers le temps; les environnements physiques, la matière à travers l'espace tridimensionnel. Les calculs sur ce type d'information requièrent nécessairement une transformation de la forme continue vers la forme discrète, ce qui est accompli par le processus de discrétisation, où seules quelques valeurs du signal continu sous-jacent sont observées et compilées en un signal discret. Sous certaines conditions, à l'aide seulement d'un nombre fini de valeurs observées, le signal discret capture la totalité de l'information comprise dans le signal continu, et permet de le reconstruire parfaitement. Les divers systèmes de senseurs permettant d'acquérir des signaux effectuent tous ce processus jusqu'à un certain niveau de fidélité, qu'il s'agisse d'une caméra, d'un enregistreur audio, ou d'un système de capture tridimensionnelle. Le processus de discrétisation n'est pas unique par contre. Pour un seul signal continu, il existe une infinité de signaux discrets qui lui sont équivalents, et entre lesquels les différences sont contingentes. Ces différences correspondent étroitement aux différences entre systèmes de senseurs, qui ont chacun leur niveau de fidélité et leurs particularités techniques. Les réseaux de neurones profonds sont fréquemment spécialisés pour le type de données spécifiques sur lesquels ils opèrent. Cette spécialisation se traduit souvent par des biais inductifs qui supportent des symétries intrinsèques au type de donnée. Quand le comportement d'une architecture neuronale reste inchangé par une certaine opération, l'architecture est dite invariante sous cette opération. Quand le comportement est affecté d'une manière identique, l'architecture est dite équivariante sous cette opération. Nous explorons en détail l'idée que les architectures neuronales puissent être formulées de façon plus générale si nous abstrayions les spécificités contingentes des signaux discrets, qui dépendent généralement de particularités de systèmes de senseurs, et considérions plutôt l'unique signal continu représenté, qui est la réelle information d'importance. Cette idée correspond au biais inductif de l'invariance à la discrétisation, qui reconnaît que les signaux ont une forme de symétrie à la discrétisation. Nous formulons une architecture très générale qui respecte ce biais inductif. Du fait même, l'architecture gagne la capacité d'être évaluée sur des discrétisations de taille arbitraire avec une grande robustesse, à l'entraînement et à l'inférence. Cela permet d'accéder à de plus grands corpus de données pour l'entraînement, qui peuvent être formés à partir de discrétisations hétérogènes. Cela permet aussi de déployer l'architecture dans un plus grand nombre de contextes où des systèmes de senseurs produisent des discrétisations variées. Nous formulons aussi cette architecture de façon à se généraliser à n'importe quel nombre de dimensions, ce qui la rend idéale pour une grande variété de signaux. Nous notons aussi que son coût d'évaluation diminue avec la taille de la discrétisation, ce qui est peu commun d'architectures conçues pour les signaux, qui ont généralement une discrétisation fixe. Nous remarquons qu'il existe un lien entre l'invariance à la discrétisation, et la distinction séparant l'équivariance à la translation discrète et l'équivariance à la translation continue. Ces deux propriétés reflètent la même symétrie à la translation, mais l'une est plus diluée que l'autre. Nous notons que la plus grande part de la littérature entourant les architectures motivées par l'algèbre générale omettent cette distinction, ce qui affaiblit la force des biais inductifs implémentés. Nous incorporons aussi dans notre méthode la capacité d'implémenter d'autres invariances and equivariances plus générales à l'aide de couches formulées à partir de l'opérateur de dérivée partielle. La symétrie à la translation, la rotation, la réflexion, et la mise à l'échelle peuvent être adoptées, et l'expressivité et l'efficacité en paramètres de la couche résultante sont excellentes. Nous introduisons aussi un nouveau bloc résiduel Laplacien, qui permet de compresser l'architecture sans perte en fonction de la densité de la discrétisation. À mesure que le nombre d'échantillons de la discrétisation réduit, le nombre de couches requises pour l'évaluation diminue aussi. Le coût de calcul de l'architecture diminue ainsi à mesure que certaines de ses couches sont retirées, mais elle se comporte de façon virtuellement identique; c'est ainsi une forme de compression sans perte qui est appliquée. La validité de cette compression sans perte est prouvée théoriquement, et démontrée empiriquement. Cette capacité est absente de la littérature antérieure, au meilleur de notre savoir. Nous greffons à ce mécanisme une forme de décrochage Laplacien, qui applique effectivement une augmentation spectrale aux données pendant l'entraînement. Cela mène à une grande augmentation de la robustesse de l'architecture à des dégradations de qualité de la discrétisation, sans toutefois compromettre sa capacité à performer optimalement sur des discrétisations de haute qualité. Nous n'observons pas cette capacité dans les méthodes comparées. Nous introduisons aussi un algorithme d'initialisation des poids qui ne dépend pas de dérivations analytiques, ce qui permet un prototypage rapide de couches plus exotiques. Nous introduisons finalement une méthode qui généralise notre architecture de l'application à des signaux échantillonnés uniformément vers des signaux échantillonnés non uniformément. Les garanties théoriques que nous fournissons sur son efficacité d'échantillonnage sont positives, mais la complexité ajoutée par la méthode limite malheureusement sa viabilité. / Signals are a useful representation for many types of information that consist of continuously changing quantities. Examples from everyday life are abundant: images are fluctuations of colour over two-dimensional space; sounds are fluctuations of air pressure over time; physical environments are fluctuations of material qualities over three-dimensional space. Computation over this information requires that we reduce its continuous form to some discrete form. This is done through the process of discretization, where only a few values of the underlying continuous signal are observed and compiled into a discrete signal. This process incurs no loss of information and is reversible under some conditions. Sensor systems, such as cameras, sound recorders, and laser scanners all effectively perform discretization when they capture signals, and they preserve them up to a certain degree. This process is not unique, however. Given a single continuous signal, there are countless discrete signals that correspond to it, and the specific choice of discrete signal is generally contingent. Sensor systems all have different technical characteristics that lead to different discretizations. Deep neural network architectures are often tailored to respect the fundamental properties of the specific data type they operate on. Their behaviour often implements inductive biases that respect some fundamental symmetry of the data. When behaviour is unchanged by some operation, the architecture is invariant under it. When behaviour transparently reproduces some operation, the architecture is equivariant under it. We explore in great detail the idea that neural network architectures can be formulated in a more general way if we abstract away the contingent details of the discrete signal, which generally depend on the implementation details of a sensor system, and only consider the underlying continuous signal, which is the true information of interest. This is the intuitive idea behind discretization invariance. We formulate a very general architecture that implements this inductive bias. This allows handling discretizations of various sizes with much greater robustness, both during training and inference. We find that training can leverage more data by allowing heterogeneous discretizations, and that inference can apply to discretizations produced by a broader range of sensor systems. The architecture is agnostic to dimensionality, which makes it widely applicable to different types of signals. The architecture also lowers its computational cost proportionally to the sample count, which is unusual and highly desirable. We find that discretization invariance is also key to the distinction between discrete shift equivariance and continuous shift equivariance. We underline the fact that the majority of previous work on architecture design motivated by abstract algebra fails to consider this distinction. This nuance impacts the robustness of convolutional neural network architectures to translations on signals, weakening their inductive biases if unaddressed. We also incorporate the ability to implement more general invariances and equivariances by formulating steerable layers based on the partial derivative operator, and a set of other compatible architectural blocks. The framework we propose supports shift, rotation, reflection, and scale. We find that this results in excellent expressivity and parameter efficiency. We further improve computational efficiency with a novel Laplacian residual structure that allows lossless compression of the whole network depending on the sample density of the discretization. As the number of samples reduces, the number of layers required for evaluation also reduces. Pruning these layers reduces computational cost and has virtually no effect on the behaviour of the architecture. This is proven theoretically and demonstrated empirically. This capability is absent from any prior work to our knowledge. We also incorporate a novel form of Laplacian dropout within this structure, which performs a spectral augmentation to the data during training. This leads to greatly improved robustness to changes in spectral volume, meaning the architecture has a much greater tolerance to low-quality discretizations without compromising its performance on high-quality discretization. We do not observe this phenomenon in competing methods. We also provide a simple data-driven weight initialization scheme that allows quickly prototyping exotic layer types without analytically deriving weight initialization. We finally provide a method that generalizes our architecture from uniformly sampled signals to nonuniformly sampled signals. While the best-case theoretical guarantees it provides for sample efficiency are excellent, we find it is not viable in practice because of the complications it brings to the discretization of the architecture.