En hydrologie, la simulation de la transformation de la pluie en débit dans les rivières constitue un axe de recherche dynamique. À la mise en oeuvre des nouveaux modèles, il faut ajouter les tentatives d'améliorer ceux existant grâce à la possibilité qu'offrent des nouveaux outils d'acquisition de données et à la puissance de calcul des ordinateurs toujours croissante. La puissance de calcul des nouveaux ordinateurs rend utilisable des algorithmes autrefois difficiles à mettre en oeuvre comme les réseaux de neurones (RN). Les réseaux de neurones ont connu un essor dans la modélisation hydrologique dans les années 1990 où ils ont été essentiellement utilisés dans la mise en oeuvre de modèles pluie-débit. Dans cette thèse l'on cherche à remplacer le module BV3C (bilan vertical 3 couches) du modèle distribué HYDROTEL par un ensemble de réseaux de neurones. BV3C divise le sol en trois couches où il simule les teneurs en eau et les débits sortant de chacune des couches. Cette démarche a pour but d'explorer l'opportunité de remplacer des modules de modèles complexes par des réseaux de neurones qui, une fois optimisés, constituent des outils de calculs très simples, rapides et transportables sur des supports informatiques simples. Le défi d'une telle démarche est de trouver une base de données représentative susceptible d'être utilisée par le module substitué. Dans le cas présent, des données provenant de zones hydro-climatologiques différentes ont été utilisées. Ces données sont utilisées comme entrées du module original extrait de l'ensemble du modèle HYDROTEL. Les résultats de simulation sont classés avant d'être utilisés en partie pour l'optimisation et le test des réseaux de neurones. Les réseaux mis en oeuvre sont testés sur une autre partie des données et dans un cadre opérationnel où les réseaux de neurones sont réintégrés dans le modèle. Les résultats des différents tests montrent tout d'abord que la substitution donne des résultats satisfaisants sur l'ensemble des données qui n'ont servi ni à l'optimisation, ni aux tests des réseaux de neurones. En plus, on enregistre un léger gain de temps. Les résultats sur les teneurs en eau sont nettement meilleurs. Cela s'explique par le fait que celles-ci connaissent de faibles variations dans le temps. Les variations plus importantes des débits des différentes couches rendent plus difficile leur modélisation mais les résultats obtenus rendent la substitution envisageable aussi bien dans le présent cas que dans des modules plus complexes.

Dans la dernière décennie, les approches basées sur les réseaux de neurones convolutionnels sont devenus les standards pour la plupart des tâches en vision numérique. Alors qu'une grande partie des méthodes classiques de vision étaient basées sur des règles et algorithmes, les réseaux de neurones sont optimisés directement à partir de données d'entraînement qui sont étiquetées pour la tâche voulue. En pratique, il peut être difficile d'obtenir une quantité su sante de données d'entraînement ou d'interpréter les prédictions faites par les réseaux. Également, le processus d'entraînement doit être recommencé pour chaque nouvelle tâche ou ensemble d'objets. Au final, bien que très performantes, les solutions basées sur des réseaux de neurones peuvent être difficiles à mettre en place. Dans cette thèse, nous proposons des stratégies visant à contourner ou solutionner en partie ces limitations en contexte de détection d'instances d'objets. Premièrement, nous proposons d'utiliser une approche en cascade consistant à utiliser un réseau de neurone comme pré-filtrage d'une méthode standard de "template matching". Cette façon de faire nous permet d'améliorer les performances de la méthode de "template matching" tout en gardant son interprétabilité. Deuxièmement, nous proposons une autre approche en cascade. Dans ce cas, nous proposons d'utiliser un réseau faiblement supervisé pour générer des images de probabilité afin d'inférer la position de chaque objet. Cela permet de simplifier le processus d'entraînement et diminuer le nombre d'images d'entraînement nécessaires pour obtenir de bonnes performances. Finalement, nous proposons une architecture de réseau de neurones ainsi qu'une procédure d'entraînement permettant de généraliser un détecteur d'objets à des objets qui ne sont pas vus par le réseau lors de l'entraînement. Notre approche supprime donc la nécessité de réentraîner le réseau de neurones pour chaque nouvel objet. / In the last decade, deep convolutional neural networks became a standard for computer vision applications. As opposed to classical methods which are based on rules and hand-designed features, neural networks are optimized and learned directly from a set of labeled training data specific for a given task. In practice, both obtaining sufficient labeled training data and interpreting network outputs can be problematic. Additionnally, a neural network has to be retrained for new tasks or new sets of objects. Overall, while they perform really well, deployment of deep neural network approaches can be challenging. In this thesis, we propose strategies aiming at solving or getting around these limitations for object detection. First, we propose a cascade approach in which a neural network is used as a prefilter to a template matching approach, allowing an increased performance while keeping the interpretability of the matching method. Secondly, we propose another cascade approach in which a weakly-supervised network generates object-specific heatmaps that can be used to infer their position in an image. This approach simplifies the training process and decreases the number of required training images to get state-of-the-art performances. Finally, we propose a neural network architecture and a training procedure allowing detection of objects that were not seen during training, thus removing the need to retrain networks for new objects.

Dans le but d'améliorer la compréhension du rôle de l'autostructuration des réseaux de neurones impliqués dans le système visuel du cerveau des mammifères, des extensions temporelles du modèles de Linsker (1986a-c, 1988) sont proposées au lecteur. Le modèle de Linsker est basé sur une corrélation de type Hebb et il permet l'émergence progressive de fonctions analogues à celles retrouvées dans le cortex visuel des mammifères au stade de l'ontogenèse. À titre d'exemple, il est observé l'émergence de cellules centre-poutour et de cellules sensibles aux orientations ainsi que la formation de colonnes alternées de dominance oculaire. Pour bien comprendre le modèle de Linsker, une première partie introduit les notions de physiologie nécessaires à sa compréhension. La seconde partie fait le constat de l'état de la recherche en matière d'autostructuration biologique du point de vue des outils mathématiques à notre disposition qui permettent l'analyse du modèle. Dans cette section, une revue de la littérature et quelques travaux complémentaires d'intérêt (MacKay et Miller, 1990a-b; Miller, 1994; Feng, 1993-1998) font aussi l'objet d'une discussion. Enfin, la troisième partie de cette dissertation a comme contribution scientifique originale de départager l'apport du retard dans une règle d'apprentissage de type Hebb par opposition au domaine spatial de Linsker. Par le biais de l'analyse mathématique et de simulations informatiques, deux cas de retard dans l'apprentissage sont étudiés : celui du retard dans la propagation des signaux et celui du retard dans la dynamique des poids synaptiques. Chacun de ces deux cas amène des conclusions différentes, à savoir : le premier cas donne lieu à des valeurs propres temporelles analogue au chapeau mexicain; le second cas permet d'observer des oscillations analogues à celles enregistrées sur la rétine des mammifères au stade de l'ontogenèse. Ces constats aideront à orienter les futures expérimentations en éclairant sur les mécanismes intrinsèques qui gouvernent ces processus biologiques.

Le pilotage en temps réel des systèmes de production nécessite de prendre des décisions complexes sur l'affectation des ressources ou le choix des tâches à réaliser. Compte tenu de l'importance de la pertinence des décisions pour la performance d'un atelier, le pilotage fait l'objet de travaux de recherche dont l'objectif est d'aider les preneurs de décision. En particulier, on ne sait pas évaluer les conséquences sur la performance d'une décision en temps réel car les bonnes performances résultent d'une séquence de décisions et non d'une seule. De ce fait, il est difficile d'établir quelle est la meilleure décision à prendre à un instant donné. Plusieurs auteurs ont utilisé la simulation pour apprendre des bonnes pratiques à l'aide d'approches d'apprentissage automatique, mais se sont heurtés à la difficulté d'obtenir des exemples ou des observations sur des décisions en temps réel, où la prise en compte des changements d'états est indispensable pour choisir des stratégies de production. Nous avons réussi à aborder ce problème en proposant une approche d'apprentissage à l'aide de réseaux de neurones, qui ne nécessite pas d'exemples, d'observations ni de connaissances d'experts préalables. Ce type d'apprentissage s'effectue par optimisation via simulation des paramètres du réseau de neurones par rapport à un objectif de performance du système. Il vise à extraire de façon autonome des connaissances sur la meilleure façon de décider d'un modèle de simulation. Nous montrons la faisablité et l'apport de notre approche sur deux exemples inspirés de la littérature

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Notre but dans cette thèse est de construire un système qui réponde à une question en langue naturelle (NL) en représentant sa sémantique comme une forme logique (LF) et ensuite en calculant une réponse en exécutant cette LF sur une base de connaissances. La partie centrale d'un tel système est l'analyseur sémantique qui transforme les questions en formes logiques. Notre objectif est de construire des analyseurs sémantiques performants en apprenant à partir de paires (NL, LF). Nous proposons de combiner des réseaux neuronaux récurrents (RNN) avec des connaissances préalables symboliques exprimées à travers des grammaires hors-contexte (CFGs) et des automates. En intégrant des CFGs contrôlant la validité des LFs dans les processus d'apprentissage et d'inférence des RNNs, nous garantissons que les formes logiques générées sont bien formées; en intégrant, par le biais d'automates pondérés, des connaissances préalables sur la présence de certaines entités dans la LF, nous améliorons encore la performance de nos modèles. Expérimentalement, nous montrons que notre approche permet d'obtenir de meilleures performances que les analyseurs sémantiques qui n'utilisent pas de réseaux neuronaux, ainsi que les analyseurs à base de RNNs qui ne sont pas informés par de telles connaissances préalables / Our goal in this thesis is to build a system that answers a natural language question (NL) by representing its semantics as a logical form (LF) and then computing the answer by executing the LF over a knowledge base. The core part of such a system is the semantic parser that maps questions to logical forms. Our focus is how to build high-performance semantic parsers by learning from (NL, LF) pairs. We propose to combine recurrent neural networks (RNNs) with symbolic prior knowledge expressed through context-free grammars (CFGs) and automata. By integrating CFGs over LFs into the RNN training and inference processes, we guarantee that the generated logical forms are well-formed; by integrating, through weighted automata, prior knowledge over the presence of certain entities in the LF, we further enhance the performance of our models. Experimentally, we show that our approach achieves better performance than previous semantic parsers not using neural networks as well as RNNs not informed by such prior knowledge

Dans le but de mieux comprendre le fonctionnement du cerveau nous devons examiner les domaines structuraux qui le composent, de la simple cellule à des régions entières du cerveau interconnectées. Cependant, bien que le fonctionnement d’une ou plusieurs cellules soit relativement bien connu, il n’y a que peu d’informations concernant les groupements de neurones interagissant fonctionnellement dans une même tâche, les réseaux neuronaux. De plus, l'activité équilibrée et concertée des réseaux excitateurs et inhibiteurs joue un rôle clé pour les intégrations corticales appropriées. Par ailleurs, il existe plusieurs outils afin d’enregistrer l’activité des réseaux excitateurs, ce qui n’est pas le cas pour les réseaux inhibiteurs. L’imagerie du colorant sensible au voltage (VSDI) est une technique permettant l’enregistrement de l’activité neuronale au moyen d’une émission de fluorescence proportionnelle au changement de potentiel de membrane. Par rapport aux autres techniques employant des électrodes, le VSDI permet l’enregistrement non invasif de l’activité de centaines de sites en même temps. Au cours des dernières décennies, le VSDI a été largement utilisé tant in vitro qu’in vivo pour étudier l’activité d’une cellule et des réseaux excitateurs. Néanmoins, en utilisant le VSDI, les recherches quant à l’activité des réseaux excitateurs ont été principalement réalisées par quantification d’émission de fluorescence en définissant des régions d’intérêts à des temps fixes, alors que l’activité inhibitrice n’a été évaluée qu’à l’échelle cellulaire. La première approche ne permet pas l’obtention de toutes les informations de la dynamique de propagation de la transmission glutamatergique du fait qu’elle ne prend en considération ni la vitesse ni la direction de propagation du signal. En revanche, la seconde approche n’offre pas la possibilité d’étudier l’activité du réseau inhibiteur ce qui serait toutefois important de définir du fait de la propagation spatiale extensive des interneurones au sein des aires corticales. Durant mon doctorat, le but de mon travail a été d’étudier en détail les réseaux neuronaux excitateurs et inhibiteurs de l’aire CA1 de l’hippocampe de souris à l’aide du VSDI. Pour les étudier de façon plus compréhensive, en collaboration avec une équipe de mathématicien, nous avons développé un algorithme permettant de mesurer la vitesse et la direction de propagation du signal VSDI, ce qui représente une nouvelle méthode pour analyser le flux optique. Après la validation réussie de l’algorithme avec des données de substitution pour tester sa précision, nous avons analysé deux séries d’expériences dans lesquelles l’activité des réseaux excitateurs a été manipulée soit par augmentation de l’intensité de stimulation passant de 10 à 30 Volts ou en bloquant la transmission GABAergique avec la picrotoxine, un antagoniste du récepteur GABAA. Les résultats de ces manipulations montrent une diminution significative de la vitesse alors que l’application de picrotoxine modifie de façon significative la direction de propagation, ce qui rend le signal de dépolarisation médié par le VSDI moins dispersé par rapport au contrôle. L’utilisation du VSDI a permis l’entière caractérisation des signaux hyperpolarisants médiés par les récepteurs GABAA dans toutes les sous-couches de CA1 (champ IPSP), offrant ainsi une nouvelle façon d’étudier les événements inhibiteurs à l’échelle d’un réseau. De plus, j’ai montré qu’en activant les récepteurs mGluR5, j’étais capable d’augmenter de façon durable le champ IPSP du VSDI, avec la durée et l’ampleur au niveau des sous-couches spécifiques de CA1. Globalement, je présente dans cette thèse de nouvelles méthodes et nouveaux résultats qui peuvent représenter une avancée dans la quête d’une meilleure compréhension des réseaux neuronaux, excitateurs et inhibiteurs, ce qui, espérons-le, pourra contribuer à réduire l’écart de connaissance entre l’activité d’une seule cellule et celle du comportement. / In order to better understand brain functioning we need to investigate all the structural domains present in it, from single cell to interconnected entire brain regions. However, while our knowledge in terms of single/few cells functioning is vast, very little is known about neuronal networks, which are interacting collections of neurons functionally related to the same task. Moreover, the balanced and concerted activity of excitatory and inhibitory networks plays a key role for proper cortical computations. However, while exist several tools to record excitatory networks activity, this is not the case for inhibitory networks. Voltage sensitive dye imaging (VSDI) is a technique that allows the recording of neuronal activity by mean of proportional emission of fluorescence according to changes in membrane potential. The advantage of using VSDI over other recording techniques using electrodes is that VSDI allows not invasive recording of neuronal activity from hundreds of sites at the same time. During my doctoral course I aimed at studying in detail excitatory and inhibitory neuronal networks in the CA1 area of mouse hippocampus with VSDI. To study excitatory networks more comprehensively, in collaboration with a team of mathematicians, we developed a mathematical algorithm that allowed measuring the velocity and the direction of spreading of the VSDI signal and it represents a new method to determine an optical flow. After successful validation of the algorithm with surrogate data to test its accuracy, we analysed two set of experiments in which network excitatory activity has been manipulated either by increasing Schaffer’s collaterals stimulation intensity or by blocking GABAergic transmission with the GABAA receptor antagonist picrotoxin in order to increase the depolarization in the CA1 region of the hippocampus. The results of these manipulations significantly decreased signal velocity whereas picrotoxin application significantly modified the direction of spreading, making the depolarization-mediated VSDI signal less dispersed compared to control. Using VSDI I was able to fully characterize GABAA receptor-mediated hyperpolarizing signals in all the CA1 sublayers (field IPSPs), thus providing a new way of monitoring inhibitory events at network level. Moreover, I found that the activation of mGluR5 receptors induced an increase in a long-lasting manner of the VSDI-recorded field IPSPs, with duration and magnitude that relied on the specific CA1 sublayer considered. Overall, my work shows new methodologies and new findings that may represent a step forward in the quest for a better understanding of neuronal networks, both excitatory as well as inhibitory, which hopefully can contribute to reduce the gap of knowledge between single cell activity and behaviour.

Cette thèse s'inscrit dans le domaine des neurosciences computationnelles dont le but est de modéliser des fonctions cognitives complexes par le biais de simulations informatiques et numériques en s'inspirant du fonctionnement cérébral. Les modèles et simulations proposées reposent sur le paradigme des champs neuronaux, que nous exploitons pour étudier dans quelle mesure des capacités cognitives complexes peuvent être le résultat émergeant de l'interaction de cellules élémentaires simples.<br /><br />Nous nous intéressons dans cette thèse à la modélisation de l'attention visuelle, avec ou sans mouvement oculaire. Pour guider le développement de nos modèles, nous proposons dans une première partie une revue de données psychologiques et physiologiques sur l'attention visuelle avant de proposer un modèle computationnel de l'attention visuelle sans saccade oculaire. Puis, nous nous intéressons dans une seconde partie à la manière dont on peut intégrer les saccades oculaires dans nos modèles en s'inspirant des données anatomiques et physiologiques sur le contrôle des saccades oculaires chez le primate. Les performances des différents mécanismes proposés sont évalués en simulation en les appliquant à des tâches de recherche visuelle.<br /><br />Nos travaux de thèse permettent également d'étudier un paradigme de calcul original qui repose sur des calculs distribués, asynchrones, numériques et adaptatifs qui permettent d'envisager le déploiement des mécanismes proposés dans ce cadre sur des supports de calculs parallèles.

Cette étude concerne la modélisation d'un procédé de cristallisation de troisième jet, dite cristallisation C, en sucrerie de cannes. De par la complexité des phénomènes physico-chimiques mis en jeu lors d'une cristallisation industrielle, il est nécessaire de développer plusieurs approches de modélisation. Cette multiplicité de modèles permet de comparer ainsi les diverses approches proposées. Nous avons pour cela axé notre étude sur la modélisation des diverses cinétiques des phénomènes physiques qui interviennent lors d'une cristallisation C, par le biais de plusieurs modèles mathématiques. En effet, nous avons considéré trois types de cinétiques pouvant exister au sein de la solution : les cinétiques de nucléation, de croissance et d'agglomération. Nous avons aussi mis en place plusieurs stratégies de modélisation dites hybrides, qui sont en fait les combinaisons de réseaux de neurones et de modèles de connaissances. Les phases d'apprentissage des réseaux de neurones sont basées sur des mesures, et la modélisation globale du procédé de cristallisation combine cette approche systémique aux différents modèles de connaissance choisis. Ces diverses approches utilisées n occultent pas les démarches classiques de modélisation en génie de la cristallisation. De ce fait, si nous souhaitons contrôler le procédé, plusieurs modèles mathématiques s'articulant autour de différents bilans de population sont proposés. Ce travail est original, d'une part, car il décrit la cristallisation de troisième jet, et d'autre part, du fait que les divers modèles de cinétiques soient identifiés avec des données industrielles. En effet, il faut souligner qu'il n'existe quasiment pas de travaux relatifs à la cristallisation C, donc peu de références bibliographiques sur cette cristallisation de bas produit en milieu industriel sucrier.

La cohabitation de plusieurs services différents sur un même réseau soulève de nombreux problèmes pour la gestion et la conception de réseau de télécommunication. L'introduction de mécanismes "intelligents " dans les réseaux multiservices permet de surmonter la difficulté de mettre en place des méthodes plus traditionnelles pour prendre en compte toute la complexité générée par la multiplication des services. Dans ce contexte, nous nous intéressons au problème de l'évaluation de performance dans les réseaux à l'état stationnaire, et plus spécifiquement l'évaluation des critères de qualité de service (QoS). Au lieu d'essayer de modéliser tous les mécanismes d'un routeur pour formaliser certains critères de QoS, nous proposons d'utiliser les capacités d'apprentissage et de généralisation des réseaux de neurones pour apprendre cette QoS à partir d'observations du système. Nous proposons ainsi des modèles neuro-mimétiques de différents critères de la QoS d'un noeud du réseau qui s'appuient sur une description statistique relativement simple des trafics incidents. Nous avons étudié l'apprentissage de plusieurs critères de qualité de service à partir de simulations à évènements discrets dans le cas de files d'attente élémentaires et de files d'attente à serveur partagé qui modélisent la différentiation de services dans les routeurs IP ou MPLS. Nous généralisons ensuite cette approche pour effectuer l'estimation de la QoS le long d'un chemin et proposons pour cela une coopération distribuée de modèles neuronaux. Les réseaux de neurones sont chargés d'estimer à la fois les critères de qualité de service et une description du trafic de sortie. Ce schéma couplé à un protocole de type RSVP permettrait à terme de propager les estimations le long du chemin pour établir une estimation de la QoS de bout en bout. Nous nous intéressons enfin au problème de routage optimal sous contraintes de QoS de bout en bout. Nous présentons une formalisation multiflot permettant de mettre en place une stratégie de résolution de type déviation de flot qui s'appuie sur une approche de type lagrangien augmenté pour relâcher les contraintes de QoS. Cette stratégie permet d'obtenir un optimum local réalisable. Nous proposons ensuite de remplacer l'approximation M/M/1 traditionnellement utilisée dans les modèles de multiflot par un modèle par réseaux de neurones de la QoS, plus réaliste notamment dans le cas de la différentiation de service. Toutefois il est nécessaire de garantir la croissance des fonctions évaluations pour assurer la validité du schéma d'optimisation. Cette monotonie peut être imposée lors de l'apprentissage du modèle neuronal par l'ajout de contraintes sur les dérivées premières. Nous avons développé ainsi un algorithme d'apprentissage sous contraintes qui impose la monotonie dans les réseaux de neurones feed-forward en utilisant des méthodes classiques de l'optimisation nonlinéaire sous contraintes.