Titre de l'écran-titre (visionné le 15 mai 2023) / La polypharmacie, le plus souvent définie comme étant la prise simultanée de 5 médicaments ou plus par un patient, est un phénomène prévalent chez les aînés. Certaines polypharmacies peuvent être considérées comme inappropriées si elles sont associées avec un événement de santé négatif comme la mort ou l'hospitalisation, il est donc crucial de les identifier. Cependant, l'énorme quantité de combinaisons de médicaments possibles, la taille des bases de données de réclamation ainsi que le coût en temps nécessaire afin de calculer une mesure d'association exacte rend cette tâche impossible à résoudre par des méthodes par force brute. Ainsi, nous proposons l'utilisation de stratégies de bandits capable d'optimiser la navigation de jeux de données de polypharmacies générés à partir de bases de données de réclamation. Nous commençons d'abord ce mémoire en posant le problème de détection de polypharmacies potentiellement inappropriées et en décrivant les données reliées à la tâche, soit les données réelles du Système intégré de surveillance des maladies chroniques du Québec ainsi que les données synthétiques utilisées dans nos expériences, générées par un simulateur que nous avons développé. Ensuite, nous définissons une représentation neuronale suffisante à l'apprentissage de la relation entre des combinaisons de médicaments et une mesure d'association à un événement de santé. Nous abordons ensuite le problème d'entraînement d'un réseau de neurones sous forme de problème d'optimisation bandit. À cette fin, une version adaptée de la stratégie NeuralTS, OptimNeuralTS, est introduite. Cette stratégie, capable de surmonter les obstacles du contexte de polypharmacie, réussit à générer de petits jeux de données sur lesquels peuvent s'entraîner des modèles prédictifs afin de classifier l'association positive ou négative d'une combinaison de médicaments à un événement de santé. Nos résultats sur des jeux de données synthétiques montrent que la stratégie OptimNeuralTS rend possible l'entraînement de modèles prédictifs capable d'effectuer la détection de combinaisons de médicaments avec un risque accru d'événement de santé même si celles-ci n'ont jamais été vues durant l'entraînement. Le déploiement de cette méthode sur les données réelles a également permis l'extraction de telles combinaisons. Cependant, une analyse plus poussée de ces combinaisons révèle également que le risque accru observé pour la plupart d'entre elles provient plutôt de facteurs externes. Néanmoins, certains résultats motivent une étude plus poussée de certaines combinaisons méconnues. / Polypharmacy, most often defined as the simultaneous consumption of five or more drugs at once, is a prevalent phenomenon in the older population. Some of these polypharmacies, deemed inappropriate, may be associated with adverse health outcomes such as death or hospitalization. Considering the number of possible drug combinations as well as the size of claims database and the cost to compute an exact association measure for a given drug combination, it is impossible to investigate every possible combination of drugs. As such, we propose to optimize the search for potentially inappropriate polypharmacies in datasets extracted from claims databases by using bandit strategies. We first define the problem of detecting potentially inappropriate polypharmacies and describe the different data sources used, that is, the real data from the Système intégré de surveillance des maladies chroniques du Québec as well as the synthetic data used in our experiments, generated by a simulator we have developed. Following this, we define a neural representation sufficient to learn the relationship between drug combinations and an association measure to a health outcome. We then tackle the problem of training such supervised neural networks by formulating it as a bandit optimization problem. To this end, we introduce an adapted version of the NeuralTS strategy called OptimNeuralTS. This strategy, capable of overcoming the challenges associated with the polypharmacy context, succeeds in generating small training datasets used to train predictive models in order to classify a drug combination as positively or negatively associated with a given health outcome. Our results on synthetic datasets show that OptimNeuralTS is able to train predictive models capable of detecting drug combinations which exhibit an increased risk of health events, even if they have never been seen during training. The deployment of this method on the real data also yields such combinations. However, further analysis of these combinations shows that the higher risk is associated to external factors such as prior health conditions for most of them. Nevertheless, some extracted drug combinations remain interesting to health experts and will be studied further.

Les réseaux de neurones profonds ont démontré un fort impact dans de nombreuses applications du monde réel et ont atteint des performances prometteuses dans plusieurs domaines de recherche. Cependant, ces gains empiriques sont généralement difficiles à déployer dans les scénarios du monde réel, car ils nécessitent des données étiquetées massives. Pour des raisons de temps et de budget, la collecte d'un tel ensemble de données d'entraînement à grande échelle est irréaliste. Dans cette thèse, l'objectif est d'utiliser le distribution matching pour développer de nouvelles approches d'apprentissage profond pour la prédiction de peu de données étiquetées. En particulier, nous nous concentrons sur les problèmes d'apprentissage multi-tâches, d'apprentissage actif et d'adaptation au domaine, qui sont les scénarios typiques de l'apprentissage à partir de données étiquetées limitées. La première contribution consiste à développer l'approche principale de l'apprentissage multi-tâches. Concrètement, on propose un point de vue théorique pour comprendre le rôle de la similarité entre les tâches. Basé sur les résultats théoriques, nous re-examinons l'algorithme du Adversarial Multi-Task Neural Network, et proposons un algorithme itératif pour estimer le coefficient des relations entre les tâches et les paramètres du réseaux de neurones. La deuxième contribution consiste à proposer une méthode unifiée pour les requêtes et les entraînements dans l'apprentissage actif profond par lots. Concrètement, nous modélisons la procédure interactive de l'apprentissage actif comme le distribution matching. Nous avons ensuite dérivé une nouvelle perte d'entraînement, qui se décompose en deux parties : l'optimisation des paramètres du réseaux de neurones et la sélection des requêtes par lots. En outre, la perte d'entraînement du réseau profond est formulée comme un problème d'optimisation min-max en utilisant les informations des données non étiquetées. La sélection de lots de requêtes proposée indique également un compromis explicite entre incertitude et diversité. La troisième contribution vise à montrer l'incohérence entre le domain adversarial training et sa correspondance théorique supposée, basée sur la H-divergence. Concrètement, nous découvrons que la H-divergence n'est pas équivalente à la divergence de Jensen-Shannon, l'objectif d'optimisation dans les entraînements adversaires de domaine. Pour cela, nous établissons un nouveau modèle théorique en prouvant explicitement les bornes supérieures et inférieures du risque de la cible, basées sur la divergence de Jensen-Shannon. Notre framework présente des flexibilités inhérentes pour différents problèmes d'apprentissage par transfert. D'un point de vue algorithmique, notre théorie fournit une guidance de l'alignement conditionnel sémantique, de l'alignement de la distribution marginale et de la correction du label-shift marginal. La quatrième contribution consiste à développer de nouvelles approches pour agréger des domaines de sources avec des distributions d'étiquettes différentes, où la plupart des approches récentes de sélection de sources échouent. L'algorithme que nous proposons diffère des approches précédentes sur deux points essentiels : le modèle agrège plusieurs sources principalement par la similarité de la distribution conditionnelle plutôt que par la distribution marginale ; le modèle propose un cadre unifié pour sélectionner les sources pertinentes pour trois scénarios populaires, l'adaptation de domaine avec une étiquette limitée sur le domaine cible, l'adaptation de domaine non supervisée et l'adaptation de domaine non supervisée partielle par étiquette. / Deep neural networks have demonstrated a strong impact on a wide range of tasks and achieved promising performances. However, these empirical gains are generally difficult to deploy in real-world scenarios, because they require large-scale hand-labeled datasets. Due to the time and cost budget, collecting such large-scale training sets is usually infeasible in practice. In this thesis, we develop novel approaches through distribution matching to learn limited labeled data. Specifically, we focus on the problems of multi-task learning, active learning, and domain adaptation, which are the typical scenarios in learning from limited labeled data. The first contribution is to develop a principled approach in multi-task learning. Specifically, we propose a theoretical viewpoint to understand the importance of task similarity in multi-task learning. Then we revisit the adversarial multi-task neural network and propose an iterative algorithm to estimate the task relation coefficient and neural-network parameters. The second contribution is to propose a unified and principled method for both querying and training in deep batch active learning. We model the interactive procedure as distribution matching. Then we derive a new principled approach in optimizing neural network parameters and batch query selection. The loss for neural network training is formulated as a min-max optimization through leveraging the unlabeled data. The query loss indicates an explicit uncertainty-diversity trade-off batch-selection. The third contribution aims at revealing the incoherence between the widely-adopted empirical domain adversarial training and its generally assumed theoretical counterpart based on H-divergence. Concretely, we find that H-divergence is not equivalent to Jensen-Shannon divergence, the optimization objective in domain adversarial training. To this end, we establish a new theoretical framework by directly proving the upper and lower target risk bounds based on the Jensen-Shannon divergence. Our framework exhibits flexibilities for different transfer learning problems. Besides, our theory enables a unified guideline in conditional matching, feature marginal matching, and label marginal shift correction. The fourth contribution is to design novel approaches for aggregating source domains with different label distributions, where most existing source selection approaches fail. Our proposed algorithm differs from previous approaches in two key ways: the model aggregates multiple sources mainly through the similarity of conditional distribution rather than marginal distribution; the model proposes a unified framework to select relevant sources for three popular scenarios, i.e., domain adaptation with limited label on the target domain, unsupervised domain adaptation and labels partial unsupervised domain adaption.

Dans ce mémoire, nous proposons une méthodologie qui permet de détecter des anomalies parmi un ensemble de données complexes, plus particulièrement des images. Pour y arriver, nous utilisons un type spécifique de réseau de neurones, soit un autoencodeur variationnel (VAE). Cette approche non-supervisée d'apprentissage profond nous permet d'obtenir une représentation plus simple de nos données sur laquelle nous appliquerons une mesure de distance de Kullback-Leibler nous permettant de discriminer les anomalies des observations "normales". Pour déterminer si une image nous apparaît comme "anormale", notre approche se base sur une proportion d'observations à filtrer, ce qui est plus simple et intuitif à établir qu'un seuil sur la valeur même de la distance. En utilisant notre méthodologie sur des images réelles, nous avons démontré que nous pouvons obtenir des performances de détection d'anomalies supérieures en termes d'aire sous la courbe ROC, de précision et de rappel par rapport à d'autres approches non-supervisées. De plus, nous avons montré que la simplicité de l'approche par niveau de filtration permet d'adapter facilement la méthode à des jeux de données ayant différents niveaux de contamination d'anomalies. / In this master's thesis, we propose a methodology that aims to detect anomalies among complex data, such as images. In order to do that, we use a specific type of neural network called the varitionnal autoencoder (VAE). This non-supervised deep learning approach allows us to obtain a simple representation of our data on which we then use the Kullback-Leibler distance to discriminate between anomalies and "normal" observations. To determine if an image should be considered "abnormal", our approach is based on a proportion of observations to be filtered, which is easier and more intuitive to establish than applying a threshold based on the value of a distance metric. By using our methodology on real complex images, we can obtain superior anomaly detection performances in terms of area under the ROC curve (AUC),precision and recall compared to other non-supervised methods. Moreover, we demonstrate that the simplicity of our filtration level allows us to easily adapt the method to datasets having different levels of anomaly contamination.

Pendant plusieurs années, la microscopie à fluorescence a été limitée par le phénomène de diffraction. Or, pour étudier des phénomènes dynamiques à l’intérieur des cellules, une résolution nanométrique est souvent nécessaire. Pour ce faire, une avancée importante pour la microscopie super-résolution fut l’invention du microscope à déplétion par émission stimulée(STED pour STimulated-Emission-Depletion) (Hell and Wichmann, 1994). Si la microscopieSTED permet d’atteindre la précision nanométrique, celle-ci consiste en une technique extrêmement sophistiquée et son utilisation requiert des connaissances avancées dans plusieurs domaines, par exemple, la physique, la chimie et la biologie. Dans le but de rendre le microscope plus accessible, Durand et al. (2018) tire profit des dernières avancées en intelligence artificielle pour automatiser le paramétrage du STED à l’aide d’une boucle d’optimisation. L’objectif visé est de produire des images avec la plus haute qualité tout en minimisant le photo blanchiment et le temps d’exposition. L’incapacité de mesurer la qualité des images et de choisir un compromis parmi les objectifs nécessite malheureusement toujours la présence d’un expert derrière le microscope. En automatisant l’évaluation de la qualité des images et la sélection de compromis, ce mémoire vise à montrer le potentiel des réseaux de neurones pour l’apprentissage de la préférence en sciences de la vie. / For many years, fluorescent microscopy has been limited by diffraction. However, to study dynamic phenomena inside cells, a nanometric resolution is often necessary. To cope with this problem, an important development for fluorescent microscopy was the invention ofSTimulated-Emission-Depletion microscopy (STED) (Hell and Wichmann, 1994). If STEDachieves nanometric microscopy, it is also an extremely sophisticated technique that requires advanced knowledge across a wide range of domains, e.g. physics, chemistry and biology. With the goal of democratising the microscope, Durand et al. (2018) use the last development in artificial intelligence to automate STED parameterization with an optimisation loop. The objective aimed is to produce high-quality images while minimising photo bleaching and exposition time. The inability of measuring image quality and of choosing between compromise among objectives still forces an expert to stay behind the microscope. By automating the assessment of image quality and the selection of compromise, this master thesis intends to demonstrate the potential of neural networks for preference learning in life science.

De nouvelles technologies comme le téléphone cellulaire ont révolutionné nos échanges comme jamais auparavant. Pour les utilisateurs, ces nouveaux canaux de communication représentent un contexte informel propice à l'exploration d'une forme récente d'écriture qui s'éloigne considérablement de la norme académique : le langage SMS. Devant l'ascension de cette forme d'expression, différentes méthodes ont été testées par le passé pour tenter de normaliser l'écrit SMS, c'est-à-dire le convertir en un français normé en vue de l'appliquer à d'éventuelles tâches de traitement automatique du langage. Or, très rares sont les études réalisées en français qui adoptent les réseaux de neurones comme solution de normalisation. La présente étude vise donc à produire un logiciel prototype pour normaliser automatiquement le langage SMS, en se servant d'une architecture encodeur-décodeur constituée de réseaux de neurones à mémoire à long et à court terme (LSTM). L'architecture neuronale est entraînée et évaluée sur la base du corpus belge de Fairon et al. (2006), en testant le mot et le caractère comme unités de base. Au-delà du logiciel prototype, cette étude se veut surtout une occasion d'explorer les points forts et les points faibles d'une telle approche neuronale dans le cadre de la normalisation du langage SMS. Avec un score BLEU-4 encourageant -- compte tenu de la taille limitée du corpus -- de près de 0,5, le modèle à base de mots est supérieur à celui à base de caractères. Malgré tout, la méthode produit un nombre considérable d'erreurs que nous attribuons en grande partie à la taille modeste du corpus, mais aussi à la nature même des réseaux de neurones.

Titre de l'écran-titre (visionné le 8 mai 2023) / Les algorithmes d'apprentissage automatiques basés sur les réseaux de neurones sont reconnus pour leurs performances sur des tâches de classification d'images. Cependant, ces algorithmes peuvent être induits en erreur par de faibles perturbations ajoutées aux images, générés avec des attaques adverses. Plusieurs mécanismes de défense basés sur des ensembles de réseaux de neurones et des principes de diversité ont été proposés. Ils sont basés sur l'hypothèse qu'il est plus difficile d'attaquer un ensemble de plusieurs réseaux diversifiés plutôt qu'un seul réseau. Toutefois, l'efficacité de ces défenses reste à ce jour contestée. L'objectif de ce mémoire est de mieux comprendre l'impact de la diversité sur la robustesse des ensembles, afin de déterminer si les mécanismes de défense basés sur les ensembles sont efficaces. Pour ce faire, les ensembles avec codes à correction d'erreur sont premièrement revisités en proposant des modifications architecturales et en évaluant, pour différentes architectures, leur diversité et leur robustesse contre plusieurs attaques adverses. Ensuite, les ensembles de réseaux contrastifs adverses sont proposés comme nouveau mécanisme de défense. Ce mécanisme est basé sur une nouvelle méthode utilisant des notions d'apprentissage contrastif afin de diversifier les réseaux d'un ensemble directement à partir de leurs cartes de caractéristiques, pour que les réseaux utilisent des caractéristiques différentes pour classifier les images de même classe. Les résultats obtenus démontrent que la méthode de diversification proposée fonctionne, et qu'elle peut avoir un impact positif sur la robustesse des ensembles. Les résultats démontrent aussi que la diversité et la robustesse des ensembles avec codes à correction d'erreur peuvent être favorisées avec l'utilisation de réseaux indépendants. Finalement, les résultats suggèrent que les défenses par ensembles sont efficaces seulement contre certaines attaques adverses, mais qu'elles peuvent être combinées facilement avec des méthodes d'entraînement adverse afin de résister à la plupart des attaques. / Neural networks in machine learning are known for achieving great performances on image classification tasks. Nevertheless, they can be vulnerable to small perturbations added to the input images. Such perturbations are generated with adversarial attacks, and they can cause significant drops in classification accuracy. Many adversarial defenses based on neural network ensembles and diversity promoting techniques have been proposed. They are based on the intuition that it is more challenging to fool an ensemble of diverse networks as opposed to a single network. However, the effectiveness of such defenses remains unclear. The goal for this thesis is to study the impact of ensemble diversity on robustness to determine if ensemble-based defenses can be considered effective against adversarial attacks. Error-Correcting Output Codes ensembles are first investigated through architectural improvements and diversity promotion. A comprehensive robustness assessment is performed to compare different architectures and to investigate the relationship between ensemble diversity and robustness. Next, adversarial contrastive networks ensembles are proposed as a new ensemble-based adversarial defense. This defense uses contrastive learning to diversify the features learned by the neural networks in an ensemble directly from their feature maps. The goal is to make the networks use different features to classify images from similar classes. The results obtained from the experiments demonstrate that it is possible to diversify neural networks in an ensemble directly from their feature maps with the proposed method and that such diversification can have a positive effect on robustness. Furthermore, the results obtained for Error-Correcting Output Codes ensembles demonstrate that the use of fully independent networks can promote ensemble diversity and robustness against strong attacks. Finally, the observed results suggest that ensemble-based defenses are effective only against some attacks, but they can be combined effectively with adversarial training to achieve better robustness against strong attacks.

L’objectif de cette thèse est la réalisation expérimentale de calcul bio-inspiré en utilisant la dynamique transitoire d’oscillateurs magnétique nanométriques.Pour bien des tâches telle que la reconnaissance vocale, le cerveau fonctionne bien plus efficacement en terme d’énergie qu’un ordinateur classique. Le développement de puces neuro-inspirées offre donc la perspective de surmonter les limitations des processeurs actuels et de gagner plusieurs ordres de grandeurs sur la consommation énergétique du traitement de données. L’efficacité du cerveau à traiter des données est due à son architecture, qui est particulièrement adaptée à la reconnaissance de motifs. Les briques de base de cette architecture sont les neurones biologiques. Ceux-ci peuvent être vus comme des oscillateurs non linéaires qui interagissent et génèrent des cascades spatiales d’activations en réponse à une excitation. Cependant le cerveau comprend cent milliards de neurones et le développement d’une puce neuro-inspiré requerrait des oscillateurs de très petite dimension. Les oscillateurs à transfert de spin (STNO) sont de taille nanométrique, ont une réponse rapide (de l’ordre de la nanoseconde), sont fortement non-linéaires et leur réponse dépendante du couple de transfert de spin est aisément ajustable (par exemple par l’application d’un courant continu ou d’un champ magnétique). Ils fonctionnent à température ambiante, ont un très faible bruit thermique, et sont compatible avec les technologies CMOS. Ces caractéristiques en font d’excellents candidats pour la réalisation de réseaux artificiels de neurones compatibles avec un ordinateur classique.Dans cette thèse, nous avons utilisé un unique STNO pour générer le comportement d’un réseau de neurones. Ainsi l’oscillateur joue à tour de rôle chaque neurone. Une cascade temporelle remplace donc la cascade spatiale d’un réseau de neurones biologiques. En particulier nous avons utilisé la relaxation et la dépendance non-linéaire de l’amplitude des oscillations afin de réaliser du calcul neuromorphique. L’un des résultats principaux de cette thèse est la réalisation de reconnaissance vocale (reconnaissance de chiffres dits par 5 locuteurs différents) en obtenant un taux de reconnaissance à l’état de l’art de 99.6%. Nous avons pu montrer que les performances de la reconnaissance sont étroitement dépendantes des propriétés physiques du STNO tel que l’évolution de la largeur de raie, la puissance d’émission, ou la fréquence d’émission. Nous avons donc optimisé les conditions expérimentales (champs magnétiques et courant continu appliqués, fréquence du signal à traiter) afin de pouvoir utiliser au mieux les propriétés physiques du STNO pour la reconnaissance.  Les signaux vocaux requièrent d’être transformés du domaine temporel au domaine fréquentiel, avant de pouvoir être traités, et cette étape est réalisée numériquement en amont de l’expérience. Nous avons étudié l’influence de différents prétraitements sur la reconnaissance et mis en évidence le rôle majeur de la non-linéarité de ces derniers. Enfin, afin de pouvoir traiter des problèmes requérant de la mémoire, tel que par exemple des signaux sous forme de séquences temporelles, nous avons mesuré la mémoire que possède intrinsèquement un STNO, du fait de sa relaxation. Nous avons aussi augmenté cette mémoire à l’aide d’une boucle à retard. Ce dispositif a permis d’accroître la plage de mémoire de quelques centaines de nanosecondes à plus d’une dizaine de microsecondes. L’ajout de cette mémoire extrinsèque a permis de supprimer jusqu’à 99% des erreurs sur une tâche de reconnaissance de motifs temporels (reconnaissance de signaux sinusoïdaux et carrés). / This thesis studies experimentally the transient dynamics of magnetic nano-oscillators for brain-inspired computing.For pattern recognition tasks such as speech or visual recognition, the brain is much more energy efficient than classical computers. Developing brain-inspired chips opens the path to overcome the limitations of present processors and to win several orders of magnitude in the energy consumption of data processing. The efficiency of the brain originates from its architecture particularly well adapted for pattern recognition. The building blocks of this architecture are the biological neurons, which can be seen as interacting non-linear oscillators generating spatial chain reactions of activations. Nevertheless, the brain has one hundred billion neurons and a brain-inspired chip would require extremely small dimension oscillators. The spin-transfer torque oscillators (STNO) have nanometric size, they are fast (nanosecond time-scales), highly non-linear and their spin-torque dependent response is easily tunable (for instance by applying an external magnetic field or a d.c. current). They work at room temperature, they have a low thermal noise and they are compatible with CMOS technologies. Because of these features, they are excellent candidates for building hardware neural networks, which are compatible with the standard computers.In this thesis, we used a single STNO to emulate the behavior of a whole neural network. In this time multiplexed approach, the oscillator emulates sequentially each neuron and a temporal chain reaction replace the spatial chain reaction of a biological neural network. In particular, we used the relaxation and the non-linear dependence of the oscillation amplitude with the applied current to perform neuromorphic computing. One of the main results of this thesis is the demonstration of speech recognition (digits said by different speakers) with a state-of-the-art recognition rate of 99.6%. We show that the recognition performance is highly dependent on the physical properties of the STNO, such as the linewidth, the emission power or the frequency. We thus optimized the experimental bias conditions (external applied magnetic field, d.c. current and rate of the input) in order to leverage adequately the physical properties of the STNO for recognition. Voice waveforms require a time-to-frequency transformation before being processed, and this step is performed numerically before the experiment. We studied the influence of different time-to-frequency transformations on the final recognition rate, shading light on the critical role of their non-linear behavior. Finally, in order to solve problems requiring memory, such as temporal sequence analysis, we measured the intrinsic memory of a STNO, which comes from the relaxation of the oscillation amplitude. We also increased this memory, using a delayed feedback loop. This feedback improved the range of memory from a few hundreds of nanoseconds to more than ten microseconds. This feedback memory allows suppressing up to 99% of the errors on a temporal pattern recognition task (discrimination of sine and square waveforms).

Thèse ou mémoire avec insertion d'articles. / Le but de la science des réseaux est de modéliser les systèmes complexes et d'expliquer leurs propriétés émergentes, telles que la propagation d'épidémies ou la formation de la mémoire dans le cerveau. Cependant, ces systèmes complexes peuvent parfois atteindre des tailles immenses, rendant leur étude difficile. La théorie spectrale des graphes est un outil majeur dans l'étude de tels réseaux, car les valeurs propres d'un réseau sont relativement faciles à calculer en plus de nous renseigner sur sa structure globale et sa dynamique à grande échelle. L'objectif de ce projet de maîtrise était d'analyser l'effet de propriétés structurelles, souvent négligées, présentes dans les réseaux de neurones sur le spectre des graphes qui leur sont associés. Plus spécifiquement, les propriétés étudiées sont la directionnalité, l'inhibition, le principe de Dale et la densité. Pour cela, différentes techniques de théorie des graphes ont été utilisées afin de créer des graphes aléatoires respectant les propriétés étudiées. Ensuite, une analyse spectrale approfondie de ces graphes aléatoires a été réalisée afin de déterminer l'effet des propriétés structurelles des réseaux de neurones sur leur spectre. On a d'abord abordé le problème à l'aide des théories mathématiques existantes, mais les calculs analytiques se sont avérés ardus et moins instructifs que prévu. Afin de combler ces lacunes, une analyse numérique a été réalisée. L'effet majeur provoqué par les propriétés structurelles étudiées est la présence d'une transition dans le spectre. La distribution de la valeur propre ayant la plus grande norme passe d'une distribution réelle à une distribution complexe pour ensuite revenir à une distribution réelle en fonction de la fraction d'inhibiteurs dans le réseau. La distribution changeante de la valeur propre dominante a alors été caractérisée numériquement, ce qui a permis l'identification et l'analyse de nombreuses autres propriétés empiriques. La transition dans le spectre, étant particulièrement significative dans les réseaux de taille finie, a donc une grande influence sur le comportement des réseaux de neurones et est directement influencée par les propriétés structurelles introduites. / The goal of network science is to model complex systems and explain their emergent properties, such as epidemic spreading or memory formation in the brain. However, these complex systems can sometimes reach immense sizes, making their study challenging. Graph spectral theory is a significant tool in the investigation of such networks, as the eigenvalues of a network are relatively easy to compute and provide insights into its overall structure and large-scale dynamics. The objective of this master's project was to analyze the effect of often overlooked structural properties present in neural networks on the spectrum of the associated graphs. More specifically, the studied properties include directionality, inhibition, Dale's principle, and density. To achieve this, various graph theory techniques were employed to generate random graphs that adhere to the studied properties. Subsequently, an in-depth spectral analysis of these random graphs was conducted to determine the impact of the structural properties of neural networks on their spectrum. Initially, the problem was approached using existing mathematical theories, but the analytical calculations proved to be challenging and less informative than anticipated. To address these gaps, a numerical analysis was performed. The major effect induced by the studied structural properties is the presence of a transition in the spectrum. The distribution of the eigenvalue with the largest norm transitions from a real distribution to a complex distribution, and then returns to a real distribution based on the fraction of inhibitors in the network. The changing distribution of the dominant eigenvalue was numerically characterized, wich enabled the empirical observation and analysis of many other properties. The spectrum transition, particularly significant in networks of finite size, thus has a substantial influence on the behavior of neural networks and is directly influenced by the introduced structural properties.

En hydrologie, la simulation de la transformation de la pluie en débit dans les rivières constitue un axe de recherche dynamique. À la mise en oeuvre des nouveaux modèles, il faut ajouter les tentatives d'améliorer ceux existant grâce à la possibilité qu'offrent des nouveaux outils d'acquisition de données et à la puissance de calcul des ordinateurs toujours croissante. La puissance de calcul des nouveaux ordinateurs rend utilisable des algorithmes autrefois difficiles à mettre en oeuvre comme les réseaux de neurones (RN). Les réseaux de neurones ont connu un essor dans la modélisation hydrologique dans les années 1990 où ils ont été essentiellement utilisés dans la mise en oeuvre de modèles pluie-débit. Dans cette thèse l'on cherche à remplacer le module BV3C (bilan vertical 3 couches) du modèle distribué HYDROTEL par un ensemble de réseaux de neurones. BV3C divise le sol en trois couches où il simule les teneurs en eau et les débits sortant de chacune des couches. Cette démarche a pour but d'explorer l'opportunité de remplacer des modules de modèles complexes par des réseaux de neurones qui, une fois optimisés, constituent des outils de calculs très simples, rapides et transportables sur des supports informatiques simples. Le défi d'une telle démarche est de trouver une base de données représentative susceptible d'être utilisée par le module substitué. Dans le cas présent, des données provenant de zones hydro-climatologiques différentes ont été utilisées. Ces données sont utilisées comme entrées du module original extrait de l'ensemble du modèle HYDROTEL. Les résultats de simulation sont classés avant d'être utilisés en partie pour l'optimisation et le test des réseaux de neurones. Les réseaux mis en oeuvre sont testés sur une autre partie des données et dans un cadre opérationnel où les réseaux de neurones sont réintégrés dans le modèle. Les résultats des différents tests montrent tout d'abord que la substitution donne des résultats satisfaisants sur l'ensemble des données qui n'ont servi ni à l'optimisation, ni aux tests des réseaux de neurones. En plus, on enregistre un léger gain de temps. Les résultats sur les teneurs en eau sont nettement meilleurs. Cela s'explique par le fait que celles-ci connaissent de faibles variations dans le temps. Les variations plus importantes des débits des différentes couches rendent plus difficile leur modélisation mais les résultats obtenus rendent la substitution envisageable aussi bien dans le présent cas que dans des modules plus complexes.

Dans la dernière décennie, les approches basées sur les réseaux de neurones convolutionnels sont devenus les standards pour la plupart des tâches en vision numérique. Alors qu'une grande partie des méthodes classiques de vision étaient basées sur des règles et algorithmes, les réseaux de neurones sont optimisés directement à partir de données d'entraînement qui sont étiquetées pour la tâche voulue. En pratique, il peut être difficile d'obtenir une quantité su sante de données d'entraînement ou d'interpréter les prédictions faites par les réseaux. Également, le processus d'entraînement doit être recommencé pour chaque nouvelle tâche ou ensemble d'objets. Au final, bien que très performantes, les solutions basées sur des réseaux de neurones peuvent être difficiles à mettre en place. Dans cette thèse, nous proposons des stratégies visant à contourner ou solutionner en partie ces limitations en contexte de détection d'instances d'objets. Premièrement, nous proposons d'utiliser une approche en cascade consistant à utiliser un réseau de neurone comme pré-filtrage d'une méthode standard de "template matching". Cette façon de faire nous permet d'améliorer les performances de la méthode de "template matching" tout en gardant son interprétabilité. Deuxièmement, nous proposons une autre approche en cascade. Dans ce cas, nous proposons d'utiliser un réseau faiblement supervisé pour générer des images de probabilité afin d'inférer la position de chaque objet. Cela permet de simplifier le processus d'entraînement et diminuer le nombre d'images d'entraînement nécessaires pour obtenir de bonnes performances. Finalement, nous proposons une architecture de réseau de neurones ainsi qu'une procédure d'entraînement permettant de généraliser un détecteur d'objets à des objets qui ne sont pas vus par le réseau lors de l'entraînement. Notre approche supprime donc la nécessité de réentraîner le réseau de neurones pour chaque nouvel objet. / In the last decade, deep convolutional neural networks became a standard for computer vision applications. As opposed to classical methods which are based on rules and hand-designed features, neural networks are optimized and learned directly from a set of labeled training data specific for a given task. In practice, both obtaining sufficient labeled training data and interpreting network outputs can be problematic. Additionnally, a neural network has to be retrained for new tasks or new sets of objects. Overall, while they perform really well, deployment of deep neural network approaches can be challenging. In this thesis, we propose strategies aiming at solving or getting around these limitations for object detection. First, we propose a cascade approach in which a neural network is used as a prefilter to a template matching approach, allowing an increased performance while keeping the interpretability of the matching method. Secondly, we propose another cascade approach in which a weakly-supervised network generates object-specific heatmaps that can be used to infer their position in an image. This approach simplifies the training process and decreases the number of required training images to get state-of-the-art performances. Finally, we propose a neural network architecture and a training procedure allowing detection of objects that were not seen during training, thus removing the need to retrain networks for new objects.