Titre de l'écran-titre (visionné le 15 mai 2023) / La polypharmacie, le plus souvent définie comme étant la prise simultanée de 5 médicaments ou plus par un patient, est un phénomène prévalent chez les aînés. Certaines polypharmacies peuvent être considérées comme inappropriées si elles sont associées avec un événement de santé négatif comme la mort ou l'hospitalisation, il est donc crucial de les identifier. Cependant, l'énorme quantité de combinaisons de médicaments possibles, la taille des bases de données de réclamation ainsi que le coût en temps nécessaire afin de calculer une mesure d'association exacte rend cette tâche impossible à résoudre par des méthodes par force brute. Ainsi, nous proposons l'utilisation de stratégies de bandits capable d'optimiser la navigation de jeux de données de polypharmacies générés à partir de bases de données de réclamation. Nous commençons d'abord ce mémoire en posant le problème de détection de polypharmacies potentiellement inappropriées et en décrivant les données reliées à la tâche, soit les données réelles du Système intégré de surveillance des maladies chroniques du Québec ainsi que les données synthétiques utilisées dans nos expériences, générées par un simulateur que nous avons développé. Ensuite, nous définissons une représentation neuronale suffisante à l'apprentissage de la relation entre des combinaisons de médicaments et une mesure d'association à un événement de santé. Nous abordons ensuite le problème d'entraînement d'un réseau de neurones sous forme de problème d'optimisation bandit. À cette fin, une version adaptée de la stratégie NeuralTS, OptimNeuralTS, est introduite. Cette stratégie, capable de surmonter les obstacles du contexte de polypharmacie, réussit à générer de petits jeux de données sur lesquels peuvent s'entraîner des modèles prédictifs afin de classifier l'association positive ou négative d'une combinaison de médicaments à un événement de santé. Nos résultats sur des jeux de données synthétiques montrent que la stratégie OptimNeuralTS rend possible l'entraînement de modèles prédictifs capable d'effectuer la détection de combinaisons de médicaments avec un risque accru d'événement de santé même si celles-ci n'ont jamais été vues durant l'entraînement. Le déploiement de cette méthode sur les données réelles a également permis l'extraction de telles combinaisons. Cependant, une analyse plus poussée de ces combinaisons révèle également que le risque accru observé pour la plupart d'entre elles provient plutôt de facteurs externes. Néanmoins, certains résultats motivent une étude plus poussée de certaines combinaisons méconnues. / Polypharmacy, most often defined as the simultaneous consumption of five or more drugs at once, is a prevalent phenomenon in the older population. Some of these polypharmacies, deemed inappropriate, may be associated with adverse health outcomes such as death or hospitalization. Considering the number of possible drug combinations as well as the size of claims database and the cost to compute an exact association measure for a given drug combination, it is impossible to investigate every possible combination of drugs. As such, we propose to optimize the search for potentially inappropriate polypharmacies in datasets extracted from claims databases by using bandit strategies. We first define the problem of detecting potentially inappropriate polypharmacies and describe the different data sources used, that is, the real data from the Système intégré de surveillance des maladies chroniques du Québec as well as the synthetic data used in our experiments, generated by a simulator we have developed. Following this, we define a neural representation sufficient to learn the relationship between drug combinations and an association measure to a health outcome. We then tackle the problem of training such supervised neural networks by formulating it as a bandit optimization problem. To this end, we introduce an adapted version of the NeuralTS strategy called OptimNeuralTS. This strategy, capable of overcoming the challenges associated with the polypharmacy context, succeeds in generating small training datasets used to train predictive models in order to classify a drug combination as positively or negatively associated with a given health outcome. Our results on synthetic datasets show that OptimNeuralTS is able to train predictive models capable of detecting drug combinations which exhibit an increased risk of health events, even if they have never been seen during training. The deployment of this method on the real data also yields such combinations. However, further analysis of these combinations shows that the higher risk is associated to external factors such as prior health conditions for most of them. Nevertheless, some extracted drug combinations remain interesting to health experts and will be studied further.

Pendant plusieurs années, la microscopie à fluorescence a été limitée par le phénomène de diffraction. Or, pour étudier des phénomènes dynamiques à l’intérieur des cellules, une résolution nanométrique est souvent nécessaire. Pour ce faire, une avancée importante pour la microscopie super-résolution fut l’invention du microscope à déplétion par émission stimulée(STED pour STimulated-Emission-Depletion) (Hell and Wichmann, 1994). Si la microscopieSTED permet d’atteindre la précision nanométrique, celle-ci consiste en une technique extrêmement sophistiquée et son utilisation requiert des connaissances avancées dans plusieurs domaines, par exemple, la physique, la chimie et la biologie. Dans le but de rendre le microscope plus accessible, Durand et al. (2018) tire profit des dernières avancées en intelligence artificielle pour automatiser le paramétrage du STED à l’aide d’une boucle d’optimisation. L’objectif visé est de produire des images avec la plus haute qualité tout en minimisant le photo blanchiment et le temps d’exposition. L’incapacité de mesurer la qualité des images et de choisir un compromis parmi les objectifs nécessite malheureusement toujours la présence d’un expert derrière le microscope. En automatisant l’évaluation de la qualité des images et la sélection de compromis, ce mémoire vise à montrer le potentiel des réseaux de neurones pour l’apprentissage de la préférence en sciences de la vie. / For many years, fluorescent microscopy has been limited by diffraction. However, to study dynamic phenomena inside cells, a nanometric resolution is often necessary. To cope with this problem, an important development for fluorescent microscopy was the invention ofSTimulated-Emission-Depletion microscopy (STED) (Hell and Wichmann, 1994). If STEDachieves nanometric microscopy, it is also an extremely sophisticated technique that requires advanced knowledge across a wide range of domains, e.g. physics, chemistry and biology. With the goal of democratising the microscope, Durand et al. (2018) use the last development in artificial intelligence to automate STED parameterization with an optimisation loop. The objective aimed is to produce high-quality images while minimising photo bleaching and exposition time. The inability of measuring image quality and of choosing between compromise among objectives still forces an expert to stay behind the microscope. By automating the assessment of image quality and the selection of compromise, this master thesis intends to demonstrate the potential of neural networks for preference learning in life science.

De nouvelles technologies comme le téléphone cellulaire ont révolutionné nos échanges comme jamais auparavant. Pour les utilisateurs, ces nouveaux canaux de communication représentent un contexte informel propice à l'exploration d'une forme récente d'écriture qui s'éloigne considérablement de la norme académique : le langage SMS. Devant l'ascension de cette forme d'expression, différentes méthodes ont été testées par le passé pour tenter de normaliser l'écrit SMS, c'est-à-dire le convertir en un français normé en vue de l'appliquer à d'éventuelles tâches de traitement automatique du langage. Or, très rares sont les études réalisées en français qui adoptent les réseaux de neurones comme solution de normalisation. La présente étude vise donc à produire un logiciel prototype pour normaliser automatiquement le langage SMS, en se servant d'une architecture encodeur-décodeur constituée de réseaux de neurones à mémoire à long et à court terme (LSTM). L'architecture neuronale est entraînée et évaluée sur la base du corpus belge de Fairon et al. (2006), en testant le mot et le caractère comme unités de base. Au-delà du logiciel prototype, cette étude se veut surtout une occasion d'explorer les points forts et les points faibles d'une telle approche neuronale dans le cadre de la normalisation du langage SMS. Avec un score BLEU-4 encourageant -- compte tenu de la taille limitée du corpus -- de près de 0,5, le modèle à base de mots est supérieur à celui à base de caractères. Malgré tout, la méthode produit un nombre considérable d'erreurs que nous attribuons en grande partie à la taille modeste du corpus, mais aussi à la nature même des réseaux de neurones.

Les réseaux de neurones profonds ont démontré un fort impact dans de nombreuses applications du monde réel et ont atteint des performances prometteuses dans plusieurs domaines de recherche. Cependant, ces gains empiriques sont généralement difficiles à déployer dans les scénarios du monde réel, car ils nécessitent des données étiquetées massives. Pour des raisons de temps et de budget, la collecte d'un tel ensemble de données d'entraînement à grande échelle est irréaliste. Dans cette thèse, l'objectif est d'utiliser le distribution matching pour développer de nouvelles approches d'apprentissage profond pour la prédiction de peu de données étiquetées. En particulier, nous nous concentrons sur les problèmes d'apprentissage multi-tâches, d'apprentissage actif et d'adaptation au domaine, qui sont les scénarios typiques de l'apprentissage à partir de données étiquetées limitées. La première contribution consiste à développer l'approche principale de l'apprentissage multi-tâches. Concrètement, on propose un point de vue théorique pour comprendre le rôle de la similarité entre les tâches. Basé sur les résultats théoriques, nous re-examinons l'algorithme du Adversarial Multi-Task Neural Network, et proposons un algorithme itératif pour estimer le coefficient des relations entre les tâches et les paramètres du réseaux de neurones. La deuxième contribution consiste à proposer une méthode unifiée pour les requêtes et les entraînements dans l'apprentissage actif profond par lots. Concrètement, nous modélisons la procédure interactive de l'apprentissage actif comme le distribution matching. Nous avons ensuite dérivé une nouvelle perte d'entraînement, qui se décompose en deux parties : l'optimisation des paramètres du réseaux de neurones et la sélection des requêtes par lots. En outre, la perte d'entraînement du réseau profond est formulée comme un problème d'optimisation min-max en utilisant les informations des données non étiquetées. La sélection de lots de requêtes proposée indique également un compromis explicite entre incertitude et diversité. La troisième contribution vise à montrer l'incohérence entre le domain adversarial training et sa correspondance théorique supposée, basée sur la H-divergence. Concrètement, nous découvrons que la H-divergence n'est pas équivalente à la divergence de Jensen-Shannon, l'objectif d'optimisation dans les entraînements adversaires de domaine. Pour cela, nous établissons un nouveau modèle théorique en prouvant explicitement les bornes supérieures et inférieures du risque de la cible, basées sur la divergence de Jensen-Shannon. Notre framework présente des flexibilités inhérentes pour différents problèmes d'apprentissage par transfert. D'un point de vue algorithmique, notre théorie fournit une guidance de l'alignement conditionnel sémantique, de l'alignement de la distribution marginale et de la correction du label-shift marginal. La quatrième contribution consiste à développer de nouvelles approches pour agréger des domaines de sources avec des distributions d'étiquettes différentes, où la plupart des approches récentes de sélection de sources échouent. L'algorithme que nous proposons diffère des approches précédentes sur deux points essentiels : le modèle agrège plusieurs sources principalement par la similarité de la distribution conditionnelle plutôt que par la distribution marginale ; le modèle propose un cadre unifié pour sélectionner les sources pertinentes pour trois scénarios populaires, l'adaptation de domaine avec une étiquette limitée sur le domaine cible, l'adaptation de domaine non supervisée et l'adaptation de domaine non supervisée partielle par étiquette. / Deep neural networks have demonstrated a strong impact on a wide range of tasks and achieved promising performances. However, these empirical gains are generally difficult to deploy in real-world scenarios, because they require large-scale hand-labeled datasets. Due to the time and cost budget, collecting such large-scale training sets is usually infeasible in practice. In this thesis, we develop novel approaches through distribution matching to learn limited labeled data. Specifically, we focus on the problems of multi-task learning, active learning, and domain adaptation, which are the typical scenarios in learning from limited labeled data. The first contribution is to develop a principled approach in multi-task learning. Specifically, we propose a theoretical viewpoint to understand the importance of task similarity in multi-task learning. Then we revisit the adversarial multi-task neural network and propose an iterative algorithm to estimate the task relation coefficient and neural-network parameters. The second contribution is to propose a unified and principled method for both querying and training in deep batch active learning. We model the interactive procedure as distribution matching. Then we derive a new principled approach in optimizing neural network parameters and batch query selection. The loss for neural network training is formulated as a min-max optimization through leveraging the unlabeled data. The query loss indicates an explicit uncertainty-diversity trade-off batch-selection. The third contribution aims at revealing the incoherence between the widely-adopted empirical domain adversarial training and its generally assumed theoretical counterpart based on H-divergence. Concretely, we find that H-divergence is not equivalent to Jensen-Shannon divergence, the optimization objective in domain adversarial training. To this end, we establish a new theoretical framework by directly proving the upper and lower target risk bounds based on the Jensen-Shannon divergence. Our framework exhibits flexibilities for different transfer learning problems. Besides, our theory enables a unified guideline in conditional matching, feature marginal matching, and label marginal shift correction. The fourth contribution is to design novel approaches for aggregating source domains with different label distributions, where most existing source selection approaches fail. Our proposed algorithm differs from previous approaches in two key ways: the model aggregates multiple sources mainly through the similarity of conditional distribution rather than marginal distribution; the model proposes a unified framework to select relevant sources for three popular scenarios, i.e., domain adaptation with limited label on the target domain, unsupervised domain adaptation and labels partial unsupervised domain adaption.

Dans ce mémoire, nous proposons une méthodologie qui permet de détecter des anomalies parmi un ensemble de données complexes, plus particulièrement des images. Pour y arriver, nous utilisons un type spécifique de réseau de neurones, soit un autoencodeur variationnel (VAE). Cette approche non-supervisée d'apprentissage profond nous permet d'obtenir une représentation plus simple de nos données sur laquelle nous appliquerons une mesure de distance de Kullback-Leibler nous permettant de discriminer les anomalies des observations "normales". Pour déterminer si une image nous apparaît comme "anormale", notre approche se base sur une proportion d'observations à filtrer, ce qui est plus simple et intuitif à établir qu'un seuil sur la valeur même de la distance. En utilisant notre méthodologie sur des images réelles, nous avons démontré que nous pouvons obtenir des performances de détection d'anomalies supérieures en termes d'aire sous la courbe ROC, de précision et de rappel par rapport à d'autres approches non-supervisées. De plus, nous avons montré que la simplicité de l'approche par niveau de filtration permet d'adapter facilement la méthode à des jeux de données ayant différents niveaux de contamination d'anomalies. / In this master's thesis, we propose a methodology that aims to detect anomalies among complex data, such as images. In order to do that, we use a specific type of neural network called the varitionnal autoencoder (VAE). This non-supervised deep learning approach allows us to obtain a simple representation of our data on which we then use the Kullback-Leibler distance to discriminate between anomalies and "normal" observations. To determine if an image should be considered "abnormal", our approach is based on a proportion of observations to be filtered, which is easier and more intuitive to establish than applying a threshold based on the value of a distance metric. By using our methodology on real complex images, we can obtain superior anomaly detection performances in terms of area under the ROC curve (AUC),precision and recall compared to other non-supervised methods. Moreover, we demonstrate that the simplicity of our filtration level allows us to easily adapt the method to datasets having different levels of anomaly contamination.

Titre de l'écran-titre (visionné le 8 mai 2023) / Les algorithmes d'apprentissage automatiques basés sur les réseaux de neurones sont reconnus pour leurs performances sur des tâches de classification d'images. Cependant, ces algorithmes peuvent être induits en erreur par de faibles perturbations ajoutées aux images, générés avec des attaques adverses. Plusieurs mécanismes de défense basés sur des ensembles de réseaux de neurones et des principes de diversité ont été proposés. Ils sont basés sur l'hypothèse qu'il est plus difficile d'attaquer un ensemble de plusieurs réseaux diversifiés plutôt qu'un seul réseau. Toutefois, l'efficacité de ces défenses reste à ce jour contestée. L'objectif de ce mémoire est de mieux comprendre l'impact de la diversité sur la robustesse des ensembles, afin de déterminer si les mécanismes de défense basés sur les ensembles sont efficaces. Pour ce faire, les ensembles avec codes à correction d'erreur sont premièrement revisités en proposant des modifications architecturales et en évaluant, pour différentes architectures, leur diversité et leur robustesse contre plusieurs attaques adverses. Ensuite, les ensembles de réseaux contrastifs adverses sont proposés comme nouveau mécanisme de défense. Ce mécanisme est basé sur une nouvelle méthode utilisant des notions d'apprentissage contrastif afin de diversifier les réseaux d'un ensemble directement à partir de leurs cartes de caractéristiques, pour que les réseaux utilisent des caractéristiques différentes pour classifier les images de même classe. Les résultats obtenus démontrent que la méthode de diversification proposée fonctionne, et qu'elle peut avoir un impact positif sur la robustesse des ensembles. Les résultats démontrent aussi que la diversité et la robustesse des ensembles avec codes à correction d'erreur peuvent être favorisées avec l'utilisation de réseaux indépendants. Finalement, les résultats suggèrent que les défenses par ensembles sont efficaces seulement contre certaines attaques adverses, mais qu'elles peuvent être combinées facilement avec des méthodes d'entraînement adverse afin de résister à la plupart des attaques. / Neural networks in machine learning are known for achieving great performances on image classification tasks. Nevertheless, they can be vulnerable to small perturbations added to the input images. Such perturbations are generated with adversarial attacks, and they can cause significant drops in classification accuracy. Many adversarial defenses based on neural network ensembles and diversity promoting techniques have been proposed. They are based on the intuition that it is more challenging to fool an ensemble of diverse networks as opposed to a single network. However, the effectiveness of such defenses remains unclear. The goal for this thesis is to study the impact of ensemble diversity on robustness to determine if ensemble-based defenses can be considered effective against adversarial attacks. Error-Correcting Output Codes ensembles are first investigated through architectural improvements and diversity promotion. A comprehensive robustness assessment is performed to compare different architectures and to investigate the relationship between ensemble diversity and robustness. Next, adversarial contrastive networks ensembles are proposed as a new ensemble-based adversarial defense. This defense uses contrastive learning to diversify the features learned by the neural networks in an ensemble directly from their feature maps. The goal is to make the networks use different features to classify images from similar classes. The results obtained from the experiments demonstrate that it is possible to diversify neural networks in an ensemble directly from their feature maps with the proposed method and that such diversification can have a positive effect on robustness. Furthermore, the results obtained for Error-Correcting Output Codes ensembles demonstrate that the use of fully independent networks can promote ensemble diversity and robustness against strong attacks. Finally, the observed results suggest that ensemble-based defenses are effective only against some attacks, but they can be combined effectively with adversarial training to achieve better robustness against strong attacks.

L’objectif de cette thèse est la réalisation expérimentale de calcul bio-inspiré en utilisant la dynamique transitoire d’oscillateurs magnétique nanométriques.Pour bien des tâches telle que la reconnaissance vocale, le cerveau fonctionne bien plus efficacement en terme d’énergie qu’un ordinateur classique. Le développement de puces neuro-inspirées offre donc la perspective de surmonter les limitations des processeurs actuels et de gagner plusieurs ordres de grandeurs sur la consommation énergétique du traitement de données. L’efficacité du cerveau à traiter des données est due à son architecture, qui est particulièrement adaptée à la reconnaissance de motifs. Les briques de base de cette architecture sont les neurones biologiques. Ceux-ci peuvent être vus comme des oscillateurs non linéaires qui interagissent et génèrent des cascades spatiales d’activations en réponse à une excitation. Cependant le cerveau comprend cent milliards de neurones et le développement d’une puce neuro-inspiré requerrait des oscillateurs de très petite dimension. Les oscillateurs à transfert de spin (STNO) sont de taille nanométrique, ont une réponse rapide (de l’ordre de la nanoseconde), sont fortement non-linéaires et leur réponse dépendante du couple de transfert de spin est aisément ajustable (par exemple par l’application d’un courant continu ou d’un champ magnétique). Ils fonctionnent à température ambiante, ont un très faible bruit thermique, et sont compatible avec les technologies CMOS. Ces caractéristiques en font d’excellents candidats pour la réalisation de réseaux artificiels de neurones compatibles avec un ordinateur classique.Dans cette thèse, nous avons utilisé un unique STNO pour générer le comportement d’un réseau de neurones. Ainsi l’oscillateur joue à tour de rôle chaque neurone. Une cascade temporelle remplace donc la cascade spatiale d’un réseau de neurones biologiques. En particulier nous avons utilisé la relaxation et la dépendance non-linéaire de l’amplitude des oscillations afin de réaliser du calcul neuromorphique. L’un des résultats principaux de cette thèse est la réalisation de reconnaissance vocale (reconnaissance de chiffres dits par 5 locuteurs différents) en obtenant un taux de reconnaissance à l’état de l’art de 99.6%. Nous avons pu montrer que les performances de la reconnaissance sont étroitement dépendantes des propriétés physiques du STNO tel que l’évolution de la largeur de raie, la puissance d’émission, ou la fréquence d’émission. Nous avons donc optimisé les conditions expérimentales (champs magnétiques et courant continu appliqués, fréquence du signal à traiter) afin de pouvoir utiliser au mieux les propriétés physiques du STNO pour la reconnaissance.  Les signaux vocaux requièrent d’être transformés du domaine temporel au domaine fréquentiel, avant de pouvoir être traités, et cette étape est réalisée numériquement en amont de l’expérience. Nous avons étudié l’influence de différents prétraitements sur la reconnaissance et mis en évidence le rôle majeur de la non-linéarité de ces derniers. Enfin, afin de pouvoir traiter des problèmes requérant de la mémoire, tel que par exemple des signaux sous forme de séquences temporelles, nous avons mesuré la mémoire que possède intrinsèquement un STNO, du fait de sa relaxation. Nous avons aussi augmenté cette mémoire à l’aide d’une boucle à retard. Ce dispositif a permis d’accroître la plage de mémoire de quelques centaines de nanosecondes à plus d’une dizaine de microsecondes. L’ajout de cette mémoire extrinsèque a permis de supprimer jusqu’à 99% des erreurs sur une tâche de reconnaissance de motifs temporels (reconnaissance de signaux sinusoïdaux et carrés). / This thesis studies experimentally the transient dynamics of magnetic nano-oscillators for brain-inspired computing.For pattern recognition tasks such as speech or visual recognition, the brain is much more energy efficient than classical computers. Developing brain-inspired chips opens the path to overcome the limitations of present processors and to win several orders of magnitude in the energy consumption of data processing. The efficiency of the brain originates from its architecture particularly well adapted for pattern recognition. The building blocks of this architecture are the biological neurons, which can be seen as interacting non-linear oscillators generating spatial chain reactions of activations. Nevertheless, the brain has one hundred billion neurons and a brain-inspired chip would require extremely small dimension oscillators. The spin-transfer torque oscillators (STNO) have nanometric size, they are fast (nanosecond time-scales), highly non-linear and their spin-torque dependent response is easily tunable (for instance by applying an external magnetic field or a d.c. current). They work at room temperature, they have a low thermal noise and they are compatible with CMOS technologies. Because of these features, they are excellent candidates for building hardware neural networks, which are compatible with the standard computers.In this thesis, we used a single STNO to emulate the behavior of a whole neural network. In this time multiplexed approach, the oscillator emulates sequentially each neuron and a temporal chain reaction replace the spatial chain reaction of a biological neural network. In particular, we used the relaxation and the non-linear dependence of the oscillation amplitude with the applied current to perform neuromorphic computing. One of the main results of this thesis is the demonstration of speech recognition (digits said by different speakers) with a state-of-the-art recognition rate of 99.6%. We show that the recognition performance is highly dependent on the physical properties of the STNO, such as the linewidth, the emission power or the frequency. We thus optimized the experimental bias conditions (external applied magnetic field, d.c. current and rate of the input) in order to leverage adequately the physical properties of the STNO for recognition. Voice waveforms require a time-to-frequency transformation before being processed, and this step is performed numerically before the experiment. We studied the influence of different time-to-frequency transformations on the final recognition rate, shading light on the critical role of their non-linear behavior. Finally, in order to solve problems requiring memory, such as temporal sequence analysis, we measured the intrinsic memory of a STNO, which comes from the relaxation of the oscillation amplitude. We also increased this memory, using a delayed feedback loop. This feedback improved the range of memory from a few hundreds of nanoseconds to more than ten microseconds. This feedback memory allows suppressing up to 99% of the errors on a temporal pattern recognition task (discrimination of sine and square waveforms).

La saisie d’objet est une tâche fondamentale du domaine de la robotique. Des avancées dans ce domaine sont nécessaires au déploiement de robots domestiques ou pour l’automatisation des entrepôts par exemple. Par contre, seulement quelques approches sont capables d’effectuer la détection de points de saisie en temps réel. Dans cet optique, nous présentons une architecture de réseau de neurones à une seule passe nommée Réseau à Transformation Spatiale de Qualité de Saisie, ou encore Grasp Quality Spatial Transformer Network (GQ-STN) en anglais. Se basant sur le Spatial Transformer Network (STN), notre réseau produit non seulement une configuration de saisie mais il produit également une image de profondeur centrée sur cette configuration. Nous connectons notre architecture à un réseau pré-entraîné qui évalue une métrique de robustesse de saisie. Ainsi, nous pouvons entraîner efficacement notre réseau à satisfaire cette métrique de robustesse en utilisant la propagation arrière du gradient provenant du réseau d’évaluation. De plus, ceci nous permet de facilement entraîner le réseau sur des jeux de données contenant peu d’annotations, ce qui est un problème commun en saisie d’objet. Nous proposons également d’utiliser le réseau d’évaluation de robustesse pour comparer différentes approches, ce qui est plus fiable que la métrique d’évaluation par rectangle, la métrique traditionnelle. Notre GQ-STN est capable de détecter des configurations de saisie robustes sur des images de profondeur de jeu de données Dex-Net 2.0 à une précision de 92.4 % en une seule passe du réseau. Finalement, nous démontrons dans une expérience sur un montage physique que notre méthode peut proposer des configurations de saisie robustes plus souvent que les techniques précédentes par échantillonage aléatoire, tout en étant plus de 60 fois plus rapide. / Grasping is a fundamental robotic task needed for the deployment of household robots or furthering warehouse automation. However, few approaches are able to perform grasp detection in real time (frame rate). To this effect, we present Grasp Quality Spatial Transformer Network (GQ-STN), a one-shot grasp detection network. Being based on the Spatial Transformer Network (STN), it produces not only a grasp configuration, but also directly outputs a depth image centered at this configuration. By connecting our architecture to an externally-trained grasp robustness evaluation network, we can train efficiently to satisfy a robustness metric via the backpropagation of the gradient emanating from the evaluation network. This removes the difficulty of training detection networks on sparsely annotated databases, a common issue in grasping. We further propose to use this robustness classifier to compare approaches, being more reliable than the traditional rectangle metric. Our GQ-STN is able to detect robust grasps on the depth images of the Dex-Net 2.0 dataset with 92.4 % accuracy in a single pass of the network. We finally demonstrate in a physical benchmark that our method can propose robust grasps more often than previous sampling-based methods, while being more than 60 times faster.

En tant qu'algorithmes d'apprentissage automatique à la pointe de la technologie, les réseaux de neurones profonds nécessitent de nombreux exemples pour bien fonctionner sur une tâche d'apprentissage. La collecte et l'annotation de multiples échantillons nécessitent un travail humain important et c'est même impossible dans la plupart des problèmes du monde réel tel que l'analyse de données biomédicales. Dans le contexte de la vision par ordinateur, la classification d'images à quelques plans vise à saisir la capacité humaine à apprendre de nouveaux concepts avec peu de supervision. À cet égard, l'idée générale est de transférer les connaissances des catégories de base avec plus d'encadrement vers des classes nouvelles avec peu d'exemples. En particulier, les approches actuelles d'apprentissage à quelques coups pré entraînent un modèle sur les classes de base disponible pour généraliser aux nouvelles classes, peut-être avec un réglage fin. Cependant, la généralisation du modèle actuel est limitée en raison de certaines hypothèses lors de la préformation et de restrictions lors de l'étape de mise au point. Cette thèse vise à assouplir trois hypothèses des modèles d'apprentissage à quelques plans actuels et nous proposons un apprentissage de représentation pour la classification d'images à quelques plans. Tout d'abord, le gel d'un modèle préformé semble inévitable dans la phase de réglage fin en raison de la forte possibilité de surentraînement sur quelques exemples. Malheureusement, l'apprentissage par transfert avec une hypothèse de modèle gelé limite la capacité du modèle puisque le modèle n'est pas mis à jour avec aucune connaissance des nouvelles classes. Contrairement au gel d'un modèle, nous proposons un alignement associatif qui permet d'affiner et de mettre à jour le réseau sur de nouvelles catégories. Plus précisément, nous présentons deux stratégies qui détectent et alignent les nouvelles classes sur les catégories de base hautement liées. Alors que la première stratégie pousse la distribution des nouvelles classes au centre de leurs catégories de base associées, la seconde stratégie effectue une correspondance de distribution à l'aide d'un algorithme d'entraînement contradictoire. Dans l'ensemble, notre alignement associatif vise à éviter le surentraînement et à augmenter la capacité du modèle en affinant le modèle à l'aide de nouveaux exemples et d'échantillons de base associés. Deuxièmement, les approches actuelles d'apprentissage à quelques coups effectuent le transfert de connaissances vers de nouvelles classes distinctes sous l'hypothèse uni modale, où tous les exemples d'une seule classe sont représentés par un seul cluster. Au lieu de cela, nous proposons une approche d'apprentissage de l'espace des caractéristiques basée sur le mélange (MixtFSL) pour déduire une représentation multimodale. Alors qu'un précédent travail basé sur un modèle de mélange d'Allen et al. citeallen2019infinite est basé sur une méthode de clusters classique de manière non différentielle, notre MixtFSL est un nouveau modèle multimodale de bout en bout et entièrement différentielle. MixtFSL capture la multimodale des classes de base sans aucun algorithme de clusters classique à l'aide d'un cadre en deux étapes. La première phase s'appeler formation initiale et vise à apprendre la représentation préliminaire du mélange avec une paire de fonctions de perte. Ensuite, l'étape suivante progressive, la deuxième étape, stabilise la formation avec un cadre de formation de type enseignant-élève utilisant une fonction de perte unique. Troisièmement, contrairement aux techniques actuelles à quelques prises de vue consistant à représenter chaque exemple d'entrée avec une seule entité à la fin du réseau, nous proposons un extracteur d'entités d'ensemble et des ensembles d'entités correspondantes qui assouplissent l'hypothèse typique basée sur une seule entité en raisonnant sur des ensembles d'entités. Ici, nous émettons l'hypothèse que l'hypothèse d'une seule caractéristique est problématique dans la classification d'images à quelques prises de vue puisque les nouvelles classes sont différentes des classes de base préformées. À cette fin, nous proposons nouvel extracteur de caractéristiques d'ensemble d'apprentissage profond basé sur les réseaux de neurones hybrides convolution-attention. De plus, nous suggérons trois métriques ensemble à ensemble non paramétriques pour séduire la classe de l'entrée donnée. Cette thèse utilise plusieurs indicateurs standards publiés dans la littérature sur l'apprentissage en peu d'exemples et l'ossature de réseau pour évaluer les méthodes que nous proposons. / As the current state-of-the-art machine learning algorithms, deep neural networks require many examples to perform well on a learning task. Gathering and annotating many samples requires significant human labor, and it is even impossible in most real-world problems such as biomedical data analysis. Under the computer vision context, few-shot image classification aims at grasping the human ability to learn new concepts with little supervision. In this respect, the general idea is to transfer knowledge from base categories with more supervision to novel classes with few examples. In particular, the current few-shot learning approaches pre-train a model on available base classes to generalize to the novel classes, perhaps with fine-tuning. However, the current model's generalization is limited because of some assumptions in the pre-training and restrictions in the fine-tuning stage. This thesis aims to relax three assumptions of the current few-shot learning models, and we propose representation learning for few-shot image classification. First, freezing a pre-trained model looks inevitable in the fine-tuning stage due to the high possibility of overfitting on a few examples. Unfortunately, transfer learning with a frozen model assumption limits the model capacity since the model is not updated with any knowledge of the novel classes. In contrast to freezing a model, we propose associative alignment that enables fine-tuning and updating the network on novel categories. Specifically, we present two strategies that detect and align the novel classes to the highly related base categories. While the first strategy pushes the distribution of the novel classes to the center of their related base categories, the second strategy performs distribution matching using an adversarial training algorithm. Overall, our associative alignment aims to prevent overfitting and increase the model capacity by refining the model using novel examples and related base samples. Second, the current few-shot learning approaches perform transferring knowledge to distinctive novel classes under the uni-modal assumption, where all the examples of a single class are represented with a single cluster. Instead, we propose a mixture-based feature space learning (MixtFSL) approach to infer a multi-modal representation. While a previous mixture-model-based work of Allen et al. [1] is based on a classical clustering method in a non-differentiable manner, our MixtFSL is a new end-to-end multi-modal and fully differentiable model. MixtFSL captures the multi-modality of base classes without any classical clustering algorithm using a two-stage framework. The first phase is called initial training and aims to learn preliminary mixture representation with a pair of loss functions. Then, the progressive following stage, the second stage, stabilizes the training with a teacher-student kind of training framework using a single loss function. Third, unlike the current few-shot techniques of representing each input example with a single feature at the end of the network, we propose a set feature extractor and matching feature sets that relax the typical single feature-based assumption by reasoning on feature sets. Here, we hypothesize that the single feature assumption is problematic in few-shot image classification since the novel classes are different from pre-trained base classes. To this end, we propose a new deep learning set feature extractor based on the hybrid convolution-attention neural networks. Additionally, we offer three non-parametric set-to-set metrics to infer the class of the given input. This thesis employs several standard benchmarks of few-shot learning literature and network backbones to evaluate our proposed methods.

La demande future de bande passante pour les données dépassera les capacités des systèmes de communication optique actuels, qui approchent de leurs limites en raison des limitations de la bande passante électrique des composants de l’émetteur. L’interférence intersymbole (ISI) due à cette limitation de bande est le principal facteur de dégradation pour atteindre des débits de données élevés. Dans ce mémoire, nous étudions plusieurs techniques de réseaux neuronaux (NN) pour combattre les limites physiques des composants de l’émetteur pilotés à des débits de données élevés et exploitant les formats de modulation avancés avec une détection cohérente. Notre objectif principal avec les NN comme égaliseurs de canaux ISI est de surmonter les limites des récepteurs optimaux conventionnels, en fournissant une complexité évolutive moindre et une solution quasi optimale. Nous proposons une nouvelle architecture bidirectionnelle profonde de mémoire à long terme (BiLSTM), qui est efficace pour atténuer les graves problèmes d’ISI causés par les composants à bande limitée. Pour la première fois, nous démontrons par simulation que notre BiLSTM profonde proposée atteint le même taux d’erreur sur les bits(TEB) qu’un estimateur de séquence à maximum de vraisemblance (MLSE) optimal pour la modulation MDPQ. Les NN étant des modèles pilotés par les données, leurs performances dépendent fortement de la qualité des données d’entrée. Nous démontrons comment les performances du BiLSTM profond réalisable se dégradent avec l’augmentation de l’ordre de modulation. Nous examinons également l’impact de la sévérité de l’ISI et de la longueur de la mémoire du canal sur les performances de la BiLSTM profonde. Nous étudions les performances de divers canaux synthétiques à bande limitée ainsi qu’un canal optique mesuré à 100 Gbaud en utilisant un modulateur photonique au silicium (SiP) de 35 GHz. La gravité ISI de ces canaux est quantifiée grâce à une nouvelle vue graphique des performances basée sur les écarts de performance de base entre les solutions optimales linéaires et non linéaires classiques. Aux ordres QAM supérieurs à la QPSK, nous quantifions l’écart de performance BiLSTM profond par rapport à la MLSE optimale à mesure que la sévérité ISI augmente. Alors qu’elle s’approche des performances optimales de la MLSE à 8QAM et 16QAM avec une pénalité, elle est capable de dépasser largement la solution optimale linéaire à 32QAM. Plus important encore, l’avantage de l’utilisation de modèles d’auto-apprentissage comme les NN est leur capacité à apprendre le canal pendant la formation, alors que la MLSE optimale nécessite des informations précises sur l’état du canal. / The future demand for the data bandwidth will surpass the capabilities of current optical communication systems, which are approaching their limits due to the electrical bandwidth limitations of the transmitter components. Inter-symbol interference (ISI) due to this band limitation is the major degradation factor to achieve high data rates. In this thesis, we investigate several neural network (NN) techniques to combat the physical limits of the transmitter components driven at high data rates and exploiting the advanced modulation formats with coherent detection. Our main focus with NNs as ISI channel equalizers is to overcome the limitations of conventional optimal receivers, by providing lower scalable complexity and near optimal solution. We propose a novel deep bidirectional long short-term memory (BiLSTM) architecture, that is effective in mitigating severe ISI caused by bandlimited components. For the first time, we demonstrate via simulation that our proposed deep BiLSTM achieves the same bit error rate (BER) performance as an optimal maximum likelihood sequence estimator (MLSE) for QPSK modulation. The NNs being data-driven models, their performance acutely depends on input data quality. We demonstrate how the achievable deep BiLSTM performance degrades with the increase in modulation order. We also examine the impact of ISI severity and channel memory length on deep BiLSTM performance. We investigate the performances of various synthetic band-limited channels along with a measured optical channel at 100 Gbaud using a 35 GHz silicon photonic(SiP) modulator. The ISI severity of these channels is quantified with a new graphical view of performance based on the baseline performance gaps between conventional linear and nonlinear optimal solutions. At QAM orders above QPSK, we quantify deep BiLSTM performance deviation from the optimal MLSE as ISI severity increases. While deep BiLSTM approaches the optimal MLSE performance at 8QAM and 16QAM with a penalty, it is able to greatly surpass the linear optimal solution at 32QAM. More importantly, the advantage of using self learning models like NNs is their ability to learn the channel during the training, while the optimal MLSE requires accurate channel state information.