La représentation en caractéristiques est une préoccupation centrale des systèmes d’apprentissage automatique d’aujourd’hui. Une représentation adéquate peut faciliter une tâche d’apprentissage complexe. C’est le cas lorsque par exemple cette représentation est de faible dimensionnalité et est constituée de caractéristiques de haut niveau. Mais comment déterminer si une représentation est adéquate pour une tâche d’apprentissage ? Les récents travaux suggèrent qu’il est préférable de voir le choix de la représentation comme un problème d’apprentissage en soi. C’est ce que l’on nomme l’apprentissage de représentation. Cette thèse présente une série de contributions visant à améliorer la qualité des représentations apprises. La première contribution élabore une étude comparative des approches par dictionnaire parcimonieux sur le problème de la localisation de points de prises (pour la saisie robotisée) et fournit une analyse empirique de leurs avantages et leurs inconvénients. La deuxième contribution propose une architecture réseau de neurones à convolution (CNN) pour la détection de points de prise et la compare aux approches d’apprentissage par dictionnaire. Ensuite, la troisième contribution élabore une nouvelle fonction d’activation paramétrique et la valide expérimentalement. Finalement, la quatrième contribution détaille un nouveau mécanisme de partage souple de paramètres dans un cadre d’apprentissage multitâche. / Feature representation is a central concern of today’s machine learning systems. A proper representation can facilitate a complex learning task. This is the case when for instance the representation has low dimensionality and consists of high-level characteristics. But how can we determine if a representation is adequate for a learning task? Recent work suggests that it is better to see the choice of representation as a learning problem in itself. This is called Representation Learning. This thesis presents a series of contributions aimed at improving the quality of the learned representations. The first contribution elaborates a comparative study of Sparse Dictionary Learning (SDL) approaches on the problem of grasp detection (for robotic grasping) and provides an empirical analysis of their advantages and disadvantages. The second contribution proposes a Convolutional Neural Network (CNN) architecture for grasp detection and compares it to SDL. Then, the third contribution elaborates a new parametric activation function and validates it experimentally. Finally, the fourth contribution details a new soft parameter sharing mechanism for multitasking learning.

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2018-2019 / La compréhension du lien entre les caractéristiques génomiques d’un individu, le génotype, et son état biologique, le phénotype, est un élément essentiel au développement d’une médecine personnalisée où les traitements sont adaptés à chacun. Elle permet notamment d’anticiper des maladies, d’estimer la réponse à des traitements et même d’identifier de nouvelles cibles pharmaceutiques. L’apprentissage automatique est une science visant à développer des algorithmes capables d’apprendre à partir d’exemples. Ces algorithmes peuvent être utilisés pour produire des modèles qui estiment des phénotypes à partir de génotypes, lesquels peuvent ensuite être étudiés pour élucider les mécanismes biologiques sous-jacents aux phénotypes. Toutefois, l’utilisation d’algorithmes d’apprentissage dans ce contexte pose d’importants défis algorithmiques et théoriques. La haute dimensionnalité des données génomiques et la petite taille des échantillons de données peuvent mener au surapprentissage; le volume des données requiert des algorithmes adaptés qui limitent leur utilisation des ressources computationnelles; et finalement, les modèles obtenus doivent pouvoir être interprétés par des experts du domaine, ce qui n’est pas toujours possible. Cette thèse présente des algorithmes d’apprentissage produisant des modèles interprétables pour la prédiction de phénotypes à partir de génotypes. En premier lieu, nous explorons la prédiction de phénotypes discrets à l’aide d’algorithmes à base de règles. Nous proposons de nouvelles implémentations hautement optimisées et des garanties de généralisation adaptées aux données génomiques. En second lieu, nous nous intéressons à un problème plus théorique, soit la régression par intervalles, et nous proposons deux nouveaux algorithmes d’apprentissage, dont un à base de règles. Finalement, nous montrons que ce type de régression peut être utilisé pour prédire des phénotypes continus et que ceci mène à des modèles plus précis que ceux des méthodes conventionnelles en présence de données censurées ou bruitées. Le thème applicatif de cette thèse est la prédiction de la résistance aux antibiotiques, un problème de santé publique d’envergure mondiale. Nous démontrons que nos algorithmes peuvent servir à prédire, de façon très précise, des phénotypes de résistance, tout en contribuant à en améliorer la compréhension. Ultimement, nos algorithmes pourront servir au développement d’outils permettant une meilleure utilisation des antibiotiques et un meilleur suivi épidémiologique, un élément clé de la solution à ce problème. / A thorough understanding of the relationship between the genomic characteristics of an individual (the genotype) and its biological state (the phenotype) is essential to personalized medicine, where treatments are tailored to each individual. This notably allows to anticipate diseases, estimate response to treatments, and even identify new pharmaceutical targets. Machine learning is a science that aims to develop algorithms that learn from examples. Such algorithms can be used to learn models that estimate phenotypes based on genotypes, which can then be studied to elucidate the biological mechanisms that underlie the phenotypes. Nonetheless, the application of machine learning in this context poses significant algorithmic and theoretical challenges. The high dimensionality of genomic data and the small size of data samples can lead to overfitting; the large volume of genomic data requires adapted algorithms that limit their use of computational resources; and importantly, the learned models must be interpretable by domain experts, which is not always possible. This thesis presents learning algorithms that produce interpretable models for the prediction of phenotypes based on genotypes. Firstly, we explore the prediction of discrete phenotypes using rule-based learning algorithms. We propose new implementations that are highly optimized and generalization guarantees that are adapted to genomic data. Secondly, we study a more theoretical problem, namely interval regression. We propose two new learning algorithms, one which is rule-based. Finally, we show that this type of regression can be used to predict continuous phenotypes and that this leads to models that are more accurate than those of conventional approaches in the presence of censored or noisy data. The overarching theme of this thesis is an application to the prediction of antibiotic resistance, a global public health problem of high significance. We demonstrate that our algorithms can be used to accurately predict resistance phenotypes and contribute to the improvement of their understanding. Ultimately, we expect that our algorithms will take part in the development of tools that will allow a better use of antibiotics and improved epidemiological surveillance, a key component of the solution to this problem.

On ne s’en inquiète peut-être pas assez, mais toute communication confidentielle sur Internet, dont on prend désormais la sécurité pour acquise, pourrait du jour au lendemain devenir très facile à espionner. Nous savons en effet qu’un ordinateur quantique, s’il en existe un de suffisante envergure, pourra –ou peut déjà, qui sait ?– rendre obsolète les protocoles cryptographiques qui nous permettent de gérer nos comptes utilisateurs, faire des transactions bancaires et simplement d’avoir des conversations privées. Heureusement, une communauté de chercheurs se penche déjà sur des protocoles alternatifs ; cependant chacune des propositions est isolée dans son propre sous-domaine de recherche et il est difficile de faire la lumière sur laquelle est la plus prometteuse. À travers trois horizons, explorant respectivement pourquoi la cryptographie actuelle est considérée sécuritaire, comment l’arrivée d’un seul ordinateur quantique sur la planète changera toute la cryptographie, et que faire pour communiquer confidentiellement dans un monde où l’informatique quantique est omniprésente, nous développons un cadre uniforme pour analyser lesquels de ces nouveaux protocoles cryptographiques sont assis sur les bases théoriques présageant la plus grande sécurité.

Le boosting est une approche largement utilisée pour résoudre les problèmes de classification et de régression. Sa force réside dans sa capacité à améliorer les performances de classificateurs individuels faibles pour en construire un puissant. La théorie du boosting est bien établie en tant que descente de gradient dans un espace de fonctions. Cependant, la conception d’un apprenant faible qui peut s’amplifier par boosting reste une question ouverte. Inspirés par les algorithmes Adaboost-MH et XGBoost, nous proposons une nouvelle famille d’apprenants faibles appelée Arbres de Hamming multi-classes à niveaux de confiance, où un arbre prenden charge l’encodage de la sortie, effectue un seul partitionnement disjoint de l’espace des instances, et prédit un vecteur de coefficients à valeurs réelles afin de mieux approximer le gradient fonctionnel négatif de la fonction objective. Nous proposons également un algorithme de boosting appelé QuadBoost-MHCR pour la minimisation de la perte quadratique multi-calsses avec encodage multi-classes de Hamming et avec des prédictions à niveaux de confiance. L’algorithme minimise une fonction de perte L2 multi-classes et il est facile de le généraliser, de manière analogue à XGBoost, pour minimiser toute fonction objective deux fois différentiable. / Boosting is a widely used approach for solving classification and regression problems. Its strength lies in its ability to improve the performance of individual weak classifiers to construct a strong one. The theory of boosting is well established as a gradient descent in functional space. However, the design of a boostable weak learner is still an open issue. Inspired by the algorithms Adaboost-MH and XGBoost, we propose a new family of weak learners called confidence rated multi-class Hamming trees where a tree supports output coding, performs a single disjoint partitioning of the input space, and outputs a real valued vector in order to better approximate the negative functional gradient of the cost function. We also propose ajoint boosting algorithm, called QuadBoost-MHCR for Quadratic Loss Boosting with Multi-class Hamming output encoding, and Confidence Rated predictions. The algorithm minimizes a multi-class L2-loss function, and it is easy to extend it, in an XGBoost fashion, to minimize any twice differentiable loss function.

L’intelligence artificielle est un domaine de recherche relativement récent. Grâce à lui, plusieurs percées ont été faites sur une série de problèmes qui étaient autrefois considérés comme très difficiles. La classification fine est l’un de ces problèmes. Cependant, même si résoudre cette tâche pourrait représenter des avancées tant au niveau scientifique qu’au niveau industriel, peu de recherche y a été effectué. Dans ce mémoire, nous abordons la problématique de l’application de la classification fine sur des problèmes concrets, soit la classification d’essence d’arbres uniquement grâce à des images de l’écorce et la classification visuelle des moisissures en culture. Nous commençons par présenter plusieurs concepts sur lesquels se basent l’apprentissage profond, à la base de notre solution ainsi que plusieurs expériences qui ont été menées afin de tenter de résoudre le problème de classification d’essence d’arbres à partir d’images de l’écorce. Par la suite, nous détaillons le jeu de données nommé BarkNet 1. 0 que nous avons construit dans le cadre de ce projet. Grâce à celui-ci, nous avons été en mesure de développer une méthode permettant d’obtenir une précision de 93,88% en utilisant une seule crop aléatoire dans une image et une précision de 97,81% en utilisant un vote de majorité sur toutes les images d’un arbre. Finalement, nous concluons en démontrant la faisabilité d’appliquer notre méthode dans d’autres contextes en montrant quelques applications concrètes sur lesquelles nous l’avons essayée, soit la classification d’essence d’arbres en industrie et la classification de moisissures. / Artificial intelligence is a relatively recent research domain. With it, many breakthroughs were made on a number of problems that were considered very hard. Fine-grained classification is one of those problems. However, a relatively small amount of research has been done on this task even though itcould represent progress on a scientific, commercial and industrial level. In this work, we talk about applying fine-grained classification on concrete problems such as tree bark classification and mould classification in culture. We start by presenting fundamental deep learning concepts at the root of our solution. Then, we present multiple experiments made in order to try to solve the tree bark classification problem and we detail the novel dataset BarkNet 1.0 that we made for this project. With it, we were able to develop a method that obtains an accuracy of 93.88% on singlecrop in a single image, and an accuracy of 97.81% using a majority voting approach on all the images of a tree. We conclude by demonstrating the feasibility of applying our method on new problems by showing two concrete applications on which we tried our approach, industrial tree classification and mould classification.

La détection automatique de contenu toxique en ligne est un sujet très important aujourd’hui. Les modérateurs ne peuvent filtrer manuellement tous les messages et les utilisateurs trouvent constamment de nouvelles façons de contourner les filtres automatiques. Dans ce mémoire, j’explore l’impact que peut avoir la détection de sentiment pour améliorer trois points importants de la détection automatique de toxicité : détecter le contenu toxique de façon plus exacte ; rendre les filtres plus difficiles à déjouer et prédire les conversations les plus à risque. Les deux premiers points sont étudiés dans un premier article, où l’intuition principale est qu’il est plus difficile pour un utilisateur malveillant de dissimuler le sentiment d’un message que certains mots-clés à risque. Pour tester cette hypothèse, un outil de détection de sentiment est construit, puis il est utilisé pour mesurer la corrélation entre sentiment et toxicité. Par la suite, les résultats de cet outil sont utilisés comme caractéristiques pour entraîner un modèle de détection de toxicité, et le modèle est testé à la fois dans un contexte classique et un contexte où on simule des altérations aux messages faites par un utilisateur tentant de déjouer un filtre de toxicité. La conclusion de ces tests est que les informations de sentiment aident à la détection de toxicité, particulièrement dans un contexte où les messages sont modifiés. Le troisième point est le sujet d’un second article, qui a comme objectif de valider si les sentiments des premiers messages d’une conversation permettent de prédire si elle va dérailler. Le même outil de détection de sentiments est utilisé, en combinaison avec d’autres caractéristiques trouvées dans de précédents travaux dans le domaine. La conclusion est que les sentiments permettent d’améliorer cette tâche également. / Automatic toxicity detection of online content is a major research field nowadays. Moderators cannot filter manually all the messages that are posted everyday and users constantly find new ways to circumvent classic filters. In this master’s thesis, I explore the benefits of sentiment detection for three majors challenges of automatic toxicity detection: standard toxicity detection, making filters harder to circumvent, and predicting conversations at high risk of becoming toxic. The two first challenges are studied in the first article. Our main intuition is that it is harder for a malicious user to hide the toxic sentiment of their message than to change a few toxic keywords. To test this hypothesis, a sentiment detection tool is built and used to measure the correlation between sentiment and toxicity. Next, the sentiment is used as features to train a toxicity detection model, and the model is tested in both a classic and a subversive context. The conclusion of those tests is that sentiment information helps toxicity detection, especially when using subversion. The third challenge is the subject of our second paper. The objective of that paper is to validate if the sentiments of the first messages of a conversation can help predict if it will derail into toxicity. The same sentiment detection tool is used, in addition to other features developed in previous related works. Our results show that sentiment does help improve that task as well.

Les nuages de points en trois dimensions sont un format de données très commun en robotique mobile. Ils sont souvent produits par des capteurs spécialisés de type lidar. Les nuages de points générés par ces capteurs sont utilisés dans des tâches impliquant de l’estimation d’état, telles que la cartographie ou la localisation. Les algorithmes de recalage de nuages de points, notamment l’algorithme ICP (Iterative Closest Point), nous permettent de prendre des mesures d’égo-motion nécessaires à ces tâches. La fusion des recalages dans des chaînes existantes d’estimation d’état dépend d’une évaluation précise de leur incertitude. Cependant, les méthodes existantes d’estimation de l’incertitude se prêtent mal aux données en trois dimensions. Ce mémoire vise à estimer l’incertitude de recalages 3D issus d’Iterative Closest Point (ICP). Premièrement, il pose des fondations théoriques desquelles nous pouvons articuler une estimation de la covariance. Notamment, il révise l’algorithme ICP, avec une attention spéciale sur les parties qui sont importantes pour l’estimation de la covariance. Ensuite, un article scientifique inséré présente CELLO-3D, notre algorithme d’estimation de la covariance d’ICP. L’article inséré contient une validation expérimentale complète du nouvel algorithme. Il montre que notre algorithme performe mieux que les méthodes existantes dans une grande variété d’environnements. Finalement, ce mémoire est conclu par des expérimentations supplémentaires, qui sont complémentaires à l’article. / Three-dimensional point clouds are an ubiquitous data format in robotics. They are produced by specialized sensors such as lidars or depth cameras. The point clouds generated by those sensors are used for state estimation tasks like mapping and localization. Point cloud registration algorithms, such as Iterative Closest Point (ICP), allow us to make ego-motion measurements necessary to those tasks. The fusion of ICP registrations in existing state estimation frameworks relies on an accurate estimation of their uncertainty. Unfortunately, existing covariance estimation methods often scale poorly to the 3D case. This thesis aims to estimate the uncertainty of ICP registrations for 3D point clouds. First, it poses theoretical foundations from which we can articulate a covariance estimation method. It reviews the ICP algorithm, with a special focus on the parts of it that are pertinent to covariance estimation. Then, an inserted article introduces CELLO-3D, our data-driven covariance estimation method for ICP. The article contains a thorough experimental validation of the new algorithm. The latter is shown to perform better than existing covariance estimation techniques in a wide variety of environments. Finally, this thesis comprises supplementary experiments, which complement the article.

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2019-2020. / Un décideur utilisant un système d’optimisation peut se voir offrir une solution qu’il juge inadéquate. Il lui est possible, s’il utilise un système interactif de réoptimisation, d’ajouter une contrainte ou une préférence et de requérir une nouvelle solution. Cependant, les préférences émises quant aux multiples valeurs composant la solution sont généralement perdues au fil des itérations successives. Pour remédier à ce problème, ce mémoire propose une approche pour la prise en compte des préférences de l’utilisateur. Celle-ci fait appel aux techniques de la programmation mathématique avec cible. Une méthodologie pour la mise en application de l’approche est également proposée. Finalement, une comparaison est effectuée entre l’approche proposée et une approche par heuristiques pour le problème de planification interactive des cotisations et retraits d’un Régime enregistré d’épargne étude. Dans les deux cas, les prototypes permettent d’ajuster en temps réel, et à la pointe de la souris, les solutions sur des graphiques interactifs. Le prototype mu par des heuristiques spécifiques ne permet pas à l’utilisateur d’atteindre toutes les solutions admissibles, notamment à cause de problèmes d’ajustements circulaires où l’utilisateur peut se retrouver au même point après quelques itérations. Le prototype utilisant l’approche proposée de programmation mathématique avec cibles permet à l’utilisateur de naviguer de façon cohérente à travers l’espace solution. Dans la plupart des contextes, cette méthode devrait permettre au décideur d’accéder plus facilement à sa solution préférée. / A decision maker using an optimization system may get a solution that he considers inappropriate. It is possible for him, if he uses an interactive reoptimization system, to add a constraint or a preference and to require a new solution. However, preferences for the various values composing the solution are usually lost over the iterations. This thesis proposes an approach for taking into account the user’s preferences. It uses mathematical goal programming techniques. A methodology for implementing the approach is also proposed. Finally, a comparison is made between the proposed approach and another one using heuristics to solve the problem of interactive planning of contributions and withdrawals from a Registered Education Savings Plans. In both cases, the prototypes make it possible to adjust, in real time, and from the tip of the mouse, the solutions on interactive graphics. The prototype, moved by specific heuristics, does not allow the user to reach all admissible solutions. This is often caused by circular adjustments problems where the user may reach a previous state after some iterations. The prototype using mathematical goal programming allows the user to navigate coherently through the solution space. In most contexts, this method should make it easier for the decision maker to access his preferred solution.

La localisation est un problème qui affecte beaucoup d’industries. Comme l’automatisation devient de plus en plus importante, la localisation doit aussi devenir de plus en plus précise pour assurer une bonne efficacité des opérations et pour assurer la sécurité des employés qui vont devoir travailler avec cette automatisation. Notre étude se concentre sur la problématique de la localisation, appliquée à l’industrie forestière. Comme cela demande l’automatisation de machinerie lourde et la manipulation de l’inventaire, il est important d’avoir une localisation précise sur une échelle du décimètre. Une solution possible pour la localisation de précision est via les récepteurs Global Navigation Satellite System (GNSS) Real Time Kinematic (RTK), qui permettent de faire la localisation à une dizaine de centimètres près. Par contre, l’industrie forestière travaille dans des environnements divers qui peuvent causer des difficultés pour ces récepteurs GNSS. Par exemple dans des forêts denses ou près de bâtiments qui peuvent cacher des satellites pour la localisation. Comme l’environnement du récepteur et la qualité de la réception sont mesurables, nous avons aussi développé une méthode permettant de faire une relation entre les deux. Ce mémoire tentera d’expliquer la problématique de l’application et l’analyse de GNSS pour faire la localisation dans des environnements divers. Ensuite, le mémoire va montrer comment les récepteurs GNSS sont affectés par divers environnements en montrant des résultats d’expériences dans ces derniers. Le tout sera démontré dans le chapitre 1 et la section 4.1 Comme l’environnement est important pour estimer son influence sur les receveurs GNSS, la génération de carte 3D est importante. Cette génération est expliquée dans le chapitre 2 et la section 4.2. Une plate-forme de récolte de données que nous avons conçue sera expliquée en grand détail dans le chapitre 3. Ensuite, nous avons fait une estimation de la qualité de la visibilité de satellite avec un article scientifique dans le chapitre 5. Les résultats y montrent que notre méthode obtient une bonne relation entre l’environnement et la performance des récepteurs GNSS. Ces résultats sont tirés d’expériences réalisées dans divers environnements.

La programmation par contraintes est une technique accélérant la recherche de solutions pour des problèmes d’optimisation combinatoire. Ce mémoire porte sur l’application de cette technique en ordonnancement. Le but est d’intégrer une fonction de coût convexe à la contrainte Disjunctive qui régit l’ordre d’exécution d’un ensemble de tâches ne pouvant pas se chevaucher dans le temps. Dans ce contexte, le coût est perçu comme un retard déterminé par une échéance préférable indiquée pour chaque tâche. La contribution se traduit en l’introduction de la contrainte DisjunctiveTardiness qui tisse de nouveaux liens entre l’ordre d’exécution des tâches et la somme des retards engendrés. La cohérence de la contrainte est assurée par un algorithme de filtrage. L’algorithme raisonne à partir de la construction d’un réseau de flot pondéré basé sur la fenêtre d’exécution des tâches et leur échéance préférable. Il est implémenté dans un solveur et comparé à une alternative compétitive. Tel qu’observé, le nouvel algorithme amène un filtrage tangible, mais sa complexité trop élevée empêche d’aboutir à un nouvel état de l’art en pratique. En revanche, plusieurs pistes de solution pour réduire le temps d’exécution sont proposées. / Constraint programming is a technology originating from artificial intelligence that explores a search space to solve combinatorial problems. It uses filtering algorithms to filter the search space and speedup the search of a solution. This master thesis covers an application of this method in scheduling. The goal is to integrate a convex cost function to the Disjunctive constraint that governs the execution order of tasks unable to overlap each other on a time line. In this context, the cost is treated as a delay (tardiness) computed from a due date specified for each task. The contribution translates in a new constraint named DisjunctiveTardiness that brings a stronger relation between the order in a schedule and the sum of tardinesses. Consistency of the constraint is achieved by a filtering algorithm. The algorithm builds a weighted network flow from the allowed time window of the tasks and their due date. The solution is implemented in a solver. The experimental results show that the new algorithm applies stronger filtering, but its time complexity is too high to recommend it in practice. To conclude, several potential upgrades are proposed to reduce the execution time.