Cette thèse étudie une classe d'algorithmes d'apprentissage par renforcement (RL), appelée « itération sur les politiques obtenues par classification » (CBPI). Contrairement aux méthodes standards de RL, CBPI n'utilise pas de représentation explicite de la fonction valeur. CBPI réalise des déroulés (des trajectoires) et estime la fonction action-valeur de la politique courante pour un nombre limité d'états et d'actions. En utilisant un ensemble d'apprentissage construit à partir de ces estimations, la politique gloutonne est apprise comme le produit d'un classificateur. La politique ainsi produite à chaque itération de l'algorithme, n'est plus définie par une fonction valeur (approximée), mais par un classificateur. Dans cette thèse, nous proposons de nouveaux algorithmes qui améliorent les performances des méthodes CBPI existantes, spécialement lorsque le nombre d’interactions avec l’environnement est limité. Nos améliorations se portent sur les deux limitations de CBPI suivantes : 1) les déroulés utilisés pour estimer les fonctions action-valeur doivent être tronqués et leur nombre est limité, créant un compromis entre le biais et la variance dans ces estimations, et 2) les déroulés sont répartis de manière uniforme entre les états déroulés et les actions disponibles, alors qu'une stratégie plus évoluée pourrait garantir un ensemble d'apprentissage plus précis. Nous proposons des algorithmes CBPI qui répondent à ces limitations, respectivement : 1) en utilisant une approximation de la fonction valeur pour améliorer la précision (en équilibrant biais et variance) des estimations, et 2) en échantillonnant de manière adaptative les déroulés parmi les paires d'état-action. / This dissertation is motivated by the study of a class of reinforcement learning (RL) algorithms, called classification-based policy iteration (CBPI). Contrary to the standard RL methods, CBPI do not use an explicit representation for value function. Instead, they use rollouts and estimate the action-value function of the current policy at a collection of states. Using a training set built from these rollout estimates, the greedy policy is learned as the output of a classifier. Thus, the policy generated at each iteration of the algorithm, is no longer defined by a (approximated) value function, but instead by a classifier. In this thesis, we propose new algorithms that improve the performance of the existing CBPI methods, especially when they have a fixed budget of interaction with the environment. Our improvements are based on the following two shortcomings of the existing CBPI algorithms: 1) The rollouts that are used to estimate the action-value functions should be truncated and their number is limited, and thus, we have to deal with bias-variance tradeoff in estimating the rollouts, and 2) The rollouts are allocated uniformly over the states in the rollout set and the available actions, while a smarter allocation strategy could guarantee a more accurate training set for the classifier. We propose CBPI algorithms that address these issues, respectively, by: 1) the use of a value function approximation to improve the accuracy (balancing the bias and variance) of the rollout estimates, and 2) adaptively sampling the rollouts over the state-action pairs.

Cette thèse de doctorat porte sur les fonctions exécutives (FE) chez les enfants. Les FE sont les processus cognitifs qui permettent aux individus de contrôler consciemment les pensées et les actions au quotidien (Jurado & Rosselli, 2007; Shallice, 1988). Elles regroupent un grand nombre de processus cognitifs, comme la planification et la résolution de problème, bien que les modèles plus récents mettent en évidence trois composantes principales, soit l’inhibition, la flexibilité et la mémoire de travail (Miyake et al., 2000). Les FE font l’objet d’un intérêt croissant en recherche en raison du fait qu’elles forment un concept clé impliqué dans plusieurs domaines de fonctionnement de l’enfant, y compris la santé, le bien-être général, les capacités d’apprentissage et d’autorégulation émotionnelle. À cet égard et depuis plusieurs années, une foulée de travaux s’intéresse, d’un côté, aux liens entre les FE et les apprentissages, plus particulièrement la lecture, et d’un autre côté, aux liens entre les FE et les difficultés émotionnelles, plus particulièrement les comportements perturbateurs. Cependant, les résultats nombreux et parfois inconsistants permettent difficilement de dégager des conclusions claires quant aux liens entre les FE, la lecture et les comportements perturbateurs. Cette thèse, constituée de deux articles, s’intéresse donc aux FE et à ses relations avec ces deux variables. Le premier article, sous forme de recension des écrits, examine les connaissances actuelles portant sur les associations entre les FE, plus précisément, l’inhibition, la flexibilité et la mémoire de travail puis les habiletés en lecture, soit le décodage et la compréhension. Les conclusions de la recension des écrits révèlent un lien général entre les FE, en particulier la mémoire de travail, et les deux composantes de la lecture. Le second article, de nature empirique explore, pour sa part, les profils exécutifs et attentionnels d’enfants âgés entre 6 et 14 ans, recrutés dans des écoles du Québec et ayant des comportements perturbateurs, en concomitance ou non avec des comportements associés au trouble du déficit de l’attention avec hyperactivité-impulsivité (TDAH). Les résultats suggèrent que les jeunes ayant des comportements perturbateurs présentent des difficultés exécutives et attentionnelles, plus particulièrement sur le plan de l’inhibition cognitive, de la résolution de problèmes/planification et de l’attention soutenue visuelle, comparativement aux enfants sans difficultés particulières, et que ces difficultés sont similaires à celles présentées par les jeunes des groupes avec un TDAH et des comportements perturbateurs concomitants ou uniquement un TDAH. En conclusion et sur les bases des résultats des deux articles présentés, l’importance et la contribution des FE dans le développement de l’enfant sont discutées de même que les forces et les limites inhérentes au travail de recherche ici présenté. Sur le plan pratique, l’association significative des FE avec la lecture et les comportements perturbateurs fait des FE une cible potentielle d’intervention et plusieurs avenues en ce sens sont proposées.

Dans le cadre de cette thèse, nous proposons des approches géométriques permettant d’analyser des mouvements humains à partir de données issues de capteurs 3D. Premièrement, nous abordons le problème de comparaison de poses et de mouvements dans des séquences contenant des modèles de corps humain en 3D. En introduisant un nouveau descripteur, appelé Extremal Human Curve (EHC), la forme du corps humain dans une pose donnée est décrite par une collection de courbes. Ces courbes extraites de la surface du maillage relient les points se situant aux extrémités du corps. Dans un formalisme Riemannien, chacune de ces courbes est considérée comme un point dans un espace de formes offrant la possibilité de les comparer. Par ailleurs, les actions sont modélisées par des trajectoires dans cet espace, où elles sont comparées en utilisant la déformation temporelle dynamique. Deuxièmement, nous proposons une approche de reconnaissance d’actions et de gestes à partir de vidéos produites par des capteurs de profondeur. A travers une modélisation géométrique, une séquence d’action est représentée par un système dynamique dont la matrice d’observabilité est caractérisée par un élément de la variété de Grassmann. Par conséquent, la reconnaissance d’actions est reformulée en un problème de classification de points sur cette variété. Ensuite, un nouvel algorithme d’apprentissage basé sur la notion d’espaces tangents est proposé afin d’améliorer le système de reconnaissance. Les résultats de notre approche, testés sur plusieurs bases de données, donnent des taux de reconnaissance de haute précision et de faible latence. / In this thesis, we focus on the development of adequate geometric frameworks in order to model and compare accurately human motion acquired from 3D sensors. In the first framework, we address the problem of pose/motion retrieval in full 3D reconstructed sequences. The human shape representation is formulated using Extremal Human Curve (EHC) descriptor extracted from the body surface. It allows efficient shape to shape comparison taking benefits from Riemannian geometry in the open curve shape space. As each human pose represented by this descriptor is viewed as a point in the shape space, we propose to model the motion sequence by a trajectory on this space. Dynamic Time Warping in the feature vector space is then used to compare different motions. In the second framework, we propose a solution for action and gesture recognition from both skeleton and depth data acquired by low cost cameras such as Microsoft Kinect. The action sequence is represented by a dynamical system whose observability matrix is characterized as an element of a Grassmann manifold. Thus, recognition problem is reformulated as a point classification on this manifold. Here, a new learning algorithm based on the notion of tangent spaces is proposed to improve recognition task. Performances of our approach on several benchmarks show high recognition accuracy with low latency.

Dans la plupart des systèmes biométriques de l’état de l’art, les données biométrique sont souvent représentés par des vecteurs de grande dimensionalité. La dimensionnalité d'éléments biométriques génèrent un problème de malédiction de dimensionnalité. Dans la biométrie multimodale, différentes modalités biométriques peuvent former différents entrés des algorithmes de classification. La fusion des modalités reste un problème difficile et est généralement traitée de manière isolée à celui de dimensionalité élevée. Cette thèse aborde le problème de la dimensionnalité élevée et le problème de la fusion multimodale dans un cadre unifié. En vertu d'un paramètre biométrique multi-modale et les données non étiquetées abondantes données, nous cherchons à extraire des caractéristiques discriminatoires de multiples modalités d'une manière non supervisée. Les contributions de cette thèse sont les suivantes: Un état de l’art des algorithmes RMVD de l'état de l'art ; Un nouveau concept de RMVD: accord de la structure de données dans sous-espace; Trois nouveaux algorithmes de MVDR basée sur des définitions différentes de l’accord de la structure dans les sous-espace; L’application des algorithmes proposés à la classification semi-supervisée, la classification non supervisée, et les problèmes de récupération de données biométriques, en particulier dans un contexte de la reconnaissance de personne en audio et vidéo; L’application des algorithmes proposés à des problèmes plus larges de reconnaissance des formes pour les données non biométriques, tels que l'image et le regroupement de texte et la recherche. / Biometric data is often represented by high-dimensional feature vectors which contain significant inter-session variation. Discriminative dimensionality reduction techniques generally follow a supervised learning scheme. However, labelled training data is generally limited in quantity and often does not reliably represent the inter-session variation encountered in test data. This thesis proposes to use multi-view dimensionality reduction (MVDR) which aims to extract discriminative features in multi-modal biometric systems, where different modalities are regarded as different views of the same data. MVDR projections are trained on feature-feature pairs where label information is not required. Since unlabelled data is easier to acquire in large quantities, and because of the natural co-existence of multiple views in multi-modal biometric problems, discriminant, low-dimensional subspaces can be learnt using the proposed MVDR approaches in a largely unsupervised manner. According to different functionalities of biometric systems, namely, clustering, and retrieval, we propose three MVDR frameworks which meet the requirements for each functionality. The proposed approaches, however, share the same spirit: all methods aim to learn a projection for each view such that a certain form of agreement is attained in the subspaces across different views. The proposed MVDR frameworks can thus be unified into one general framework for multi-view dimensionality reduction through subspace agreement. We regard this novel concept of subspace agreement to be the primary contribution of this thesis.

La détection d'anomalies est une tâche critique de l'administration des réseaux. L'apparition continue de nouvelles anomalies et la nature changeante du trafic réseau compliquent de fait la détection d'anomalies. Les méthodes existantes de détection d'anomalies s'appuient sur une connaissance préalable du trafic : soit via des signatures créées à partir d'anomalies connues, soit via un profil de normalité. Ces deux approches sont limitées : la première ne peut détecter les nouvelles anomalies et la seconde requiert une constante mise à jour de son profil de normalité. Ces deux aspects limitent de façon importante l'efficacité des méthodes de détection existantes.Nous présentons une approche non-supervisée qui permet de détecter et caractériser les anomalies réseaux de façon autonome. Notre approche utilise des techniques de partitionnement afin d'identifier les flux anormaux. Nous proposons également plusieurs techniques qui permettent de traiter les anomalies extraites pour faciliter la tâche des opérateurs. Nous évaluons les performances de notre système sur des traces de trafic réel issues de la base de trace MAWI. Les résultats obtenus mettent en évidence la possibilité de mettre en place des systèmes de détection d'anomalies autonomes et fonctionnant sans connaissance préalable / Anomaly detection has become a vital component of any network in today’s Internet. Ranging from non-malicious unexpected events such as flash-crowds and failures, to network attacks such as denials-of-service and network scans, network traffic anomalies can have serious detrimental effects on the performance and integrity of the network. The continuous arising of new anomalies and attacks create a continuous challenge to cope with events that put the network integrity at risk. Moreover, the inner polymorphic nature of traffic caused, among other things, by a highly changing protocol landscape, complicates anomaly detection system's task. In fact, most network anomaly detection systems proposed so far employ knowledge-dependent techniques, using either misuse detection signature-based detection methods or anomaly detection relying on supervised-learning techniques. However, both approaches present major limitations: the former fails to detect and characterize unknown anomalies (letting the network unprotected for long periods) and the latter requires training over labeled normal traffic, which is a difficult and expensive stage that need to be updated on a regular basis to follow network traffic evolution. Such limitations impose a serious bottleneck to the previously presented problem.We introduce an unsupervised approach to detect and characterize network anomalies, without relying on signatures, statistical training, or labeled traffic, which represents a significant step towards the autonomy of networks. Unsupervised detection is accomplished by means of robust data-clustering techniques, combining Sub-Space clustering with Evidence Accumulation or Inter-Clustering Results Association, to blindly identify anomalies in traffic flows. Correlating the results of several unsupervised detections is also performed to improve detection robustness. The correlation results are further used along other anomaly characteristics to build an anomaly hierarchy in terms of dangerousness. Characterization is then achieved by building efficient filtering rules to describe a detected anomaly. The detection and characterization performances and sensitivities to parameters are evaluated over a substantial subset of the MAWI repository which contains real network traffic traces.Our work shows that unsupervised learning techniques allow anomaly detection systems to isolate anomalous traffic without any previous knowledge. We think that this contribution constitutes a great step towards autonomous network anomaly detection.This PhD thesis has been funded through the ECODE project by the European Commission under the Framework Programme 7. The goal of this project is to develop, implement, and validate experimentally a cognitive routing system that meet the challenges experienced by the Internet in terms of manageability and security, availability and accountability, as well as routing system scalability and quality. The concerned use case inside the ECODE project is network anomaly

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Titre de l'écran-titre (visionné le 6 septembre 2023) / Afin des adapter au rythme des technologies numériques, plusieurs institutions offrent aux apprenants la possibilité de suivre un cours avec un environnement numérique d'apprentissage. Lorsque ces derniers apprennent dans un tel environnement, ils vont laisser des traces numériques qui peuvent être collectées et analysées. Pour cela, certains chercheur sont proposé des modèles de l'analytique de l'apprentissage, mais qui ne sont pas ou peu au profit de l'apprenant. Par exemple, leur modèle analytique ne favorisent pas un apprentissage autorégulé de l'apprenant sur l'environnement numérique d'apprentissage. La question est de savoir comment utiliser les traces d'apprentissage collectées sur l'environnement numérique d'apprentissage pour aider les apprenants à réussir ? Nous avons donc proposé un modèle analytique DP2A pour détecter la performance d'autorégulation sur l'environnement numérique d'apprentissage, avec l'analytique de l'apprentissage (Learning Analytics, LA) et l'apprentissage automatique supervisé. En effet, ce modèle permet de classifier les performances d'autorégulation des apprenants en deux groupes : les apprenants autorégulés et les apprenants non autorégulés. Cette classification a été effectuée en utilisant les classificateurs SVM et KNN, avec et sans ajustement des hyperparamètres de base. L'évaluation des classificateurs a montré que le classificateur SVM avec ajustement des hyperparamètres de base a bien prédit la classe d'autorégulation d'un apprenant, avec un taux de classification de 99%. Compte tenu de la performance de ce classificateur, il est approprié pour rendre optimal notre modèle DP2A dans la détection de la performance d'autorégulation des apprenants sur l'environnement numérique d'apprentissage. Il serait envisageable à l'avenir d'intégrer le classificateurs SVM avec ajustement des hyperparamètres de base pour détecter la performance d'autorégulation et éventuellement générer des conseils personnalisés à l'apprenant sur sa stratégie d'autorégulation. / Many institutions offer learners the opportunity to take a course in a digital learning environment in order to keep pace with digital technologies. When they learn in this kind of environment, they will leave digital traces that can be collected and analyzed. Some researchers have proposed models of learning analytics, but they have had little or no benefit to the learner. For example, their analytic model does not promote self-regulated learner learning in the digital learning environment. The question is how can we use the learning traces collected in the digital learning environment to help learners succeed? Consequently, we proposed a DP2A analytic model to detect self-regulatory performance in the digital learning environment, using Learning Analytics (LA) and supervised machine learning. Indeed, this model allows classifying learners' self-regulation performance into two groups: self-regulated learners and non-self-regulated learners. The classification was performed using the SVM and KNN classifiers, with and without adjustment of the basic hyperparameters. Evaluation of the classifiers showed that the SVM classifier with basics hyperparameters adjustment predicted a learner's self-regulation class well, with a classification rate of 99%. Considering the performance of this classifier, it is appropriate to make our DP2A model optimal for detecting learner's self-regulation performance in the digital learning environment. In the future, it would be conceivable to integrate the SVM classifiers with adjustment of the basic hyperparameters to detect the self-regulation performance and eventually generate personalized advice to the learner on his self-regulation strategy.

Au Canada, les abeilles sont un élément essentiel au secteur de l'agriculture en participant, en plus de leur production annuelle de miel à la pollinisation de nombreux fruits, noix et légumes. Malheureusement, le nombre des abeilles est dangereusement en baisse depuis la dernière décennie. L'intérêt du sujet et la multiplication d'initiatives de recherche dans le domaine ont fait de l'abeille un organisme modèle, notamment dans la recherche sur la dynamique hôte-microbiote. Apis mellifera possède un microbiote très spécialisé qui confère à l'abeille un large éventail de fonctions bénéfiques, allant de l'immunité à la transformation du pollen et la digestion des carbohydrates. Ce projet avait donc pour objectif de trouver des biomarqueurs prédictifs de différents traits de performance zootechniques (e.g. prévalence d'agents pathogènes et parasites, productivité) des colonies d'abeilles à partir de la composition taxonomique du microbiote intestinal. Une approche par apprentissage machine a été privilégiée afin de contourner les limitations des méthodes classiques de traiter un grand nombre de variables. Les modèles de prédiction obtenus ont permis de prédire la majorité des variables à l'étude avec succès, soulignant le potentiel de cette méthodologie dans le domaine du suivi et de la prédiction de l'état de santé des colonies d'abeilles au Canada. / The European honey bee, Apis mellifera, is an essential contributor to agriculture in Canada through the economic value of the production of honey to the extensive pollination services of numerous fruits, nuts and vegetables. Unfortunately, yearly colony losses of honey bees have seen a sharp increase during the last decade. The increasing interest and research initiatives in understanding the source of this problem have turned Apis mellifera into a model organism for research, notably in the field of host-microbiome dynamics. A. mellifera possesses a highly specialized microbiota that provides a wide array of beneficial functions to its host, from immunity to pollen processing and transformation to the metabolism of carbohydrates. This work's goal is to use the intestinal microbiome in honey bee colonies in order to discover relevant bio-markers with the capability to predict key host health and productivity metrics by using a machine learning approach in order to bypass the traditional bottleneck that is posed by classical analysis methods when dealing with high multi-dimensional problems. The models obtained in this study have successfully allowed the prediction of most variables studied (notably honey production, weight loss and gain, varroa loads, etc..), thus demonstrating the potential of this methodology as a tool to track and predict the health and performance of honey bee colonies in Canada.

Dans le domaine de l’usinage de pièces métalliques, l’usure des outils de coupe est un phénomène inévitable.Cette usure, bien qu’elle ne soit pas le seul facteur, se répercute dans la qualité des pièces fabriquées. Il est alors nécessaire de compenser cette usure en altérant la trajectoire des outils de coupe dans une machine à commande numérique. Nous évaluons différentes techniques d’apprentissage automatique afin d’estimer et de prévoir les dimensions des futures pièces usinées (et donc indirectement la compensation à apporter). Nous établissons une relation mathématique qui lie une variable de sortie, soit l’ensemble des mesures de la pièce produite, à un vecteur de variables d’entrées (historique des outils et des mesures). Nous proposons une démarche systématique pour évaluer la performance de différents modèles en contexte d’ajustement,d’interpolation et d’extrapolation. Les forêts aléatoires d’arbres décisionnels ont donné les meilleurs résultats. / Tool wear is an inevitable phenomenon in CNC manufacturing. This has a negative effect on the quality of the manufactured parts. Therefore, it is necessary to compensate the tool wear by altering the tool path in the CNC machines. We evaluate different machine learning techniques to estimate and predict the measurement / qualityof future workpieces. We establish the mathematical relation that links the output variable, corresponding to the workpiece measurements, to a vector of inputs variables (history of tools and measurements). We propose a systematic approach to evaluate the performance of different models regarding fitting, interpolation and extrapolation. Best results are obtained with random forests of decision trees.

La thermographie à phase pulsée (TPP) a été présentée comme une nouvelle technique robuste de thermographie infrarouge (TIR) pour les essais non destructifs (END). Elle utilise la transformée de Fourier discrète (TFD) sur les images thermiques obtenues après un chauffage flash de la surface avant d'un spécimen pour extraire les informations de délai de phase (ou phase). Les gammes de phase calcules (ou cartes de phase) sont utilises pour la visualisation des défauts dans de nombreux matériaux. Le contraste de température permet de détecter les défauts à partir des données thermographiques. Cependant, les images thermiques comportent généralement un niveau de bruit important et des arrière-plans non uniformes causés par un chauffage inégal et des réflexions environnementales. Par conséquent, il n'est pas facile de reconnaître efficacement les régions défectueuses. Dans ce travail, nous avons appliqué la technique LSTM (Long Short Term Memory) et des réseaux de neurones convolutifs (RNC) basés sur des modèles d'apprentissage profond (AP) à la détection des défauts et à la classification de la profondeur des défauts à partir de données d'images thermographiques. Nos résultats expérimentaux ont montré que l'architecture proposée basée sur l'AP a obtenu des scores de précision de 0.95 et 0.77 pour la classification des pixels sains et défectueux. En outre, les résultats expérimentaux ont montré que les techniques LSTM et RNC ont obtenu des précisions de 0.91 et 0.82 pour la classification de la profondeur des défauts, respectivement. Par conséquent, la technique LSTM a surpassé la technique RNC pour les cas de détection des défauts et de classification de la profondeur des défauts. / Pulse Phase Thermography (PPT) has been introduced as a novel robust Non-Destructive Testing (NDT) Infrared Thermography (IRT) technique. It employs Discrete Fourier Transform (DFT) to thermal images obtained following flash heating of the front surface of a specimen to extract the phase delay (or phase) information. The computed phase grams (or phase maps) are used for defect visualization in many materials. The temperature contrast enables defect detection based on thermographic data. However, thermal images usually involve significant measurement noise and non-uniform backgrounds caused by uneven heating and environmental reflections. As a result, it is not easy to recognize the defective regions efficiently. In this work, we applied Long Short-Term Memory (LSTM) and Convolutions Neural Networks works (CNNs) based on deep learning (DL) models to defect detection and defect depth classification from thermographic image data. Our experimental results showed that the proposed DL-based architecture achieved 0.95 and 0.77 accuracy scores for sound and defected pixels classification. Furthermore, the experimental results illustrated that LSTM and CNN techniques achieved 0.91 and 0.82 accuracies for defect-depth classification, respectively. Consequently, the LSTM technique overcame the CNNs technique for defect detection and defect-depth classification cases.