Déterminer les produits de sciage pouvant être obtenus suite à la transformation d'un billot dans une scierie permet une meilleure assignation des blocs de coupes et d'améliorer la planification des opérations. Bien que les simulateurs de débitage permettent d'anticiper la production associée à un billot, ils ne permettent pas de traiter un grand nombre de billots rapidement. Nous savons que l'apprentissage automatique peut être utilisé pour la prédiction du panier de produits associé à un billot (c.-à-d. les produits de sciage contenu dans le billot). Toutefois, prédire le panier de produits correspondant à un lot de billots n'a pas encore été étudié. Dans ce contexte, nous avons développé une approche permettant d'obtenir une prédiction par lot. Nos résultats montrent un gain jusqu'à 2% supérieur à la moyenne historique d'une scierie. Dans un second temps, les travaux précédents se concentrent sur une représentation simplifiée du billot et peu d'études ont exploré d'autres représentations du billot dans le but de prédire le panier de produits associé à chaque billot. Pour cette raison, nous avons utilisé des réseaux de neurones traitant des nuages de points obtenus par la numérisation 3D des billots. Cette approche permet une amélioration de 8% par rapport aux méthodes précédentes. Nous avons également créé une projection de la surface du billot qui performe de manière similaire aux nuages de points, tout en réduisant l'information nécessaire aux réseaux de neurones. Par la suite, nous avons combiné les diverses approches développées précédemment dans le but d'exploiter les forces de chacune des approches. Ces travaux ont permis d'observer quelques exemples où combiner les approches donnait un gain. Finalement, nous avons élaboré une série de fonctions de pertes. Celles-ci ont permis aux réseaux de neurones d'obtenir des gains de 15% par rapport aux approches initialement proposées, devenant ainsi l'état de l'art. / Determining the sawmill output that can be obtained as a result of the transformation of a log allows for better allocation of cutting blocks and improves operational planning. Although sawing simulators make it possible to anticipate the production associated with a log, they do not allow processing many logs quickly. We know that machine learning can be used to predict the basket of products associated with a log (i.e., the lumber contained in the log). However, predicting the basket of products corresponding to a batch of logs has not yet been studied. In this context, we have developed an approach to obtain a prediction for a batch of logs. Our results show a gain up to 2% higher than the historical average of a sawmill. In a second step, previous work focuses on a simplified representation of the log and few studies have explored other representations of the log in order to predict the basket of products. For this reason, we used neural networks that process point clouds obtained by 3D scanning of logs. This approach shows an 8% improvement over previous methods. We also created a projection of the log surface that performs similarly to point clouds, while reducing the information needed by the neural networks. Subsequently, we combined the various approaches developed previously with the aim of exploiting the strengths of each of the approaches. This work has made it possible to observe some examples where combining approaches improves the prediction. Finally, we developed a series of loss functions. These have allowed neural networks to achieve gains of 15% compared to the approaches initially proposed, thus becoming the state of the art.

Titre de l'écran-titre (visionné le 26 juin 2023) / En apprentissage automatique, des algorithmes sont utilisés pour apprendre des modèles mathématiques à partir de données recueillies afin de résoudre une tâche. Trouver une représentation appropriée pour décrire les données d'entrée est une étape essentielle pour obtenir un résultat favorable. Initialement, les données d'un problème spécifique étaient représentées par des attributs élaborés manuellement dans le cadre d'un processus long et ardu. Cette étape a été révolutionnée avec l'avènement de l'apprentissage de représentations, un ensemble de techniques permettant de construire automatiquement une représentation pour une tâche donnée. En pratique, les succès de l'apprentissage de représentations ont conduit à des percées remarquables dans divers domaines, notamment grâce aux méthodes d'apprentissage profond des dernières années. Cependant, ces réalisations empiriques manquent souvent d'analyse théorique solide pour fournir des garanties statistiques et une compréhension poussée. La théorie de l'apprentissage statistique, telle que la théorie PAC-Bayésienne, est un outil puissant pour étudier les algorithmes d'apprentissage automatique et les performances de généralisation des modèles. La théorie PAC-Bayésienne exprime des garanties de généralisation sur des prédicteurs qui sont construits comme une agrégation de plusieurs prédicteurs plus simples. Dans ce travail, nous nous concentrons sur l'utilisation de la théorie PAC-Bayésienne pour développer de nouvelles techniques d'apprentissage de représentations ayant des propriétés intéressantes. Tout d'abord, nous explorons l'apprentissage par noyau en nous appuyant sur la méthode des attributs aléatoires de Fourier interprétée comme un vote de majorité et analysée dans le cadre PAC-Bayésien. Nous proposons deux approches d'apprentissage : un algorithme d'alignement de noyaux et un apprentissage par mesure de similarité basée sur des points de repère. Ensuite, nous adaptons nos travaux d'apprentissage par noyau à un cadre non supervisé en utilisant des données non étiquetées avec des informations de similarité afin d'apprendre des représentations pertinentes. Finalement, nous analysons les réseaux de neurones profonds avec activation binaire en utilisant la théorie PAC-Bayésienne. Nous développons une approche pour apprendre de tels réseaux et nous obtenons des garanties de généralisation non triviales pour nos modèles. / In machine learning, algorithms are used to learn mathematical models from gathered data to solve a task. Finding a suitable representation to describe the input data is an essential step towards a favorable outcome. Originally, hand-crafted features were designed in a time-consuming process to represent data for a specific problem. This was revolutionized with the advent of representation learning, which is a set of techniques to automatically build a representation for a given task. The practical successes of representation learning led to remarkable breakthroughs in various domains, notably driven by deep learning methods in recent years. However, those empirical achievements often lack a sound theoretical analysis to provide statistical guarantees and in-depth insights. A powerful tool to study machine learning algorithms and the generalization performance of models is statistical learning theory, such as the PAC-Bayesian theory. PAC-Bayes express generalization guarantees on predictors that are built as an aggregation of multiple simpler predictors. In this work, we focus on leveraging the PAC-Bayesian theory to develop novel representation learning techniques with advantageous properties. First, we explore kernel learning by building upon the kernel random Fourier features method interpreted as a majority vote and analyzed in the PAC-Bayesian framework. We propose two learning approaches: a kernel alignment algorithm and a landmarks-based similarity measure learning. Then, we adapt our kernel learning work for an unsupervised setting using unlabeled data with similarity information to learn relevant representations. Finally, we analyze deep neural networks with binary activation using the PAC-Bayesian theory. We develop a framework to train such networks, and we obtain nonvacuous generalization bounds for our approach.

L'imagerie hyperspectrale compte un vaste éventail d'applications, du tri des matières recyclables à l'agriculture, en passant par l'exploration géologique. Cependant, l'exploitation de cette forme d'imagerie est, encore aujourd'hui, majoritairement basée sur des algorithmes statistiques. Pendant ce temps, des domaines comme la vision numérique et le traitement de la langue naturelle jouissent d'avancées majeures propulsées par l'apprentissage profond. Plusieurs défis persistent afin d'effectuer le transfert de ces techniques d'apprentissage profond vers l'imagerie hyperspectrale. Notamment, il n'existe pas de grands ensembles de données hyperspectrales annotés, qui sont nécessaires pour l'entrainement de modèles d'apprentissage profond. De plus, la nature des données nécessite que les architectures développées en vision numérique soient adaptées afin de tirer profit de l'information spectrale plutôt que géométrique. L'objectif de ce projet est de relever ces multiples défis. Premièrement, nos travaux incluent le développement d'un vaste ensemble de données de détection de cibles hyperspectrales rares pour l'évaluation des performances. Ensuite, une technique d'entrainement basé sur la génération d'échantillons synthétiques est adaptée de la littérature afin de permettre l'entrainement sans disposer d'ensembles de données préalablement étiquetées. Finalement, des modèles développés pour la vision numérique sont modifiés afin d'exploiter la nature spectrale de nos données. Plus spécifiquement, nous nous concentrons sur le Shifted Windows (Swin) Transformer, une architecture ayant récemment fait ses preuves en dépassant les performances de plusieurs techniques de pointe, par exemple en détection d'objets sur l'ensemble Common objects in context (COCO). L'ensemble de nos travaux permettent à nos modèles d'atteindre un temps d'inférence de 86.9 % à 93.6 % plus rapide et une précision améliorée par rapport aux algorithmes statistiques traditionnels. Quoique les résultats obtenus soient prometteurs, nous concluons en énumérant de potentielles améliorations qui, selon nous, permettraient d'élever cette performance davantage. / Hyperspectral imagery has a vast range of applications, from sorting in recycling centers to agriculture, including geological exploration. However, the exploitation of this type of imagery is, to this day, mostly performed using statistical algorithms. Meanwhile, fields like computer vision and natural language processing benefit from major advances fueled by deep learning. Several challenges impede the transfer of these deep learning techniques to hyperspectral imagery. Notably, no large hyperspectral labeled datasets, which are necessary to train deep learning models, are available. Moreover, the nature of the data calls for adjustments of architectures introduced in computer vision in order to take advantage of the spectral information rather than the geometric information. Therefore, our goal is to tackle these multiple challenges. First, our work includes the development of a vast dataset for hyperspectral rare target detection to enable performance evaluation. Second, we adapt a training technique based on synthetic samples generation to allow training without previously labeled data. Finally, we adapt deep learning models developed for computer vision to suit our spectral data. Specifically, we focus on the Shifted Windows (Swin) Transformer, an architecture that has recently proven itself by surpassing multiple state-of-the-art techniques, including for object detection on the Common objects in context (COCO) dataset. Together, the different parts of our work allow our models to reach an inference time 86.9 % to 93.6 % faster and an improved accuracy over traditional statistical algorithms. Even though the achieved results are very promising, we conclude by enumerating potential improvements we think could greatly benefit the system's performance.

De nombreuses applications informatiques nécessitent l’utilisation de distances. Dans le cadre de données structurées, chaînes ou arbres, nous utilisons majoritairement la distance d’édition. Celle-ci correspond au nombre minimal d’opérations d’édition (insertion, délétion et substitution) nécessaire pour transformer la première donnée en la seconde. Suivant l’application traitée, il est possible de paramétrer la distance d’édition en associant à chaque opération d’édition un poids. Dans le cadre de ce manuscrit, nous proposons une technique d’apprentissage automatique supervisée pour apprendre les poids de la distance décrite précédemment. L’algorithme utilisé, appelé Expectation-Maximisation, maximise la vraisemblance des paramètres du modèle à l’aide d’un échantillon d’apprentissage composé de paires d’exemples considérés comme similaires. La première contribution de ce manuscrit est une extension de précédents travaux sur les chaînes aux arbres sous la forme de transducteur à un unique état. Nous montrons sur une tâche de reconnaissance de caractères manuscrits, l’efficacité de l’apprentissage par rapport à l’utilisation de poids non appris. La seconde est une approche sur les chaînes sous contraintes. Le modèle est représenté par un ensemble fini d’états dans lequel les transitions sont contraintes. Une contrainte est représentée par un ensemble fini de fonctions booléennes définies sur la chaîne d’entrée et une de ses positions. Nous utilisons notre modèle pour aborder une application de recherche de sites de facteur de transcription dans des séquences génomiques / In computer science, a lot of applications use distances. In the context of structured data, strings or trees, we mainly use the edit distance. The edit distance is defined as the minimum number of edit operation (insertion, deletion and substitution) needed to transform one data into the other one. Given the application, it is possible to tune the edit distance by adding a weight to each edit operation. In this work, we use a supervised machine learning approach to learn the weight of edit operation. The exploited algorithm, called Expectation-Maximisation, is a method for finding maximum likelihood estimates of parameters in a model given a learning sample of pairs of similar examples. The first contribution is an extension of earlier works on string to trees. The model is represent by a transducer with a single state. We apply successfully our method on a handwritten character recognition task. In a last part, we introduce a new model on strings under constraints. The model is made of a finite set of states where the transitions are constrained. A constraint is a finite set of boolean functions defined over an input string and one of its position. We show the relevance of our approach on a molecular biology task. We consider the problem of detecting Transcription Factor Binding Site in DNA sequences

Lidée selon laquelle la mémoire déclarative à long terme celle qui nous permet dencoder et de récupérer sur un mode « déclaratif » des connaissances et des souvenirs acquis par le passé renvoie à deux réalités fondamentalement différentes nest pas neuve. Il y a plus de trente ans, en effet, Tulving (1972)proposait de distinguer la mémoire sémantique de la mémoire épisodique. Cette distinction est toujours admise aujourdhui et constitue une référence pour les pratiques dévaluation en neuropsychologie. Non seulement elle fournit une structure pour lanalyse clinique des troubles de la mémoire, mais elle sert également de cadre théorique pour la compréhension du syndrome amnésique (Verfaellie, 2000). Les relations quentretiennent ces deux systèmes mnésiques ainsi que les réseaux neuronaux qui les sous-tendent restent cependant encore lobjet de débats. De plus, les mécanismes impliqués dans lacquisition de nouvelles connaissances sémantiques sont peu connus. Bien que plusieurs études suggèrent que lapprentissage de nouvelles informations sémantiques dépend de mécanismes implicites (par ex., Ashby & Gott, 1988; Ashby & Maddox, 1990, 1992, Ashby, Alfonson-Reese, Turken, & Waldron, 1998; Hinton, 1981) dautres suggèrent que les mécanismes impliqués pourraient être à la fois implicite et explicites (par ex., Gopnik & Meltzoff, 1997) ou encore uniquement explicites (OConnor, Cree, & McRae, in press). En fait, limplication des mécanismes explicites et implicites pourrait dépendre du type de connaissances sémantiques à apprendre : lacquisition de labels pourrait dépendre de mécanismes plus explicites tandis que lapprentissage de catégories ou des caractéristiques de celles-ci pourrait dépendre de mécanismes plus implicites (Pitel et al., 2009). Dans cette perspective, si les mécanismes dapprentissage implicite interviennent dans lacquisition de connaissances sémantiques, il apparaît intéressant de déterminer leur rôle et les relations quentretiennent lacquisition de connaissances sémantiques et le domaine de lapprentissage implicite. Au plan théorique, cette mise en relation permettrait une meilleure compréhension du rôle joué par les processus dapprentissage implicite dans larchitecture cognitive ; par ailleurs, outre les répercussions que lon pourrait en attendre sur le plan des méthodes pédagogiques, une meilleure compréhension du rôle joué par les mécanismes dapprentissage implicite dans lapprentissage de nouvelles connaissances sémantiques devrait conduire au développement de pratiques de revalidation plus adaptées aux capacités de mémoire préservées ou résiduelles présentées par certains patients amnésiques. Dans ce travail, nous commencerons par développer les principaux modèles de la mémoire qui permettront de situer le système sémantique par rapport aux autres systèmes mnésiques. Nous développerons ensuite les modèles plus spécifiques de la mémoire sémantique qui nous aideront à mieux comprendre comment les connaissances sémantiques sont organisées et comment de nouveaux apprentissages peuvent survenir. Enfin, nous mettrons en évidence les éléments qui permettent de penser que les mécanismes dapprentissage implicite sont directement impliqués dans lacquisition de nouvelles connaissances sémantiques.

Diss.--Universität Mannheim, 2006. / Bibliogr. p. 213-227.

Thèse de doctorat : Sciences de l'éducation : Lyon 2 : 2001. / Titre provenant de l'écran-titre. Bibliogr.

Reproduction de : Thèse de doctorat : Sciences de l'éducation : Lyon 2 : 2005. / Titre provenant de l'écran-titre. Bibliogr.

Reproduction de : Thèse de doctorat : Informatique : Lyon 1 : 2005. / Titre provenant de l'écran titre. 160 Réf. bibliogr.

Mémoire (M. Ed.)--Université du Québec à Chicoutimi, 1989. / Document électronique également accessible en format PDF. CaQCU