Thèse 3e cycle--Informatique--e Paris VI, 1984. / 1984 d'après la déclaration de dépôt légal. Bibliogr., 4 p.

Thèse de doctorat : Informatique : Lyon 2 : 2001. / Titre provenant de l'écran-titre. Bibliogr.

Th. 3e cycle--Informatique--Paris VI, 1981. / 1984 d'après la déclaration de dépôt légal. Bibliogr. p. 91-92.

Déterminer les produits de sciage pouvant être obtenus suite à la transformation d'un billot dans une scierie permet une meilleure assignation des blocs de coupes et d'améliorer la planification des opérations. Bien que les simulateurs de débitage permettent d'anticiper la production associée à un billot, ils ne permettent pas de traiter un grand nombre de billots rapidement. Nous savons que l'apprentissage automatique peut être utilisé pour la prédiction du panier de produits associé à un billot (c.-à-d. les produits de sciage contenu dans le billot). Toutefois, prédire le panier de produits correspondant à un lot de billots n'a pas encore été étudié. Dans ce contexte, nous avons développé une approche permettant d'obtenir une prédiction par lot. Nos résultats montrent un gain jusqu'à 2% supérieur à la moyenne historique d'une scierie. Dans un second temps, les travaux précédents se concentrent sur une représentation simplifiée du billot et peu d'études ont exploré d'autres représentations du billot dans le but de prédire le panier de produits associé à chaque billot. Pour cette raison, nous avons utilisé des réseaux de neurones traitant des nuages de points obtenus par la numérisation 3D des billots. Cette approche permet une amélioration de 8% par rapport aux méthodes précédentes. Nous avons également créé une projection de la surface du billot qui performe de manière similaire aux nuages de points, tout en réduisant l'information nécessaire aux réseaux de neurones. Par la suite, nous avons combiné les diverses approches développées précédemment dans le but d'exploiter les forces de chacune des approches. Ces travaux ont permis d'observer quelques exemples où combiner les approches donnait un gain. Finalement, nous avons élaboré une série de fonctions de pertes. Celles-ci ont permis aux réseaux de neurones d'obtenir des gains de 15% par rapport aux approches initialement proposées, devenant ainsi l'état de l'art. / Determining the sawmill output that can be obtained as a result of the transformation of a log allows for better allocation of cutting blocks and improves operational planning. Although sawing simulators make it possible to anticipate the production associated with a log, they do not allow processing many logs quickly. We know that machine learning can be used to predict the basket of products associated with a log (i.e., the lumber contained in the log). However, predicting the basket of products corresponding to a batch of logs has not yet been studied. In this context, we have developed an approach to obtain a prediction for a batch of logs. Our results show a gain up to 2% higher than the historical average of a sawmill. In a second step, previous work focuses on a simplified representation of the log and few studies have explored other representations of the log in order to predict the basket of products. For this reason, we used neural networks that process point clouds obtained by 3D scanning of logs. This approach shows an 8% improvement over previous methods. We also created a projection of the log surface that performs similarly to point clouds, while reducing the information needed by the neural networks. Subsequently, we combined the various approaches developed previously with the aim of exploiting the strengths of each of the approaches. This work has made it possible to observe some examples where combining approaches improves the prediction. Finally, we developed a series of loss functions. These have allowed neural networks to achieve gains of 15% compared to the approaches initially proposed, thus becoming the state of the art.

Déterminer les produits de sciage pouvant être obtenus suite à la transformation d'un billot dans une scierie permet une meilleure assignation des blocs de coupes et d'améliorer la planification des opérations. Bien que les simulateurs de débitage permettent d'anticiper la production associée à un billot, ils ne permettent pas de traiter un grand nombre de billots rapidement. Nous savons que l'apprentissage automatique peut être utilisé pour la prédiction du panier de produits associé à un billot (c.-à-d. les produits de sciage contenu dans le billot). Toutefois, prédire le panier de produits correspondant à un lot de billots n'a pas encore été étudié. Dans ce contexte, nous avons développé une approche permettant d'obtenir une prédiction par lot. Nos résultats montrent un gain jusqu'à 2% supérieur à la moyenne historique d'une scierie. Dans un second temps, les travaux précédents se concentrent sur une représentation simplifiée du billot et peu d'études ont exploré d'autres représentations du billot dans le but de prédire le panier de produits associé à chaque billot. Pour cette raison, nous avons utilisé des réseaux de neurones traitant des nuages de points obtenus par la numérisation 3D des billots. Cette approche permet une amélioration de 8% par rapport aux méthodes précédentes. Nous avons également créé une projection de la surface du billot qui performe de manière similaire aux nuages de points, tout en réduisant l'information nécessaire aux réseaux de neurones. Par la suite, nous avons combiné les diverses approches développées précédemment dans le but d'exploiter les forces de chacune des approches. Ces travaux ont permis d'observer quelques exemples où combiner les approches donnait un gain. Finalement, nous avons élaboré une série de fonctions de pertes. Celles-ci ont permis aux réseaux de neurones d'obtenir des gains de 15% par rapport aux approches initialement proposées, devenant ainsi l'état de l'art. / Determining the sawmill output that can be obtained as a result of the transformation of a log allows for better allocation of cutting blocks and improves operational planning. Although sawing simulators make it possible to anticipate the production associated with a log, they do not allow processing many logs quickly. We know that machine learning can be used to predict the basket of products associated with a log (i.e., the lumber contained in the log). However, predicting the basket of products corresponding to a batch of logs has not yet been studied. In this context, we have developed an approach to obtain a prediction for a batch of logs. Our results show a gain up to 2% higher than the historical average of a sawmill. In a second step, previous work focuses on a simplified representation of the log and few studies have explored other representations of the log in order to predict the basket of products. For this reason, we used neural networks that process point clouds obtained by 3D scanning of logs. This approach shows an 8% improvement over previous methods. We also created a projection of the log surface that performs similarly to point clouds, while reducing the information needed by the neural networks. Subsequently, we combined the various approaches developed previously with the aim of exploiting the strengths of each of the approaches. This work has made it possible to observe some examples where combining approaches improves the prediction. Finally, we developed a series of loss functions. These have allowed neural networks to achieve gains of 15% compared to the approaches initially proposed, thus becoming the state of the art.

Les progrès récents en matière d'apprentissage automatique supposent généralement que les données d'apprentissage et de test proviennent de la même distribution de données. Cependant, dans la pratique, les données peuvent être collectées séparément comme des ensembles de données différents. Apprendre à partir de données provenant de plusieurs domaines sources et les généraliser à un autre domaine est un problème crucial de l'apprentissage automatique. Nous abordons ce type de problème dans le contexte de l'apprentissage par transfert (TL), notamment l'adaptation de domaine (DA), la généralisation de domaine (DG) et l'apprentissage multi-tâches (MTL), et ce dans le but de transférer les caractéristiques invariantes communes à de nouveaux domaines. Nous avons étudié ce type d'apprentissage par transfert sous différents aspects, y compris les problèmes liés au décalage conditionnel dans l'adaptation de domaine, les problèmes de désalignement sémantique et de décalage d'étiquettes dans la généralisation de domaine et l'apprentissage multi-tâches en parvenant à plusieurs résultats. Concrètement, nous explorons d'abord les problèmes de décalage conditionnel (DA) avec une stratégie d'apprentissage actif pour interroger les instances les plus informatives dans le domaine cible afin de faire migrer le terme de désaccord entre les fonctions d'étiquetage des domaines source et cible. Nous explorons ensuite les similitudes de catégories dans les problèmes liés à la généralisation de domaine (DG) via l'entraînement adversarial basé sur le transport optimal avec un objectif d'apprentissage de similarité métrique afin d'améliorer la correspondance au niveau du domaine et de la classe pour les problèmes DG. Nous étudions ensuite, plus en détail les relations entre les étiquettes et la sémantique dans le MTL, où nous fournissons une compréhension théorique de la manière de contrôler les divergences entre les étiquettes et la distribution sémantique. Enfin, nous étendons l'analyse théorique sur la façon d'exploiter les étiquettes et l'information sémantique dans la généralisation de domaine (DG), en fournissant une première analyse pour comprendre les propriétés de généralisation dans le contrôle des divergences de distribution des étiquettes et de la sémantique. Pour chaque travail reflété dans cette thèse, nous menons des expériences approfondies afin de démontrer l'efficacité et les objectifs d'apprentissage. Les résultats expérimentaux confirment que nos méthodes parviennent aux performances souhaitées et indiquées par les principes d'analyse et d'apprentissage, ce qui valide les contributions de cette thèse. / Recent machine learning progresses usually assume the data for training and testing are from the same data distribution. However, in practice, the data might be gathered separately as different datasets. To learn data from several source domains and generalize to another domain, is a crucial problem in machine learning. We tackle this kind of problem in the context of Transfer Learning (TL), including Domain Adaptation (DA), Domain Generalization (DG) and Multi-task Learning (MTL), with the sake of transferring the common invariant features to new domains. We have investigated this kind of transfer learning method in several different aspects, including the conditional shift problems in domain adaptation, semantic misalignment and label shift problems in domain generalization and multi-task learning problems with several accomplishments. Concretely, we first explore the conditional shift problems DA with an active learning strategy to query the most informative instances in the target domain to migrate the disagreement term between the source and target domain labelling functions. We then explore the category similarities in the DG problems via the optimal transport-based adversarial training with a metric similarity learning objective to enhance both the domain-level and class-level matching for DG problems. After that, we further investigate the label and semantic relations in MTL, where we provide the first theoretical understanding of how to control the label and semantic distribution divergences. Lastly, we extend the theoretical analysis on how to leverage the label and semantic information in DG, providing the first analysis to understand the generalization properties on controlling the label and semantic distribution divergences. For each work reflected in this thesis, we also conduct intensive experiments to demonstrate the effectiveness and learning objectives. The experimental results confirm that our methods achieve the desired performance indicated by the analysis and learning principles, which confirms the contributions of this thesis.

Titre de l'écran-titre (visionné le 26 juin 2023) / En apprentissage automatique, des algorithmes sont utilisés pour apprendre des modèles mathématiques à partir de données recueillies afin de résoudre une tâche. Trouver une représentation appropriée pour décrire les données d'entrée est une étape essentielle pour obtenir un résultat favorable. Initialement, les données d'un problème spécifique étaient représentées par des attributs élaborés manuellement dans le cadre d'un processus long et ardu. Cette étape a été révolutionnée avec l'avènement de l'apprentissage de représentations, un ensemble de techniques permettant de construire automatiquement une représentation pour une tâche donnée. En pratique, les succès de l'apprentissage de représentations ont conduit à des percées remarquables dans divers domaines, notamment grâce aux méthodes d'apprentissage profond des dernières années. Cependant, ces réalisations empiriques manquent souvent d'analyse théorique solide pour fournir des garanties statistiques et une compréhension poussée. La théorie de l'apprentissage statistique, telle que la théorie PAC-Bayésienne, est un outil puissant pour étudier les algorithmes d'apprentissage automatique et les performances de généralisation des modèles. La théorie PAC-Bayésienne exprime des garanties de généralisation sur des prédicteurs qui sont construits comme une agrégation de plusieurs prédicteurs plus simples. Dans ce travail, nous nous concentrons sur l'utilisation de la théorie PAC-Bayésienne pour développer de nouvelles techniques d'apprentissage de représentations ayant des propriétés intéressantes. Tout d'abord, nous explorons l'apprentissage par noyau en nous appuyant sur la méthode des attributs aléatoires de Fourier interprétée comme un vote de majorité et analysée dans le cadre PAC-Bayésien. Nous proposons deux approches d'apprentissage : un algorithme d'alignement de noyaux et un apprentissage par mesure de similarité basée sur des points de repère. Ensuite, nous adaptons nos travaux d'apprentissage par noyau à un cadre non supervisé en utilisant des données non étiquetées avec des informations de similarité afin d'apprendre des représentations pertinentes. Finalement, nous analysons les réseaux de neurones profonds avec activation binaire en utilisant la théorie PAC-Bayésienne. Nous développons une approche pour apprendre de tels réseaux et nous obtenons des garanties de généralisation non triviales pour nos modèles. / In machine learning, algorithms are used to learn mathematical models from gathered data to solve a task. Finding a suitable representation to describe the input data is an essential step towards a favorable outcome. Originally, hand-crafted features were designed in a time-consuming process to represent data for a specific problem. This was revolutionized with the advent of representation learning, which is a set of techniques to automatically build a representation for a given task. The practical successes of representation learning led to remarkable breakthroughs in various domains, notably driven by deep learning methods in recent years. However, those empirical achievements often lack a sound theoretical analysis to provide statistical guarantees and in-depth insights. A powerful tool to study machine learning algorithms and the generalization performance of models is statistical learning theory, such as the PAC-Bayesian theory. PAC-Bayes express generalization guarantees on predictors that are built as an aggregation of multiple simpler predictors. In this work, we focus on leveraging the PAC-Bayesian theory to develop novel representation learning techniques with advantageous properties. First, we explore kernel learning by building upon the kernel random Fourier features method interpreted as a majority vote and analyzed in the PAC-Bayesian framework. We propose two learning approaches: a kernel alignment algorithm and a landmarks-based similarity measure learning. Then, we adapt our kernel learning work for an unsupervised setting using unlabeled data with similarity information to learn relevant representations. Finally, we analyze deep neural networks with binary activation using the PAC-Bayesian theory. We develop a framework to train such networks, and we obtain nonvacuous generalization bounds for our approach.

Thèse de doctorat : Informatique : Lyon 2 : 2001. / Thèse : 2001LYO22020. Titre provenant de l'écran-titre. Bibliogr.

Reproduction de : Habilitation à diriger des recherches : Informatique : Avignon : 2007. / Titre provenant de l'écran-titre. 167 p. Bibliogr. p. 155-167.

Thèse (M.Sc.)--Université Laval, 2007. / Titre de l'écran-titre (visionné le 5 mai 2008). Bibliogr.