Déterminer les produits de sciage pouvant être obtenus suite à la transformation d'un billot dans une scierie permet une meilleure assignation des blocs de coupes et d'améliorer la planification des opérations. Bien que les simulateurs de débitage permettent d'anticiper la production associée à un billot, ils ne permettent pas de traiter un grand nombre de billots rapidement. Nous savons que l'apprentissage automatique peut être utilisé pour la prédiction du panier de produits associé à un billot (c.-à-d. les produits de sciage contenu dans le billot). Toutefois, prédire le panier de produits correspondant à un lot de billots n'a pas encore été étudié. Dans ce contexte, nous avons développé une approche permettant d'obtenir une prédiction par lot. Nos résultats montrent un gain jusqu'à 2% supérieur à la moyenne historique d'une scierie. Dans un second temps, les travaux précédents se concentrent sur une représentation simplifiée du billot et peu d'études ont exploré d'autres représentations du billot dans le but de prédire le panier de produits associé à chaque billot. Pour cette raison, nous avons utilisé des réseaux de neurones traitant des nuages de points obtenus par la numérisation 3D des billots. Cette approche permet une amélioration de 8% par rapport aux méthodes précédentes. Nous avons également créé une projection de la surface du billot qui performe de manière similaire aux nuages de points, tout en réduisant l'information nécessaire aux réseaux de neurones. Par la suite, nous avons combiné les diverses approches développées précédemment dans le but d'exploiter les forces de chacune des approches. Ces travaux ont permis d'observer quelques exemples où combiner les approches donnait un gain. Finalement, nous avons élaboré une série de fonctions de pertes. Celles-ci ont permis aux réseaux de neurones d'obtenir des gains de 15% par rapport aux approches initialement proposées, devenant ainsi l'état de l'art. / Determining the sawmill output that can be obtained as a result of the transformation of a log allows for better allocation of cutting blocks and improves operational planning. Although sawing simulators make it possible to anticipate the production associated with a log, they do not allow processing many logs quickly. We know that machine learning can be used to predict the basket of products associated with a log (i.e., the lumber contained in the log). However, predicting the basket of products corresponding to a batch of logs has not yet been studied. In this context, we have developed an approach to obtain a prediction for a batch of logs. Our results show a gain up to 2% higher than the historical average of a sawmill. In a second step, previous work focuses on a simplified representation of the log and few studies have explored other representations of the log in order to predict the basket of products. For this reason, we used neural networks that process point clouds obtained by 3D scanning of logs. This approach shows an 8% improvement over previous methods. We also created a projection of the log surface that performs similarly to point clouds, while reducing the information needed by the neural networks. Subsequently, we combined the various approaches developed previously with the aim of exploiting the strengths of each of the approaches. This work has made it possible to observe some examples where combining approaches improves the prediction. Finally, we developed a series of loss functions. These have allowed neural networks to achieve gains of 15% compared to the approaches initially proposed, thus becoming the state of the art.

Les progrès récents en matière d'apprentissage automatique supposent généralement que les données d'apprentissage et de test proviennent de la même distribution de données. Cependant, dans la pratique, les données peuvent être collectées séparément comme des ensembles de données différents. Apprendre à partir de données provenant de plusieurs domaines sources et les généraliser à un autre domaine est un problème crucial de l'apprentissage automatique. Nous abordons ce type de problème dans le contexte de l'apprentissage par transfert (TL), notamment l'adaptation de domaine (DA), la généralisation de domaine (DG) et l'apprentissage multi-tâches (MTL), et ce dans le but de transférer les caractéristiques invariantes communes à de nouveaux domaines. Nous avons étudié ce type d'apprentissage par transfert sous différents aspects, y compris les problèmes liés au décalage conditionnel dans l'adaptation de domaine, les problèmes de désalignement sémantique et de décalage d'étiquettes dans la généralisation de domaine et l'apprentissage multi-tâches en parvenant à plusieurs résultats. Concrètement, nous explorons d'abord les problèmes de décalage conditionnel (DA) avec une stratégie d'apprentissage actif pour interroger les instances les plus informatives dans le domaine cible afin de faire migrer le terme de désaccord entre les fonctions d'étiquetage des domaines source et cible. Nous explorons ensuite les similitudes de catégories dans les problèmes liés à la généralisation de domaine (DG) via l'entraînement adversarial basé sur le transport optimal avec un objectif d'apprentissage de similarité métrique afin d'améliorer la correspondance au niveau du domaine et de la classe pour les problèmes DG. Nous étudions ensuite, plus en détail les relations entre les étiquettes et la sémantique dans le MTL, où nous fournissons une compréhension théorique de la manière de contrôler les divergences entre les étiquettes et la distribution sémantique. Enfin, nous étendons l'analyse théorique sur la façon d'exploiter les étiquettes et l'information sémantique dans la généralisation de domaine (DG), en fournissant une première analyse pour comprendre les propriétés de généralisation dans le contrôle des divergences de distribution des étiquettes et de la sémantique. Pour chaque travail reflété dans cette thèse, nous menons des expériences approfondies afin de démontrer l'efficacité et les objectifs d'apprentissage. Les résultats expérimentaux confirment que nos méthodes parviennent aux performances souhaitées et indiquées par les principes d'analyse et d'apprentissage, ce qui valide les contributions de cette thèse. / Recent machine learning progresses usually assume the data for training and testing are from the same data distribution. However, in practice, the data might be gathered separately as different datasets. To learn data from several source domains and generalize to another domain, is a crucial problem in machine learning. We tackle this kind of problem in the context of Transfer Learning (TL), including Domain Adaptation (DA), Domain Generalization (DG) and Multi-task Learning (MTL), with the sake of transferring the common invariant features to new domains. We have investigated this kind of transfer learning method in several different aspects, including the conditional shift problems in domain adaptation, semantic misalignment and label shift problems in domain generalization and multi-task learning problems with several accomplishments. Concretely, we first explore the conditional shift problems DA with an active learning strategy to query the most informative instances in the target domain to migrate the disagreement term between the source and target domain labelling functions. We then explore the category similarities in the DG problems via the optimal transport-based adversarial training with a metric similarity learning objective to enhance both the domain-level and class-level matching for DG problems. After that, we further investigate the label and semantic relations in MTL, where we provide the first theoretical understanding of how to control the label and semantic distribution divergences. Lastly, we extend the theoretical analysis on how to leverage the label and semantic information in DG, providing the first analysis to understand the generalization properties on controlling the label and semantic distribution divergences. For each work reflected in this thesis, we also conduct intensive experiments to demonstrate the effectiveness and learning objectives. The experimental results confirm that our methods achieve the desired performance indicated by the analysis and learning principles, which confirms the contributions of this thesis.

L'apprentissage à distance dans les pays en développement présente des défis uniques en raison de l'inadéquation entre les capacités des plateformes existantes et les réalités locales. De nombreuses plateformes éducatives actuelles sont conçues pour répondre aux besoins des pays développés, où l'accès aux ordinateurs et à une connectivité Internet fiable est courant. En revanche, les étudiants des pays en développement manquent souvent d'ordinateurs personnels et doivent se fier aux téléphones portables, qui ne sont pas toujours compatibles avec ces plateformes. De plus, la connectivité Internet dans ces régions est souvent limitée ou instable, entravant davantage l'accès au contenu éducatif, en particulier au partage de vidéos, qui est gourmand en bande passante. Ce projet vise à développer une application de partage de vidéos spécifiquement adaptée au contexte éducatif africain. L'application a été optimisée pour les appareils mobiles, garantissant l'accessibilité pour les étudiants qui n'ont pas accès aux ordinateurs personnels. De plus, elle incorpore des fonctionnalités permettant de fonctionner efficacement avec une connectivité Internet faible et intermittente, telles que l'accès au contenu et l'utilisation efficace des données. En répondant à ces besoins spécifiques, le projet cherche à améliorer l'efficacité de l'apprentissage à distance dans les pays en développement, offrant une expérience éducative plus inclusive et équitable. De plus, cette recherche pourrait servir de base à des travaux futurs, notamment la mise en œuvre pratique du "Versatile Video Coding (VVC)" dans les processus de téléchargement de vidéos. / Distance learning in developing countries presents unique challenges due to the mismatch between the capabilities of existing platforms and local realities. Many educational platforms are designed to meet the needs of developed countries, where access to computers and reliable Internet connectivity is common. In contrast, students in developing countries often lack personal computers and must rely on mobile phones, which are not always compatible with these platforms. Moreover, Internet connectivity in these regions is frequently limited or unstable, further hindering access to educational content, particularly video-sharing, which is bandwidth-intensive. This project aims to develop a video-sharing application specifically adapted to the African educational context. The application has been optimized for mobile devices, ensuring accessibility for students who do not have access to personal computers. Additionally, it incorporates features to function effectively with low and intermittent internet connectivity, such as access to content and efficient data usage. By addressing these specific needs, the project aims to improve the efficiency of distance learning in developing countries, offering a more inclusive and equitable educational experience. Furthermore, this research could serve as a foundation for future work, including the practical implementation of the Versatile Video Coding (VVC) standard in video uploading processes.

Titre de l'écran-titre (visionné le 26 juin 2023) / En apprentissage automatique, des algorithmes sont utilisés pour apprendre des modèles mathématiques à partir de données recueillies afin de résoudre une tâche. Trouver une représentation appropriée pour décrire les données d'entrée est une étape essentielle pour obtenir un résultat favorable. Initialement, les données d'un problème spécifique étaient représentées par des attributs élaborés manuellement dans le cadre d'un processus long et ardu. Cette étape a été révolutionnée avec l'avènement de l'apprentissage de représentations, un ensemble de techniques permettant de construire automatiquement une représentation pour une tâche donnée. En pratique, les succès de l'apprentissage de représentations ont conduit à des percées remarquables dans divers domaines, notamment grâce aux méthodes d'apprentissage profond des dernières années. Cependant, ces réalisations empiriques manquent souvent d'analyse théorique solide pour fournir des garanties statistiques et une compréhension poussée. La théorie de l'apprentissage statistique, telle que la théorie PAC-Bayésienne, est un outil puissant pour étudier les algorithmes d'apprentissage automatique et les performances de généralisation des modèles. La théorie PAC-Bayésienne exprime des garanties de généralisation sur des prédicteurs qui sont construits comme une agrégation de plusieurs prédicteurs plus simples. Dans ce travail, nous nous concentrons sur l'utilisation de la théorie PAC-Bayésienne pour développer de nouvelles techniques d'apprentissage de représentations ayant des propriétés intéressantes. Tout d'abord, nous explorons l'apprentissage par noyau en nous appuyant sur la méthode des attributs aléatoires de Fourier interprétée comme un vote de majorité et analysée dans le cadre PAC-Bayésien. Nous proposons deux approches d'apprentissage : un algorithme d'alignement de noyaux et un apprentissage par mesure de similarité basée sur des points de repère. Ensuite, nous adaptons nos travaux d'apprentissage par noyau à un cadre non supervisé en utilisant des données non étiquetées avec des informations de similarité afin d'apprendre des représentations pertinentes. Finalement, nous analysons les réseaux de neurones profonds avec activation binaire en utilisant la théorie PAC-Bayésienne. Nous développons une approche pour apprendre de tels réseaux et nous obtenons des garanties de généralisation non triviales pour nos modèles. / In machine learning, algorithms are used to learn mathematical models from gathered data to solve a task. Finding a suitable representation to describe the input data is an essential step towards a favorable outcome. Originally, hand-crafted features were designed in a time-consuming process to represent data for a specific problem. This was revolutionized with the advent of representation learning, which is a set of techniques to automatically build a representation for a given task. The practical successes of representation learning led to remarkable breakthroughs in various domains, notably driven by deep learning methods in recent years. However, those empirical achievements often lack a sound theoretical analysis to provide statistical guarantees and in-depth insights. A powerful tool to study machine learning algorithms and the generalization performance of models is statistical learning theory, such as the PAC-Bayesian theory. PAC-Bayes express generalization guarantees on predictors that are built as an aggregation of multiple simpler predictors. In this work, we focus on leveraging the PAC-Bayesian theory to develop novel representation learning techniques with advantageous properties. First, we explore kernel learning by building upon the kernel random Fourier features method interpreted as a majority vote and analyzed in the PAC-Bayesian framework. We propose two learning approaches: a kernel alignment algorithm and a landmarks-based similarity measure learning. Then, we adapt our kernel learning work for an unsupervised setting using unlabeled data with similarity information to learn relevant representations. Finally, we analyze deep neural networks with binary activation using the PAC-Bayesian theory. We develop a framework to train such networks, and we obtain nonvacuous generalization bounds for our approach.

L'imagerie hyperspectrale compte un vaste éventail d'applications, du tri des matières recyclables à l'agriculture, en passant par l'exploration géologique. Cependant, l'exploitation de cette forme d'imagerie est, encore aujourd'hui, majoritairement basée sur des algorithmes statistiques. Pendant ce temps, des domaines comme la vision numérique et le traitement de la langue naturelle jouissent d'avancées majeures propulsées par l'apprentissage profond. Plusieurs défis persistent afin d'effectuer le transfert de ces techniques d'apprentissage profond vers l'imagerie hyperspectrale. Notamment, il n'existe pas de grands ensembles de données hyperspectrales annotés, qui sont nécessaires pour l'entrainement de modèles d'apprentissage profond. De plus, la nature des données nécessite que les architectures développées en vision numérique soient adaptées afin de tirer profit de l'information spectrale plutôt que géométrique. L'objectif de ce projet est de relever ces multiples défis. Premièrement, nos travaux incluent le développement d'un vaste ensemble de données de détection de cibles hyperspectrales rares pour l'évaluation des performances. Ensuite, une technique d'entrainement basé sur la génération d'échantillons synthétiques est adaptée de la littérature afin de permettre l'entrainement sans disposer d'ensembles de données préalablement étiquetées. Finalement, des modèles développés pour la vision numérique sont modifiés afin d'exploiter la nature spectrale de nos données. Plus spécifiquement, nous nous concentrons sur le Shifted Windows (Swin) Transformer, une architecture ayant récemment fait ses preuves en dépassant les performances de plusieurs techniques de pointe, par exemple en détection d'objets sur l'ensemble Common objects in context (COCO). L'ensemble de nos travaux permettent à nos modèles d'atteindre un temps d'inférence de 86.9 % à 93.6 % plus rapide et une précision améliorée par rapport aux algorithmes statistiques traditionnels. Quoique les résultats obtenus soient prometteurs, nous concluons en énumérant de potentielles améliorations qui, selon nous, permettraient d'élever cette performance davantage. / Hyperspectral imagery has a vast range of applications, from sorting in recycling centers to agriculture, including geological exploration. However, the exploitation of this type of imagery is, to this day, mostly performed using statistical algorithms. Meanwhile, fields like computer vision and natural language processing benefit from major advances fueled by deep learning. Several challenges impede the transfer of these deep learning techniques to hyperspectral imagery. Notably, no large hyperspectral labeled datasets, which are necessary to train deep learning models, are available. Moreover, the nature of the data calls for adjustments of architectures introduced in computer vision in order to take advantage of the spectral information rather than the geometric information. Therefore, our goal is to tackle these multiple challenges. First, our work includes the development of a vast dataset for hyperspectral rare target detection to enable performance evaluation. Second, we adapt a training technique based on synthetic samples generation to allow training without previously labeled data. Finally, we adapt deep learning models developed for computer vision to suit our spectral data. Specifically, we focus on the Shifted Windows (Swin) Transformer, an architecture that has recently proven itself by surpassing multiple state-of-the-art techniques, including for object detection on the Common objects in context (COCO) dataset. Together, the different parts of our work allow our models to reach an inference time 86.9 % to 93.6 % faster and an improved accuracy over traditional statistical algorithms. Even though the achieved results are very promising, we conclude by enumerating potential improvements we think could greatly benefit the system's performance.

De nombreuses applications informatiques nécessitent l’utilisation de distances. Dans le cadre de données structurées, chaînes ou arbres, nous utilisons majoritairement la distance d’édition. Celle-ci correspond au nombre minimal d’opérations d’édition (insertion, délétion et substitution) nécessaire pour transformer la première donnée en la seconde. Suivant l’application traitée, il est possible de paramétrer la distance d’édition en associant à chaque opération d’édition un poids. Dans le cadre de ce manuscrit, nous proposons une technique d’apprentissage automatique supervisée pour apprendre les poids de la distance décrite précédemment. L’algorithme utilisé, appelé Expectation-Maximisation, maximise la vraisemblance des paramètres du modèle à l’aide d’un échantillon d’apprentissage composé de paires d’exemples considérés comme similaires. La première contribution de ce manuscrit est une extension de précédents travaux sur les chaînes aux arbres sous la forme de transducteur à un unique état. Nous montrons sur une tâche de reconnaissance de caractères manuscrits, l’efficacité de l’apprentissage par rapport à l’utilisation de poids non appris. La seconde est une approche sur les chaînes sous contraintes. Le modèle est représenté par un ensemble fini d’états dans lequel les transitions sont contraintes. Une contrainte est représentée par un ensemble fini de fonctions booléennes définies sur la chaîne d’entrée et une de ses positions. Nous utilisons notre modèle pour aborder une application de recherche de sites de facteur de transcription dans des séquences génomiques / In computer science, a lot of applications use distances. In the context of structured data, strings or trees, we mainly use the edit distance. The edit distance is defined as the minimum number of edit operation (insertion, deletion and substitution) needed to transform one data into the other one. Given the application, it is possible to tune the edit distance by adding a weight to each edit operation. In this work, we use a supervised machine learning approach to learn the weight of edit operation. The exploited algorithm, called Expectation-Maximisation, is a method for finding maximum likelihood estimates of parameters in a model given a learning sample of pairs of similar examples. The first contribution is an extension of earlier works on string to trees. The model is represent by a transducer with a single state. We apply successfully our method on a handwritten character recognition task. In a last part, we introduce a new model on strings under constraints. The model is made of a finite set of states where the transitions are constrained. A constraint is a finite set of boolean functions defined over an input string and one of its position. We show the relevance of our approach on a molecular biology task. We consider the problem of detecting Transcription Factor Binding Site in DNA sequences

Lidée selon laquelle la mémoire déclarative à long terme celle qui nous permet dencoder et de récupérer sur un mode « déclaratif » des connaissances et des souvenirs acquis par le passé renvoie à deux réalités fondamentalement différentes nest pas neuve. Il y a plus de trente ans, en effet, Tulving (1972)proposait de distinguer la mémoire sémantique de la mémoire épisodique. Cette distinction est toujours admise aujourdhui et constitue une référence pour les pratiques dévaluation en neuropsychologie. Non seulement elle fournit une structure pour lanalyse clinique des troubles de la mémoire, mais elle sert également de cadre théorique pour la compréhension du syndrome amnésique (Verfaellie, 2000). Les relations quentretiennent ces deux systèmes mnésiques ainsi que les réseaux neuronaux qui les sous-tendent restent cependant encore lobjet de débats. De plus, les mécanismes impliqués dans lacquisition de nouvelles connaissances sémantiques sont peu connus. Bien que plusieurs études suggèrent que lapprentissage de nouvelles informations sémantiques dépend de mécanismes implicites (par ex., Ashby & Gott, 1988; Ashby & Maddox, 1990, 1992, Ashby, Alfonson-Reese, Turken, & Waldron, 1998; Hinton, 1981) dautres suggèrent que les mécanismes impliqués pourraient être à la fois implicite et explicites (par ex., Gopnik & Meltzoff, 1997) ou encore uniquement explicites (OConnor, Cree, & McRae, in press). En fait, limplication des mécanismes explicites et implicites pourrait dépendre du type de connaissances sémantiques à apprendre : lacquisition de labels pourrait dépendre de mécanismes plus explicites tandis que lapprentissage de catégories ou des caractéristiques de celles-ci pourrait dépendre de mécanismes plus implicites (Pitel et al., 2009). Dans cette perspective, si les mécanismes dapprentissage implicite interviennent dans lacquisition de connaissances sémantiques, il apparaît intéressant de déterminer leur rôle et les relations quentretiennent lacquisition de connaissances sémantiques et le domaine de lapprentissage implicite. Au plan théorique, cette mise en relation permettrait une meilleure compréhension du rôle joué par les processus dapprentissage implicite dans larchitecture cognitive ; par ailleurs, outre les répercussions que lon pourrait en attendre sur le plan des méthodes pédagogiques, une meilleure compréhension du rôle joué par les mécanismes dapprentissage implicite dans lapprentissage de nouvelles connaissances sémantiques devrait conduire au développement de pratiques de revalidation plus adaptées aux capacités de mémoire préservées ou résiduelles présentées par certains patients amnésiques. Dans ce travail, nous commencerons par développer les principaux modèles de la mémoire qui permettront de situer le système sémantique par rapport aux autres systèmes mnésiques. Nous développerons ensuite les modèles plus spécifiques de la mémoire sémantique qui nous aideront à mieux comprendre comment les connaissances sémantiques sont organisées et comment de nouveaux apprentissages peuvent survenir. Enfin, nous mettrons en évidence les éléments qui permettent de penser que les mécanismes dapprentissage implicite sont directement impliqués dans lacquisition de nouvelles connaissances sémantiques.

Diss.--Universität Mannheim, 2006. / Bibliogr. p. 213-227.

Thèse de doctorat : Sciences de l'éducation : Lyon 2 : 2001. / Titre provenant de l'écran-titre. Bibliogr.

Reproduction de : Thèse de doctorat : Sciences de l'éducation : Lyon 2 : 2005. / Titre provenant de l'écran-titre. Bibliogr.