Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

L’apprentissage automatique fait parti d’une branche de l’intelligence artificielle et est utilisé dans de nombreux domaines en science. Il se divise en trois catégories principales : supervisé, non-supervisé et par renforcement. Ce mémoire de maîtrise portera uniquement sur l’apprentissage supervisé et plus précisément sur la classification de données. Un des premiers algorithmes en classification, le perceptron, fut proposé dans les années soixante. Nous proposons une variante de cet algorithme, que nous appelons le perceptron dual tronqué, qui permet l’arrêt de l’algorithme selon un nouveau critère. Nous comparerons cette nouvelle variante à d’autres variantes du perceptron. De plus, nous utiliserons le perceptron dual tronqué pour construire des classificateurs plus complexes comme les «Bayes Point Machines». / Machine Learning is a part of the artificial intelligence and is used in many fields in science. It is divided into three categories : supervised, not supervised and by reinforcement. This master’s paper will relate only the supervised learning and more precisely the classification of datas. One of the first algorithms in classification, the perceptron, was proposed in the Sixties. We propose an alternative of this algorithm, which we call the truncated dual perceptron, which allows the stop of the algorithm according to a new criterion. We will compare this new alternative with other alternatives of the perceptron. Moreover, we will use the truncated dual perceptron to build more complex classifiers like the «Bayes Point Machines».

Titre de l'écran-titre (visionné le 1er novembre 2023) / Les performances du procédé de soudage à l'arc sous gaz métallique dépendent de nombreux paramètres et choisir les bons peut être complexe, même pour un expert. Généralement un ensemble de paramètres valide se trouve par essais et erreurs. Cette méthode nécessite donc beaucoup de temps et de matériel. Nous proposons ici d'utiliser des techniques d'apprentissage supervisé, pour aider les experts dans leur prise de décision. C'est dans cet objectif que nous avons d'abord créé un jeu de données à partir d'un historique de fiches de procédures de soudure numérisées. Ensuite, nous proposons un système de recommandation en deux parties. La première étape est dédiée à l'identification, par classification, du nombre de passes de soudure. La seconde indique les sept valeurs de paramètres restantes pour chaque passe : couche, ampérage, tension, vitesse de fil, fréquence, coupure et vitesse de soudage. Le système de recommandation est capable de fournir de bons résultats pour tous les différents paramètres mentionnés ci-dessus, même si les données sont bruitées en raison de la nature heuristique du processus des experts. Parmi les 11 algorithmes testés pour chaque partie, le meilleur modèle de classification est CatBoost avec 81,94% en score F1 pondéré. Les meilleurs modèles de régression sont, quant à eux, Extra Trees ou un algorithme de boosting, avec un pourcentage d'erreur absolu moyen dans les normes attendues. Ce système de recommandation est donc, pour les experts soudeurs, un outil de soutien leur permettant de gagner du temps et des ressources lors de l'étape de recherche des paramètres. Nous nous sommes appuyés sur différentes études, à la fois pour mettre en forme ce système de recommandation, mais aussi pour en analyser les limites. Premièrement, nous exposons les résultats obtenus sur la recommandation du nombre de passes en considérant ce sous-problème comme un problème de régression. Deuxièmement, en considérant des sous-ensembles de données, la conclusion suivante s'impose : regrouper les soudures par nombre total de passes ou par type de joint, ne permet pas de développer un système plus performant. En effet, le débalancement des observations, pour chaque passe, limite la phase d'apprentissage de nos modèles sur celles les plus élevées. De même, l'augmentation de la taille du jeu de données ne garantit pas l'amélioration des prédictions du nombre de passes. Cependant, elle suggère des perspectives intéressantes pour l'ampérage, le voltage, la vitesse de fil, la fréquence, la coupure et la vitesse de soudure. Troisièmement, notre modèle est comparé avec deux autres solutions de recommandations alternatives et nous introduisons la notion de chaleur transmise. Nous montrons qu'une suite de régressions en chaîne et que le calcul de la vitesse de soudure, à partir de la prédiction de la chaleur transmise, ne permet pas d'augmenter les performances du système. Pour terminer, une méthodologie est mise au point, afin de tester en contexte industriel notre système de recommandation. Nous échangeons des éléments à prendre en compte pour insérer cette expérience dans l'entreprise, sans entraver le travail des experts, et en récoltant des informations précises pour faire avancer la recherche. Dans ce but et pour compléter, nous proposons un prototype d'interface graphique qui intègre notre système de recommandations. / In gas metal arc welding, a weld quality and performance depends on many parameters. Selecting the right ones can be complex, even for an expert. One generally proceeds through trial and error to find a good set of parameters. Therefore, the current experts' method is not optimized and can require a lot of time and materials. We propose using supervised learning techniques to help experts in their decision-making. To that extent, we first created a dataset from a history of digitized welding procedure sheets. Then, a two-part recommendation system is proposed. The first step is dedicated to identify, through classification, the number of weld passes. The second one suggests the seven remaining parameter values for each pass: layer, amperage, voltage, wire feed rate, frequency offset, trimming and welding speed. After extracting data from historical Welding Procedure Specification forms, we tested 11 different supervised learning algorithms. The recommendation system is able to provide good results for all the different settings mentioned above even if the data is noisy due to the heuristic nature of the experts' process. The best classification model is CatBoost with an 81.94% F1-Weighted-Score and the best regression models are Extra Trees or a boosting algorithm with a reduced mean absolute percentage error compared to our baseline. This recommendation system is therefore, for expert welders, a support tool allowing them to save time and resources during the parameter research stage. We relied on various studies, both to shape this recommendation system, but also to analyze its limits. Firstly, we expose results obtained for the number of passes' recommendation considering this step as a regression problem. Secondly, by working on subsets of data, the following conclusion is obvious: grouping the welds by total number of passes or by type of joint does not make it possible to develop a more efficient system. Indeed, the imbalance of the observations of passes per weld limits the learning phase of our models on the highest ones. Similarly, increasing the dataset size does not guarantee improved pass count predictions but does suggest interesting insights for amperage, voltage, wire speed, frequency, trimming and welding speed. Thirdly, our model is compared with two other alternative solutions and we introduce the notion of heat input. We show that a series of chained regressors and the calculation of the welding speed, from the prediction of the heat input, does not make it possible to increase the performance of the system. Finally, a methodology is developed in order to test our recommendation system in an industrial context. We detail the aspects to be considered to insert this experience into the company without hindering the work of the experts while collecting precise information for further work. For this purpose, we also propose a graphical interface prototype that integrates the recommendation system.

La prédiction de séquence comporte plusieurs applications en traitement du langage naturel, en bioinformatique, et en vision numérique. La complexité de calcul requise pour trouver la séquence optimale parmi un nombre exponentiel de possibilités limite cependant l’utilisation de tels algorithmes. Dans ce mémoire, nous proposons une approche permettant de résoudre cette recherche efficacement pour deux types de problèmes différents. Plus précisément, nous adressons le problème de pré-image en prédiction de structure nécessitant de trouver la séquence associée à une entrée arbitraire, et le problème consistant à trouver la séquence qui maximise la fonction de prédiction de plusieurs classificateurs et régresseurs à noyaux. Nous démontrons que ces deux problèmes se réduisent en un même problème combinatoire valide pour plusieurs noyaux à séquences. Pour ce problème, nous proposons une borne supérieure sur la fonction de prédiction pouvant être utilisée dans un algorithme de recherche branch and bound pour l’obtention de solutions optimales. Sur les tâches de reconnaissance de mots et de prédiction de phonèmes, l’approche proposée obtient des résultats compétitifs avec les algorithmes de prédiction de structure de l’état de l’art. De plus, la solution exacte du problème de pré-image augmente de manière significative les performances de prédiction en comparaison avec une approximation trouvée par l’heuristique la plus connue. Pour les tâches consistant à trouver la séquence maximisant la fonction de prédiction de classificateurs et régresseurs, nous montrons que des méthodes existantes peuvent être biaisées à prédire de longues séquences comportant des symboles répétitifs. Nous soulignons que ce biais est enlevé lorsque le noyau est normalisé. Finalement, nous présentons des résultats en conception de médicaments sur la découverte de composés principaux. Le code source peut être téléchargé à https://github.com/a-ro/preimage. / Sequence prediction algorithms have many applications in natural language processing, bioinformatics, and computer vision. However, the computational complexity required to find the optimal sequence among an exponential number of possibilities limits the use of such algorithms. In this thesis, we propose an approach to solve this search efficiently for two types of sequence prediction problems. More precisely, we address the pre-image problem encountered in structured output prediction, which consists of finding the sequence associated with an arbitrary input, and the problem of finding a sequence maximizing the prediction function of various kernel-based classifiers and regressors. We demonstrate that these problems reduce to a common combinatorial problem valid for many sequence kernels. For this problem, we propose an upper bound on the prediction function which has low computational complexity and which can be used in a branch and bound search algorithm to obtain optimal solutions. On the practical tasks of optical word recognition and grapheme-to-phoneme prediction, the proposed approach is shown to be competitive with state-of-the-art structured prediction algorithms. Moreover, the exact solution of the pre-image problem is shown to significantly improve the prediction accuracy in comparison with an approximation found by the best known heuristic. On the task of finding a sequence maximizing the prediction function of kernelbased classifiers and regressors, we highlight that existing methods can be biased toward long sequences that contain many repeated symbols. We demonstrate that this bias is removed when using normalized kernels. Finally, we present results for the discovery of lead compounds in drug discovery. The source code can be found at https://github.com/a-ro/preimage.

Titre de l'écran-titre (visionné le 10 janvier 2024) / Cette thèse se situe à l'intersection de plusieurs domaines d'études. Elle traite principalement d'apprentissage automatique, un champ d'études de l'intelligence artificielle. Plus particulièrement, elle se focalise sur la classification supervisée, un cas particulier où l'objectif est de séparer des exemples dans des classes, pour lequel on utilise des exemples étiquetés sur lesquels on apprend un classifieur. Plus précisément, nous nous concentrons sur l'apprentissage multi-vues, pour lequel les classifieurs ont accès à plusieurs types de données. De plus, cette thèse traite de l'application de l'apprentissage multivue à des données biologiques. Les données dites -omiques, qui regroupent plusieurs analyses d'un échantillon sanguin, décrivant une grande variété de processus naturels sont notre axe principal. Ces données présentent plusieurs défis, que nous explorons tout au long de cette thèse. Pour ce faire, nous présentons également plusieurs outils spécifiquement conçus pour comparer des algorithmes d'apprentissage automatique sur des données multivues. En effet, si le domaine monovue peut se reposer sur un grand nombre d'outils robustes, ils ne sont pas utilisables dans le paradigme multivues. Ainsi une partie de ce doctorat a été dédiée au développement d'outils de qualité pour l'apprentissage multivues. En outre, nos analyses expérimentales sur les données réelles nous ont suggéré que le développement d'algorithmes spécifiques pour le multivues était moins une priorité que la conception d'approches relevant les défis des données -omiques. Ainsi, la seconde partie de cette thèse est consacrée à l'étude des méthodes d'ensembles monovues. Ce domaine regroupe tous les algorithmes construits par l'agrégation de plusieurs sous-méthodes tels que les votes de majorité, particulièrement intéressants pour l'application sur les données -omiques. De ce fait, nous proposons deux nouveaux algorithmes basés sur la méthode gloutonne pour apprendre sur des données en grande dimension. Le premier, CB-Boost, se repose sur l'optimisation efficace d'une quantité théorique, la C-borne, permettant de construire des votes de majorité performants et robustes. Le second, SamBA, est une généralisation du boosting permettant de prendre en compte des expertises locales dans son modèle pour se reposer sur une fonction de décision particulièrement parcimonieuse et interprétable. / This thesis lies at the intersection of multiple fields of study. It mainly focuses on machine learning, a domain of artificial intelligence. More specifically, we study supervised classification, which goal is to separate samples in several classes, relying on labelled samples on which a classifier is fitted. More precisely, we focus on multi-view machine learning, for which the classifiers can access multiple data types. In addition, this thesis studies the application of multi-view machine learning on biological data. More particularly, we focus on -omics data, a set of biological data that regroups several analyses derived from a biological sample, covering a large range of natural processes. This type of data is characterized by multiple challenges that we explore in this thesis. To do so, we present several tools designed specifically to allow the comparison of machine learning algorithms on multi-view data. Indeed, if the mono-view case can rely on a large number of robust libraries, they are not compatible with multi-view learning. As a consequence, a section of this thesis is dedicated to present python tools for multi-view learning. Furthermore, our experimental studies on real-life -omic data suggested that the design of multi-view specific algorithms was less of a priority than the conception of approaches specifically designed to tackle the challenges of -omic data. As a consequence, the second part of this thesis is dedicated to the study of mono-view ensemble methods. This domain regroups all the algorithms built from the aggregation of several sub-methods, such as majority votes. It is particularly interesting and useful for applications on -omic data. Consequently, we propose two algorithms based on greedy optimization, designed to learn on large dimension data. The first one, CB-Boost relies on the efficient optimization of a theoretical quantity, the C-bound, to build accurate and robust majority votes. The second one, SamBA, is a generalization of the boosting framework allowing local expertise in its model, with the objective of outputting particularly sparse and interpretable decision functions.

De nos jours, les systèmes technologiques sont devenus très complexes (matériel informatique, logiciel, système de télécommunication, usine manufacturière, etc.), et cette complexité croît continuellement de sorte que les anciennes techniques intuitives utilisées pour leur conception, leur étude et leur réalisation deviennent inadaptées. À cause de cette complexité croissante, la probabilité pour qu'une erreur (ou panne) inattendue survienne est de plus en plus grande. Plus encore, quelques erreurs peuvent provoquer des accidents très graves causant des pertes économiques ou humaines. C'est dans ce cadre que les méthodes formelles ont été développées pour l'analyse, la conception et la réalisation des systèmes logiciels et électroniques quelque [i.e. quelle que] soit leur complexité. Ainsi, l'étude des systèmes à événements discrets (SED) a été introduite avec l'objectif de développer des méthodes formelles pour répondre à des besoins pressants, tels que le contrôle, le diagnostic, le pronostic, le test et la vérification des comportements discrets des systèmes technologiques. Cette thèse considère et généralise les études du contrôle et du diagnostic décentralisés des SED. Le principe commun du contrôle et du diagnostic décentralisés des SED est la prise de décision décentralisée, qui est basée sur l'utilisation d'une architecture décentralisée. Cette dernière est constituée de plusieurs décideurs locaux qui observent partiellement un SED et prennent des décisions locales qui sont ensuite fusionnées par un module de fusion D. Ce dernier, en se basant sur une fonction de fusion, calcule à partir des décisions locales une décision globale. Le système englobant les décideurs locaux et le module de fusion s'appelle un décideur décentralisé. L'ensemble de tous les décideurs décentralisés ayant D comme module de fusion est appelé D-architecture. La principale contribution de cette thèse est de proposer une nouvelle approche de prise de décision décentralisée, appelée multi-décision et qualifiée de multi-décisionnelle. Le principe de la multi-décision est basé sur l'utilisation de plusieurs (disons p) décideurs décentralisés (DD[indice supérieur j)[indice inférieur j=1,...,p] qui fonctionnent simultanément et en parallèle. Chaque DD[indice supérieur J] a une architecture décentralisée parmi celles qu'on trouve dans la littérature. C'est-à-dire que chaque DD[indice supérieur J] est constitué d'un ensemble de décideurs locaux ([Dec[indice supérieur J][indice inférieur i])[indice inférieur i=1,...,n] dont les décisions locales sont fusionnées par un module de fusion D[indice supérieur j] afin d'obtenir une décision globale. Dans l'architecture multi-décisionnelle, les décisions globales des p (DD[indice supérieur j])[indice inférieur j=1,...,p] sont fusionnées par un module D afin d'obtenir une décision effective qui respecte une propriété désirée Pr. L'intérêt de la multi-décision est que l'architecture ((DD[indice supérieur j])[indice inférieur j=1,..., p], D) constituée des différents (DD[indice supérieur j])[indice inférieur j =1,...,p] et de D généralise chacune des architectures DD[indice supérieur j]. C'est-à-dire que l'ensemble des SED auxquels on peut appliquer ((DD[indice supérieur j])[indice inférieur j=1,...,p], D) englobe les différents SED auxquels on peut appliquer les différents DD[indice supérieur j] séparément. Nous avons étudié l'approche multi-décisionnelle sur deux exemples de prise de décision : le contrôle supervisé et le diagnostic. On obtient alors le contrôle et le diagnostic multi-décisionnels. Dans les deux cas, l'approche multi-décisionnelle nécessite une décomposition de langages infinis (c.-à-d., contenant un nombre infini de séquences), qui est connue comme étant un problème difficile. Pour résoudre ce problème, on a proposé, dans le cas particulier des langages réguliers, une méthode qui transforme la décomposition d'un langage infini X en une décomposition d'un ensemble fini d'états marqués. Pour arriver à cela, on a dû s'imposer une restriction en ne considérant que les décompositions de X qui respectent une condition spécifique. Cette condition présente l'avantage de rendre les conditions d'existence de solutions vérifiables. Nous avons ainsi développé des algorithmes pour vérifier les conditions d'existence de solutions pour le contrôle et le diagnostic multi-décisionnels. Ces algorithmes ont le même ordre de complexité que les algorithmes qui vérifient les conditions d'existence de solutions pour le contrôle et le diagnostic décentralisés. Il est important de noter que les conditions d'existence obtenues pour une architecture multi-décisionnelle ((DD[indice supérieur j])[indice inférieur j=1,..., p], D) sont moins contraignantes que celles obtenues pour chacune des architectures DD[indice supérieur j].

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs. / High-level vision tasks such as generic object recognition remain out of reach for modern Artificial Intelligence systems. A promising approach involves learning algorithms, such as the Arficial Neural Network (ANN), which automatically learn to extract useful features for the task at hand. For ANNs, this represents a difficult optimization problem however. Deep Belief Networks have thus been proposed as a way to guide the discovery of intermediate representations, through a greedy unsupervised training of stacked Restricted Boltzmann Machines (RBM). The articles presented here-in represent contributions to this field of research. The first article introduces the convolutional RBM. By mimicking local receptive fields and tying the parameters of hidden units within the same feature map, we considerably reduce the number of parameters to learn and enforce local, shift-equivariant feature detectors. This translates to better likelihood scores, compared to RBMs trained on small image patches. In the second article, recent discoveries in neuroscience motivate an investigation into the impact of higher-order units on visual classification, along with the evaluation of a novel activation function. We show that ANNs with quadratic units using the softsign activation function offer better generalization error across several tasks. Finally, the third article gives a critical look at recently proposed RBM training algorithms. We show that Contrastive Divergence (CD) and Persistent CD are brittle in that they require the energy landscape to be smooth in order for their negative chain to mix well. PCD with fast-weights addresses the issue by performing small model perturbations, but may result in spurious samples. We propose using simulated tempering to draw negative samples. This leads to better generative models and increased robustness to various hyperparameters.

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs. / High-level vision tasks such as generic object recognition remain out of reach for modern Artificial Intelligence systems. A promising approach involves learning algorithms, such as the Arficial Neural Network (ANN), which automatically learn to extract useful features for the task at hand. For ANNs, this represents a difficult optimization problem however. Deep Belief Networks have thus been proposed as a way to guide the discovery of intermediate representations, through a greedy unsupervised training of stacked Restricted Boltzmann Machines (RBM). The articles presented here-in represent contributions to this field of research. The first article introduces the convolutional RBM. By mimicking local receptive fields and tying the parameters of hidden units within the same feature map, we considerably reduce the number of parameters to learn and enforce local, shift-equivariant feature detectors. This translates to better likelihood scores, compared to RBMs trained on small image patches. In the second article, recent discoveries in neuroscience motivate an investigation into the impact of higher-order units on visual classification, along with the evaluation of a novel activation function. We show that ANNs with quadratic units using the softsign activation function offer better generalization error across several tasks. Finally, the third article gives a critical look at recently proposed RBM training algorithms. We show that Contrastive Divergence (CD) and Persistent CD are brittle in that they require the energy landscape to be smooth in order for their negative chain to mix well. PCD with fast-weights addresses the issue by performing small model perturbations, but may result in spurious samples. We propose using simulated tempering to draw negative samples. This leads to better generative models and increased robustness to various hyperparameters.

La présente thèse s'intéresse à l'utilisation de méta-données textuelles pour l'analyse d'image. Nous cherchons à utiliser ces informations additionelles comme supervision faible pour l'apprentissage de modèles de reconnaissance visuelle. Nous avons observé un récent et grandissant intérêt pour les méthodes capables d'exploiter ce type de données car celles-ci peuvent potentiellement supprimer le besoin d'annotations manuelles, qui sont coûteuses en temps et en ressources. Nous concentrons nos efforts sur deux types de données visuelles associées à des informations textuelles. Tout d'abord, nous utilisons des images de dépêches qui sont accompagnées de légendes descriptives pour s'attaquer à plusieurs problèmes liés à la reconnaissance de visages. Parmi ces problèmes, la vérification de visages est la tâche consistant à décider si deux images représentent la même personne, et le nommage de visages cherche à associer les visages d'une base de données à leur noms corrects. Ensuite, nous explorons des modèles pour prédire automatiquement les labels pertinents pour des images, un problème connu sous le nom d'annotation automatique d'image. Ces modèles peuvent aussi être utilisés pour effectuer des recherches d'images à partir de mots-clés. Nous étudions enfin un scénario d'apprentissage multimodal semi-supervisé pour la catégorisation d'image. Dans ce cadre de travail, les labels sont supposés présents pour les données d'apprentissage, qu'elles soient manuellement annotées ou non, et absentes des données de test. Nos travaux se basent sur l'observation que la plupart de ces problèmes peuvent être résolus si des mesures de similarité parfaitement adaptées sont utilisées. Nous proposons donc de nouvelles approches qui combinent apprentissage de distance, modèles par plus proches voisins et méthodes par graphes pour apprendre, à partir de données visuelles et textuelles, des similarités visuelles spécifiques à chaque problème. Dans le cas des visages, nos similarités se concentrent sur l'identité des individus tandis que, pour les images, elles concernent des concepts sémantiques plus généraux. Expérimentalement, nos approches obtiennent des performances à l'état de l'art sur plusieurs bases de données complexes. Pour les deux types de données considérés, nous montrons clairement que l'apprentissage bénéficie de l'information textuelle supplémentaire résultant en l'amélioration de la performance des systèmes de reconnaissance visuelle.

La prévision des séries temporelles est un problème qui est traité depuis de nombreuses années. On y trouve des applications dans différents domaines tels que : la finance, la médecine, le transport, etc. Dans cette thèse, on s’est intéressé aux méthodes issues de l’apprentissage artificiel : les réseaux de neurones et les SVM. On s’est également intéressé à l’intérêt des méta-méthodes pour améliorer les performances des prédicteurs, notamment l’approche locale. Dans une optique de diviser pour régner, les approches locales effectuent le clustering des données avant d’affecter les prédicteurs aux sous ensembles obtenus. Nous présentons une modification dans l’algorithme d’apprentissage des réseaux de neurones récurrents afin de les adapter à cette approche. Nous proposons également deux nouvelles techniques de clustering, la première basée sur les cartes de Kohonen et la seconde sur les arbres binaires. / Time series forecasting is a widely discussed issue for many years. Researchers from various disciplines have addressed it in several application areas : finance, medical, transportation, etc. In this thesis, we focused on machine learning methods : neural networks and SVM. We have also been interested in the meta-methods to push up the predictor performances, and more specifically the local models. In a divide and conquer strategy, the local models perform a clustering over the data sets before different predictors are affected into each obtained subset. We present in this thesis a new algorithm for recurrent neural networks to use them as local predictors. We also propose two novel clustering techniques suitable for local models. The first is based on Kohonen maps, and the second is based on binary trees.