Apprendre des tâches simultanément peut améliorer la performance de prédiction par rapport à l'apprentissage de ces tâches de manière indépendante. Dans cette thèse, nous considérons l'apprentissage multi-tâche lorsque le nombre de tâches est grand. En outre, nous débattons des restrictions imposées sur les tâches. Ces restrictions peuvent être trouvées dans les méthodes de l'état de l'art. Plus précisément on trouve les restrictions suivantes : l'imposition du même espace d'étiquette sur les tâches, l'exigence des mêmes exemples d'apprentissage entre tâches et / ou supposant une hypothèse de corrélation globale entre tâches. Nous proposons des nouveaux classificateurs multi-tâches qui relaxent les restrictions précédentes. Nos classificateurs sont considérés en fonction de la théorie de l'apprentissage PAC des classifieurs faibles, donc, afin de parvenir à un faible taux d'erreur de classification, un ensemble de ces classifieurs faibles doivent être appris. Ce cadre est appelé l'apprentissage d'ensembles, dans lequel nous proposons un algorithme d'apprentissage multi-tâche inspiré de l'algorithme Adaboost pour seule tâche. Différentes variantes sont proposées également, à savoir, les forêts aléatoires pour le multi-tâche, c'est une méthode d'apprentissage d'ensemble, mais fondée sur le principe statistique d'échantillonnage Bootstrap. Enfin, nous donnons une validation expérimentale qui montre que l'approche sur-performe des méthodes existantes et permet d'apprendre des nouvelles configurations de tâches qui ne correspondent pas aux méthodes de l'état de l'art. / Learning multiple related tasks jointly by exploiting their underlying shared knowledge can improve the predictive performance on every task compared to learning them individually. In this thesis, we address the problem of multi-task learning (MTL) when the tasks are heterogenous: they do not share the same labels (eventually with different number of labels), they do not require shared examples. In addition, no prior assumption about the relatedness pattern between tasks is made. Our contribution to multi-task learning lies in the framework of en- semble learning where the learned function consists normally of an ensemble of "weak " hypothesis aggregated together by an ensemble learning algorithm (Boosting, Bagging, etc.). We propose two approaches to cope with heterogenous tasks without making prior assumptions about the relatedness patterns. For each approach, we devise novel multi-task weak hypothesis along with their learning algorithms then we adapt a boosting algorithm to the multi-task setting. In the first approach, the weak classi ers we consider are 2-level decision stumps for di erent tasks. A weak classi er assigns a class to each instance on two tasks and abstain on other tasks. The weak classi ers allow to handle dependencies between tasks on the instance space. We introduce di fferent effi cient weak learners. We then consider Adaboost with weak classi ers which can abstain and adapt it to multi-task learning. In an empirical study, we compare the weak learners and we study the influence of the number of boosting rounds. In the second approach, we develop the multi-task Adaboost environment with Multi-Task Decision Trees as weak classi ers. We fi rst adapt the well known decision tree learning to the multi-task setting. We revise the information gain rule for learning decision trees in the multi-task setting. We use this feature to develop a novel criterion for learning Multi-Task Decision Trees. The criterion guides the tree construction by learning the decision rules from data of di fferent tasks, and representing diff erent degrees of task relatedness. We then modify MT-Adaboost to combine Multi-task Decision Trees as weak learners. We experimentally validate the advantage of our approaches; we report results of experiments conducted on several multi-task datasets, including the Enron email set and Spam Filtering collection.

Les interfaces cerveau machine (BCI pour Brain Computer Interfaces) non invasives permettent à leur utilisateur de contrôler une machine par la pensée. Ce dernier doit porter un dispositif d'acquisition de signaux électroencéphalographiques (EEG), qui sont dotés d'un rapport signal sur bruit assez faible ; à ceci s'ajoute l’importante variabilité tant à travers les sessions d'utilisation qu’à travers les utilisateurs. Par conséquent, la calibration du BCI est souvent nécessaire avant son utilisation. Cette thèse étudie les sources de cette variabilité, dans le but d'explorer, concevoir, et implémenter des méthodes d'autocalibration. Nous étudions la variabilité des potentiels évoqués, particulièrement une composante tardive appelée P300. Nous nous penchons sur trois méthodes d’apprentissage par transfert : la Géométrie Riemannienne, le Transport Optimal, et l’apprentissage ensembliste. Nous proposons un modèle de l'EEG qui tient compte de la variabilité. Les paramètres résultants de nos analyses nous servent à calibrer ce modèle et à simuler une base de données, qui nous sert à évaluer la performance des méthodes d’apprentissage par transfert. Puis ces méthodes sont combinées et appliquées à des données expérimentales. Nous proposons une méthode de classification basée sur le Transport Optimal dont nous évaluons la performance. Ensuite, nous introduisons un marqueur de séparabilité qui nous permet de combiner Géométrie Riemannienne, Transport Optimal et apprentissage ensembliste. La combinaison de plusieurs méthodes d’apprentissage par transfert nous permet d’obtenir un classifieur qui s’affranchit des différentes sources de variabilité des signaux EEG. / Non-invasive Brain Computer Interfaces (BCIs) allow a user to control a machine using only their brain activity. The BCI system acquires electroencephalographic (EEG) signals, characterized by a low signal-to-noise ratio and an important variability both across sessions and across users. Typically, the BCI system is calibrated before each use, in a process during which the user has to perform a predefined task. This thesis studies of the sources of this variability, with the aim of exploring, designing, and implementing zero-calibration methods. We review the variability of the event related potentials (ERP), focusing mostly on a late component known as the P300. This allows us to quantify the sources of EEG signal variability. Our solution to tackle this variability is to focus on adaptive machine learning methods. We focus on three transfer learning methods: Riemannian Geometry, Optimal Transport, and Ensemble Learning. We propose a model of the EEG takes variability into account. The parameters resulting from our analyses allow us to calibrate this model in a set of simulations, which we use to evaluate the performance of the aforementioned transfer learning methods. These methods are combined and applied to experimental data. We first propose a classification method based on Optimal Transport. Then, we introduce a separability marker which we use to combine Riemannian Geometry, Optimal Transport and Ensemble Learning. Our results demonstrate that the combination of several transfer learning methods produces a classifier that efficiently handles multiple sources of EEG signal variability.

La schizophrénie est un trouble mental, chronique et invalidant caractérisé par divers symptômes tels que des hallucinations, des épisodes délirants ainsi que des déficiences dans les fonctions cognitives. Au fil des ans, l'Imagerie par Résonance Magnétique (IRM) a été de plus en plus utilisée pour mieux comprendre les anomalies structurelles et fonctionnelles inhérentes à ce trouble. Les progrès récents en apprentissage automatique et l'apparition de larges bases de données ouvrent maintenant la voie vers la découverte de biomarqueurs pour le diagnostic/ pronostic assisté par ordinateur. Compte tenu des limitations des algorithmes actuels à produire des signatures prédictives stables et interprétables, nous avons prolongé les approches classiques de régularisation avec des contraintes structurelles provenant de la structure spatiale du cerveau afin de: forcer la solution à adhérer aux hypothèses biologiques, produisant des solutions interprétables et plausibles. De telles contraintes structurelles ont été utilisées pour d'abord identifier une signature neuroanatomique de la schizophrénie et ensuite une signature fonctionnelle des hallucinations chez les patients atteints de schizophrénie. / Schizophrenia is a disabling chronic mental disorder characterized by various symptoms such as hallucinations, delusions as well as impairments in high-order cognitive functions. Over the years, Magnetic Resonance Imaging (MRI) has been increasingly used to gain insights on the structural and functional abnormalities inherent to the disorder. Recent progress in machine learning together with the availability of large datasets now pave the way to capture complex relationships to make inferences at an individual level in the perspective of computer-aided diagnosis/prognosis or biomarkers discovery. Given the limitations of state-of-the-art sparse algorithms to produce stable and interpretable predictive signatures, we have pushed forward the regularization approaches extending classical algorithms with structural constraints issued from the known biological structure (spatial structure of the brain) in order to force the solution to adhere to biological priors, producing more plausible interpretable solutions. Such structured sparsity constraints have been leveraged to identify first, a neuroanatomical signature of schizophrenia and second a neuroimaging functional signature of hallucinations in patients with schizophrenia. Additionally, we also extended the popular PCA (Principal Component Analysis) with spatial regularization to identify interpretable patterns of the neuroimaging variability in either functional or anatomical meshes of the cortical surface.

Le problème des bandits manchots est un cadre théorique permettant d'étudier le compromis entre exploration et exploitation lorsque l'information observée est partielle. Dans celui-ci, un joueur dispose d'un ensemble de K bras (ou actions), chacun associé à une distribution de récompenses D(µk) de moyenne µk Є [0, 1] et de support [0, 1]. A chaque tour t Є [1, T], il choisit un bras kt et observe la récompense y kt tirée depuis D (µkt). La difficulté du problème vient du fait que le joueur observe uniquement la récompense associée au bras joué; il ne connaît pas celle qui aurait pu être obtenue en jouant un autre bras. À chaque choix, il est ainsi confronté au dilemme entre l'exploration et l'exploitation; explorer lui permet d'affiner sa connaissance des distributions associées aux bras explorés tandis qu'exploiter lui permet d'accumuler davantage de récompenses en jouant le meilleur bras empirique (sous réserve que le meilleur bras empirique soit effectivement le meilleur bras). Dans la première partie de la thèse nous aborderons le problème des bandits manchots lorsque les distributions générant les récompenses sont non-stationnaires. Nous étudierons dans un premier temps le cas où même si les distributions varient au cours du temps, le meilleur bras ne change pas. Nous étudierons ensuite le cas où le meilleur bras peut aussi changer au cours du temps. La seconde partie est consacrée aux algorithmes de bandits contextuels où les récompenses dépendent de l'état de l'environnement. Nous étudierons l'utilisation des réseaux de neurones et des forêts d'arbres dans le cas des bandits contextuels puis les différentes approches à base de méta-bandits permettant de sélectionner en ligne l'expert le plus performant durant son apprentissage. / The multi-armed bandit is a framework allowing the study of the trade-off between exploration and exploitation under partial feedback. At each turn t Є [1,T] of the game, a player has to choose an arm kt in a set of K and receives a reward ykt drawn from a reward distribution D(µkt) of mean µkt and support [0,1]. This is a challeging problem as the player only knows the reward associated with the played arm and does not know what would be the reward if she had played another arm. Before each play, she is confronted to the dilemma between exploration and exploitation; exploring allows to increase the confidence of the reward estimators and exploiting allows to increase the cumulative reward by playing the empirical best arm (under the assumption that the empirical best arm is indeed the actual best arm).In the first part of the thesis, we will tackle the multi-armed bandit problem when reward distributions are non-stationary. Firstly, we will study the case where, even if reward distributions change during the game, the best arm stays the same. Secondly, we will study the case where the best arm changes during the game. The second part of the thesis tacles the contextual bandit problem where means of reward distributions are now dependent of the environment's current state. We will study the use of neural networks and random forests in the case of contextual bandits. We will then propose meta-bandit based approach for selecting online the most performant expert during its learning.

Ces recherches sont motivées par la nécessité de développer de nouvelles méthodes d'optimisation des systèmes électriques. Dans ce domaine, les méthodes usuelles de contrôle et d'investissement sont à présent limitées de par les problèmes comportant une grande part d'aléa, qui interviennent lors de l'introduction massive d'énergies renouvelables. Après la présentation des différentes facettes de l'optimisation d'un système électrique, nous discuterons le problème d'optimisation continue bruitée de type boîte noire puis des cas bruités comprenant des caractéristiques supplémentaires.Concernant la contribution à l'optimisation continue bruitée de type boîte noire, nous nous intéresserons aux bornes inférieures et supérieures du taux de convergence de différentes familles d'algorithmes. Nous étudierons la convergence d'algorithmes basés sur les comparaisons, en particuliers les Stratégies d'Evolution, face à différents niveaux de bruit (faible, modéré et fort). Nous étendrons également les résultats de convergence des algorithmes basés sur les évaluations lors d'un bruit faible. Finalement, nous proposerons une méthode de sélection pour choisir le meilleur algorithme, parmi un éventail d'algorithme d'optimisation bruitée, sur un problème donné.Pour ce qui est de la contribution aux cas bruités avec des contraintes supplémentaires, les cas délicats, nous introduirons des concepts issus de l'apprentissage par renforcement, de la théorie de la décision et des statistiques. L'objectif est de proposer des méthodes d'optimisation plus proches de la réalité (en termes de modélisation) et plus robuste. Nous rechercherons également des critères de fiabilité des systèmes électriques moins conservatifs. / This research is motivated by the need to find out new methods to optimize a power system. In this field, traditional management and investment methods are limited in front of highly stochastic problems which occur when introducing renewable energies at a large scale. After introducing the various facets of power system optimization, we discuss the continuous black-box noisy optimization problem and then some noisy cases with extra features.Regarding the contribution to continuous black-box noisy optimization, we are interested into finding lower and upper bounds on the rate of convergence of various families of algorithms. We study the convergence of comparison-based algorithms, including Evolution Strategies, in front of different strength of noise (small, moderate and big). We also extend the convergence results in the case of value-based algorithms when dealing with small noise. Last, we propose a selection tool to choose, between several noisy optimization algorithms, the best one on a given problem.For the contribution to noisy cases with additional constraints, the delicate cases, we introduce concepts from reinforcement learning, decision theory and statistic fields. We aim to propose optimization methods closer from the reality (in terms of modelling) and more robust. We also look for less conservative power system reliability criteria.

Les méthodes classiques d'apprentissage automatique reposent souvent sur une hypothèse simple mais restrictive: les données du passé et du présent sont générées selon une même distribution. Cette hypothèse permet de développer directement des garanties théoriques sur la précision de l'apprentissage. Cependant, elle n'est pas réaliste dans un grand nombre de domaines applicatifs qui ont émergé au cours des dernières années.Dans cette thèse, nous nous intéressons à quatre problèmes différents en intelligence artificielle, unis par un point commun: tous impliquent un transfer de connaissance d'un domaine vers un autre. Le premier problème est le raisonnement par analogie et s'intéresse à des assertions de la forme "A est à B ce que C est à D". Le second est l'apprentissage par transfert et se concentre sur des problèmes de classification dans des contextes où les données d'entraînement et de test ne sont pas de même distribution (ou n'appartiennent même pas au même espace). Le troisième est l'apprentissage sur flux de données, qui prend en compte des données apparaissant continument une à une à haute fréquence, avec des changements de distribution. Le dernier est le clustering collaboratif et consiste à faire échanger de l'information entre algorithmes de clusterings pour améliorer la qualité de leurs prédictions.La principale contribution de cette thèse est un cadre général pour traiter les problèmes de transfer. Ce cadre s'appuie sur la notion de complexité de Kolmogorov, qui mesure l'information continue dans un objet. Cet outil est particulièrement adapté au problème de transfert, du fait qu'il ne repose pas sur la notion de probabilité tout en étant capable de modéliser les changements de distributions.En plus de cet effort de modélisation, nous proposons dans cette thèse diverses discussions sur d'autres aspects ou applications de ces problèmes. Ces discussions s'articulent autour de la possibilité de transfert dans différents domaines et peuvent s'appuyer sur d'autres outils que la complexité. / Classical learning methods are often based on a simple but restrictive assumption: The present and future data are generated according to the same distributions. This hypothesis is particularly convenient when it comes to developing theoretical guarantees that the learning is accurate. However, it is not realistic from the point of view of applicative domains that have emerged in the last years.In this thesis, we focus on four distinct problems in artificial intelligence, that have mainly one common point: All of them imply knowledge transfer from one domain to the other. The first problem is analogical reasoning and concerns statements of the form "A is to B as C is to D". The second one is transfer learning and involves classification problem in situations where the training data and test data do not have the same distribution (nor even belong to the same space). The third one is data stream mining, ie. managing data that arrive one by one in a continuous and high-frequency stream with changes in the distributions. The last one is collaborative clustering and focuses on exchange of information between clustering algorithms to improve the quality of their predictions.The main contribution of this thesis is to present a general framework to deal with these transfer problems. This framework is based on the notion of Kolmogorov complexity, which measures the inner information of an object. This tool is particularly adapted to the problem of transfer, since it does not rely on probability distributions while being able to model the changes in the distributions.Apart from this modeling effort, we propose, in this thesis, various discussions on aspects and applications of the different problems of interest. These discussions all concern the possibility of transfer in multiple domains and are not based on complexity only.

Dans les prochaines décennies, la circulation et les temps de trajets augmenteront drastiquement en raison du fort taux d'accroissement de la population urbaine. L'augmentation grandissante de la congestion sur les réseaux de transports menace le bon fonctionnement des villes à plusieurs niveaux, tels que le bien-être des citoyens, la santé, l'économie, le tourisme ou la pollution.Ainsi, il est urgent, pour les autorités locales et nationales, de promouvoir l'innovation pour la planification urbaine, à l'aide d'une politique de soutien à l'innovation et de prises de mesures radicales.Pour guider les processus de décisions, il est crucial d'estimer, analyser et comprendre la mobilité urbaine au quotidien.Traditionnellement, les informations sur les déplacements des populations était collectées via des rapports nationaux et locaux, tels que les recensements et les enquêtes. Toutefois, ces derniers ont un coût important, induisant une très faible fréquence de mise-à-jour, ainsi qu'une temporalité restreinte des données.En parallèle, les technologies de l'information et de la communication fournissent une quantité de données de mobilité sans précédent, au jour le jour, toutes catégories de population confondues. En particulier, les téléphones portables accompagnent désormais la majorité des citoyens lors de leurs déplacements et activités du quotidien. Dans cette thèse, nous estimons la mobilité urbaine par l'exploration des données du réseau mobile, qui sont collectées en temps réel, sans coût additionnel, par les opérateurs télécoms. Le traitement des données brutes est non-trivial en raison de leur nature sporadique et de la faible précision spatiale couplée à un bruit complexe.La thèse adresse deux problématiques via un schéma d'apprentissage faiblement supervisé (i.e., utilisant très peu de données labellisées) combinant plusieurs sources de données de mobilité. Dans un premier temps, nous estimons les densités de population et le nombre de visiteurs au cours du temps, à une échelle spatio-temporelle relativement fine.Dans un second temps, nous construisons les matrices Origine-Destination qui représentent les flux totaux de déplacements au cours du temps, pour différents modes de transports.Ces estimations sont validées par une comparaison avec des données de mobilité externes, avec lesquelles de fortes corrélations et de faibles erreurs sont obtenues.Les modèles proposés sont robustes au bruit et à la faible fréquence des données, bien que la performance des modèles soit fortement dépendante de l'échelle spatiale.Pour atteindre une performance optimale, la calibration des modèles doit également prendre en compte la zone d'étude et le mode de transport. Cette étape est nécessaire pour réduire les biais générés par une densité urbaine hétérogène et les différents comportements utilisateur.Ces travaux sont les premiers à estimer les flux totaux de voyageurs routiers et ferrés dans le temps, à l'échelle intra-régionale.Bien qu'une validation plus approfondie des modèles soit requise pour les renforcer, nos résultats mettent en évidence l'énorme potentiel de la science des données de réseaux mobiles appliquées à la planification urbaine / In the upcoming decades, traffic and travel times are expected to skyrocket, following tremendous population growth in urban territories. The increasing congestion on transport networks threatens cities efficiency at several levels such as citizens well-being, health, economy, tourism and pollution. Thus, local and national authorities are urged to promote urban planning innovation by adopting supportive policies leading to effective and radical measures. Prior to decision making processes, it is crucial to estimate, analyze and understand daily urban mobility. Traditionally, the information on population movements has been gathered through national and local reports such as census and surveys. Still, such materials are constrained by their important cost, inducing extremely low-update frequency and lack of temporal variability. On the meantime, information and communications technologies are providing an unprecedented quantity of up-to-date mobility data, across all categories of population. In particular, most individuals carry their mobile phone everywhere through their daily trips and activities. In this thesis, we estimate urban mobility by mining mobile network data, which are collected in real-time by mobile phone providers at no extra-cost. Processing the raw data is non-trivial as one must deal with temporal sparsity, coarse spatial precision and complex spatial noise. The thesis addresses two problematics through a weakly supervised learning scheme (i.e., using few labeled data) combining several mobility data sources. First, we estimate population densities and number of visitors over time, at fine spatio-temporal resolutions. Second, we derive Origin-Destination matrices representing total travel flows over time, per transport modes. All estimates are exhaustively validated against external mobility data, with high correlations and small errors. Overall, the proposed models are robust to noise and sparse data yet the performance highly depends on the choice of the spatial resolution. In addition, reaching optimal model performance requires extra-calibration specific to the case study region and to the transportation mode. This step is necessary to account for the bias induced by the joined effect of heterogeneous urban density and user behavior. Our work is the first successful attempt to characterize total road and rail passenger flows over time, at the intra-region level.Although additional in-depth validation is required to strengthen this statement, our findings highlight the huge potential of mobile network data mining for urban planning applications

La plupart des métriques de qualité logicielle mesurables sont actuellement basées sur des mesures bas niveau, telles que la complexité cyclomatique, le nombre de lignes de commentaires ou le nombre de blocs dupliqués. De même, la qualité de l'ingénierie logicielle est davantage liée à des facteurs techniques ou de gestion, et devrait fournir des indicateurs utiles pour les exigences de qualité. Actuellement, l'évaluation de ces exigences de qualité n'est pas automatisée, elle n'est pas validée empiriquement dans des contextes réels et l'évaluation est définie sans tenir compte des principes de la théorie de la mesure. Par conséquent, il est difficile de comprendre où et comment améliorer le logiciel suivant le résultat obtenu. Dans ce domaine, les principaux défis consistent à définir des métriques adéquates et utiles pour les exigences de qualité, les documents de conception de logiciels et autres artefacts logiciels, y compris les activités de test.Les principales problématiques scientifiques abordées dans cette thèse sont les suivantes: définir des mesures et des outils de support pour mesurer les activités d'ingénierie logicielle modernes en termes d'efficacité et de qualité. La seconde consiste à analyser les résultats de mesure pour identifier quoi et comment s'améliorer automatiquement. Le dernier consiste en l'automatisation du processus de mesure afin de réduire le temps de développement. Une telle solution hautement automatisée et facile à déployer constituera une solution révolutionnaire, car les outils actuels ne le prennent pas en charge, sauf pour une portée très limitée. / Most of the measurable software quality metrics are currently based on low level metrics, such as cyclomatic complexity, number of comment lines or number of duplicated blocks. Likewise, quality of software engineering is more related to technical or management factoid, and should provide useful metrics for quality requirements. Currently the assessment of these quality requirements is not automated, not empirically validated in real contexts, and the assessment is defined without considering principles of measurement theory. Therefore it is difficult to understand where and how to improve the software following the obtained result. In this domain, the main challenges are to define adequate and useful metrics for quality requirements, software design documents and other software artifacts, including testing activities.The main scientific problematic that are tackled in this proposed thesis are the following : defining metrics and its supporting tools for measuring modern software engineering activities with respect to efficiency and quality. The second consists in analyzing measurement results for identifying what and how to improve automatically. The last one consists in the measurement process automation in order to reduce the development time. Such highly automated and easy to deploy solution will be a breakthrough solution, as current tools do not support it except for very limited scope.

Le "Big Data'' et les grands systèmes d'apprentissage sont omniprésents dans les problèmes d'apprentissage automatique aujourd’hui. Contrairement à l'apprentissage de petite dimension, les algorithmes d'apprentissage en grande dimension sont sujets à divers phénomènes contre-intuitifs et se comportent de manière très différente des intuitions de petite dimension sur lesquelles ils sont construits. Cependant, en supposant que la dimension et le nombre des données sont à la fois grands et comparables, la théorie des matrices aléatoires (RMT) fournit une approche systématique pour évaluer le comportement statistique de ces grands systèmes d'apprentissage, lorsqu'ils sont appliqués à des données de grande dimension. L’objectif principal de cette thèse est de proposer un schéma d'analyse basé sur la RMT, pour une grande famille de systèmes d’apprentissage automatique: d'évaluer leurs performances, de mieux les comprendre et finalement les améliorer, afin de mieux gérer les problèmes de grandes dimensions aujourd'hui.Précisément, nous commençons par exploiter la connexion entre les grandes matrices à noyau, les projection aléatoires non-linéaires et les réseaux de neurones aléatoires simples. En considérant que les données sont tirées indépendamment d'un modèle de mélange gaussien, nous fournissons une caractérisation précise des performances de ces systèmes d'apprentissage en grande dimension, exprimée en fonction des statistiques de données, de la dimensionnalité et, surtout, des hyper-paramètres du problème. Lorsque des algorithmes d'apprentissage plus complexes sont considérés, ce schéma d'analyse peut être étendu pour accéder à de systèmes d'apprentissage qui sont définis (implicitement) par des problèmes d'optimisation convexes, lorsque des points optimaux sont atteints. Pour trouver ces points, des méthodes d'optimisation telles que la descente de gradient sont régulièrement utilisées. À cet égard, dans le but d'avoir une meilleur compréhension théorique des mécanismes internes de ces méthodes d'optimisation et, en particulier, leur impact sur le modèle d'apprentissage, nous évaluons aussi la dynamique de descente de gradient dans les problèmes d'optimisation convexes et non convexes.Ces études préliminaires fournissent une première compréhension quantitative des algorithmes d'apprentissage pour le traitement de données en grandes dimensions, ce qui permet de proposer de meilleurs critères de conception pour les grands systèmes d’apprentissage et, par conséquent, d'avoir un gain de performance remarquable lorsqu'il est appliqué à des jeux de données réels. Profondément ancré dans l'idée d'exploiter des données de grandes dimensions avec des informations répétées à un niveau "global'' plutôt qu'à un niveau "local'', ce schéma d'analyse RMT permet une compréhension renouvelée et la possibilité de contrôler et d'améliorer une famille beaucoup plus large de méthodes d'apprentissage automatique, ouvrant ainsi la porte à un nouveau schéma d'apprentissage automatique pour l'intelligence artificielle. / Large dimensional data and learning systems are ubiquitous in modern machine learning. As opposed to small dimensional learning, large dimensional machine learning algorithms are prone to various counterintuitive phenomena and behave strikingly differently from the low dimensional intuitions upon which they are built. Nonetheless, by assuming the data dimension and their number to be both large and comparable, random matrix theory (RMT) provides a systematic approach to assess the (statistical) behavior of these large learning systems, when applied on large dimensional data. The major objective of this thesis is to propose a full-fledged RMT-based framework for various machine learning systems: to assess their performance, to properly understand and to carefully refine them, so as to better handle large dimensional problems that are increasingly needed in artificial intelligence applications.Precisely, we exploit the close connection between kernel matrices, random feature maps, and single-hidden-layer random neural networks. Under a simple Gaussian mixture modeling for the input data, we provide a precise characterization of the performance of these large dimensional learning systems as a function of the data statistics, the dimensionality, and most importantly the hyperparameters (e.g., the choice of the kernel function or activation function) of the problem. Further addressing more involved learning algorithms, we extend the present RMT analysis framework to access large learning systems that are implicitly defined by convex optimization problems (e.g., logistic regression), when optimal points are assumed reachable. To find these optimal points, optimization methods such as gradient descent are regularly used. Aiming to have a better theoretical grasp of the inner mechanism of optimization methods and their impact on the resulting learning model, we further evaluate the gradient descent dynamics in training convex and non-convex objects.These preliminary studies provide a first quantitative understanding of the aforementioned learning algorithms when large dimensional data are processed, which further helps propose better design criteria for large learning systems that result in remarkable gains in performance when applied on real-world datasets. Deeply rooted in the idea of mining large dimensional data with repeated patterns at a global rather than a local level, the proposed RMT analysis framework allows for a renewed understanding and the possibility to control and improve a much larger range of machine learning approaches, and thereby opening the door to a renewed machine learning framework for artificial intelligence.

Avec l'avènement de l'"intelligence artificielle", les ordinateurs, appareils mobiles et objets connectés sont amenés à dépasser les calculs arithmétiques et logiques pour lesquels ils ont été optimisés durant des décennies, afin d'effectuer des tâches "cognitives" telles que la traduction automatique ou la reconnaissance d'images et de voix, et pour lesquelles ils ne sont pas adaptés. Ainsi, un super-calculateur peut-il consommer des mégawatts pour effectuer des tâches que le cerveau humain traite avec 20 watt. Par conséquent, des système de calcul alternatifs inspirés du cerveau font l'objet de recherches importantes. En particulier, les oscillations neurales semblant être liées à certains traitements de données dans le cerveau ont inspiré des approches détournant la physique complexe des réseaux d'oscillateurs couplés pour effectuer des tâches cognitives efficacement. Cette thèse se fonde sur les avancées récentes en nano-technologies permettant la fabrication de nano-oscillateurs hautement intégrables pour proposer et étudier de nouvelles architectures neuro-inspirées de classification de motifs exploitant la dynamique des oscillateurs couplés et pouvant être implémentées sur puce. / With the advent of "artificial intelligence", computers, mobile devices and other connected objects are being pushed beyond the realm of arithmetic and logic operations, for which they have been optimized over decades, in order to process "cognitive" tasks such as automatic translation and image or voice recognition, for which they are not the ideal substrate. As a result, supercomputers may require megawatts to process tasks for which the human brain only needs 20 watt. This has revived interest into the design of alternative computing schemes inspired by the brain. In particular, neural oscillations that appear to be linked to computational activity in the brain have inspired approaches leveraging the complex physics of networks of coupled oscillators in order to process cognitive tasks efficiently. In the light of recent advances in nano-technology allowing the fabrication of highly integrable nano-oscillators, this thesis proposes and studies novel neuro-inspired oscillator-based pattern classification architectures that could be implemented on chip.