Cette thèse s’intéresse à différentes variantes du problème des bandits, une instance simplifiée d’un problème de reinforcement learning (RL) dont l’accent est mis sur le compromis entre l’exploration et l’exploitation. Plus spécifiquement, l’accent est mis sur trois variantes, soient les bandits contextuels, structurés et multi-objectifs. Dans la première, un agent recherche l’action optimale dépendant d’un contexte donné. Dans la seconde, un agent recherche l’action optimale dans un espace potentiellement grand et caractérisé par une métrique de similarité. Dans la dernière, un agent recherche le compromis optimal sur un front de Pareto selon une fonction d’articulation des préférences non observable directement. La thèse propose des algorithmes adaptés à chacune de ces variantes, dont les performances sont appuyées par des garanties théoriques ou des expériences empiriques. Ces variantes de bandits servent de cadre à deux applications réelles et à haut potentiel d’impact, soient l’allocation de traitements adaptative pour la découverte de stratégies de traitement du cancer personnalisées, et l’optimisation en-ligne de paramètres d’imagerie microscopique à grande résolution pour l’acquisition efficace d’images utilisables en neuroscience. La thèse apporte donc des contributions à la fois algorithmiques, théoriques et applicatives. Une adaptation de l’algorithme best empirical sampled average (BESA), GP BESA, est proposée pour le problème des bandits contextuels. Son potentiel est mis en lumière par des expériences en simulation, lesquelles ont motivé le déploiement de la stratégie dans une étude sur des animaux en laboratoire. Les résultats, prometteurs, montrent que GP BESA est en mesure d’étendre la longévité de souris atteintes du cancer et ainsi augmenter significativement la quantité de données recueillies sur les sujets. Une adaptation de l’algorithme Thompson sampling (TS), Kernel TS, est proposée pour le problème des bandits structurés en reproducing kernel Hilbert space (RKHS). Une analyse théorique permet d’obtenir des garanties de convergence sur le pseudo-regret cumulatif. Des résultats de concentration pour la régression à noyau avec régularisation variable ainsi qu’une procédure d’ajustement adaptative de la régularisation basée sur l’estimation empirique de la variance du bruit sont également introduits. Ces contributions permettent de lever l’hypothèse classique sur la connaissance a priori de la variance du bruit en régression à noyau en-ligne. Des résultats numériques illustrent le potentiel de ces outils. Des expériences empiriques illustrent également la performance de Kernel TS et permettent de soulever des questionnements intéressants relativement à l’optimalité des intuitions théoriques. Une nouvelle variante de bandits multi-objectifs généralisant la littérature est proposée. Plus spécifiquement, le nouveau cadre considère que l’articulation des préférences entre les objectifs provient d’une fonction non observable, typiquement d’un utilisateur (expert), et suggère d’intégrer cet expert à la boucle d’apprentissage. Le concept des rayons de préférence est ensuite introduit pour évaluer la robustesse de la fonction de préférences de l’expert à des erreurs dans l’estimation de l’environnement. Une variante de l’algorithme TS, TS-MVN, est proposée et analysée. Des expériences empiriques appuient ces résultats et constituent une investigation préliminaire des questionnements relatifs à la présence d’un expert dans la boucle d’apprentissage. La mise en commun des approches de bandits structurés et multi-objectifs permet de s’attaquer au problème d’optimisation des paramètres d’imagerie STED de manière en-ligne. Les résultats expérimentaux sur un vrai montage microscopique et avec de vrais échantillons neuronaux montrent que la technique proposée permet d’accélérer considérablement le processus de caractérisation des paramètres et facilitent l’obtention rapide d’images pertinentes pour des experts en neuroscience. / This thesis deals with various variants of the bandits problem, wihch corresponds to a simplified instance of a RL problem with emphasis on the exploration-exploitation trade-off. More specifically, the focus is on three variants: contextual, structured, and multi-objective bandits. In the first, an agent searches for the optimal action depending on a given context. In the second, an agent searches for the optimal action in a potentially large space characterized by a similarity metric. In the latter, an agent searches for the optimal trade-off on a Pareto front according to a non-observable preference function. The thesis introduces algorithms adapted to each of these variants, whose performances are supported by theoretical guarantees and/or empirical experiments. These bandit variants provide a framework for two real-world applications with high potential impact: 1) adaptive treatment allocation for the discovery of personalized cancer treatment strategies; and 2) online optimization of microscopic imaging parameters for the efficient acquisition of useful images. The thesis therefore offers both algorithmic, theoretical, and applicative contributions. An adaptation of the BESA algorithm, GP BESA, is proposed for the problem of contextual bandits. Its potential is highlighted by simulation experiments, which motivated the deployment of the strategy in a wet lab experiment on real animals. Promising results show that GP BESA is able to extend the longevity of mice with cancer and thus significantly increase the amount of data collected on subjects. An adaptation of the TS algorithm, Kernel TS, is proposed for the problem of structured bandits in RKHS. A theoretical analysis allows to obtain convergence guarantees on the cumulative pseudo-regret. Concentration results for the regression with variable regularization as well as a procedure for adaptive tuning of the regularization based on the empirical estimation of the noise variance are also introduced. These contributions make it possible to lift the typical assumption on the a priori knowledge of the noise variance in streaming kernel regression. Numerical results illustrate the potential of these tools. Empirical experiments also illustrate the performance of Kernel TS and raise interesting questions about the optimality of theoretical intuitions. A new variant of multi-objective bandits, generalizing the literature, is also proposed. More specifically, the new framework considers that the preference articulation between the objectives comes from a nonobservable function, typically a user (expert), and suggests integrating this expert into the learning loop. The concept of preference radius is then introduced to evaluate the robustness of the expert’s preference function to errors in the estimation of the environment. A variant of the TS algorithm, TS-MVN, is introduced and analyzed. Empirical experiments support the theoreitcal results and provide a preliminary investigation of questions about the presence of an expert in the learning loop. Put together, structured and multi-objective bandits approaches are then used to tackle the online STED imaging parameters optimization problem. Experimental results on a real microscopy setting and with real neural samples show that the proposed technique makes it possible to significantly accelerate the process of parameters characterization and facilitate the acquisition of images relevant to experts in neuroscience.

.

Ce travail se place dans le cadre de la statistique infinidimensionnelle . Par généralisation en dimension quelconque de certaines méthodes d'analyse multidimensionnelle classique il fournit des solutions satisfaisantes pour des problèmes de décision concernant la moyenne de certains processus gaussiens.<br /><br />La première partie est consacrée à l'étude de tests<br />quadratiques d' hypothèses linéaires et à l'extension en dimension infinie du modèle I d' analyse de la variance.<br /><br />Dans la deuxième partie - les aspects probabilistes d'un modèle mathématique pour la réponse en potentiel d'un neurone sont étudiés et une application de l'analyse de la variance est développée.<br /><br />Enfin le dernier chapitre aborde les problèmes de calcul effectif des régions critiques des tests utilisés .

L'estimation paramétrique de la fonction de covariance d'un processus Gaussien est étudiée, dans le cadre du modèle de Krigeage. Les estimateurs par Maximum de Vraisemblance et Validation Croisée sont considérés. Le cas correctement spécifié, dans lequel la fonction de covariance du processus Gaussien appartient à l'ensemble paramétrique de fonctions de covariance, est d'abord traité dans un cadre asymptotique par expansion. Le plan d'expériences considéré est une grille régulière multidimensionnelle perturbée aléatoirement. Un résultat de consistance et de normalité asymptotique est montré pour les deux estimateurs. Il est ensuite mis en évidence que des amplitudes de perturbation importantes sont toujours préférables pour l'estimation par Maximum de Vraisemblance. Le cas incorrectement spécifié, dans lequel l'ensemble paramétrique utilisé pour l'estimation ne contient pas la fonction de covariance du processus Gaussien, est ensuite étudié. Il est montré que la Validation Croisée est alors plus robuste que le Maximum de Vraisemblance. Enfin, deux applications du modèle de Krigeage par processus Gaussiens sont effectuées sur des données industrielles. Pour un problème de validation du modèle de frottement pariétal du code de thermohydraulique FLICA 4, en présence de résultats expérimentaux, il est montré que la modélisation par processus Gaussiens de l'erreur de modèle du code FLICA 4 permet d'améliorer considérablement ses prédictions. Enfin, pour un problème de métamodélisation du code de thermomécanique GERMINAL, l'intérêt du modèle de Krigeage par processus Gaussiens, par rapport à des méthodes par réseaux de neurones, est montré

L'apprentissage par renforcement est une approche d'apprentissage automatique permettant de développer des systèmes s'améliorant à partir d'interactions avec un environnement. Les processus décisionnels de Markov partiellement observables (PDMPO) font partie des modèles mathématiques fréquemment utiliser pour résoudre ce type de problème d'apprentissage. Cependant, la majorité des méthodes de résolution utilisées dans les processus décisionnels de Markov partiellement observables nécessitent la connaissance du modèle. De plus, les recherches actuelles sur le PDMPO se restreignent principalement aux espaces d'états discrets, ce qui complique son application à certains problèmes naturellement modélisés par un espace d'état continu. Ce mémoire présente une vision des PDMPO basée sur les processus Gaussiens, une méthode d'apprentissage supervisée ayant comme propriété particulière d'être une distribution de probabilité dans l'espace des fonctions. Cette propriété est notamment très intéressante du fait qu'elle ouvre la porte à un traitement Bayésien de l'incertitude sur les fonctions inconnues d'un PDMPO continu. Les résultats obtenus avec l'approche d'apprentissage par processus Gaussien montrent qu'il est possible d'opérer dans un environnement tout en identifiant le modèle de ce celui-ci. À partir des conclusions tirées à la suite de nos travaux sur le PDMPO, nous avons observé un certain manque pour ce qui est de l'identification du modèle sous l'incertain. Ainsi, ce mémoire expose aussi un premier pas vers une extension de l'apprentissage de PDMPO continu utilisant des séquences d'états de croyances lors de l'identification du modèle. Plus précisément, nous proposons une méthode de régression par processus Gaussiens utilisant des ensembles d'entraînement incertain pour réaliser l'inférence dans l'espace des fonctions. La méthode proposée est particulièrement intéressante, du fait qu'elle s'applique exactement comme pour le cas des processus Gaussiens classiques et qu'elle n'augmente p±as la complexité de l'apprentissage.

Les problèmes aux valeurs et fonctions propres surviennent fréquemment dans la théorie et dans les applications des processus stochastiques. Cependant quelques-uns seulement admettent une solution explicite; la résolution est alors généralement obtenue par la théorie généralisée de Sturm-Liouville pour les opérateurs différentiels. Les problèmes plus généraux ne peuvent pas être résolus sous une forme fermée et le sujet de cette thèse est l'analyse spectrale asymptotique des processus gaussiens fractionnaires et ses applications. Dans la première partie, nous développons une méthodologie pour l'analyse spectrale des opérateurs de covariance de type fractionnaire, correspondant à une famille importante de processus, incluant le processus fractionnaire d'Ornstein-Uhlenbeck, le mouvement brownien fractionnaire intégré et le mouvement brownien fractionnaire mixte. Nous obtenons des approximations asymptotiques du second ordre pour les valeurs propres et les fonctions propres. Au chapitre 2, nous considérons le problème aux valeurs et fonctions propres pour l'opérateur de covariance des ponts gaussiens. Nous montrons comment l'asymptotique spectrale d'un pont peut être dérivée de celle de son processus de base, en prenant comme exemple le cas du pont brownien fractionnaire. Dans la dernière partie, nous considérons trois applications représentatives de la théorie développée: le problème de filtrage des signaux gaussiens fractionnaires dans le bruit blanc, le problème de grande déviation pour le processus d'Ornstein-Uhlenbeck gouverné par un mouvement brownien fractionnaire mixte et probabilités des petites boules pour les processus gaussiens fractionnaires. / Eigenproblems frequently arise in theory and applications of stochastic processes, but only a few have explicit solutions. Those which do are usually solved by reduction to the generalized Sturm-Liouville theory for differential operators.The more general eigenproblems are not solvable in closed form and the subject of this thesis is the asymptotic spectral analysis of the fractional Gaussian processes and its applications.In the first part, we develop methodology for the spectral analysis of the fractional type covariance operators, corresponding to an important family of processes that includes the fractional Ornstein-Uhlenbeck process, the integrated fractional Brownian motion and the mixed fractional Brownian motion. We obtain accurate second order asymptotic approximations for both the eigenvalues and the eigenfunctions. In Chapter 2 we consider the covariance eigenproblem for Gaussian bridges. We show how the spectral asymptotics of a bridge can bederived from that of its base process, considering, as an example, the case of the fractional Brownian bridge. In the final part we consider three representative applications of the developed theory: filtering problem of fractional Gaussian signals in white noise, large deviation properties of the maximum likelihood drift parameter estimator for the Ornstein-Uhlenbeck process driven by mixed fractional Brownian motion and small ball probabilities for the fractional Gaussian processes.

La modélisation probabiliste des événements climatiques et environnementaux doit prendre en compte leur nature spatiale. Cette thèse porte sur l’étude de mesures de risque pour des processus spatiaux. Dans une première partie, nous introduisons des mesures de risque à même de prendre en compte la structure de dépendance des processus spatiaux sous-jacents pour traiter de données environnementales. Une deuxième partie est consacrée à l’estimation des paramètres de processus de type max-mélange. La première partie de la thèse est dédiée aux mesures de risque. Nous étendons les travaux réalisés dans [44] d’une part à des processus gaussiens, d’autre part à d’autres processus max-stables et à des processus max-mélange, d’autres structures de dépendance sont ainsi considérées. Les mesures de risque considérées sont basées sur la moyenne L(A,D) de pertes ou de dommages D sur une région d’intérêt A. Nous considérons alors l’espérance et la variance de ces dommages normalisés. Dans un premier temps, nous nous intéressons aux propriétés axiomatiques des mesures de risque, à leur calcul et à leur comportement asymptotique (lorsque la taille de la région A tend vers l’infini). Nous calculons les mesures de risque dans différents cas. Pour un processus gaussien, X, on considère la fonction d’excès : D+ X,u = (X−u)+ où u est un seuil fixé. Pour des processus max-stables et max-mélange X, on considère la fonction puissance : DνX = Xν. Dans certains cas, des formules semi-explicites pour les mesures de risque correspondantes sont données. Une étude sur simulations permet de tester le comportement des mesures de risque par rapport aux nombreux paramètres en jeu et aux différentes formes de noyau de corrélation. Nous évaluons aussi la performance calculatoire des différentes méthodes proposées. Celle-ci est satisfaisante. Enfin, nous avons utilisé une étude précédente sur des données de pollution dans le Piémont italien, celle-ci peuvent être considérées comme gaussiennes. Nous étudions la mesure de risque associée au seuil légal de pollution donnée par la directive européenne 2008/50/EC. Dans une deuxième partie, nous proposons une procédure d’estimation des paramètres d’un processus max-mélange, alternative à la méthode d’estimation par maximum de vraisemblance composite. Cette méthode plus classique d’estimation par maximum de vraisemblance composite est surtout performante pour estimer les paramètres de la partie max-stable du mélange (et moins performante pour estimer les paramètres de la partie asymptotiquement indépendante). Nous proposons une méthode de moindres carrés basée sur le F-madogramme : minimisation de l’écart quadratique entre le F-madogramme théorique et le F-madogramme empirique. Cette méthode est évaluée par simulation et comparée à la méthode par maximum de vraisemblance composite. Les simulations indiquent que la méthode par moindres carrés du F-madogramme est plus performante pour estimer les paramètres de la partie asymptotiquement indépendante / When dealing with environmental or climatic changes, a natural spatial dependence aspect appears. This thesis is dedicated to the study of risk measures in this spatial context. In the first part (Chapters 3 and 4), we study risk measures, which include the natural spatial dependence structure in order to assess the risks due to extreme environmental events and in the last part (Chapter 5), we propose estimation procedures for underlying processes, such as isotropic and stationary max-mixture processes. In the first part dedicated to risk measures, we extended the work in [44] in order to obtain spatial risk measures for various spatial processes and different dependence structures. We based these risk measures on the mean losses over a region A of interest. Risk measures are then defined as the expectation E[L(A,D)] and variance Var(L(A,D)) of the normalized loss. In the study of these measures, we focused on the axiomatic properties of asymptotic behavior (as the size of the region interest goes to infinity) and on computational aspects. We calculated two risk measures: risk measure for the gaussian process based on the damage function called access damage D+ X,u and risk measure for extreme processes based on the power damage function DνX . In simulation study and for each risk measure provided, we emphasized the theoretical results of asymptotic behavior by various parameters of a model and different Kernels for the correlation function. We also evaluated the performance of these risk measures. The results were encouraging. Finally, we implemented the risk measure corresponding to gaussian on the real data of pollution in Piemonte, Italy. We assessed the risks associated with this pollution when an excess of it was over the legal level determined by the European directive 2008/50/EC. With respect to estimation, we proposed a semi-parametric estimation procedure in order to estimate the parameters of a max-mixture model and also of a max-stable model ( inverse max-stable model) as an alternative to composite likelihood. A good estimation by the proposed estimator required the dependence measure to detect all dependence structures in the model, especially when dealing with the max-mixture model. We overcame this challenge by using the F-madogram. The semi-parametric estimation was then based on a quasi least square method, by minimizing the square difference between the theoretical F-madogram and an empirical one. We evaluated the performance of this estimator through a simulation study. It was shown that on a mean, the estimation is performed well, although in some cases, it encountered some difficulties

Dans cette thèse, nous présentons des modèles appartenant au domaine de l’intelligence artificielle afin de prédire l’indice magnétique global am à partir des paramètres du vent solaire. Ceci est fait dans l’optique de fournir des modèles opérationnels basés sur les données enregistrées par le satellite ACE situé au point de Lagrange L1. L’indice am ne possède pas à l’heure actuelle de modèles de prédiction. Pour prédire cet indice, nous avons fait appel à des modèles non-linéaires que sont les réseaux de neurones, permettant de modéliser le comportement complexe et non-linéaire de la magnétosphère terrestre. Nous avons dans un premier temps travaillé sur le développement et l’optimisation des modèles de réseaux classiques comme le perceptron multi-couche. Ces modèles ont fait leurs preuves en météorologie spatiale pour prédire aussi bien des indices magnétiques spécifiques à des systèmes de courant comme l’indice Dst, caractéristique du courant annulaire, que des indices globaux comme l’indice Kp. Nous avons en particulier étudié un réseau temporel appelé Time Delay Neural Network (TDNN) et évalué sa capacité à prédire l’indice magnétique am à une heure, uniquement à partir des paramètres du vent solaire. Nous avons analysé la sensibilité des performances des réseaux de neurones en considérant d’une part les données fournies par la base OMNI au niveau de l’onde de choc, et d’autre part des données obtenues par le satellite ACE en L1. Après avoir étudié la capacité de ces réseaux à prédire am, nous avons développé un réseau de neurones encore jamais utilisé en météorologie spatiale, le réseau Long Short Term Mermory ou LSTM. Ce réseau possède une mémoire à court et à long terme, et comme le TDNN, fournit des prédictions de l’indice am uniquement à partir des paramètres du vent solaire. Nous l’avons optimisé afin de modéliser au mieux le comportement de la magnétosphère et avons ainsi obtenu de meilleures performances de prédiction de l'indice am par rapport à celles obtenues avec le TDNN. Nous avons souhaité continuer le développement et l’optimisation du LSTM en travaillant sur l’utilisation de fonctions de couplage en entrée de ce réseau de neurones, et sur le développement de réseaux multisorties pour prédire les indices magnétiques am sectoriels ou aσ, spécifiques à chaque secteur Temps Magnétique Local. Enfin, nous avons développé une nouvelle technique combinant réseau LSTM et processus gaussiens, afin de fournir une prédiction probabiliste jusqu’à six heures des indices magnétiques Dst et am. Cette méthode a été dans un premier temps développée pour l’indice magnétique Dst afin de pouvoir comparer les performances du modèle hybride à des modèles de référence, puis appliquée à l’indice magnétique am. / In this thesis, we present models which belongs to the field of artificial intelligence to predict the geomagnetic index am based on solar wind parameters. This is done in terms to provide operational models based on data recorded by the ACE satellite located at the Lagrangian point L1. Currently, there is no model providing predictions of the geomagnetic index am. To predict this index, we have relied on nonlinear models called neural networks, allowing to model the complex and nonlinear dynamic of the Earth’s magnetosphere. First, we have worked on the development and the optimisation of basics neural networks like the multilayer perceptron. These models have proven in space weather to predict geomagnetic index specific to current systems like the Dst index, characteristic of the ring current, as well as the global geomagnetic index Kp. In particular, we have studied a temporal network, called the Time Delay Neural Network (TDNN) and we assessed its ability to predict the geomagnetic index am within one hour, base only on solar wind parameters. We have analysed the sensitivity of neural network performance when considering on one hand data from the OMNI database at the bow shock, and on the other hand data from the ACE satellite at the L1 point. After studying the ability of neural networks to predict the geomagnetic index am, we have developped a neural network which has never been used before in Space Weather, the Long Short Term Memory or LSTM. Like the TDNN, this network provides am prediction based only on solar wind parameters. We have optimised this network to model at best the magnetosphere behaviour and obtained better performance than the one obtained with the TDNN. We continued the development and the optimisation of the LSTM network by using coupling functions as neural network features, and by developing multioutput networks to predict the sectorial am also called aσ, specific to each Magnetical Local Time sector. Finally, we developped a brand new technique combining the LSTM network and gaussian process, to provide probabilistic predictions up to six hours ahead of geomagnetic index Dst and am. This method has been first developped to predict Dst to be able to compare the performance of this model with reference models, and then applied to the geomagnetic index am.

Cette thèse se divise en deux parties.<br />La première partie s'inscrit dans la lignée des résultats composant la théorie des valeurs extrêmes. Ces analyses se destinent au calcul de probabilité des événements rares. Le premier travail donne l'ordre asymptotique du maximum d'un processus gaussien, non-stationnaire à variance constante. Le second travail caractérise la loi du maximum en temps fini, et donc pour des niveaux de tous ordres. La procédure d'estimation a d'ailleurs donné naissance à une boîte à outils Matlab appelée MAGP. La seconde partie regroupe deux applications statistiques. D'une part, la distribution et la puissance du test, basé sur le maximum de vraisemblance, sont étudiées pour des modèles de mélange. D'autre part, la construction d'un test de sphéricité est envisagée à l'aide des valeurs propres extrêmes des matrices de covariance.

Quelques systèmes quantiques ouverts sont étudiés par la récente théorie des systèmes dynamiques. Un système est couplé à un réservoir, une équation de Volterra dirige son évolution. La limite faible conduit aux résultats markoviens de Davies introduisant les opérateurs de Davies et de Van Hove, calculés formellement. Le semi-groupe de générateur de Davies agit sur les observables du système. On précise des conditions à la complète positivité satisfaites par les modèles connus. Une méthode explicite résout l'équation maîtresse pour un système, formé d'oscillateurs harmoniques, et donne le retour rapide vers l'équilibre. La formule de Feshbach relie la résolvante projetée du liouvillien au générateur de Davies. Des hypothèses spécifiques d'un champ bosonique génèrent des processus gaussiens stationnaires représentés à l'aide d'un mouvement brownien complexe. L'existence d'une mesure invariante prouve l'évolution markovienne de la matrice de densité du système