Le modèle auto-régressif linéaire (AR) en temps discret et à coefficients aléatoires englobe de nombreuses classes de modèles très utilisés en modélisation statistique. Sous des hypothèses simples, ce modèle a une unique solution stationnaire. Le comportement à l'infini de sa queue a été étudié par H. Kesten, E. LePage puis C. Goldie lorsque les coefficients sont indépendants. Cette thèse étend leurs résultats dans deux directions. Dans une première partie, on étudie le modèle AR scalaire à régime markovien introduit par J. D. Hamilton en économétrie. On obtient un résultat similaire au cas indépendant qui s'étend aussi au temps continu. Dans une deuxième partie, on s'intéresse au modèle multidimensionnel à coefficient indépendants. On étend les résultats existants à une vaste classe de coefficients vérifiant une condition d'irréductibilité et de proximalité. Les techniques utilisées dans les deux parties font appel à la théorie du renouvellement et des opérateurs markoviens.

Le comportement des valeurs extrêmes de pluie en France a été analysé au travers de variables locales telles que les maxima annuels ou saisonniers de pluies mesurées sur différents pas de temps entre l'heure et la journée, les valeurs supérieures à un seuil élevé, ou la série temporelle de succession d'averses. Différents modèles, issus de la théorie des valeurs extrêmes uni-variée et bi-variée ou de générateurs stochastiques de pluie, ont été présentés pour étudier le comportement asymptotique de ces variables aléatoires. Dans le cas des séries temporelles d'averses, la persistance dans le temps des valeurs fortes a été modélisée à l'aide d'un processus Markovien. Les incertitudes associées aux différents modèles ont également été analysées, avec des méthodes bayésiennes ou fréquentielles. Nous avons pu valider nos modèles avec de longues séries de mesures pluviométriques, avec des chroniques de pluies horaires et avec des chroniques d'événements pluvieux décrits par des averses fournis par Météo-France et le Cemagref. Dans de nombreux cas, nous avons en particulier noté que la distribution des extrêmes est non bornée, et de queue plus lourde qu'une loi Gumbel ou exponentielle.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Les processus markoviens déterministes par morceaux (PMDM) ont été introduits dans la littérature par M.H.A. Davis en tant que classe générale de modèles stochastiques non-diffusifs. Les PMDM sont des processus hybrides caractérisés par des trajectoires déterministes entrecoupées de sauts aléatoires. Dans cette thèse, nous développons des méthodes numériques adaptées aux PMDM en nous basant sur la quantification d'une chaîne de Markov sous-jacente au PMDM. Nous abordons successivement trois problèmes : l'approximation d'espérances de fonctionnelles d'un PMDM, l'approximation des moments et de la distribution d'un temps de sortie et le problème de l'arrêt optimal partiellement observé. Dans cette dernière partie, nous abordons également la question du filtrage d'un PMDM et établissons l'équation de programmation dynamique du problème d'arrêt optimal. Nous prouvons la convergence de toutes nos méthodes (avec le plus souvent des bornes de la vitesse de convergence) et les illustrons par des exemples numériques.

Afin d'être autonomes, les robots doivent êtres capables de prendre des décisions en fonction des informations qu'ils perçoivent de leur environnement. Cette thèse modélise les problèmes de prise de décision robotique comme des processus de décision markoviens avec un espace d'état et un espace d'action tous deux continus. Ce choix de modélisation permet de représenter les incertitudes sur le résultat des actions appliquées par le robot. Les nouveaux algorithmes d'apprentissage présentés dans cette thèse se focalisent sur l'obtention de stratégies applicables dans un domaine embarqué. Ils sont appliqués à deux problèmes concrets issus de la RoboCup, une compétition robotique internationale annuelle. Dans ces problèmes, des robots humanoïdes doivent décider de la puissance et de la direction de tirs afin de maximiser les chances de marquer et contrôler la commande d'une primitive motrice pour préparer un tir. / The autonomy of robots heavily relies on their ability to make decisions based on the information provided by their sensors. In this dissertation, decision-making in robotics is modeled as continuous state and action markov decision process. This choice allows modeling of uncertainty on the results of the actions chosen by the robots. The new learning algorithms proposed in this thesis focus on producing policies which can be used online at a low computational cost. They are applied to real-world problems in the RoboCup context, an international robotic competition held annually. In those problems, humanoid robots have to choose either the direction and power of kicks in order to maximize the probability of scoring a goal or the parameters of a walk engine to move towards a kickable position.

Nous proposons une nouvelle approche pour l'apprentissage de représentation parcimonieuse, où le but est de limiter le nombre de caractéristiques sélectionnées \textbf{par donnée}, résultant en un modèle que nous appellerons \textit{Modèle de parcimonie locale pour la classification} --- \textit{Datum-Wise Sparse Classification} (DWSC) en anglais. Notre approche autorise le fait que les caractéristiques utilisées lors de la classification peuvent être différentes d'une donnée à une autre: une donnée facile à classifier le sera ainsi en ne considérant que quelques caractéristiques, tandis que plus de caractéristiques seront utilisées pour les données plus complexes. Au contraire des approches traditionnelles de régularisation qui essaient de trouver un équilibre entre performance et parcimonie au niveau de l'ensemble du jeu de données, notre motivation est de trouver cet équilibre au niveau des données individuelles, autorisant une parcimonie moyenne plus élevée, pour une performance équivalente. Ce type de parcimonie est intéressant pour plusieurs raisons~: premièrement, nous partons du principe que les explications les plus simples sont toujours préférables~; deuxièmement, pour la compréhension des données, une représentation parcimonieuse par donnée fournit une information par rapport à la structure sous-jacente de celles-ci~: typiquement, si un jeu de données provient de deux distributions disjointes, DWSC autorise le modèle à choisir automatiquement de ne prendre en compte que les caractéristiques de la distribution génératrice de chaque donnée considérée. / This thesis introduces a body of work on sequential models for classification. These models allow for a more flexible and general approach to classification tasks. Many tasks ultimately require the classification of some object, but cannot be handled with a single atomic classification step. This is the case for tasks where information is either not immediately available upfront, or where the act of accessing different aspects of the object being classified may present various costs (due to time, computational power, monetary cost, etc.). The goal of this thesis is to introduce a new method, which we call datum-wise classification, that is able to handle these more complex classifications tasks by modelling them as sequential processes.

L'apprentissage automatique (ML) a connu d'énormes succès ces dernières années et repose sur un nombre toujours croissant d'applications réelles. Cependant, la conception d'algorithmes prometteurs pour un problème spécifique nécessite toujours un effort humain considérable. L'apprentissage automatique (AutoML) a pour objectif de sortir l'homme de la boucle. AutoML est généralement traité comme un problème de sélection d’algorithme / hyper-paramètre. Les approches existantes incluent l’optimisation Bayésienne, les algorithmes évolutionnistes et l’apprentissage par renforcement. Parmi eux, auto-sklearn, qui intègre des techniques de meta-learning à l'initialisation de la recherche, occupe toujours une place de choix dans les challenges AutoML. Cette observation a orienté mes recherches vers le domaine du meta-learning. Cette orientation m'a amené à développer un nouveau cadre basé sur les processus de décision Markovien (MDP) et l'apprentissage par renforcement (RL). Après une introduction générale (chapitre 1), mon travail de thèse commence par une analyse approfondie des résultats du Challenge AutoML (chapitre 2). Cette analyse a orienté mon travail vers le meta-learning, menant tout d’abord à proposer une formulation d’AutoML en tant que problème de recommandation, puis à formuler une nouvelle conceptualisation du problème en tant que MDP (chapitre 3). Dans le cadre du MDP, le problème consiste à remplir de manière aussi rapide et efficace que possible une matrice S de meta-learning, dans laquelle les lignes correspondent aux tâches et les colonnes aux algorithmes. Un élément de matrice S (i, j) est la performance de l'algorithme j appliqué à la tâche i. La recherche efficace des meilleures valeurs dans S nous permet d’identifier rapidement les algorithmes les mieux adaptés à des tâches données. Dans le chapitre 4, nous examinons d’abord le cadre classique d’optimisation des hyper-paramètres. Au chapitre 5, une première approche de meta-learning est introduite, qui combine des techniques d'apprentissage actif et de filtrage collaboratif pour prédire les valeurs manquantes dans S. Nos dernières recherches appliquent RL au problème du MDP défini pour apprendre une politique efficace d’exploration de S. Nous appelons cette approche REVEAL et proposons une analogie avec une série de jeux pour permettre de visualiser les stratégies des agents pour révéler progressivement les informations. Cette ligne de recherche est développée au chapitre 6. Les principaux résultats de mon projet de thèse sont : 1) Sélection HP / modèle : j'ai exploré la méthode Freeze-Thaw et optimisé l'algorithme pour entrer dans le premier challenge AutoML, obtenant la 3ème place du tour final (chapitre 3). 2) ActivMetaL : j'ai conçu un nouvel algorithme pour le meta-learning actif (ActivMetaL) et l'ai comparé à d'autres méthodes de base sur des données réelles et artificielles. Cette étude a démontré qu'ActiveMetaL est généralement capable de découvrir le meilleur algorithme plus rapidement que les méthodes de base. 3) REVEAL : j'ai développé une nouvelle conceptualisation du meta-learning en tant que processus de décision Markovien et je l'ai intégrée dans le cadre plus général des jeux REVEAL. Avec un stagiaire en master, j'ai développé des agents qui apprennent (avec l'apprentissage par renforcement) à prédire le meilleur algorithme à essayer. Le travail présenté dans ma thèse est de nature empirique. Plusieurs méta-données du monde réel ont été utilisées dans cette recherche. Des méta-données artificielles et semi-artificielles sont également utilisées dans mon travail. Les résultats indiquent que RL est une approche viable de ce problème, bien qu'il reste encore beaucoup à faire pour optimiser les algorithmes et les faire passer à l’échelle aux problèmes de méta-apprentissage plus vastes. / Machine Learning (ML) has enjoyed huge successes in recent years and an ever- growing number of real-world applications rely on it. However, designing promising algorithms for a specific problem still requires huge human effort. Automated Machine Learning (AutoML) aims at taking the human out of the loop and develop machines that generate / recommend good algorithms for a given ML tasks. AutoML is usually treated as an algorithm / hyper-parameter selection problems, existing approaches include Bayesian optimization, evolutionary algorithms as well as reinforcement learning. Among them, auto-sklearn which incorporates meta-learning techniques in their search initialization, ranks consistently well in AutoML challenges. This observation oriented my research to the Meta-Learning domain. This direction led me to develop a novel framework based on Markov Decision Processes (MDP) and reinforcement learning (RL).After a general introduction (Chapter 1), my thesis work starts with an in-depth analysis of the results of the AutoML challenge (Chapter 2). This analysis oriented my work towards meta-learning, leading me first to propose a formulation of AutoML as a recommendation problem, and ultimately to formulate a novel conceptualisation of the problem as a MDP (Chapter 3). In the MDP setting, the problem is brought back to filling up, as quickly and efficiently as possible, a meta-learning matrix S, in which lines correspond to ML tasks and columns to ML algorithms. A matrix element S(i, j) is the performance of algorithm j applied to task i. Searching efficiently for the best values in S allows us to identify quickly algorithms best suited to given tasks. In Chapter 4 the classical hyper-parameter optimization framework (HyperOpt) is first reviewed. In Chapter 5 a first meta-learning approach is introduced along the lines of our paper ActivMetaL that combines active learning and collaborative filtering techniques to predict the missing values in S. Our latest research applies RL to the MDP problem we defined to learn an efficient policy to explore S. We call this approach REVEAL and propose an analogy with a series of toy games to help visualize agents’ strategies to reveal information progressively, e.g. masked areas of images to be classified, or ship positions in a battleship game. This line of research is developed in Chapter 6. The main results of my PhD project are: 1) HP / model selection: I have explored the Freeze-Thaw method and optimized the algorithm to enter the first AutoML challenge, achieving 3rd place in the final round (Chapter 3). 2) ActivMetaL: I have designed a new algorithm for active meta-learning (ActivMetaL) and compared it with other baseline methods on real-world and artificial data. This study demonstrated that ActiveMetaL is generally able to discover the best algorithm faster than baseline methods. 3) REVEAL: I developed a new conceptualization of meta-learning as a Markov Decision Process and put it into the more general framework of REVEAL games. With a master student intern, I developed agents that learns (with reinforcement learning) to predict the next best algorithm to be tried. To develop this agent, we used surrogate toy tasks of REVEAL games. We then applied our methods to AutoML problems. The work presented in my thesis is empirical in nature. Several real world meta-datasets were used in this research. Artificial and semi-artificial meta-datasets are also used in my work. The results indicate that RL is a viable approach to this problem, although much work remains to be done to optimize algorithms to make them scale to larger meta-learning problems.

Le premier chapitre présente les axes principaux de recherche ainsi que les problèmes traités dans cette thèse. Plus précisément, il expose une synthèse sur le sujet, en y donnant les propriétés essentielles pour la bonne compréhension de cette étude, accompagnée des références bibliographiques les plus importantes. Il présente également les motivations de ce travail en précisant les contributions originales dans ce domaine. Le deuxième chapitre est composé d’une recherche originale sur l’estimation du risque sismique, dans la zone du nord de la mer Egée (Grèce), en faisant usage de la théorie des processus semi-markoviens à temps continue. Il propose des estimateurs des mesures importantes qui caractérisent les processus semi-markoviens, et fournit une modélisation dela prévision de l’instant de réalisation d’un séisme fort ainsi que la probabilité et la grandeur qui lui sont associées. Les chapitres 3 et 4 comprennent une première tentative de modélisation du processus de génération des séismes au moyen de l’application d’un temps discret des modèles cachés markoviens et semi-markoviens, respectivement. Une méthode d’estimation non paramétrique est appliquée, qui permet de révéler des caractéristiques fondamentales du processus de génération des séismes, difficiles à détecter autrement. Des quantités importantes concernant les niveaux des tensions sont estimées au moyen des modèles proposés. Le chapitre 5 décrit les résultats originaux du présent travail à la théorie des processus stochastiques, c’est- à-dire l’étude et l’estimation du « Intensité du temps d’entrée en temps discret (DTIHT) » pour la première fois dans des chaînes semi-markoviennes et des chaînes de renouvellement markoviennes cachées. Une relation est proposée pour le calcul du DTIHT et un nouvel estimateur est présenté dans chacun de ces cas. De plus, les propriétés asymptotiques des estimateurs proposés sont obtenues, à savoir, la convergence et la normalité asymptotique. Le chapitre 6 procède ensuite à une étude de comparaison entre le modèle markovien caché et le modèle semi-markovien caché dans un milieu markovien et semi-markovien en vue de rechercher d’éventuelles différences dans leur comportement stochastique, déterminé à partir de la matrice de transition de la chaîne de Markov (modèle markovien caché) et de la matrice de transition de la chaîne de Markov immergée (modèle semi-markovien caché). Les résultats originaux concernent le cas général où les distributions sont considérées comme distributions des temps de séjour ainsi que le cas particulier des modèles qui sont applique´s dans les chapitres précédents où les temps de séjour sont estimés de manière non-paramétrique. L’importance de ces différences est spécifiée à l’aide du calcul de la valeur moyenne et de la variance du nombre de sauts de la chaîne de Markov (modèle markovien caché) ou de la chaîne de Markov immergée (modèle semi-markovien caché) pour arriver dans un état donné, pour la première fois. Enfin, le chapitre 7 donne des conclusions générales en soulignant les points les plus marquants et des perspectives pour développements futurs. / The first chapter describes the definition of the subject under study, the current state of science in this area and the objectives. In the second chapter, continuous-time semi-Markov models are studied and applied in order to contribute to seismic hazard assessment in Northern Aegean Sea (Greece). Expressions for different important indicators of the semi- Markov process are obtained, providing forecasting results about the time, the space and the magnitude of the ensuing strong earthquake. Chapters 3 and 4 describe a first attempt to model earthquake occurrence by means of discrete-time hidden Markov models (HMMs) and hidden semi-Markov models (HSMMs), respectively. A nonparametric estimation method is followed by means of which, insights into features of the earthquake process are provided which are hard to detect otherwise. Important indicators concerning the levels of the stress field are estimated by means of the suggested HMM and HSMM. Chapter 5 includes our main contribution to the theory of stochastic processes, the investigation and the estimation of the discrete-time intensity of the hitting time (DTIHT) for the first time referring to semi-Markov chains (SMCs) and hidden Markov renewal chains (HMRCs). A simple formula is presented for the evaluation of the DTIHT along with its statistical estimator for both SMCs and HMRCs. In addition, the asymptotic properties of the estimators are proved, including strong consistency and asymptotic normality. In chapter 6, a comparison between HMMs and HSMMs in a Markov and a semi-Markov framework is given in order to highlight possible differences in their stochastic behavior partially governed by their transition probability matrices. Basic results are presented in the general case where specific distributions are assumed for sojourn times as well as in the special case concerning the models applied in the previous chapters, where the sojourn time distributions are estimated non-parametrically. The impact of the differences is observed through the calculation of the mean value and the variance of the number of steps that the Markov chain (HMM case) and the EMC (HSMM case) need to make for visiting for the first time a particular state. Finally, Chapter 7 presents concluding remarks, perspectives and future work.

Initialement, la théorie du risque supposait l'indépendance entre les différentes variables aléatoires et autres paramètres intervenant dans la modélisation actuarielle. De nos jours, cette hypothèse d'indépendance est souvent relâchée afin de tenir compte de possibles interactions entre les différents éléments des modèles. Dans cette thèse, nous proposons d'introduire des modèles de dépendance pour différents aspects de la théorie du risque. Dans un premier temps, nous suggérons l'emploi des copules comme structure de dépendance. Nous abordons tout d'abord un problème d'allocation de capital basée sur la Tail-Value-at-Risk pour lequel nous supposons un lien introduit par une copule entre les différents risques. Nous obtenons des formules explicites pour le capital à allouer à l'ensemble du portefeuille ainsi que la contribution de chacun des risques lorsque nous utilisons la copule Farlie-Gumbel-Morgenstern. Pour les autres copules, nous fournissons une méthode d'approximation. Au deuxième chapitre, nous considérons le processus aléatoire de la somme des valeurs présentes des sinistres pour lequel les variables aléatoires du montant d'un sinistre et de temps écoulé depuis le sinistre précédent sont liées par une copule Farlie-Gumbel-Morgenstern. Nous montrons comment obtenir des formes explicites pour les deux premiers moments puis le moment d'ordre m de ce processus. Le troisième chapitre suppose un autre type de dépendance causée par un environnement extérieur. Dans le contexte de l'étude de la probabilité de ruine d'une compagnie de réassurance, nous utilisons un environnement markovien pour modéliser les cycles de souscription. Nous supposons en premier lieu des temps de changement de phases de cycle déterministes puis nous les considérons ensuite influencés en retour par les montants des sinistres. Nous obtenons, à l'aide de la méthode d'erlangisation, une approximation de la probabilité de ruine en temps fini.

Cette thèse cherche à quantifier le temps de premier passage (FPT) d'un marcheur non-markovien sur une cible. La première partie est consacrée au calcul du temps moyen de premier passage (MFPT) pour différents processus non-markoviens confinés, pour lesquels les variables cachées sont connues. Notre méthode, qui adapte un formalisme existant, repose sur la détermination de la distribution des variables cachées au moment du FPT. Nous étendons ensuite ces idées à processus non-markoviens confinés généraux, sans introduire les variables cachées - en général inconnues. Nous montrons que le MFPT est entièrement déterminé par la position du marcheur dans le futur du FPT. Pour des processus gaussiens à incréments stationnaires, cette position est très proche d'une processus gaussien, hypothèse qui permet de déterminer ce processus de manière auto-cohérente, et donc de calculer le MFPT. Nous appliquons cette théorie à différents exemples en dimension variée, obtenant des résultats très précis quantitativement. Nous montrons également que notre théorie est exacte perturbativement autour d'une marche markovienne. Dans une troisième partie, nous explorons l'influence du vieillissement sur le FPT en confinement, et prédisons la dépendance en les paramètres géométriques de la distribution de ce FPT, prédictions vérifiées sur maints exemples. Nous montrons en particulier qu'une non-linéarité du MFPT avec le volume confinant est une caractéristique d'un processus vieillissant. Enfin, nous étudions les liens entre les problèmes avec et sans confinement. Notre travail permet entre autre de d'estimer l'exposant de persistance associé à des processus gaussiens non-markoviens vieillissant. / The aim of this thesis is the evaluation of the first-passage time (FPT) of a non-markovian walker over a target. The first part is devoted to the computation of the mean first-passage time (MFPT) for different non-markovien confined processes, for which hidden variables are explicitly known. Our methodology, which adapts an existing formalism, relies on the determination of the distribution of the hidden variables at the instant of FPT. Then, we extend these ideas to the case of general non-markovian confined processes, without introducing the -often unkown- hidden variables. We show that the MFPT is entirely determined by the position of the walker in the future of the FPT. For gaussian walks with stationary increments, this position can be accurately described by a gaussian process, which enable to determine it self-consistently, and thus to find the MFPT. We apply this theory on many examples, in various dimensions. We show moreover that this theory is exact perturbatively around markovian processes. In the third part, we explore the influence of aging properties on the the FPT in confinement, and we predict the dependence of its statistic on geometric parameters. We verify these predictions on many examples. We show in particular that the non-linearity of the MFPT with the confinement is a hallmark of aging. Finally, we study some links between confined and unconfined problems. Our work suggests a promising way to evaluate the persistence exponent of non-markovian gaussian aging processes.