L'apprentissage par renforcement est la réponse du domaine de l'apprentissage numérique au problème du contrôle optimal. Dans ce paradigme, un agent informatique apprend à contrôler un environnement en interagissant avec ce dernier. Il reçoit régulièrement une information locale de la qualité du contrôle effectué sous la forme d'une récompense numérique (ou signal de renforcement), et son objectif est de maximiser une fonction cumulante de ces récompenses sur le long terme, généralement modélisée par une fonction dite de valeur. Le choix des actions appliquées à l'environnement en fonction de sa configuration est appelé une politique, et la fonction de valeur quantifie donc la qualité de cette politique. Ce parangon est très général, et permet de s'intéresser à un grand nombre d'applications, comme la gestion des flux de gaz dans un complexe sidérurgique, que nous abordons dans ce manuscrit. Cependant, sa mise en application pratique peut être difficile. Notamment, lorsque la description de l'environnement à contrôler est trop grande, une représentation exacte de la fonction de valeur (ou de la politique) n'est pas possible. Dans ce cas se pose le problème de la généralisation (ou de l'approximation de fonction de valeur) : il faut d'une part concevoir des algorithmes dont la complexité algorithmique ne soit pas trop grande, et d'autre part être capable d'inférer le comportement à suivre pour une configuration de l'environnement inconnue lorsque des situations proches ont déjà été expérimentées. C'est le problème principal que nous traitons dans ce manuscrit, en proposant une approche inspirée du filtrage de Kalman.

L'apprentissage par renforcement est la réponse du domaine de l'apprentissage numérique au problème du contrôle optimal. Dans ce paradigme, un agent informatique apprend à contrôler un environnement en interagissant avec ce dernier. Il reçoit régulièrement une information locale de la qualité du contrôle effectué sous la forme d'une récompense numérique (ou signal de renforcement), et son objectif est de maximiser une fonction cumulante de ces récompenses sur le long terme, généralement modélisée par une fonction dite de valeur. Le choix des actions appliquées à l'environnement en fonction de sa configuration est appelé une politique, et la fonction de valeur quantifie donc la qualité de cette politique donc la qualité de cette politique. Ce parangon est très général, et permet de s'intéresser à un grand nombre d'applications, comme la gestion des flux de gaz dans un complexe sidérurgique, que nous abordons dans ce manuscrit. Cependant, sa mise en application pratique peut être difficile. Notamment, lorsque la description de l'environnement à contrôler est trop grande, une représentation exacte de la fonction de la valeur (ou de la politique) n'est pas possible. Dans ce cas se pose le problème de la généralisation (ou de l'approximation de fonction de valeur) : il faut d'une part concevoir des algorithmes dont la complexité algorithmique ne soit pas trop grande, et d'autre part être capable d'interférer le comportement à suivre pour une configuration de l'environnement inconnue lorsque des situations proches ont déjà été expérimentées. C'est le problème principal que nous traitons dans ce manuscrit, en proposant une approche inspirée du filtrage de Kalman / Reinforcement learning is the response of machine learning to the problem of optimal control. In this paradigm, an agent learns do control an environment by interacting with it. It receives evenly a numeric reward (or reinforcement signal), which is a local information about the quality of the control. The agent objective is to maximize a cumulative function of these rewards, generally modelled as a so-called value function. A policy specifies the action to be chosen in a particular configuration of the environment to be controlled, and thus the value function quantifies the quality of yhis policy. This paragon is very general, and it allows taking into account many applications. In this manuscript, we apply it to a gas flow management problem in the iron and steel industry. However, its application can be quite difficult. Notably, if the environment description is too large, an exact representation of the value function (or of the policy) is not possible. This problem is known as generalization (or value function approximation) : on the one hand, one has to design algorithms with low computational complexity, and on the other hand, one has to infer the behaviour the agent should have in an unknown configuration of the environment when close configurations have been experimented. This is the main problem we address in this manuscript, by introducing a family of algorithms inspired from Kalman filtering

La modélisation des systèmes dynamiques requiert la prise en compte d'incertitudes liées à l'existence inévitable de bruits (bruits de mesure, bruits sur la dynamique), à la méconnaissance de certains phénomènes perturbateurs mais également aux incertitudes sur la valeur des paramètres (spécification de tolérances, phénomène de vieillissement). Alors que certaines de ces incertitudes se prêtent bien à une modélisation de type statistique comme par exemple les bruits de mesure, d'autres se caractérisent mieux par des bornes, sans autre attribut. Dans ce travail de thèse, motivés par les observations ci-dessus, nous traitons le problème de l'intégration d'incertitudes statistiques et à erreurs bornées pour les systèmes linéaires à temps discret. Partant du filtre de Kalman Intervalle (noté IKF) développé dans [Chen 1997], nous proposons des améliorations significatives basées sur des techniques récentes de propagation de contraintes et d'inversion ensembliste qui, contrairement aux mécanismes mis en jeu par l'IKF, permettent d'obtenir un résultat garanti tout en contrôlant le pessimisme de l'analyse par intervalles. Cet algorithme est noté iIKF. Le filtre iIKF a la même structure récursive que le filtre de Kalman classique et délivre un encadrement de tous les estimés optimaux et des matrices de covariance possibles. L'algorithme IKF précédent évite quant à lui le problème de l'inversion des matrices intervalles, ce qui lui vaut de perdre des solutions possibles. Pour l'iIKF, nous proposons une méthode originale garantie pour l'inversion des matrices intervalle qui couple l'algorithme SIVIA (Set Inversion via Interval Analysis) et un ensemble de problèmes de propagation de contraintes. Par ailleurs, plusieurs mécanismes basés sur la propagation de contraintes sont également mis en oeuvre pour limiter l'effet de surestimation due à la propagation d'intervalles dans la structure récursive du filtre. Un algorithme de détection de défauts basé sur iIKF est proposé en mettant en oeuvre une stratégie de boucle semi-fermée qui permet de ne pas réalimenter le filtre avec des mesures corrompues par le défaut dès que celui-ci est détecté. A travers différents exemples, les avantages du filtre iIKF sont exposés et l'efficacité de l'algorithme de détection de défauts est démontré.

Actuellement, la construction d’un parc éolien nécessite une étude acoustique qui doit assurer la tranquillité des habitants aux alentours et la conformité au regard de la réglementation en vigueur. Pour ce faire, des mesures acoustiques sont réalisées sur une période d’environ deux semaines. Durant ces mesures, des cycles de marche et d’arrêt des machines sont réalisés afin de mesurer la différence de niveau sonore entre le bruit ambiant (éoliennes en fonctionnement) et le bruit résiduel (éoliennes à l’arrêt). Un plan de bridage des machines est alors calculé et fourni à l’exploitant afin de l’implémenter dans le système de contrôle local des éoliennes (SCADA). Actuellement, ce plan dépend grossièrement des conditions météorologiques et des périodes de la journée, supposées corrélées aux conditions acoustiques. En pratique, cette manière de procéder engendre fréquemment des dépassements du critère réglementaire et/ou des pertes de production électrique. Ceci est dû aux conditions acoustiques qui évoluent sans cesse, à la fois pour le bruit particulier (bruit des éoliennes seules) qui dépend finement des conditions météorologiques, et pour le bruit résiduel qui dépend de toutes les autres sources de l’environnement et qui est fondamentalement de nature stochastique. La thèse vise à proposer un algorithme de contrôle du parc éolien en temps réel basé sur un nouveau paradigme de contrôle. On y étudie la possibilité de contrôler un parc éolien à partir d’un système en boite noire d’estimation temps-réel du niveau résiduel et du niveau particulier par séparation de sources. Dans le manuscrit, on définit tout d’abord une formulation du problème dans le cadre du contrôle en identifiant les problématiques propres à ce sujet, une définition des variables du problème et en se rattachant à l’état de l’art du contrôle. Ensuite, on propose deux solutions complètes de contrôle et une évaluation expérimentale. La première est une solution déterministe, qui s’appuie sur un algorithme d’optimisation combinatoire sous contrainte, et qui s’inspire du contrôle actuel des parcs éoliens tout en tenant compte de l’estimation par séparation de sources, alors supposée exacte. On y propose en outre une étude de la capacité du système déterministe à satisfaire le critère réglementaire français qui est aujourd’hui calculé à l’aide de médianes temporelles des variables acoustiques. La seconde est une solution stochastique, qui est basée sur une représentation d’état des variables acoustiques et des incertitudes gaussiennes. Elle inclut un filtrage de Kalman non-linéaire, afin de fusionner l’incertitude sur le modèle acoustique et l’incertitude de séparation de sources, un algorithme espérance-maximisation afin de ré-estimer les incertitudes du problème qui varient d’un parc à un autre, et une adaptation robuste de l’algorithme combinatoire afin de prendre en compte les incertitudes estimées / Currently, acoustic studies are required to set wind farms up. They must ensure the tranquility of the inhabitants around the farms in accordance with current regulations. For this purpose, acoustic measurements are made during a couple of weeks. When measuring, the wind turbines are periodically stopped in order to evaluate the difference between ambient noise levels (with the turbines on) and residual noise levels (with the turbines off). A curtailment plan is then computed and sent to the wind farm owner in order to set it up in the local turbine control system (SCADA). Currently, the curtailment plan roughly depends on the weather conditions and the time of the day which are allegedly correlated to the acoustic variables. In practice, it frequently leads to violations of the acoustic constraints or electrical power loss. This is because the acoustic conditions constantly and strongly evolve over time: the wind turbine noise level finely depends on the weather conditions and the residual noise level depends on all the other acoustic sources and has therefore a stochastic nature. The goal of the thesis is to design a principled real-time control algorithm for wind farms. To do so, we investigate the use of a black-box source separation system that estimates the residual noise level and the wind turbine noise level. We first provide a theoretical formulation of the problem by accounting for specific practical issues, by defining the variables of the problem and by binding these issues to the state of the art. Then, we propose two complete control solutions and run an experimental evaluation. The first solution is a deterministic algorithm based on a constrained combinatorial optimization algorithm, which is inspired by the current approach for controlling wind farms while exploiting the source separation system. Moreover, we present a study of its ability to fulfill the French acoustic constraints that are computed as temporal medians of the acoustic variables. The second solution is stochastic and based on a state-space model defined by means of Gaussian uncertainties. It features a nonlinear Kalman filter in order to fuse the uncertainties of the model and of the source separation system, an Expectation-Maximization algorithm that computes the uncertainties for a specific farm, and a robust variant of the deterministic algorithm that takes the estimated uncertainties into account when computing the optimal command

Les techniques actuelles de mesure de pesanteur terrestre, depuis les observations spatiales jusqu'aux mesures ponctuelles en surface, couvrent un large spectre de longueurs d'onde du champ de gravité de la Terre. Ces données acquises permettent non seulement la réalisation de modèles étendus de géoïde, mais aussi une meilleure compréhension des transferts de masse affectant la Terre.<br />Cependant, les couvertures spatiale et spectrale des mesures gravimétriques ne sont pas homogène à la surface de la Terre et certaines régions difficiles d'accès sont quasiment vierges de toute mesure. De plus, la gamme des longueurs d'onde intermédiaires (10/100 km) est mal couverte par la gravimétrie terrestre ou spatiale. La gravimétrie mobile depuis un véhicule terrestre, un bateau ou un avion apparaît donc comme la technique complémentaire capable de pallier les insuffisances des techniques gravimétriques actuelles.<br />C'est dans l'objectif de développer un système de gravimétrie mobile autonome que ce travail a été entrepris. Le système «Limo-G» (LIght MOving Gravimetry system) est un gravimètre vectoriel absolu, composé de trois accéléromètres et d'un système GPS à quatre antennes, embarquable dans toutes sortes de véhicule, fiable, ergonomique et peu onéreux.<br />Un travail métrologique effectué au laboratoire et sur le terrain a permis de concevoir et de tester une méthode d'étalonnage de l'instrument. Puis, une méthode originale de traitement conjoint des données accélérométriques et des données GPS a été développée et testée à partir de simulations issues de données réelles acquises lors d'un levé expérimental en mer. Les résultats de ces simulations indiquent que les performances du système Limo-G permettent de mesurer la pesanteur au milligal. Les améliorations nécessaires pour accroître la précision ont aussi été mises en évidence et validées par simulation.

Dans cette thèse nous proposons une nouvelle approche dans le cadre des modèles d'évaluation des actifs financiers permettant de tenir compte de deux aspects fondamentaux qui caractérisent la volatilité latente: co-mouvement des rendements financiers conditionnellement hétéroscédastiques et changement de régime. En combinant les modèles à facteurs conditionnellement hétéroscédastiques avec les modèles de chaîne de Markov cachés, nous dérivons un modèle multivarié localement linéaire et dynamique pour la segmentation et la prévision des séries financières. Nous considérons, plus précisément le cas où les facteurs communs suivent des processus GQARCH univariés. L'algorithme EM que nous avons développé pour l'estimation de maximum de vraisemblance et l'inférence des structures cachées est basé sur une version quasi-optimale du filtre de Kalman combinée avec une approximation de Viterbi. Les résultats obtenus sur des simulations, aussi bien que sur des séries financières sont prometteurs.

Dans ce mémoire, on étudie la distribution empirique des estimateurs de vraisemblance maximale pour des processus affines, basés sur des observations à temps discret. On examine d'abord le cas où le processus est directement observable. Ensuite, on regarde ce qu'il advient lorsque seule une transformation affine du processus est observable, une situation typique dans les applications financières. Deux approches sont alors considérées: maximisation de la vraisemblance exacte ou maximisation d'une quasi-vraisemblance obtenue du filtre de Kalman. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Estimation de vraisemblance maximale, Processus affines, Obligation à l'escompte, Quasi-vraisemblance, Filtre de Kalman.

Producteur d'électricité, la CNR gère 19 barrages et 19 centrales hydroélectriques répartis le long du Rhône de la frontière Suisse à la Méditerranée. La majorité des aménagements de ce fleuve sont équipés de la commande prédictive. Cette méthode de régulation a nettement amélioré la gestion de ces aménagements. Cependant, il existe des situations qui perturbent le calcul de cette commande. L'objectif de ce travail de recherche est donc de mettre au point une méthodologie et des algorithmes pour détecter les sources d'erreurs, les corriger et recaler le modèle hydraulique sur lequel s'appuie le calcul de la commande, au fur et à mesure de l'acquisition des données observées. Pour cela, la méthode d'assimilation de données de type stochastique tel que le filtre de Kalman semble être la plus adaptée. L'hypothèse forte de cette méthode est la nécessité d'employer un modèle linéaire bien que le système étudié soit non-linéaire. De ce fait, analyser l'impact de la linéarisation du modèle et déterminer ses limites d'application, furent indispensable. Pour s'assurer de l'efficacité de cette méthode, une étude de la convergence du filtre a été menée. Puis les notions d'observabilité et de détectabilité ont été abordées afin de déterminer les hypothèses suffisantes à la convergence du filtre. Pour illustrer ces études, des tests sur des expériences jumelles ont été réalisés afin de voir si le filtre de Kalman joue bien son rôle d'estimateur d'état dans diverses situations jugées problématiques pour la régulation. L'originalité de ce travail a aussi été la possibilité de traiter des scénarii réels sur la plateforme de tests de la régulation de la CNR. Cet outil a donc servi à faire un comparatif entre la méthode de mise à jour des observations qui est actuellement utilisée pour la régulation des aménagements du Rhône et celle qui est étudiée dans ce travail de thèse.

La modélisation des systèmes dynamiques requiert la prise en compte d'incertitudes liées à l'existence inévitable de bruits (bruits de mesure, bruits sur la dynamique), à la méconnaissance de certains phénomènes perturbateurs mais également aux incertitudes sur la valeur des paramètres (spécification de tolérances, phénomène de vieillissement). Alors que certaines de ces incertitudes se prêtent bien à une modélisation de type statistique comme par exemple les bruits de mesure, d'autres se caractérisent mieux par des bornes, sans autre attribut. Dans ce travail de thèse, motivés par les observations ci-dessus, nous traitons le problème de l'intégration d'incertitudes statistiques et à erreurs bornées pour les systèmes linéaires à temps discret. Partant du filtre de Kalman Intervalle (noté IKF) développé dans [Chen 1997], nous proposons des améliorations significatives basées sur des techniques récentes de propagation de contraintes et d'inversion ensembliste qui, contrairement aux mécanismes mis en jeu par l'IKF, permettent d'obtenir un résultat garanti tout en contrôlant le pessimisme de l'analyse par intervalles. Cet algorithme est noté iIKF. Le filtre iIKF a la même structure récursive que le filtre de Kalman classique et délivre un encadrement de tous les estimés optimaux et des matrices de covariance possibles. L'algorithme IKF précédent évite quant à lui le problème de l'inversion des matrices intervalles, ce qui lui vaut de perdre des solutions possibles. Pour l'iIKF, nous proposons une méthode originale garantie pour l'inversion des matrices intervalle qui couple l'algorithme SIVIA (Set Inversion via Interval Analysis) et un ensemble de problèmes de propagation de contraintes. Par ailleurs, plusieurs mécanismes basés sur la propagation de contraintes sont également mis en oeuvre pour limiter l'effet de surestimation due à la propagation d'intervalles dans la structure récursive du filtre. Un algorithme de détection de défauts basé sur iIKF est proposé en mettant en oeuvre une stratégie de boucle semi-fermée qui permet de ne pas réalimenter le filtre avec des mesures corrompues par le défaut dès que celui-ci est détecté. A travers différents exemples, les avantages du filtre iIKF sont exposés et l'efficacité de l'algorithme de détection de défauts est démontré.

Les avancées technologiques notables dans le domaine de la communication sans fil ont ouvert de nouvelles perspectives pour améliorer les systèmes d'aide à la conduite existants. En effet il a été prouvé que l'échange de données de positionnement absolu et relatif entre des véhicules d'un même groupe peut améliorer la précision de la localisation de tous ces membres. Le travail présenté dans ce manuscrit s'inscrit dans ce cadre et propose une approche totalement distribuée permettant de combiner les informations provenant des capteurs de tous les véhicules d'un groupe pour obtenir l'estimation la plus précise possible de la pose de ces derniers tout en minimisant les informations transmises sur le réseau de communication. Le principe de l'approche proposée est que chaque véhicule utilise ses propres capteurs pour mettre à jour une estimation de l'état du groupe puis la transmet à ses congénères. La fusion des états reçus et l'état construit dans chaque véhicule donne l'estimation de l'état global du groupe qui intègre les informations provenant de tous ces membres. L'approche proposée a été validée expérimentalement en simulation et dans un environnement réel avec un groupe de deux véhicules urbains.