La prise de décision dans un environnement partiellement observable est un sujet d'actualité en intelligence artificielle. Une façon d'aborder ce type de problème est d'utiliser un modèle mathématique. Notamment, les POMDPs (Partially Observable Markov Decision Process) ont fait l'objet de plusieurs recherches au cours des dernières années. Par contre, résoudre un POMDP est un problème très complexe et pour cette raison, le modèle n'a pas été utilisé abondamment. Notre objectif était de continuer les progrès ayant été réalisé lors des dernières années, avec l'espoir que nos travaux de recherches seront un pas de plus vers l'application des POMDPs dans des applications d'envergures. Dans un premier temps, nous avons développé un nouvel algorithme hors-ligne qui, sur des problèmes tests, est plus performant que les meilleurs algorithmes existants. La principale innovation vient du fait qu'il s'agit d'un algorithme stochastique alors que les algorithmes traditionnels sont déterministes. Dans un deuxième temps, nous pouvons également appliquer cet algorithme dans des environnements en-lignes. Lorsque ceux-ci revêtent une certaine particularité, notre algorithme est beaucoup plus performant que la compétition. Finalement, nous avons appliqué une version simplifiée de notre algorithme dans le cadre du projet Combat Identification du RDDC-Valcartier. / Decision making under uncertainty is a popular topic in the field of artificial intelligence. One popular way to attack such problems is by using a sound mathematical model. Notably, Partially Observable Markov Processes (POMDPs) have been the subject of extended researches over the last ten years or so. However, solving a POMDP is a very time-consuming task and for this reason, the model has not been used extensively. Our objective was to continue the tremendous progress that has been made over the last couple of years, with the hope that our work will be a step toward applying POMDPs in large-scale problems. To do so, we combined different ideas in order to produce a new algorithm called SSVI (Stochastic Search Value Iteration). Three major accomplishments were achieved throughout this research work. Firstly, we developed a new offline POMDP algorithm which, on benchmark problems, proved to be more efficient than state of the arts algorithm. The originality of our method comes from the fact that it is a stochastic algorithm, in comparison with the usual determinist algorithms. Secondly, the algorithm we developed can also be applied in a particular type of online environments, in which this algorithm outperforms by a significant margin the competition. Finally, we also applied a basic version of our algorithm in a complex military simulation in the context of the Combat Identification project from DRDC-Valcartier.

Cette thèse comprend deux parties. La première traite de la construction d'un ensemble aléeatoire qui a la propriété de régénération. Plus précisement, on construit des intervalles aléatoires issus des maxima locaux d'un processus de Poisson ponctuel. Ceux-ci sont utilisés pour recouvrir partiellement la semi--droite des réels positifs et on s'intéresse alors à l'ensemble résiduel $\Rs,$ des points qui n'ont pas été recouverts. On donne des critères intégrales pour déterminer si l'ensemble $\Rs$ a une mesure de Lebesgue non nulle, si il est discret ou encore si il est borné. On montre que l'ensemble $\Rs$ est régenératif et on caractérise le subordinateur associé via sa mesure potentiel. On donne des formules pour calculer quelques dimensions fractales pour $\Rs.$ La deuxième partie est constituée de quelques contributions à la théorie des processus de Markov auto--similaires positifs. Pour obtenir les résultats de cette partie on utilise amplement la transformation de Lamperti qui permet de rélier les processus de Markov auto--similaires positif aux processus de Lévy à valeurs dans $\re.$ On s' interesse d'abord, au comportement à l'infini d'un processus de Markov auto--similaire croissant. On détermine, sous certaines hypothèses, une fonction déterministe $f$ telle que la limite inférieure, lorsque $t$ tend vers l'infini, du quotient $X_t/f(t)$ est finie et non nulle avec probabilité $1.$ Un résultat analogue est obtenu pour déterminer le comportement près de 0 du processus $X$ issu de 0. Ensuite, on étudie les différentes manières de construire un processus de Markov auto--similaire $\widetilde(X)$ pour lequel 0 est un point régulier et récurrent. En premier lieu, on donne des conditions qui nous permettent d'assurer qu'un tel processus existe et d'expliciter sa résolvante. En second lieu, on fait une étude systématique de la mesure d'excursions d'Itô $\exc$ pour le processus $\widetilde(X)$. On donne en particulier une description à la Imhof de $\exc,$ on determine la loi sous $\exc$ de l'excursion normalisée et l'image sous retournement de temps de $\exc$. De plus, on construit et on décrit un processus qui est en dualité faible avec le processus $\widetilde(X).$ On obtient diverses estimations de la queue de probabilité de la loi d'une variable aléatoire fonctionnelle exponentielle d'un processus de Lévy.

Nous décrivons le niveau de dégradation caractéristique d'une structure à l'aide d'un processus stochastique appelé processus de dégradation. La dynamique de ce processus est modélisée par un système différentiel à environnement markovien.<br /><br />Nous étudions la fiabilité du système en considérant la défaillance de la structure lorsque le processus de dégradation dépasse un seuil fixe. Nous obtenons la fiabilité théorique à l'aide de la théorie du renouvellement markovien.<br /><br />Puis, nous proposons une procédure d'estimation des paramètres des processus aléatoires du système différentiel. Les méthodes d'estimation et les résultats théoriques de la fiabilité, ainsi que les algorithmes de calcul associés, sont validés sur des données simulés.<br /><br />Notre méthode est appliquée à la modélisation d'un mécanisme réel de dégradation, la propagation des fissures, pour lequel nous disposons d'un jeu de données expérimental.

Let but de cette thèse est de proposer différents modèles mathématiques de neurones pour l'Optogénétique et d'étudier leur contrôle optimal. Nous définissons d'abord une version contrôlée des modèles déterministes de dimension finie, dits à conductances. Nous étudions un problème de temps minimal pour un système affine mono-entrée dont nous étudions les singulières. Nous appliquons une méthode numérique directe pour observer les trajectoires et contrôles optimaux. Le contrôle optogénétique apparaît comme une nouvelle façon de juger de la capacité des modèles à conductances de reproduire les caractéristiques de la dynamique du potentiel de membrane, observées expérimentalement. Nous définissons ensuite un modèle stochastique en dimension infinie pour prendre en compte le caractère aléatoire des mécanismes des canaux ioniques et la propagation des potentiels d'action. Il s'agit d'un processus de Markov déterministe par morceaux (PDMP) contrôlé, à valeurs dans un espace de Hilbert. Nous définissons une large classe de PDMPs contrôlés en dimension infinie et prouvons le caractère fortement Markovien de ces processus. Nous traitons un problème de contrôle optimal à horizon de temps fini. Nous étudions le processus de décision Markovien (MDP) inclus dans le PDMP et montrons l'équivalence des deux problèmes. Nous donnons des conditions suffisantes pour l'existence de contrôles optimaux pour le MDP, et donc le PDMP. Nous discutons des variantes pour le modèle d'Optogénétique stochastique en dimension infinie. Enfin, nous étudions l'extension du modèle à un espace de Banach réflexif, puis, dans un cas particulier, à un espace de Banach non réflexif. / The aim of this thesis is to propose different mathematical neuron models that take into account Optogenetics, and study their optimal control. We first define a controlled version of finite-dimensional, deterministic, conductance based neuron models. We study a minimal time problem for a single-input affine control system and we study its singular extremals. We implement a direct method to observe the optimal trajectories and controls. The optogenetic control appears as a new way to assess the capability of conductance-based models to reproduce the characteristics of the membrane potential dynamics experimentally observed. We then define an infinite-dimensional stochastic model to take into account the stochastic nature of the ion channel mechanisms and the action potential propagation along the axon. It is a controlled piecewise deterministic Markov process (PDMP), taking values in an Hilbert space. We define a large class of infinite-dimensional controlled PDMPs and we prove that these processes are strongly Markovian. We address a finite time optimal control problem. We study the Markov decision process (MDP) embedded in the PDMP. We show the equivalence of the two control problems. We give sufficient conditions for the existence of an optimal control for the MDP, and thus, for the initial PDMP as well. The theoretical framework is large enough to consider several modifications of the infinite-dimensional stochastic optogenetic model. Finally, we study the extension of the model to a reflexive Banach space, and then, on a particular case, to a nonreflexive Banach space.

Cette thèse, intitulée "Contributions à l'apprentissage par renforcement inverse", fournit trois contributions majeures au domaine. La première est une méthode d'estimation de l'attribut moyen, une quantité exploitée par la grande majorité des approches constituant l'état de l'art. Elle a permis d'étendre ces approches au cadre batch et off-policy. La seconde contribution majeure est un algorithme d'apprentissage par renforcement inverse, structured classification for inverse reinforcement learning (SCIRL), qui relâche une contrainte standard du domaine, la résolution répétée d'un processus décisionnel de Markov en introduisant la structure temporelle (par le biais de l'attribut moyen) de ce processus dans un algorithme de classification structurée. Les garanties théoriques qui lui sont attachées et ses bonnes performances en pratique ont permis sa présentation dans une conférence internationale prestigieuse : NIPS. Enfin, la troisième contribution est constituée par la méthode cascaded supervised learning for inverse reinforcement learning (CSI) consistant à apprendre le comportement de l'expert par une méthode supervisée puis à introduire la structure temporelle du MDP par une régression mettant en jeu la fonction de score du classifieur utilisé. Cette méthode offre des garanties théoriques de même nature que celle de SCIRL tout en présentant l'avantage d'utiliser des composants standards pour la classification et la régression, ce qui simplifie la mise en oeuvre. Ce travail sera présenté dans une autre conférence internationale prestigieuse : ECML / This thesis, "Contributions à l'apprentissage par renforcement inverse", brings three major contributions to the community. The first one is a method for estimating the feature expectation, a quantity involved in most of state-of-the-art approaches which were thus extended to a batch off-policy setting. The second major contribution is an Inverse Reinforcement Learning algorithm, structured classification for inverse reinforcement learning (SCIRL), which relaxes a standard constraint in the field, the repeated solving of a Markov Decision Process, by introducing the temporal structure (using the feature expectation) of this process into a structured margin classification algorithm. The afferent theoritical guarantee and the good empirical performance it exhibited allowed it to be presentend in a good international conference: NIPS. Finally, the third contribution is cascaded supervised learning for inverse reinforcement learning (CSI) a method consisting in learning the expert's behavior via a supervised learning approach, and then introducing the temporal structure of the MDP via a regression involving the score function of the classifier. This method presents the same type of theoretical guarantee as SCIRL, but uses standard components for classification and regression, which makes its use simpler. This work will be presented in another good international conference: ECML

No description available.

Nos différents résultats consistent principalement à établir des extensions du calcul stochastique classique. Pour (X_t) processus de Markov, il s'agissait à l'origine de donner dans les quatre cas suivants, la décomposition explicite de F(X_t,t) en tant que processus de Dirichlet, sous des conditions minimum sur F fonction déterministe à valeurs réelles. Dans le premier cas, X est un processus de Lévy réel avec composante brownienne. Dans le deuxième cas X est un processus de Lévy symétrique sans composante brownienne mais admettant des temps locaux en tant que processus de Markov. Dans le troisième cas, X est un processus de Markov symétrique général sans condition d'existence de temps locaux mais F(x,t) ne dépend pas de t. Dans le quatrième cas, nous supprimons l'hypothèse de symétrie du troisième cas. Dans chacun des trois premiers cas, on obtient une formule d'Itô à la seule condition que la fonction F admette des dérivées de Radon-Nikodym d'ordre 1 localement bornées. On rappelle que dans l'hypothèse où X est une semi-martingale, la formule d'Itô classique nécessite que F soit C^2. C'est l'hypothèse que nous devons prendre dans le quatrième cas. Le premier cas excepté, chacune des formules d'Itô obtenues s'appuie sur la construction de nouvelles intégrales stochastiques par rapport à des processus aléatoires qui ne sont pas des semi-martingales.

Thèse de doctorat : Automatique, traitement du signal et des images : Nice : 2004. / Bibliogr. p. 217-224. Résumés en français et en anglais.

Ce mémoire porte sur la densité du premier temps de passage d'un processus gaussien et markovien à travers une frontière. Ce problème est résolu pour quelques cas particuliers, mais il n'est pas encore possible pour l'instant de le résoudre de façon analytique pour une frontière déterministe quelconque. (Di Nardo et al., 2001) ont proposé une méthode qui utilise des fonctions symétriques pour un ensemble de frontières qui généralisent celles de (Daniels, 1996). C'est ce qui est principalement étudié ici. De plus, deux exemples d'applications en finance sont considérés. Finalement, on regarde aussi un exemple de simulations pour comparer cette méthode à celle de (Durbin et Williams, 1992). ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Processus gaussien et markovien, mouvement brownien, processus d'Ornstein-Uhlenbeck, premier temps de passage.

Depuis septembre 2006, je suis maître de conférences à l'université Montesquieu Bordeaux IV en mathématiques appliquées. Je suis membre du GREThA (groupement de recherche en économie théorique et appliquée), de l'IMB (Institut de Mathématiques de Bordeaux, équipe probabilités et statistique) et de l'équipe Inria CQFD (contrôle de qualité et fiabilité dynamique). Depuis mon arrivée à Bordeaux, mes travaux de recherche se poursuivent dans deux directions principales : l'une concerne les processus auto-régressifs de bifurcation sur des arbres binaires et l'autre le développement d'outils numériques pour le contrôle des processus markoviens déterministes par morceaux. Il s'agit de processus en temps continu qui changent de régime de façon markovienne au cours du temps. Ce mémoire présente uniquement mes travaux réalisés à Bordeaux depuis 2006.