L'objet de cette thèse est d'étudier une certaine classe de processus de Markov, dits déterministes par morceaux, ayant de très nombreuses applications en modélisation. Plus précisément, nous nous intéresserons à leur comportement en temps long et à leur vitesse de convergence à l'équilibre lorsqu'ils admettent une mesure de probabilité stationnaire. L'un des axes principaux de ce manuscrit de thèse est l'obtention de bornes quantitatives fines sur cette vitesse, obtenues principalement à l'aide de méthodes de couplage. Le lien sera régulièrement fait avec d'autres domaines des mathématiques dans lesquels l'étude de ces processus est utile, comme les équations aux dérivées partielles. Le dernier chapitre de cette thèse est consacré à l'introduction d'une approche unifiée fournissant des théorèmes limites fonctionnels pour étudier le comportement en temps long de chaînes de Markov inhomogènes, à l'aide de la notion de pseudo-trajectoire asymptotique. / The purpose of this Ph.D. thesis is the study of piecewise deterministic Markov processes, which are often used for modeling many natural phenomena. Precisely, we shall focus on their long time behavior as well as their speed of convergence to equilibrium, whenever they possess a stationary probability measure. Providing sharp quantitative bounds for this speed of convergence is one of the main orientations of this manuscript, which will usually be done through coupling methods. We shall emphasize the link between Markov processes and mathematical fields of research where they may be of interest, such as partial differential equations. The last chapter of this thesis is devoted to the introduction of a unified approach to study the long time behavior of inhomogeneous Markov chains, which can provide functional limit theorems with the help of asymptotic pseudotrajectories.

Cette thèse s'inscrit dans la théorie de l'intégration par régularisation de Russo et Vallois. La première partie est consacrée à l'approximation du temps local des semi-martingales continues. Si X est une diffusion réversible, on montre la convergence d'un premier schéma d'approximation vers le temps local de X, en probabilité uniformément sur les compacts. De ce premier schéma, on tire deux autres schémas d'approximation du temps local, l'un valable pour les semi-martingales continues, l'autre pour le mouvement Brownien standard. Dans le cas du mouvement Brownien, une vitesse de convergence dans L^2(Omega) et un résultat de convergence presque sûre sont établis. La deuxième partie de la thèse est consacrée à l'intégrale "forward" et à la variation quadratique généralisée, définies par des limites en probabilité de famille d'intégrales. Dans le cas Höldérien, la convergence presque sûre est établie. Enfin, on montre la convergence au second ordre pour une série de processus particuliers. / The setting of this work is the integration by regularization of Russo and Vallois. The first part studies schemes of approximation of the local time of continuous semimartingales. If X is a reversible diffusion, the convergence of a first schema of approximation to the local time of X is proven, in probability uniformly on the compact sets. From this first schema, two other schemas of approximation for the local time are found. One converges in the semi-martingale case, the other in the Brownian case. Moreover, in the Brownian case, we estimate the rate of convergence in L^2(Omega) and a result of almost sure convergence is proven. The second part study the forward integral and the generalized quadratic variation, which have been defined by convergence of families of integrals, in probability uniformly on the compacts sets. In the case of Hölder processes, the almost sure convergence is proven. Finally, the second order convergence is studied in many cases.

Les processus décisionnels de Markov (MDP) sont un formalisme mathématique des domaines de l'intelligence artificielle telle que la planification, l'apprentissage automatique, l'apprentissage par renforcement... Résoudre un MDP permet d'identifier la stratégie (politique) optimale d'un agent en interaction avec un environnement stochastique. Lorsque la taille de ce système est très grande il devient difficile de résoudre ces processus par les moyens classiques. Cette thèse porte sur la résolution des MDP de grande taille. Elle étudie certaines méthodes de résolutions: comme les abstractions et les méthodes dites de projection. Elle montre les limites de certaines abstractions et identifie certaines structures "les bisimulations" qui peuvent s'avérer intéressantes pour une résolution approchée du problème. Cette thèse s'est également intéressée à une méthode de projection l'algorithme Least square temporal difference LSTD(λ). Une estimation de la borne sur la vitesse de convergence de cet algorithme a été établie avec une mise en valeur du rôle joué par le paramètre [lambda]. Cette analyse a été étendue pour déduire une borne de performance pour l'algorithme Least square non stationary policy iteration LS(λ)NSPI en estimant la borne d'erreur entre la valeur calculée à une itération fixée et la valeur sous la politique optimale qu'on cherche à identifier / Markov Decision Processes (MDP) are a mathematical formalism of many domains of artifical intelligence such as planning, machine learning, reinforcement learning... Solving an MDP means finding the optimal strategy or policy of an agent interacting in a stochastic environment. When the size of this system becomes very large it becomes hard to solve this problem with classical methods. This thesis deals with the resolution of MDPs with large state space. It studies some resolution methods such as: abstractions and the projection methods. It shows the limits of some approachs and identifies some structures that may be interesting for the MDP resolution. This thesis focuses also on projection methods, the Least square temporal difference algorithm LSTD(λ). An estimate of the rate of the convergence of this algorithm has been derived with an emphasis on the role played by the parameter [lambda]. This analysis has then been generalized to the case of Least square non stationary policy iteration LS(λ)NSPI . We compute a performance bound for LS([lambda])NSPI by bounding the error between the value computed given a fixed iteration and the value computed under the optimal policy, that we aim to determine

C'est le souci d'une modélisation mathématique à la fois précise et maniable qui constitue le dénominateur commun à ces travaux de thèse. Nous nous sommes en particulier intéressés à deux champs d'application des probabilités les marchés financiers et la biologie. Le premier chapitre détaille nos motivations. Il résume nos principaux résultats, les compare aux travaux existants et suggère des extensions possibles. Au deuxième chapitre, suite aux articles de Talay et Tubaro (1990) et Bally et Talay (1996), nous mesurons l'erreur que l'on commet lorsque l'on approche la loi de la solution d'une équation différentielle stochastique par celle de son schéma d'Euler. Sous hypothèse d'ellipticité, l'utilisation conjointe de techniques probabilistes et analytiques nous permet d'obtenir un développement limité fonctionnel, dans des espaces de fonctions très régulières de type noyau gaussien, du "noyau de transition" du schéma d'Euler, en fonction du pas de temps de discrétisation. Ce résultat trouve une application naturelle en mathématiques financières. Il donne la vitesse de convergence des prix, deltas et gammas d'options européennes pour une classe extrêmement large de payoffs. Il nous permet aussi de construire, au chapitre 3, dans l'analyse d'un modèle à volatilité stochastique proposé par Fouque, Papanicolaou et Sircar (2000), un algorithme d'évaluation et de couverture des options européennes dans lequel l'équilibre entre l'erreur statistique, due à l'échantillonnage "Monte-Carlo", et l'erreur de discrétisation temporelle est assuré de manière adaptative. Enfin, le dernier chapitre a pour thème le vieillissement cellulaire et est le fruit d'une coopération avec des biologistes de la Faculté de Médecine Necker à Paris. Les données expérimentales se présentent sous forme d'un arbre binaire de taux de croissance, à partir duquel nos collègues biologistes souhaitent détecter deux sous populations. Pour expliquer ces données, nous proposons un modèle autorégressif avec bifurcation, généralisant celui proposé par Cowan et Staudte en 1986, puis construisons et implémentons des procédures permettant d'estimer des paramètres et de tester des hypothèses biologiques. Pour ce faire, nous introduisons le concept de "chaînes de Markov bifurcantes", prouvons que cette famille de processus stochastiques satisfait des théorèmes limites originaux que nous appliquons au modèle et confrontons aux données, confirmant l'intuition et les calculs préliminaires des biologistes.

Cette thèse s'inscrit dans la théorie de l'intégration par régularisation de Russo et Vallois. La première partie est consacrée à l'approximation du temps local des semi-martingales continues. On montre que, si $X$ est une diffusion réversible, alors $ \frac{1}{\epsilon}\int_0^t \left( \indi_{\{ y < X_{s+\epsilon}\}} - \indi_{\{ y < X_{s}\}} \right) \left( X_{s+\epsilon}-X_{s} \right)ds$ converge vers $L_t^y(X)$, en probabilité uniformément sur les compacts, quand $\epsilon \to 0$. De ce premier schéma, on tire deux autres schémas d'approximation du temps local, l'un valable pour les semi-martingales continues, l'autre pour le mouvement Brownien standard. Dans le cas du mouvement Brownien, une vitesse de convergence dans $L^2(\Omega)$ et un résultat de convergence presque sûre sont établis. La deuxième partie de la thèse est consacrée à l'intégrale "forward" et à la variation quadratique généralisée, définies par des limites en probabilité de famille d'intégrales. Dans le cas Höldérien, la convergence presque sûre est établie. Enfin, on montre la convergence au second ordre pour une série de processus particuliers.

Dans cette thèse nous nous intéressons principalement aux comportements diffusifs et à la vitesse de convergence vers l'équilibre au sens de la variance de différents modèles de systèmes de particules interagissantes ainsi qu'à un problème de percolation. Nous commençons par introduire informellement le premier sujet. Dans l'étude des systèmes dynamiques, un processus de Markov apériodique et irréductible admettant une mesure invariante converge vers celle-ci en temps long. Dans ce travail, nous nous intéressons ici à la quantification de la vitesse de cette convergence en étudiant la variance du semigroupe associé à la dynamique appliqué à certains ensembles de fonctions. Deux vitesses de convergence sont envisagées ici : la vitesse de de convergence exponentielle impliquée par un trou spectral dans le générateur du processus; une vitesse de convergence polynomiale dite diffusive lorsque le trou spectral est nul.Dans le deuxième chapitre, nous nous étudions le modèle de marche aléatoire en milieu aléatoire et nous prouvons dans ce cadre une vitesse de décroissance de type diffusive.Dans le troisième chapitre, nous étudions le modèle d'exclusion simple à taux dégénérés en dimension 1 appelé ka1f. Nous prouvons des bornes sur le trou spectral en volume fini et une vitesse de décroissance sous-diffusive en volume infini.Dans le quatrième chapitre, nous étudions un modèle à spins non bornés. Nous prouvons une correspondance entre la covariance de l'évolution de deux masses et une marche aléatoire en milieu aléatoire dynamique. Dans le dernier chapitre, nous nous intéressons à un modèle de percolation et à l'étude d'une conjecture étudiant la distance de graphe au sens de la percolation. / In this thesis, we are interested mainly by the diffusive behaviours and the speed of convergence towards equilibrium in the sense of the variance of different models of interacting particles systems and a problem of percolation.We start by introducing unformally the first subject of interest. In the study of dynamic systems, a markov process aperiodic and irreducible having an invariant measure converges towards it in a long time. In this work, we are interested to quantify the speed of this convergence by studying the variance of the semigroup associated to the dynamic applied to some set of functions. Two speeds of convergence are considered: the exponential speed of convergence implied by a spectral gap in the generator of the process; a polynomial tome of convergence called diffusive when the spectral gap is null.In the second chapter, we study the model of random walk in random environment and we prove in this context a diffusive behavior of the speed of convergence.in the third chapter, we study the simple exclusion process with degenerate rates in dimension 1 called ka1F. We prove bounds on the spectral gap in finite volume and a sub-diffusive behavior in infinite volume. In the fourth chapter, we study an unbounded spin model. We prove a relation betweden the covariance of the evolution of two masses and a random walk in a dynamic random environment.In the last chapter, we are interested in the model of percolation and the study of a conjecture studying the distance of graph in the sense of the percolation.

Les marchés financiers ont connu, grâce aux études réalisées durant les trois dernières décennies, une expansion considérable et ont vu l’apparition de produits dérivés divers et variés. Les plus utilisés parmi ces produits dérivés sont les options américaines / Financial markets knew, thanks to studies carried out during the last three decades, a considerable expansion and saw the appearance of diverse and varied by-products. The most used among these by-products are the American options

Le traitement itératif est actuellement largement répandu dans les récepteurs sans fil modernes pour le décodage des codes de canal avancés. L'extension de ce principe avec l'ajout d'une boucle de rétroaction vers l'égaliseur et le demappeur a montré d'excellentes performances dans des conditions sévères de canaux de transmission (effacement, multi-trajets, modèles réels de canaux à évanouissements). Toutefois, l'adoption du traitement itératif avec du turbo décodage est fortement limitée par la complexité d'implémentation engendrée, qui impacte fortement sur le débit, la latence et la consommation. Pour faire face à ces problèmes et permettre l'adoption généralisée du traitement itératif, de nouvelles techniques d'optimisation au niveau système doivent être exploitées. Dans ce travail, nous avons étudié la vitesse de convergence et la complexité au niveau système des récepteurs avancés combinant plusieurs processus itératifs. La première partie de cette thèse a été axée sur l'étude de la combinaison de la démodulation itérative avec du turbo décodage, tandis que la deuxième partie a étendu cette étude vers les récepteurs itératifs MIMO en appliquant de la turbo égalisation, de la turbo démodulation et du turbo décodage. Plusieurs techniques de communication et paramètres système, tels que spécifiés dans les applications émergentes de communication sans fil, ont été pris en compte. De nouveaux ordonnancements des itérations pour les boucles de rétroaction internes et externes ont été proposés pour améliorer la convergence et réduire la complexité globale en termes d'opérations arithmétiques et d'accès mémoire. En outre, l'analyse effectuée et les ordonnancements proposés démontrent l'efficacité des boucles de rétroaction externes, même en termes de complexité, par rapport aux récepteurs classiques non itératifs. Ces résultats ont permis la proposition de nouveaux récepteurs itératifs à complexité adaptative appliquant du turbo décodage, de la turbo démodulation et de la turbo égalisation.

L'objet de cette thèse est l'étude du comportement asymptotique d'estimateurs à noyau d'une densité de probabilité et de ses dérivées, d'une fonction de régression, ainsi que du mode et de la valeur modale d'une densité de probabilité. Le but est d'établir certaines propriétés des estimateurs à noyau récursifs ou semi-récursifs afin de comparer leur comportement asymptotique à celui des estimateurs classiques. Dans le premier chapitre, nous établissons des principes de grandes déviations (PGD) et des principes de déviations modérées (PDM) pour l'estimateur récursif d'une densité de probabilité et pour ses dérivées. Il s'avére que, dans les principes de déviations vérifiés par les estimateurs des dérivées, la fonction de taux est toujours une fonction quadratique, que les déviations soient grandes ou modérées. Contrairement, pour l'estimateur de la densité, les fonctions de taux qui apparaissent sont de nature différente selon que les déviations sont grandes ou modéerées. Les fonctions de taux qui apparaissent tant dans les PGD pour les dérivées que dans les PDM pour la densité et pour les dérivées sont plus grandes dans le cas où l'estimateur récursif est utilisé. Dans le deuxième chapitre, nous établissons des PGD et des PDM pour des estimateurs à noyau d'une fonction de régression. Nous généralisons les résultats déjà obtenus dans le cas unidimensionnel pour l'estimateur de Nadaraya-Watson. Nous étudions ensuite le comportement en déviations de la version semi-récursive de cet estimateur en établissant des PGD et des PDM. Les fonctions de taux qui apparaissent dans les PDM sont plus grandes pour l'estimateur semi-récursif que pour l'estimateur classique. Dans le troisième chapitre, nous nous intéressons à l'estimation jointe du mode et de la valeur modale d'une densité de probabilité basée sur l'estimateur à noyau récursif de la densité. Nous étudions la vitesse de convergence en loi et presque sûre du couple formé par ces deux estimateurs. Pour estimer simultanément les deux paramètres de façon optimale, il faut utiliser des fenêtres différentes pour définir chacun des deux estimateurs. Les estimateurs semi-récursifs conduisent à des variances asymptotiques plus petites que les estimateurs classiques.

Les Processus Markoviens D eterministes par Morceaux (PDMP) ont et e introduits dans la litt erature par M.H.A Davis comme une classe g en erale de mod eles stochastiques. Les PDMP forment une famille de processus markoviens qui d ecrivent une trajectoire d eterministe ponctu ee par des sauts al eatoires. Dans une premi ere partie, les PDMP sont utilis es pour calculer des probabilit es d' ev enements redout es pour un cas-test de la abilit e dynamique (le r eservoir chau e) par deux m ethodes num eriques di erentes : la premi ere est bas ee sur la r esolution du syst eme di erentiel d ecrivant l' evolution physique du r eservoir et la seconde utilise le calcul de l'esp erance de la fonctionnelle d'un PDMP par un syst eme d' equations int egro-di erentielles. Dans la seconde partie, nous proposons une m ethode num erique pour approcher la fonction valeur du probl eme d'arr^et optimal pour un PDMP. Notre approche est bas ee sur la quanti cation de la position apr es saut et le temps inter-sauts de la chaî ne de Markov sous-jacente au PDMP, et la discr etisation en temps adapt ee a la trajectoire du processus. Ceci nous permet d'obtenir une vitesse de convergence de notre sch ema num erique et de calculer un temps d'arrêt epsilon-optimal.