La modélisation de phénomènes biologiques qui impliquent un très grand nombre d'unités pose toujours un défi. De nombreux modèles présentent une vision globale de la dynamique moyenne du phénomène sous la forme d'un système d'équations différentielles ordinaires. C'est le cas notamment du modèle de Wilson-Cowan, qui décrit l'activité qui se propage dans un réseau de neurones biologiques. Une limite importante de ce modèle est qu'il néglige d'éventuelles corrélations entre les états de différents neurones. L'objectif premier de ce mémoire est ainsi de le généraliser afin de décrire de telles corrélations. On veut aussi mieux en comprendre les fondements mathématiques et les liens qu'il a avec des modèles semblables utilisés en épidémiologie et en écologie. Pour s'attaquer à ce problème, on construit une chaîne de Markov en temps continu qui décrit l'évolution des états des nœuds d'un graphe, et qui peut ainsi modéliser un phénomène biologique d'un point de vue microscopique. Étant donné le très grand nombre de nœuds que comporte le graphe, ce modèle microscopique est difficile à analyser. À partir du processus stochastique, on obtient alors par un moyennage un système d'équations différentielles ordinaires afin de décrire la dynamique sur le graphe d'un point de vue macroscopique. Deux applications de cette méthode sont alors présentées : l'une en épidémiologie et l'autre en neurosciences. On se concentre particulièrement sur l'application en neurosciences, qui permet de décrire la dynamique d'un réseau de neurones biologiques et de généraliser le modèle de Wilson-Cowan. En effet, on arrive à proposer deux nouveaux systèmes qui sont des extensions de ce modèle, puisqu'elles permettent de considérer des corrélations entre les états de différents neurones. On présente finalement un exemple dans lequel le comportement dynamique de l'une de ces extensions est plus près du comportement du processus stochastique que celui du modèle de Wilson-Cowan. / Modeling biological phenomena that involve a very large number of individual units is always a challenge. In this context, many models consist in a system of ordinary differential equations that gives an overview of the mean dynamics of a phenomenon. Among these is the Wilson-Cowan model, which describes the activity of a biological neural network. An important weakness of this model is that it neglects all possible correlations between the states of different neurons. The main goal of this thesis is to generalize Wilson-Cowan's model to describe such correlations. We also seek to get a better understanding of its mathematical foundations, as well as its links with other models used in epidemiology and ecology. To tackle this problem, we construct a continuous-time Markov chain to describe the evolution of the states of the nodes of a large graph. Such a process can then model a biological phenomenon from a microscopic point of view. Since the size of the graph is very large, this microscopic model is hard to analyze. Hence, from the stochastic process, we use an averaging method to obtain a system of ordinary differential equations which describes the dynamics on the graph from a macroscopic point of view. We show two applications of this method : one in epidemiology and the other in neuroscience. We focus on the application in neuroscience, which leads to a description of the dynamics a biological neural network and generalizes Wilson-Cowan's model. Indeed, we introduce two new systems which are extensions of this model since they can describe correlations between the states of different neurons. Finally, we present an example where the behavior of the stochastic process is closer to the dynamical behavior of one of the extensions than that of Wilson-Cowan's model.

Tableau d'honneur de la Faculté des études supérieures et postdoctorales, 2011-2012 / Dans ce mémoire, nous comparons deux modèles de processus probabilistes évoluant dans un environnement continu. Les processus de Markov étiquetés sont des systèmes de transitions pour lesquels l’ensemble des états est non-dénombrable, mais qui évoluent de manière discrète dans le temps. Les mesures de probabilité définies sur l’ensemble des états peuvent avoir un support infini. Les processus hybrides sont une combinaison d’un processus à espace d’états continu qui évolue de manière continue dans le temps et une composante discrète qui intervient pour contrôler l’évolution. Les extensions probabilistes des processus hybrides présentes dans la littérature restreignent le comportement probabiliste à la composante discrète. Nous utilisons deux exemples de systèmes, un avion et un bateau, pour faire ressortir les divergences entre les deux modèles ainsi que leurs limitations, et nous définissons une généralisation qui peut modéliser fidèlement ces exemples. Nous avons également pu montrer, dans un article publié dans un atelier international, comment utiliser, dans le contexte probabiliste, la «substitution d’horloge» et l’«approximation par portrait» qui sont des techniques proposées par Henzinger et al. pour les processus non probabilistes. Ces techniques permettent, sous certaines conditions, de définir un processus probabiliste rectangulaire à partir d’un qui est non rectangulaire, rendant ainsi possible la vérification formelle de toute classe de système hybride probabiliste. / We compare two models of processes involving uncountable space. Labelled Markov processes are probabilistic transition systems that can have uncountably many states, but still make discrete time steps. The probability measures on the state space may have uncountable support and a tool has been developed for verification of such systems. Hybrid processes are a combination of a continuous space process that evolves continuously with time and of a discrete component, such as a controller. Existing extensions of Hybrid processes with probability restrict the probabilistic behavior to the discrete component. We have also shown, in a paper, how to compute for probabilistic hybrid systems, the clock approximation and linear phase-portrait approximation that have been proposed for non probabilistic processes by Henzinger et al. The techniques permit, under some conditions, to define a rectangular probabilistic process from a non rectangular one, hence allowing the model-checking of any class of systems. To highlight the differences between Labelled Markov processes and probabilistic hybrid systems, we use two examples, the ones of a boat and an aircraft, and

Cette thèse comprend deux parties. La première traite de la construction d'un ensemble aléeatoire qui a la propriété de régénération. Plus précisement, on construit des intervalles aléatoires issus des maxima locaux d'un processus de Poisson ponctuel. Ceux-ci sont utilisés pour recouvrir partiellement la semi--droite des réels positifs et on s'intéresse alors à l'ensemble résiduel $\Rs,$ des points qui n'ont pas été recouverts. On donne des critères intégrales pour déterminer si l'ensemble $\Rs$ a une mesure de Lebesgue non nulle, si il est discret ou encore si il est borné. On montre que l'ensemble $\Rs$ est régenératif et on caractérise le subordinateur associé via sa mesure potentiel. On donne des formules pour calculer quelques dimensions fractales pour $\Rs.$ La deuxième partie est constituée de quelques contributions à la théorie des processus de Markov auto--similaires positifs. Pour obtenir les résultats de cette partie on utilise amplement la transformation de Lamperti qui permet de rélier les processus de Markov auto--similaires positif aux processus de Lévy à valeurs dans $\re.$ On s' interesse d'abord, au comportement à l'infini d'un processus de Markov auto--similaire croissant. On détermine, sous certaines hypothèses, une fonction déterministe $f$ telle que la limite inférieure, lorsque $t$ tend vers l'infini, du quotient $X_t/f(t)$ est finie et non nulle avec probabilité $1.$ Un résultat analogue est obtenu pour déterminer le comportement près de 0 du processus $X$ issu de 0. Ensuite, on étudie les différentes manières de construire un processus de Markov auto--similaire $\widetilde(X)$ pour lequel 0 est un point régulier et récurrent. En premier lieu, on donne des conditions qui nous permettent d'assurer qu'un tel processus existe et d'expliciter sa résolvante. En second lieu, on fait une étude systématique de la mesure d'excursions d'Itô $\exc$ pour le processus $\widetilde(X)$. On donne en particulier une description à la Imhof de $\exc,$ on determine la loi sous $\exc$ de l'excursion normalisée et l'image sous retournement de temps de $\exc$. De plus, on construit et on décrit un processus qui est en dualité faible avec le processus $\widetilde(X).$ On obtient diverses estimations de la queue de probabilité de la loi d'une variable aléatoire fonctionnelle exponentielle d'un processus de Lévy.

Nous décrivons le niveau de dégradation caractéristique d'une structure à l'aide d'un processus stochastique appelé processus de dégradation. La dynamique de ce processus est modélisée par un système différentiel à environnement markovien.<br /><br />Nous étudions la fiabilité du système en considérant la défaillance de la structure lorsque le processus de dégradation dépasse un seuil fixe. Nous obtenons la fiabilité théorique à l'aide de la théorie du renouvellement markovien.<br /><br />Puis, nous proposons une procédure d'estimation des paramètres des processus aléatoires du système différentiel. Les méthodes d'estimation et les résultats théoriques de la fiabilité, ainsi que les algorithmes de calcul associés, sont validés sur des données simulés.<br /><br />Notre méthode est appliquée à la modélisation d'un mécanisme réel de dégradation, la propagation des fissures, pour lequel nous disposons d'un jeu de données expérimental.

Let but de cette thèse est de proposer différents modèles mathématiques de neurones pour l'Optogénétique et d'étudier leur contrôle optimal. Nous définissons d'abord une version contrôlée des modèles déterministes de dimension finie, dits à conductances. Nous étudions un problème de temps minimal pour un système affine mono-entrée dont nous étudions les singulières. Nous appliquons une méthode numérique directe pour observer les trajectoires et contrôles optimaux. Le contrôle optogénétique apparaît comme une nouvelle façon de juger de la capacité des modèles à conductances de reproduire les caractéristiques de la dynamique du potentiel de membrane, observées expérimentalement. Nous définissons ensuite un modèle stochastique en dimension infinie pour prendre en compte le caractère aléatoire des mécanismes des canaux ioniques et la propagation des potentiels d'action. Il s'agit d'un processus de Markov déterministe par morceaux (PDMP) contrôlé, à valeurs dans un espace de Hilbert. Nous définissons une large classe de PDMPs contrôlés en dimension infinie et prouvons le caractère fortement Markovien de ces processus. Nous traitons un problème de contrôle optimal à horizon de temps fini. Nous étudions le processus de décision Markovien (MDP) inclus dans le PDMP et montrons l'équivalence des deux problèmes. Nous donnons des conditions suffisantes pour l'existence de contrôles optimaux pour le MDP, et donc le PDMP. Nous discutons des variantes pour le modèle d'Optogénétique stochastique en dimension infinie. Enfin, nous étudions l'extension du modèle à un espace de Banach réflexif, puis, dans un cas particulier, à un espace de Banach non réflexif. / The aim of this thesis is to propose different mathematical neuron models that take into account Optogenetics, and study their optimal control. We first define a controlled version of finite-dimensional, deterministic, conductance based neuron models. We study a minimal time problem for a single-input affine control system and we study its singular extremals. We implement a direct method to observe the optimal trajectories and controls. The optogenetic control appears as a new way to assess the capability of conductance-based models to reproduce the characteristics of the membrane potential dynamics experimentally observed. We then define an infinite-dimensional stochastic model to take into account the stochastic nature of the ion channel mechanisms and the action potential propagation along the axon. It is a controlled piecewise deterministic Markov process (PDMP), taking values in an Hilbert space. We define a large class of infinite-dimensional controlled PDMPs and we prove that these processes are strongly Markovian. We address a finite time optimal control problem. We study the Markov decision process (MDP) embedded in the PDMP. We show the equivalence of the two control problems. We give sufficient conditions for the existence of an optimal control for the MDP, and thus, for the initial PDMP as well. The theoretical framework is large enough to consider several modifications of the infinite-dimensional stochastic optogenetic model. Finally, we study the extension of the model to a reflexive Banach space, and then, on a particular case, to a nonreflexive Banach space.

Cette thèse, intitulée "Contributions à l'apprentissage par renforcement inverse", fournit trois contributions majeures au domaine. La première est une méthode d'estimation de l'attribut moyen, une quantité exploitée par la grande majorité des approches constituant l'état de l'art. Elle a permis d'étendre ces approches au cadre batch et off-policy. La seconde contribution majeure est un algorithme d'apprentissage par renforcement inverse, structured classification for inverse reinforcement learning (SCIRL), qui relâche une contrainte standard du domaine, la résolution répétée d'un processus décisionnel de Markov en introduisant la structure temporelle (par le biais de l'attribut moyen) de ce processus dans un algorithme de classification structurée. Les garanties théoriques qui lui sont attachées et ses bonnes performances en pratique ont permis sa présentation dans une conférence internationale prestigieuse : NIPS. Enfin, la troisième contribution est constituée par la méthode cascaded supervised learning for inverse reinforcement learning (CSI) consistant à apprendre le comportement de l'expert par une méthode supervisée puis à introduire la structure temporelle du MDP par une régression mettant en jeu la fonction de score du classifieur utilisé. Cette méthode offre des garanties théoriques de même nature que celle de SCIRL tout en présentant l'avantage d'utiliser des composants standards pour la classification et la régression, ce qui simplifie la mise en oeuvre. Ce travail sera présenté dans une autre conférence internationale prestigieuse : ECML / This thesis, "Contributions à l'apprentissage par renforcement inverse", brings three major contributions to the community. The first one is a method for estimating the feature expectation, a quantity involved in most of state-of-the-art approaches which were thus extended to a batch off-policy setting. The second major contribution is an Inverse Reinforcement Learning algorithm, structured classification for inverse reinforcement learning (SCIRL), which relaxes a standard constraint in the field, the repeated solving of a Markov Decision Process, by introducing the temporal structure (using the feature expectation) of this process into a structured margin classification algorithm. The afferent theoritical guarantee and the good empirical performance it exhibited allowed it to be presentend in a good international conference: NIPS. Finally, the third contribution is cascaded supervised learning for inverse reinforcement learning (CSI) a method consisting in learning the expert's behavior via a supervised learning approach, and then introducing the temporal structure of the MDP via a regression involving the score function of the classifier. This method presents the same type of theoretical guarantee as SCIRL, but uses standard components for classification and regression, which makes its use simpler. This work will be presented in another good international conference: ECML

No description available.

Nos différents résultats consistent principalement à établir des extensions du calcul stochastique classique. Pour (X_t) processus de Markov, il s'agissait à l'origine de donner dans les quatre cas suivants, la décomposition explicite de F(X_t,t) en tant que processus de Dirichlet, sous des conditions minimum sur F fonction déterministe à valeurs réelles. Dans le premier cas, X est un processus de Lévy réel avec composante brownienne. Dans le deuxième cas X est un processus de Lévy symétrique sans composante brownienne mais admettant des temps locaux en tant que processus de Markov. Dans le troisième cas, X est un processus de Markov symétrique général sans condition d'existence de temps locaux mais F(x,t) ne dépend pas de t. Dans le quatrième cas, nous supprimons l'hypothèse de symétrie du troisième cas. Dans chacun des trois premiers cas, on obtient une formule d'Itô à la seule condition que la fonction F admette des dérivées de Radon-Nikodym d'ordre 1 localement bornées. On rappelle que dans l'hypothèse où X est une semi-martingale, la formule d'Itô classique nécessite que F soit C^2. C'est l'hypothèse que nous devons prendre dans le quatrième cas. Le premier cas excepté, chacune des formules d'Itô obtenues s'appuie sur la construction de nouvelles intégrales stochastiques par rapport à des processus aléatoires qui ne sont pas des semi-martingales.

Thèse de doctorat : Automatique, traitement du signal et des images : Nice : 2004. / Bibliogr. p. 217-224. Résumés en français et en anglais.

Ce mémoire porte sur la densité du premier temps de passage d'un processus gaussien et markovien à travers une frontière. Ce problème est résolu pour quelques cas particuliers, mais il n'est pas encore possible pour l'instant de le résoudre de façon analytique pour une frontière déterministe quelconque. (Di Nardo et al., 2001) ont proposé une méthode qui utilise des fonctions symétriques pour un ensemble de frontières qui généralisent celles de (Daniels, 1996). C'est ce qui est principalement étudié ici. De plus, deux exemples d'applications en finance sont considérés. Finalement, on regarde aussi un exemple de simulations pour comparer cette méthode à celle de (Durbin et Williams, 1992). ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Processus gaussien et markovien, mouvement brownien, processus d'Ornstein-Uhlenbeck, premier temps de passage.