Le travail de la thèse concerne la modélisation et l'analyse <br />mathématique du transport d'électrons confinés dans une nanostructure<br />dans le but d'implémenter des simulations numériques. Dans de tels<br />dispositifs nanométriques, les ordres de grandeurs ne jouent pas le<br />même rôle dans chaque direction. Les électrons peuvent être<br />extrêmement confinés dans une ou plusieurs directions. Un modèle <br />quantique est nécessaire pour décrire le confinement. Dans la<br />direction non confinée, le transport est supposé de nature classique. <br />Nous proposons alors un système couplé quantique/classique. <br />Les collisions intervenant lors du transport induisent un régime<br />diffusif des porteurs de charges. Le modèle diffusif est obtenu grâce<br />à une limite de diffusion d'un modèle cinétique. L'analyse<br />mathématique de cette limite de diffusion et du modèle diffusif couplé<br />sont présentées. Une simulation numérique du transport dans un<br />nanotransistor est obtenue avec ce modèle.

Ce mémoire présente des résultats de régularité pour des problèmes d'équations aux dérivées partielles paraboliques. Dans la première partie nous nous intéressons à des problèmes à frontière libre issus du problème de<br />l'obstacle parabolique à coefficients variables. Nous montrons des résultats de régularité de la solution et de la frontière libre. Cette étude utilise des méthodes d'explosion et des formules de monotonie. La seconde partie est consacrée à l'étude d'un problème issu de la modélisation de l'agrégation en biologie : le système de<br />Keller-Segel. En utilisant une énergie libre, nous montrons l'existence d'une masse critique en deçà de laquelle les solutions existent et au delà de laquelle elles explosent en temps fini. Nous précisons leur comportement asymptotique, dans le cas où les solutions existent en temps long.

Cette thèse s'intéresse aux méthodes d'itération sur les politiques dans l'apprentissage par renforcement à grand espace d'états avec approximation linéaire de la fonction de valeur. Nous proposons d'abord une unification des principaux algorithmes du contrôle optimal stochastique. Nous montrons la convergence de cette version unifiée vers la fonction de valeur optimale dans le cas tabulaire, ainsi qu'une garantie de performances dans le cas où la fonction de valeur est estimée de façon approximative. Nous étendons ensuite l'état de l'art des algorithmes d'approximation linéaire du second ordre en proposant une généralisation de Least-Squares Policy Iteration (LSPI) (Lagoudakis et Parr, 2003). Notre nouvel algorithme, Least-Squares [lambda] Policy Iteration (LS[lambda]PI), ajoute à LSPI un concept venant de [lambda]-Policy Iteration (Bertsekas et Ioffe, 1996) : l'évaluation amortie (ou optimiste) de la fonction de valeur, qui permet de réduire la variance de l'estimation afin d'améliorer l'efficacité de l'échantillonnage. LS[lambda]PI propose ainsi un compromis biais-variance réglable qui peut permettre d'améliorer l'estimation de la fonction de valeur et la qualité de la politique obtenue. Dans un second temps, nous nous intéressons en détail au jeu de Tetris, une application sur laquelle se sont penchés plusieurs travaux de la littérature. Tetris est un problème difficile en raison de sa structure et de son grand espace d'états. Nous proposons pour la première fois une revue complète de la littérature qui regroupe des travaux d'apprentissage par renforcement, mais aussi des techniques de type évolutionnaire qui explorent directement l'espace des politiques et des algorithmes réglés à la main. Nous constatons que les approches d'apprentissage par renforcement sont à l'heure actuelle moins performantes sur ce problème que des techniques de recherche directe de la politique telles que la méthode d'entropie croisée (Szita et Lorincz, 2006). Nous expliquons enfin comment nous avons mis au point un joueur de Tetris qui dépasse les performances des meilleurs algorithmes connus jusqu'ici et avec lequel nous avons remporté l'épreuve de Tetris de la Reinforcement Learning Competition 2008 / This thesis studies policy iteration methods with linear approximation of the value function for large state space problems in the reinforcement learning context. We first introduce a unified algorithm that generalizes the main stochastic optimal control methods. We show the convergence of this unified algorithm to the optimal value function in the tabular case, and a performance bound in the approximate case when the value function is estimated. We then extend the literature of second-order linear approximation algorithms by proposing a generalization of Least-Squares Policy Iteration (LSPI) (Lagoudakis and Parr, 2003). Our new algorithm, Least-Squares [lambda] Policy Iteration (LS[lambda]PI), adds to LSPI an idea of [lambda]-Policy Iteration (Bertsekas and Ioffe, 1996): the damped (or optimistic) evaluation of the value function, which allows to reduce the variance of the estimation to improve the sampling efficiency. Thus, LS[lambda]PI offers a bias-variance trade-off that may improve the estimation of the value function and the performance of the policy obtained. In a second part, we study in depth the game of Tetris, a benchmark application that several works from the literature attempt to solve. Tetris is a difficult problem because of its structure and its large state space. We provide the first full review of the literature that includes reinforcement learning works, evolutionary methods that directly explore the policy space and handwritten controllers. We observe that reinforcement learning is less successful on this problem than direct policy search approaches such as the cross-entropy method (Szita et Lorincz, 2006). We finally show how we built a controller that outperforms the previously known best controllers, and shortly discuss how it allowed us to win the Tetris event of the 2008 Reinforcement Learning Competition

Cette thèse s'intéresse aux méthodes d'itération sur les politiques dans l'apprentissage par renforcement à grand espace d'états avec approximation linéaire de la fonction de valeur. Nous proposons d'abord une unification des principaux algorithmes du contrôle optimal stochastique. Nous montrons la convergence de cette version unifiée vers la fonction de valeur optimale dans le cas tabulaire, ainsi qu'une garantie de performances dans le cas où la fonction de valeur est estimée de façon approximative. Nous étendons ensuite l'état de l'art des algorithmes d'approximation linéaire du second ordre en proposant une généralisation de Least-Squares Policy Iteration (LSPI) (Lagoudakis et Parr, 2003). Notre nouvel algorithme, Least-Squares λ Policy Iteration (LSλPI), ajoute à LSPI un concept venant de λ-Policy Iteration (Bertsekas et Ioffe, 1996) : l'évaluation amortie (ou optimiste) de la fonction de valeur, qui permet de réduire la variance de l'estimation afin d'améliorer l'efficacité de l'échantillonnage. LSλPI propose ainsi un compromis biais-variance réglable qui peut permettre d'améliorer l'estimation de la fonction de valeur et la qualité de la politique obtenue. Dans un second temps, nous nous intéressons en détail au jeu de Tetris, une application sur laquelle se sont penchés plusieurs travaux de la littérature. Tetris est un problème difficile en raison de sa structure et de son grand espace d'états. Nous proposons pour la première fois une revue complète de la littérature qui regroupe des travaux d'apprentissage par renforcement, mais aussi des techniques de type évolutionnaire qui explorent directement l'espace des politiques et des algorithmes réglés à la main. Nous constatons que les approches d'apprentissage par renforcement sont à l'heure actuelle moins performantes sur ce problème que des techniques de recherche directe de la politique telles que la méthode d'entropie croisée (Szita et Lőrincz, 2006). Nous expliquons enfin comment nous avons mis au point un joueur de Tetris qui dépasse les performances des meilleurs algorithmes connus jusqu'ici et avec lequel nous avons remporté l'épreuve de Tetris de la Reinforcement Learning Competition 2008.

Ce travail de thèse se situe dans la thématique des oxydes dérivés de la pérovskite ayant des propriétés de conduction mixte tels que les structures de type K2NiF4, les pérovskites doubles et la brownmillérite. Cette aptitude à conduire à la fois l'oxygène et les électrons présente un intérêt pour des dispositifs électrochimiques fonctionnant à haute température et notamment en tant qu'électrode pour les piles à combustible à oxyde solide. Plus précisément, cette thèse concerne la synthèse et l'étude cristallochimique avancée de la réactivité de ces matériaux essentiellement par les grands instruments par le biais de la diffraction de neutrons (NPD) et des rayons X synchrotron. Le travail préliminaire à ces études implique de la synthèse inorganique par voie solide ou par voie sol-gel, l'analyse thermogravimétrique et la titration iodométrique. Des cellules de réactivité originales ont été développées spécialement à l'ISCR pour l'étude in situ du comportement redox sous différents flux gazeux et en fonction de la température à la fois dans le cadre de la diffraction des neutrons et rayons X synchrotron. L'étude in situ par NPD des composés La2-xSrxMnO4±δ où x = 2,0 et x = 0,8 qui dérivent du composé de cathode de référence La1-xSrxMnO3 a permis de suivre l'évolution structurale en fonction du δ en conditions réductrices pour x = 2,0 et en conditions oxydantes pour x = 0,8. L'étude DRX synchrotron de Pr2NiO4,22 a permis de mettre en évidence la symétrie monoclinique à température ambiante alors que les études précédentes annonçaient une symétrie orthorhombique. Les variations structurales notamment la transition vers la phase HTT sont accompagnées d'une modulation incommensurable qui persiste jusqu'à au moins 900 °C. L'étude des pérovskites doubles NdBaCo2−xMnxO5+δ où 0 ≤ x ≤ 2 a permis de montrer que ces matériaux présentent des conductivités électriques totales très prometteuses pour des applications en tant que cathode de SOFC. De plus, la confrontation de la dynamique moléculaire et de la NPD combinée à la MEM pour le composé x = 0 a permis d'élucider le mécanisme de diffusion de l'oxygène dans cette famille de composés. L'étude par NPD de la réduction de LaSrFeCoO6 vers LaSrFeCoO5 de structure brownmillérite a permis de mettre en évidence que la structure réduite persiste à haute température et l'évolution de la mise en ordre des moments magnétiques lors du refroidissement de LaSrFeCoO5. / This thesis is focused on oxides related to perovskite such as K2NiF4 structure-type, double perovskite and brownmillerite with mixed conduction properties. This ability to conduct both oxygen ions and electrons is relevant for electrochemical devices operating at high temperature, particularly as an electrode for solid oxide fuel cell. Specifically, this thesis deals with the synthesis and advanced crystal structure characterization of the reactivity of these materials mainly through large scale facilities by means of neutron powder diffraction (NPD) and X-ray synchrotron. Preliminary work in these studies involves inorganic synthesis by solid-state or by sol-gel route, thermogravimetric analysis and the iodometric titration. Original reactivity cells have been developed at the ISCR to study redox behavior under different gas flow and as a function of temperature for both neutron diffraction and X-ray synchrotron experiment. In situ study by NPD of La2-xSrxMnO4 ± δ compounds where x = 2.0 and x = 0.8 which derived from the compound cathode reference La1-xSrxMnO3 allowed to follow the structural evolution as a function of δ in reducing conditions for x = 2.0 and oxidizing conditions for x = 0.8. The synchrotron study of Pr2NiO4.22 helped to highlight the monoclinic symmetry at room temperature while previous studies announced an orthorhombic symmetry. Besides, structural changes including the transition to the HTT phase are accompanied by an incommensurable modulation that persists at least up to 900 °C. The study of double perovskites NdBaCo2-xMnxO5+δ where 0 ≤ x ≤ 2 showed that these materials exhibit a promising electrical conductivities for SOFC applications as cathode. In addition, the comparison of the molecular dynamics and NDP combined with MEM for x = 0 compound has elucidated the oxygen diffusion mechanism in these compounds. The study by NPD in reducing condition of LaSrFeCoO6 to the brownmillerite LaSrFeCoO5 has showed that the reduced structure persists at high temperatures and allowed to follow the evolution in the ordering of the magnetic moments while cooling LaSrFeCoO5.

Dans cette thèse nous étudions l'influence de l'environnement sur le comportement d'une cellule dans deux situations différentes. Dans chacune de ces deux situations, apparaît un couplage non-linéaire sur le champ d'advection lié à un terme non-local provenant du bord du domaine. Dans une première partie, nous modélisons la polarisation cellulaire durant la conjugaison de la cellule de levure. Nous utilisons un modèle de type convection-diffusion avec un terme de convection non-linéaire et non-local. Ce modèle présente des similarités avec le modèle de Keller-Segel, la source du potentiel attractif étant sur le bord du domaine. Nous étudions le cas de la dimension un en utilisant des inégalités de Sobolev logarithmiques et HWI. En nous appuyant sur un raisonnement heuristique, nous ramenons l'étude de notre modèle en dimension deux au bord du domaine. Nous validons le modèle à l'aide des résultats expérimentaux obtenus par M. Piel en utilisant un bruit dynamique dans nos simulations numériques. Nous étudions ensuite le problème du dialogue cellulaire entre cellules de levure de sexe opposé. Dans une seconde partie, nous étudions la réaction immunitaire durant l'athérosclérose. Nous construisons puis développons un modèle structuré en âge pour décrire l'inflammation. Pour des paramètres particuliers, nous déterminons le comportement en temps long de notre système en utilisant une fonctionnelle de Lyapunov. / We investigate the influence of the environment on the behaviour of a cell in two different situations. In each of these situations, there is a non-linear coupling of the drift due to a non-local term coming from the boundary of the domain.The first part focuses on the modeling of cell polarisation during the mating of yeast. We use a convection-diffusion model with a non-linear and non-local drift. This model is similar to the Keller-Segel model, the source of the attractive potential comes from the boundary of the domain. We study the long time behaviour of the one-dimensional case by using logarithmic Sobolev and HWI inequalities.By relying on a heuristic, we reduce the study of our model in the two-dimensional case to the boundary of the domain. We validate the model with data provided by M. Piel. This validation requires adding a dynamical noise in our numerical simulations. We study then the cell discussion between yeast of opposite gender. In the second part we study the immune response in atherosclerosis. We build and then develop an age structured model in order to describe the inflammation. For specific parameters, we investigate the long time behaviour of our system by using a Lyapunov functional.