L'objectif de cette thèse est de développer la théorie du contrôle stochastique et ses applications en dynamique des populations. D'un point de vue théorique, nous présentons l'étude de problèmes de contrôle stochastique à horizon fini sur des processus de diffusion, de branchement non linéaire et de branchement-diffusion. Dans chacun des cas, nous raisonnons par la méthode de la programmation dynamique en veillant à démontrer soigneusement un argument de conditionnement analogue à la propriété de Markov forte pour les processus contrôlés. Le principe de la programmation dynamique nous permet alors de prouver que la fonction valeur est solution (régulière ou de viscosité) de l'équation de Hamilton-Jacobi-Bellman correspondante. Dans le cas régulier, nous identifions également un contrôle optimal markovien par un théorème de vérification. Du point de vue des applications, nous nous intéressons à la modélisation mathématique du cancer et de ses stratégies thérapeutiques. Plus précisément, nous construisons un modèle hybride de croissance de tumeur qui rend compte du rôle fondamental de l'acidité dans l'évolution de la maladie. Les cibles de la thérapie apparaissent explicitement comme paramètres du modèle afin de pouvoir l'utiliser comme support d'évaluation de stratégies thérapeutiques. / The main objective of this thesis is to develop stochastic control theory and applications to population dynamics. From a theoritical point of view, we study finite horizon stochastic control problems on diffusion processes, nonlinear branching processes and branching diffusion processes. In each case we establish a dynamic programmic principle by carefully proving a conditioning argument similar to the strong Markov property for controlled processes. Then we deduce that the value function is a (viscosity or regular) solution of the associated Hamilton-Jacobi-Bellman equation. In the regular case, we further identify an optimal control in the class of markovian strategies thanks to a verification theorem. From a pratical point of view, we are interested in mathematical modelling of cancer growth and treatment. More precisely, we build a hybrid model of tumor growth taking into account the essential role of acidity. Therapeutic targets appear explicitly as model parameters in order to be able to evaluate treatment strategies.

In dieser Arbeit wird erstmalig der Einfluss stochastischer Schwankungen auf endoreversible Modelle untersucht. Hierfür wird die Novikov-Maschine mit drei verschieden Wärmetransportgesetzen (Newton, Fourier, asymmetrisch) betrachtet. Während die maximale verrichtete Arbeit und der dazugehörige Wirkungsgrad recht einfach im Falle konstanter Wärmebadtemperaturen hergeleitet werden können, ändern sich dies, falls die Temperaturen stochastisch fluktuieren können. Im letzteren Fall muss die stochastische optimale Kontrolltheorie genutzt werden, um das Maximum der zu erwartenden Arbeit und die dazugehörige Kontrollstrategie zu ermitteln. Im Allgemeinen kann die Lösung derartiger Probleme auf eine nichtlineare, partielle Differentialgleichung, welche an eine Optimierung gekoppelt ist, zurückgeführt werden. Diese Gleichung wird stochastische Hamilton-Jacobi-Bellman-Gleichung genannt. Allerdings können, wie in dieser Arbeit dargestellt, die Berechnungen vereinfacht werden, wenn man annimmt, dass die Fluktuationen unabhängig von der betrachteten Kontrollvariablen sind. In diesem Fall zeigen analytische Betrachtungen, dass die Gleichungen für die verrichtete Arbeit and den Wirkungsgrad ihre ursprüngliche Form behalten, aber manche Terme müssen durch entsprechende Zeitmittel bzw. Erwartungswerte ersetzt werden, jeweils abhängig von der betrachteten Art der Kontrolle. Basierend auf einer Analyse der Leistungsparameter im Falle einer Gleichverteilung der heißen Temperatur der Novikov-Maschine können Schlussfolgerungen auf deren Monotonieverhalten gezogen werden. Der Vergleich verschiedener, zeitunabhängiger, symmetrischer Verteilungen führt zu einer bis dato unbekannten Erweiterung des Curzon-Ahlborn-Wirkungsgrades im Falle kleiner Schwankungen. Weiterhin wird eine Analyse einer Novikov-Maschine mit asymmetrischen Wärmetransport, bei der das Verhalten der heißen Temperatur durch einen Ornstein-Uhlenbeck-Prozess beschrieben wird, durchgeführt. Abschließend wird eine Novikov-Maschine mit Fourierscher Wärmeleitung, bei der die Dynamik der heißen Temperatur von der Kontrollvariable abhängt, betrachtet. Durch das Lösen der Hamilton-Jacobi-Bellman-Gleichung können neuartige Schlussfolgerungen gezogen werden, wie derartige Systeme optimal zu steuern sind. / In this thesis, the influence of stochastic fluctuations on the performance of endoreversible engines is investigated for the first time. For this, a Novikov-engine with three different heat transport laws (Newtonian, Fourier, asymmetric) is considered. While the maximum work output and corresponding efficiency can be deduced easily in the case of constant heat bath temperatures, this changes, if these temperatures are allowed to fluctuate stochastically. In the latter case, stochastic optimal control theory has to be used to find the maximum of the expected work output and the corresponding control policy. In general, solving such problems leads to a non-linear, partial differential equation coupled to an optimization, called the stochastic Hamilton-Jacobi-Bellman equation. However, as presented in this thesis, calculations can be simplified, if one assumes that the fluctuations are independent of the considered control variable. In this case, analytic considerations show that the equations for performance measures like work output and efficiency keep their original form, but terms have to be replaced by appropriate time averages and expectation values, depending on the considered control type. Based on an analysis of the performance measures in the case of a uniform distribution of the hot temperature of the Novikov engine, conclusions on their monotonicity behavior are drawn. The comparison of several, time independent, symmetric distributions reveals a to date unknown extension to the Curzon-Ahlborn efficiency in the case of small fluctuations. Furthermore, an analysis of a Novikov engine with asymmetric heat transport, where the behavior of the hot temperature is described by an Ornstein-Uhlenbeck process, is performed. Finally, a Novikov engine with Fourier heat transport is considered, where the dynamics of the hot temperature depends on the control variable. By solving the corresponding Hamilton-Jacobi-Bellman equation, new conclusions how to optimally control such systems are drawn.

Dans cette thèse, on étudie le problème de la consommation et de l’investissement pour le marché financier de "spread" (différence entre deux actifs) défini par le processus Ornstein-Uhlenbeck (OU). Ce manuscrit se compose de sept chapitres. Le chapitre 1 présente une revue générale de la littérature et un bref résumé des principaux résultats obtenus dans cetravail où différentes fonctions d’utilité sont considérées. Dans le chapitre 2, on étudie la stratégie optimale de consommation / investissement pour les fonctions puissances d’utilité pour un intervalle de temps réduit a 0 < t < T < T0. Dans ce chapitre, nous étudions l’équation de Hamilton–Jacobi–Bellman (HJB) par la méthode de Feynman - Kac (FK). L’approximation numérique de la solution de l’équation de HJB est étudiée et le taux de convergence est établi. Il s’avère que dans ce cas, le taux de convergencedu schéma numérique est super–géométrique, c’est-à-dire plus rapide que tous ceux géométriques. Les principaux théorèmes sont énoncés et des preuves de l’existence et de l’unicité de la solution sont données. Un théorème de vérification spécial pour ce cas des fonctions puissances est montré. Le chapitre 3 étend notre approche au chapitre précédent à la stratégie de consommation/investissement optimale pour tout intervalle de temps pour les fonctions puissances d’utilité où l’exposant γ doit être inférieur à 1/4. Dans le chapitre 4, on résout le problème optimal de consommation/investissement pour les fonctions logarithmiques d’utilité dans le cadre du processus OU multidimensionnel en se basant sur la méthode de programmation dynamique stochastique. En outre, on montre un théorème de vérification spécial pour ce cas. Le théorème d’existence et d’unicité pour la solution classique de l’équation de HJB sous forme explicite est également démontré. En conséquence, les stratégies financières optimales sont construites. Quelques exemples sont donnés pour les cas scalaires et pour les cas multivariés à volatilité diagonale. Le modèle de volatilité stochastique est considéré dans le chapitre 5 comme une extension du chapitre précédent des fonctions logarithmiques d’utilité. Le chapitre 6 propose des résultats et des théorèmes auxiliaires nécessaires au travail.Le chapitre 7 fournit des simulations numériques pour les fonctions puissances et logarithmiques d’utilité. La valeur du point fixe h de l’application de FK pour les fonctions puissances d’utilité est présentée. Nous comparons les stratégies optimales pour différents paramètres à travers des simulations numériques. La valeur du portefeuille pour les fonctions logarithmiques d’utilité est également obtenue. Enfin, nous concluons nos travaux et présentons nos perspectives dans le chapitre 8. / This thesis studies the consumption/investment problem for the spread financial market defined by the Ornstein–Uhlenbeck (OU) process. Recently, the OU process has been used as a proper financial model to reflect underlying prices of assets. The thesis consists of 8 Chapters. Chapter 1 presents a general literature review and a short view of the main results obtained in this work where different utility functions have been considered. The optimal consumption/investment strategy are studied in Chapter 2 for the power utility functions for small time interval, that 0 < t < T < T0. Main theorems have been stated and the existence and uniqueness of the solution has been proven. Numeric approximation for the solution of the HJB equation has been studied and the convergence rate has been established. In this case, the convergence rate for the numerical scheme is super geometrical, i.e., more rapid than any geometrical ones. A special verification theorem for this case has been shown. In this chapter, we have studied the Hamilton–Jacobi–Bellman (HJB) equation through the Feynman–Kac (FK) method. The existence and uniqueness theorem for the classical solution for the HJB equation has been shown. Chapter 3 extended our approach from the previous chapter of the optimal consumption/investment strategies for the power utility functions for any time interval where the power utility coefficient γ should be less than 1/4. Chapter 4 addressed the optimal consumption/investment problem for logarithmic utility functions for multivariate OU process in the base of the stochastic dynamical programming method. As well it has been shown a special verification theorem for this case. It has been demonstrated the existence and uniqueness theorem for the classical solution for the HJB equation in explicit form. As a consequence the optimal financial strategies were constructed. Some examples have been stated for a scalar case and for a multivariate case with diagonal volatility. Stochastic volatility markets has been considered in Chapter 5 as an extension for the previous chapter of optimization problem for the logarithmic utility functions. Chapter 6 proposed some auxiliary results and theorems that are necessary for the work. Numerical simulations has been provided in Chapter 7 for power and logarithmic utility functions. The fixed point value h for power utility has been presented. We study the constructed strategies by numerical simulations for different parameters. The value function for the logarithmic utilities has been shown too. Finally, Chapter 8 reflected the results and possible limitations or solutions

In dieser Arbeit wird erstmalig der Einfluss stochastischer Schwankungen auf endoreversible Modelle untersucht. Hierfür wird die Novikov-Maschine mit drei verschieden Wärmetransportgesetzen (Newton, Fourier, asymmetrisch) betrachtet. Während die maximale verrichtete Arbeit und der dazugehörige Wirkungsgrad recht einfach im Falle konstanter Wärmebadtemperaturen hergeleitet werden können, ändern sich dies, falls die Temperaturen stochastisch fluktuieren können. Im letzteren Fall muss die stochastische optimale Kontrolltheorie genutzt werden, um das Maximum der zu erwartenden Arbeit und die dazugehörige Kontrollstrategie zu ermitteln. Im Allgemeinen kann die Lösung derartiger Probleme auf eine nichtlineare, partielle Differentialgleichung, welche an eine Optimierung gekoppelt ist, zurückgeführt werden. Diese Gleichung wird stochastische Hamilton-Jacobi-Bellman-Gleichung genannt. Allerdings können, wie in dieser Arbeit dargestellt, die Berechnungen vereinfacht werden, wenn man annimmt, dass die Fluktuationen unabhängig von der betrachteten Kontrollvariablen sind. In diesem Fall zeigen analytische Betrachtungen, dass die Gleichungen für die verrichtete Arbeit and den Wirkungsgrad ihre ursprüngliche Form behalten, aber manche Terme müssen durch entsprechende Zeitmittel bzw. Erwartungswerte ersetzt werden, jeweils abhängig von der betrachteten Art der Kontrolle. Basierend auf einer Analyse der Leistungsparameter im Falle einer Gleichverteilung der heißen Temperatur der Novikov-Maschine können Schlussfolgerungen auf deren Monotonieverhalten gezogen werden. Der Vergleich verschiedener, zeitunabhängiger, symmetrischer Verteilungen führt zu einer bis dato unbekannten Erweiterung des Curzon-Ahlborn-Wirkungsgrades im Falle kleiner Schwankungen. Weiterhin wird eine Analyse einer Novikov-Maschine mit asymmetrischen Wärmetransport, bei der das Verhalten der heißen Temperatur durch einen Ornstein-Uhlenbeck-Prozess beschrieben wird, durchgeführt. Abschließend wird eine Novikov-Maschine mit Fourierscher Wärmeleitung, bei der die Dynamik der heißen Temperatur von der Kontrollvariable abhängt, betrachtet. Durch das Lösen der Hamilton-Jacobi-Bellman-Gleichung können neuartige Schlussfolgerungen gezogen werden, wie derartige Systeme optimal zu steuern sind. / In this thesis, the influence of stochastic fluctuations on the performance of endoreversible engines is investigated for the first time. For this, a Novikov-engine with three different heat transport laws (Newtonian, Fourier, asymmetric) is considered. While the maximum work output and corresponding efficiency can be deduced easily in the case of constant heat bath temperatures, this changes, if these temperatures are allowed to fluctuate stochastically. In the latter case, stochastic optimal control theory has to be used to find the maximum of the expected work output and the corresponding control policy. In general, solving such problems leads to a non-linear, partial differential equation coupled to an optimization, called the stochastic Hamilton-Jacobi-Bellman equation. However, as presented in this thesis, calculations can be simplified, if one assumes that the fluctuations are independent of the considered control variable. In this case, analytic considerations show that the equations for performance measures like work output and efficiency keep their original form, but terms have to be replaced by appropriate time averages and expectation values, depending on the considered control type. Based on an analysis of the performance measures in the case of a uniform distribution of the hot temperature of the Novikov engine, conclusions on their monotonicity behavior are drawn. The comparison of several, time independent, symmetric distributions reveals a to date unknown extension to the Curzon-Ahlborn efficiency in the case of small fluctuations. Furthermore, an analysis of a Novikov engine with asymmetric heat transport, where the behavior of the hot temperature is described by an Ornstein-Uhlenbeck process, is performed. Finally, a Novikov engine with Fourier heat transport is considered, where the dynamics of the hot temperature depends on the control variable. By solving the corresponding Hamilton-Jacobi-Bellman equation, new conclusions how to optimally control such systems are drawn.