L'objectif de ce travail de thèse est une étude quantitive des differents problèmes mathematiques qui apparaissent en trading algorithmique. Concrètement, on propose une approche scientifique pour optimiser des processus relatifs a la capture et provision de liquidités pour des marchés electroniques.Du au fort caractère appliqué de ce travail, on n'est pas seulement intéressés par la rigeur mathématique de nos résultats, mais on souhaite aussi a comprendre ce travail de recherche dans le contexte des differentes étapes qui font partie de l'implementation pratique des outils que l'on developpe; par exemple l'interpretation du modèle, l'estimation de parametres, l'implementation informatique etc.Du point de vue scientifique, le coeur de notre travail est fondé sur deux techniques empruntées au monde de l'optimisation et des probabilités, celles sont : le contrôle stochastique et l'approximation stochastique.En particulier, on présente des resultats academiques originaux pour le probleme de market-making haute fréquence et le problème de liquidation de portefeuille en utilisant des limit-orders; dans le deux cas on utilise une approche d'optimisation dite backwards. De la même façon, on résout le problème de market-making en utilisant une approche "forward", ceci étant innovateur dans la litterature du trading optimal car il ouvre la porte à des techniques d'apprentissage automatique.Du pont de vue pratique, cette thèse cherches à creer un point entre la recherche academique et l'industrie financière. Nos resultats sont constamment considérés dans la perspective de leur implementation pratique. Ainsi, on concentre une grande partie de notre travail a étudier les differents facteurs qui sont importants a comprendre quand on transforme nos techniques quantitatives en valeur industrielle: comprendre la microstructure des marchés, des faits stylisés, traitrement des données, discussions sur les modèles, limitations de notre cadre scientifique etc. / This PhD thesis focuses on the quantitative analysis of mathematical problems arising in the field of optimal algorithmic trading. Concretely, we propose a scientific approach in order to optimize processes related to the capture and provision of liquidity in electronic markets. Because of the strongly industry-focused character of this work, not only we are interested in giving rigorous mathematical results but also to understand this research project in the context of the different stages that come into play during the practical implementation of the tools developed throughout the following chapters (e.g. model interpretation, parameter estimation, programming etc.).From a scientific standpoint the core of our work focuses on two techniques taken from the world of optimization and probability; these are, stochastic control and stochastic approximation. In particular, we provide original academic results for the problem of high frequency market making and the problem of portfolio liquidation by using limit orders; both by using a backward optimization approach. We also propose a forward optimization framework to solve the market making problem; the latter approach being quite innovative for optimal trading, as it opens the door for machine learning techniques.From a practical angle, this PhD thesis seeks to create a bridge between academic research and practitioners. Our mathematical findings are constantly put in perspective in terms of their practical implementation. Hence, we focus a large part of our work on studying the different factors that are of paramount importance to understand when transforming our quantitative techniques into industrial value: understanding the underlying market microstructure, empirical stylized facts, data processing, discussion about the models, limitations of our scientific framework etc.

Des milieux hétérogènes et désordonnés émergent dans plusieurs applications de la science et de l'ingénierie nucléaires, en particulier en ce qui concerne la propagation des neutrons et des photons. Les exemples sont très répandus et concernent par exemple la double hétérogénéité des éléments combustibles dans les réacteurs à lit de boulets ou l'évaluation de la probabilité de re-criticité suite aux arrangements aléatoires du combusitble résultant d'accidents graves. Dans cette thèse, nous étudierons le transport linéaire de particules dans des milieux aléatoires. Dans la première partie, nous nous concentrerons sur quelques modèles mathématiques qui peuvent être utilisés pour la description de matériaux aléatoires. Une attention particulière sera accordée aux tessellations stochastiques, où un domaine est partitionné en polyèdres convexes en échantillonnant des hyperplans aléatoires selon une probabilité donnée. Les inclusions stochastiques de sphères dans une matrice seront également brièvement introduites. Un code informatique sera développé afin de construire explicitement de telles géométries par des méthodes de Monte Carlo. Dans la deuxième partie, nous évaluerons ensuite les caractéristiques générales du transport de particules dans des milieux aléatoires. Pour ce faire, nous allons considérer quelques benchmarks assez simples pour permettre une compréhension approfondie des effets des géométries aléatoires sur les trajectoires de particules tout en conservant les propriétés clés du transport linéaire. Les calculs de transport seront réalisés en utilisant le code de transport de particules Monte Carlo Tripoli4, développé au SERMA. Les cas de modèles de désordre quenched et annealed seront considérés séparément. Dans le premier, un ensemble de géométries sera généré en utilisant notre code, et le problème de transport sera résolu pour chaque configuration: des moyennes d'ensemble seront alors prises pour les observables d'intérêt. Dans le second cas, un modèle de transport efficace capable de reproduire les effets du désordre dans une seule réalisation sera étudié. Les approximations des modèles annealed seront élucidées, et des améliorations significatives seront proposées. / Heterogeneous and disordered media emerges in several applications in nuclear science and engineering, especially in relation to neutron and photon propagation. Examples are widespread and concern for instance the double-heterogeneity of the fuel elements in pebble-bed reactors, or the assessment of re-criticality probability due to the random arrangement of fuel resulting from severe accidents. In this Thesis, we will investigate linear particle transport in random media. In the first part, we will focus on some mathematical models that can be used for the description of random media. Special emphasis will be given to stochastic tessellations, where a domain is partitioned into convex polyhedra by sampling random hyperplanes according to a given probability. Stochastic inclusions of spheres into a matrix will be also briefly introduced. A computer code will be developed in order to explicitly construct such geometries by Monte Carlo methods. In the second part, we will then assess the general features of particle transport within random media. For this purpose, we will consider some benchmark problems that are simple enough so as to allow for a thorough understanding of the effects of the random geometries on particle trajectories and yet retain the key properties of linear transport. Transport calculations will be realized by using the Monte Carlo particle transport code Tripoli4, developed at SERMA. The cases of quenched and annealed disorder models will be separately considered. In the former, an ensemble of geometries will be generated by using our computer code, and the transport problem will be solved for each configuration: ensemble averages will then be taken for the observables of interest. In the latter, effective transport model capable of reproducing the effects of disorder in a single realization will be investigated. The approximations of the annealed disorder models will be elucidated, and significant ameliorations will be proposed.

Dans cette thèse, nous nous intéressons au problème de détection de mesures GPS erronées. En effet, en zones urbaines, les acquisitions sont fortement dégradées par des phénomènes de multi-trajets ou de multiples réflexions des signaux avant d’arriver à l’antenne réceptrice. En forêt, de multiples obstacles bloquent les signaux satellites, ce qui diminue la redondance des mesures. Alors que les algorithmes présents dans les récepteurs GPS détectent au maximum une mesure erronée par pas de temps, avec une combinaison de différents systèmes de navigation, l’hypothèse d’une seule erreur à la fois n’est plus tenable et la détection et gestion des données erronées (défaillantes, aberrantes ou outliers selon les différentes terminologies) représente un enjeu majeur dans les applications de navigation autonome et de localisation robuste et devient un nouveau défi technologique.La contribution principale de cette thèse est un algorithme de détection de mesures de pseudo-distances aberrantes exploitant la modélisation a contrario. Deux critères fondés sur l’espérance du nombre de fausses alarmes (NFA) sont utilisés pour mesurer la cohérence d’un ensemble de mesures sous l’hypothèse d’un modèle de bruit.Notre seconde contribution concerne l’introduction des mesures Doppler dans le processus de localisation. Nous étendons la détection d’outliers conjointement dans les mesures de pseudo-distance aux mesures Doppler et proposons une localisation par couplage avec le filtre particulaire soit SIR soit de Rao-Blackwell qui permet d’estimer analytiquement la vitesse.Notre troisième contribution est une approche crédibiliste pour la détection des mesures aberrantes dans les pseudo-distances. S’inspirant du RANSAC, nous choisissons, parmi les combinaisons d’observations possibles, la plus compatible selon une mesure de cohérence ou d’incohérence. Une étape de filtrage évidentiel permet de tenir compte de la solution précédente. Les approches proposées donnent de meilleures performances que les méthodes usuelles et démontrent l’intérêt de retirer les données aberrantes du processus de localisation. / In this work, we focus on the problem of detection of erroneous GPS measurements. Indeed, in urban areas, acquisitions are highly degraded by multipath phenomena or signal multiple reflections before reaching the receiver antenna. In forest areas, the satellite occlusion reduces the measurements redundancy. While the algorithms embedded in GPS receivers detect at most one erroneous measurement per epoch, the hypothesis of a single error at a time is no longer realistic when we combine data from different navigation systems. The detection and management of erroneous data (faulty, aberrant or outliers depending on the different terminologies) has become a major issue in the autonomous navigation applications and robust localization and raises a new technological challenge.The main contribution of this work is an outlier detection algorithm for GNSS localization with an a contrario modeling. Two criteria based on number of false alarms (NFA) are used to measure the consistency of a set of measurements under the noise model assumption.Our second contribution is the introduction of Doppler measurements in the localization process. We extend the outlier detection to both pseudo-ranges and Doppler measurements, and we propose a coupling with either the particle filter SIR or the Rao-Blackwellized particle filter that allows us to estimate analytically the velocity.Our third contribution is an evidential approach for the detection of outliers in the pseudo-ranges. Inspired by the RANSAC, we choose among possible combinations of observations, the most compatible one according to a measure of consistency or inconsistency. An evidential filtering step is performed that takes into account the previous solution. The proposed approaches achieve better performance than standard methods and demonstrate the interest of removing the outliers from the localization process.

Planifier les actions d’un agent dans un environnement dynamique et incertain, a été largement étudié et le cadre des processus décisionnels de Markov offre les outils permettant de modéliser et de résoudre de tels problèmes. Le domaine de la théorie des jeux, a permis l’étude des interactions stratégiques entre plusieurs agents pour un jeu donné. Le cadre des jeux stochastiques, est considéré comme une généralisation du domaine des processus décisionnels de Markov et du champ de la théorie des jeux et permet de modéliser des systèmes ayant plusieurs agents et plusieurs états. Cependant, planifier dans unsystème multi-agents est considéré comme difficile, car la politique d’actions de l’agent dépend non seulement de ses choix mais aussi des politiques des autres agents. Le travail que nous présentons dans cette thèse porte sur la prise de décision distribuée dans les systèmes multi-agents. Les travaux existants dans le domaine, permettent la résolution théorique des jeux stochastiques mais imposent de fortes restrictions et font abstraction de certains problèmes cruciaux du modèle. Nous proposons un algorithme de planification décentralisée pour le modèle des jeux stochastiques, d’une part basé sur l’algorithme Value-Iteration et d’autre part basé sur la notion d’équilibre issue de la résolution des jeux matriciels. Afin d’améliorer le processus de résolution et de traiter des problèmes de taille importante, nous recherchons à faciliter la prise de décision et à limiter les possibilités d’actions à chaque étape d’interaction. L’algorithme que nous avonsproposé, a été validé sur un exemple d’interaction incluant plusieurs agents et différentes expérimentations ont été menées afin d’évaluer la qualité de la solution obtenue. / Planning agent’s actions in a dynamic and uncertain environment has been extensively studied. The framework of Markov decision process provides tools to model and solve such problems. The field of game theory has allowed the study of strategic interactions between multiple agents for a given game. The framework of stochastic games is considered as a generalization of the fields of Markov decision process and game theory. It allows to model systems with multiple agents and multiple states. However, planning in a multi-agent system is considered difficult : agent’s decisions depend not only on its actions but also on actions of the other agents. The work presented in this thesis focuses on decision making in distributed multi-agent systems. Existing works in this field allow the theoretical resolution of stochastic games but place severe restrictions and ignore some crucial problems of the model. We propose a decentralized planning algorithm for the model of stochastic games. Our proposal is based on the Value-Iteration algorithm and on the concept of Nash equilibrium. To improve the resolution process and to deal with large problems, we sought to ease decision making and limit the set of joint actions at each stage. The proposed algorithm was validated on a coordination problem including several agents and various experiments were conducted to assess the quality of the resulting solution.

La présente thèse traite de la théorie des équations stochastiques en dimension finie. Dans la première partie, nous dérivons des conditions géométriques nécessaires et suffisantes sur les coefficients d’une équation différentielle stochastique pour l’existence d’une solution contrainte à rester dans un domaine fermé, sous de faibles conditions de régularité sur les coefficients.Dans la seconde partie, nous abordons des problèmes d’existence et d’unicité d’équations de Volterra stochastiques de type convolutif. Ces équations sont en général non-Markoviennes. Nous établissons leur correspondance avec des équations en dimension infinie ce qui nous permet de les approximer par des équations différentielles stochastiques Markoviennes en dimension finie.Enfin, nous illustrons nos résultats par une application en finance mathématique, à savoir la modélisation de la volatilité rugueuse. En particulier, nous proposons un modèle à volatilité stochastique assurant un bon compromis entre flexibilité et tractabilité. / The present thesis deals with the theory of finite dimensional stochastic equations.In the first part, we derive necessary and sufficient geometric conditions on the coefficients of a stochastic differential equation for the existence of a constrained solution, under weak regularity on the coefficients. In the second part, we tackle existence and uniqueness problems of stochastic Volterra equations of convolution type. These equations are in general non-Markovian. We establish their correspondence with infinite dimensional equations which allows us to approximate them by finite dimensional stochastic differential equations of Markovian type. Finally, we illustrate our findings with an application to mathematical finance, namely rough volatility modeling. We design a stochastic volatility model with an appealing trade-off between flexibility and tractability.

Dans cette thèse, nous développons des méthodes de contrôle pour stabiliser des systèmes quantiques en temps continu sous mesures quantiques non-destructives. En boucle ouverte, ces systèmes convergent vers un état propre de l'opérateur de mesure, mais l'état résultant est aléatoire. Le rôle du contrôle est de préparer un état prescrit avec une probabilité de un. Le nouvel élément pour atteindre cet objectif est l'utilisation d'un mouvement Brownien pour piloter les actions de contrôle. En utilisant la théorie stochastique de Lyapunov, nous montrons stabilité exponentielle globale du système en boucle fermés. Nous explorons aussi la syntèse du contrôle pour stabiliser un code correcteur d'erreurs quantiques en temps continu. Un autre sujet d'intérêt est l'implementation de contrôles efficacement calculables dans un contexte expérimental. Dans cette direction, nous proposons l'utilisation de contrôles et filtres qui calculent seulement les characteristiques classiques du système, correspondant a la base propre de l'opérateur de mesure. La formulation de dites filtres est importante pour adresser les problèmes de scalabilité du filtre posées par l'avancement des technologies quantiques. / In this thesis, we develop control methods to stabilize quantum systems in continuous-time subject to quantum nondemolition measurements. In open-loop such quantum systems converge towards a random eigenstate of the measurement operator. The role of feedback is to prepare a prescribed eigenstate with unit probability. The novel element to achieve this is the introduction of an exogenous Brownian motion to drive the control actions. By using standard stochastic Lyapunov techniques, we show global exponential stability of the closed-loop dynamics. We explore as well the design of the control layer for a quantum error correction scheme in continuous-time. Another theme of interest is towards the implementation of efficiently computable control laws in experimental settings. In this direction, we propose the use control laws and of reduced-order filters which only track classical characteristics of the system, corresponding to the populations on the measurement eigenbasis. The formulation of these reduced filters is important to address the scalability issues of the filter posed by the advancement of quantum technologies.

La dissémination collaborative d'une information d'un agent à tous les autres agents d'un système distribué est un problème fondamental qui est particulièrement important lorsque l'on veut obtenir des algorithmes distribués qui sont à la fois robustes et fonctionnent dans un cadre anonyme, c'est-à-dire sans supposer que les agents possèdent des identifiants distincts connus. Ce problème, connu sous le nom de problème de propagation de rumeur , est à la base de nombreux algorithmes de communication sur des réseaux de capteurs sans-fil [Dimakis et al. (2010)] ou des réseaux mobiles ad-hoc. Il est aussi une brique de base centrale pour de nombreux algorithmes distribués avancés [Mosk-Aoyama et Shah (2008)].Les méthodes les plus connues pour surmonter les défis de robustesse et d'anonymat sont les algorithmes basés sur les ragots ( gossip-based algorithms ), c'est-à-dire sur la paradigme que les agents contact aléatoirement les autres agents pour envoyer ou récupérer l'information. Nousproposons une méthode générale d'analyse de la performance des algorithmes basés sur les ragots dans les graphes complets. Contrairement aux résultats précédents basés sur la structure précise des processus étudiés, notre analyse est basée sur la probabilité et la covariance des évènements correspondants au fait qu'un agent non-informé s'informe. Cette universalité nous permet de reproduire les résultats basiques concernant les protocoles classiques de push, pull et push-pull ainsi qu'analyser les certaines variantions telles que les échecs de communications ou les communications simultanés multiples réalisées par chaque agent. De plus, nous sommescapables d'analyser les certains modèles dynamiques quand le réseaux forme un graphe aléatoire échantillonné à nouveau à chaque étape [Clementi et al. (ESA 2013)]. Malgré sa généralité, notre méthode est simple et précise. Elle nous permet de déterminer l'espérance du temps de la diffusion à une constante additive près, ce qu'il est plus précis que la plupart des résultatsprécédents. Nous montrons aussi que la déviation du temps de la diffusion par rapport à son espérance est inférieure d'une constante r avec la probabilité au moins 1 − exp(Ω(r)).À la fin, nous discutons d'une hypothèse classique que les agents peuvent répondre à plusieurs appels entrants. Nous observons que la restriction à un seul appel entrant par agent provoque une décélération importante du temps de la diffusion pour un protocole de push-pull. En particulier, une phase finale du processus prend le temps logarithmique au lieu du temps double logarithmique. De plus, cela augmente le nombre de messages passés de Θ(n log log n) (valeur optimale selon [Karp et al. (FOCS 2000)]) au Θ(n log n) . Nous proposons une variation simple du protocole de push-pull qui rétablit une phase double logarithmique à nouveau et donc le nombre de messages passés redescend sur sa valeur optimal. / Epidemic algorithms are distributed algorithms in which the agents in thenetwork involve peers similarly to the spread of epidemics. In this work, we focus on randomized rumor spreading -- a class of epidemic algorithms based on the paradigm that nodes call random neighbors and exchange information with these contacts. Randomized rumor spreading has found numerous applications from the consistency maintenance of replicated databases to newsspreading in social networks. Numerous mathematical analyses of different rumor spreading algorithms can be found in the literature. Some of them provide extremely sharp estimates for the performance of such processes, but most of them are based on the inherent properties of concrete algorithms.We develop new simple and generic method to analyze randomized rumor spreading processes in fully connected networks. In contrast to all previous works, which heavily exploit the precise definition of the process under investigation, we only need to understand the probability and the covariance of the events that uninformed nodes become informed. This universality allows us to easily analyze the classic push, pull, and push-pull protocols both in their pure version and in several variations such as when messages fail with constant probability or when nodes call a random number of others each round. Some dynamic models can be analyzed as well, e.g., when the network is a random graph sampled independently each round [Clementi et al. (ESA 2013)]. Despite this generality, our method determines the expected rumor spreading time precisely apart from additive constants, which is more precise than almost all previous works. We also prove tail bounds showing that a deviation from the expectation by more than an additive number of r rounds occurs with probability at most exp(−Ω(r)).We further use our method to discuss the common assumption that nodes can answer any number of incoming calls. We observe that the restriction that only one call can be answered leads to a significant increase of the runtime of the push-pull protocol. In particular, the double logarithmic end phase of the process now takes logarithmic time. This also increases the message complexity from the asymptotically optimal Θ(n log log n) [Karp, Shenker, Schindelhauer, Vöcking (FOCS 2000)] to Θ(n log n). We propose a simple variation of the push-pull protocol that reverts back to the double logarithmic end phase and thus to the Θ(n log log n) message complexity.

Le sujet de cette thèse est l'inférence statistique de processus d'Ornstein-Uhlenbeck multi-dimensionnels. Dans une première partie, nous introduisons un modèle de graphes stochastiques définis comme observations binaires de trajectoires. Nous montrons alors qu'il est possible de déduire la dynamique de la trajectoire sous-jacente à partir des observations binaires. Pour ceci, nous construisons des statistiques à partir du graphe et montrons de nouvelles propriétés de convergence dans le cadre d'une observation en temps long et en haute fréquence. Nous analysons aussi les propriétés des graphes stochastiques du point de vue des réseaux évolutifs. Dans une deuxième partie, nous travaillons sous l'hypothèse d'information complète et en temps continu et ajoutons une hypothèse de sparsité concernant le paramètre de textit{drift} du processus d'Ornstein-Uhlenbeck. Nous montrons alors des propriétés d'oracle pointues de l'estimateur Lasso, prouvons une borne inférieure sur l'erreur d'estimation au sens minimax et démontrons des propriétés d'optimalité asymptotique de l'estimateur Lasso Adaptatif. Nous appliquons ensuite ces méthodes pour estimer la vitesse de retour à la moyenne des retours journaliers d'actions américaines ainsi que des prix de futures de dividendes pour l'indice EURO STOXX 50. / The subject if this thesis is the statistical inference of multi-dimensional Ornstein-Uhlenbeck processes. In a first part, we introduce a model of stochastic graphs, defined as binary observations of a trajectory. We show then that it is possible to retrieve the dynamic of the underlying trajectory from the binary observations. For this, we build statistics of the stochastic graph and prove new results on their convergence in the long-time, high-frequency setting. We also analyse the properties of the stochastic graph from the point of view of evolving networks. In a second part, we work in the setting of complete information and continuous time. We add then a sparsity assumption applied to the drift matrix coefficient of the Ornstein-Uhlenbeck process. We prove sharp oracle inequalities for the Lasso estimator, construct a lower bound on the estimation error for sparse estimators and show optimality properties of the Adaptive Lasso estimator. Then, we apply the methods to estimate mean-return properties of real-world financial datasets: daily returns of SP500 components and EURO STOXX 50 Dividend Future prices.

Dans ce mémoire, on traite des méthodes et d'outils d'évaluation de la fiabilité des systèmes mécanique. La fiabilité dans ce contexte est définie comme étant la probabilité que la résistance soit supérieure à la sollicitation que le système subit. On considère que la résistance est aléatoire et que l'occurrence et l'intensité de la sollicitation sont aléatoires. Les outils d'analyse et d'évaluation de la fiabilité, retenus dans ce travail, permettent d'évaluer et d'optimiser les performances d'un système existant ou d'intégrer le caractère aléatoire de sollicitation et de la résistance, en phase de conception. Des exemples d'applications issus des domaines du génie mécanique et de la sécurité des structures sont rapportés dans ce mémoire pour illustrer les différents concepts théoriques. Le contenu de ce mémoire a été conçu et structuré de manière à servir de document de référence pour la conception et l'exploitation de systèmes assujettis à des sollicitations dont l'intensité et l'occurrence sont aléatoires et dont la résistance se dégrade, aléatoirement également, selon l'âge et l'usage du système.

L’allocation de ressources est un problème omniprésent qui survient dès que des ressources limitées doivent être distribuées parmi de multiples agents autonomes (e.g., personnes, compagnies, robots, etc). Les approches standard pour déterminer l’allocation optimale souffrent généralement d’une très grande complexité de calcul. Le but de cette thèse est de proposer des algorithmes rapides et efficaces pour allouer des ressources consommables et non consommables à des agents autonomes dont les préférences sur ces ressources sont induites par un processus stochastique. Afin d’y parvenir, nous avons développé de nouveaux modèles pour des problèmes de planifications, basés sur le cadre des Processus Décisionnels de Markov (MDPs), où l’espace d’actions possibles est explicitement paramétrisés par les ressources disponibles. Muni de ce cadre, nous avons développé des algorithmes basés sur la programmation dynamique et la recherche heuristique en temps-réel afin de générer des allocations de ressources pour des agents qui agissent dans un environnement stochastique. En particulier, nous avons utilisé la propriété acyclique des créations de tâches pour décomposer le problème d’allocation de ressources. Nous avons aussi proposé une stratégie de décomposition approximative, où les agents considèrent des interactions positives et négatives ainsi que les actions simultanées entre les agents gérants les ressources. Cependant, la majeure contribution de cette thèse est l’adoption de la recherche heuristique en temps-réel pour l’allocation de ressources. À cet effet, nous avons développé une approche basée sur la Q-décomposition munie de bornes strictes afin de diminuer drastiquement le temps de planification pour formuler une politique optimale. Ces bornes strictes nous ont permis d’élaguer l’espace d’actions pour les agents. Nous montrons analytiquement et empiriquement que les approches proposées mènent à des diminutions de la complexité de calcul par rapport à des approches de planification standard. Finalement, nous avons testé la recherche heuristique en temps-réel dans le simulateur SADM, un simulateur d’allocation de ressource pour une frégate. / Resource allocation is an ubiquitous problem that arises whenever limited resources have to be distributed among multiple autonomous entities (e.g., people, companies, robots, etc). The standard approaches to determine the optimal resource allocation are computationally prohibitive. The goal of this thesis is to propose computationally efficient algorithms for allocating consumable and non-consumable resources among autonomous agents whose preferences for these resources are induced by a stochastic process. Towards this end, we have developed new models of planning problems, based on the framework of Markov Decision Processes (MDPs), where the action sets are explicitly parameterized by the available resources. Given these models, we have designed algorithms based on dynamic programming and real-time heuristic search to formulating thus allocations of resources for agents evolving in stochastic environments. In particular, we have used the acyclic property of task creation to decompose the problem of resource allocation. We have also proposed an approximative decomposition strategy, where the agents consider positive and negative interactions as well as simultaneous actions among the agents managing the resources. However, the main contribution of this thesis is the adoption of stochastic real-time heuristic search for a resource allocation. To this end, we have developed an approach based on distributed Q-values with tight bounds to diminish drastically the planning time to formulate the optimal policy. These tight bounds enable to prune the action space for the agents. We show analytically and empirically that our proposed approaches lead to drastic (in many cases, exponential) improvements in computational efficiency over standard planning methods. Finally, we have tested real-time heuristic search in the SADM simulator, a simulator for the resource allocation of a platform.