Abstract Fading in wireless channels, the limited battery energy available in wireless handsets, the changing user demands and the increasing demand for high data rate and low delay pose serious design challenges in the future generations of mobile communication systems. It is necessary to develop efficient transmission policies that adapt to changes in network conditions and achieve the target delay and rate with minimum power consumption. In this thesis, a number of new paradigms in wireless networks are presented. Dynamic programming tools are used to provide dynamic network stabilizing resource allocation solutions for virtualized data centers with clouds, cooperative networks and heterogeneous networks. Exact dynamic programming is used to develop optimal resource allocation and topology control policies for these networks with queues and time varying channels. In addition, approximate dynamic programming is also considered to provide new sub-optimal solutions. Unified system models and unified control problems are also provided for both secondary service provider and primary service provider cognitive networks and for conventional wireless networks. The results show that by adapting to the changes in queue lengths and channel states, the dynamic policy mitigates the effects of primary service provider and secondary service provider cognitive networks on each other. We investigate the network stability and provide new unified stability regions for primary service provider and secondary service provider cognitive networks as well as for conventional wireless networks. The K-step Lyapunov drift is used to analyse the performance and stability of the proposed dynamic control policies, and new unified stability analysis and queuing bound are provided for both primary service provider and secondary service provider cognitive networks and for conventional wireless networks. By adapting to the changes in network conditions, the dynamic control policies are shown to stabilize the network and to minimize the bound for the average queue length. In addition, we prove that the previously proposed frame based does not minimize the bound for the average delay, when there are shared resources between the terminals with queues. / Tiivistelmä Langattomien kanavien häipyminen, langattomien laitteiden akkujen rajallinen koko, käyttäjien käyttötarpeiden muutokset sekä lisääntyvän tiedonsiirron ja lyhyemmän viiveen vaatimukset luovat suuria haasteita tulevaisuuden langattomien verkkojen suunnitteluun. On välttämätöntä kehittää tehokkaita resurssien allokointialgoritmeja, jotka sopeutuvat verkkojen muutoksiin ja saavuttavat sekä tavoiteviiveen että tavoitedatanopeuden mahdollisimman pienellä tehon kulutuksella. Tässä väitöskirjassa esitetään uusia paradigmoja langattomille tietoliikenneverkoille. Dynaamisen ohjelmoinnin välineitä käytetään luomaan dynaamisia verkon stabiloivia resurssien allokointiratkaisuja virtuaalisille pilvipalveludatakeskuksille, käyttäjien yhteistyöverkoille ja heterogeenisille verkoille. Tarkkoja dynaamisen ohjelmoinnin välineitä käytetään kehittämään optimaalisia resurssien allokointi ja topologian kontrollointialgoritmeja näille jonojen ja häipyvien kanavien verkoille. Tämän lisäksi, estimoituja dynaamisen ohjelmoinnin välineitä käytetään luomaan uusia alioptimaalisia ratkaisuja. Yhtenäisiä systeemimalleja ja yhtenäisiä kontrollointiongelmia luodaan sekä toissijaisen ja ensisijaisen palvelun tuottajan kognitiivisille verkoille että tavallisille langattomille verkoille. Tulokset osoittavat että sopeutumalla jonojen pituuksien ja kanavien muutoksiin dynaaminen tekniikka vaimentaa ensisijaisen ja toissijaisen palvelun tuottajien kognitiivisten verkkojen vaikutusta toisiinsa. Tutkimme myös verkon stabiiliutta ja luomme uusia stabiilisuusalueita sekä ensisijaisen ja toissijaisen palveluntuottajan kognitiivisille verkoille että tavallisille langattomille verkoille. K:n askeleen Lyapunovin driftiä käytetään analysoimaan dynaamisen kontrollointitekniikan suorituskykyä ja stabiiliutta. Lisäksi uusi yhtenäinen stabiiliusanalyysi ja jonon yläraja luodaan ensisijaisen ja toissijaisen palveluntuottajan kognitiivisille verkoille ja tavallisille langattomille verkoille. Dynaamisen algoritmin näytetään stabiloivan verkko ja minimoivan keskimääräisen jonon pituuden yläraja sopeutumalla verkon olosuhteiden muutoksiin. Tämän lisäksi todistamme että aiemmin esitetty frame-algoritmi ei minimoi keskimääräisen viiveen ylärajaa, kun käyttäjät jakavat keskenään resursseja.

Le contexte de nos travaux de thèse est l'intégration de l'énergie éolienne sur les réseaux insulaires. Ces travaux sont soutenus par EDF SEI, l'opérateur électrique des îles françaises. Nous étudions un système éolien-stockage où un système de stockage d'énergie doit aider un producteur éolien à tenir, vis-à-vis du réseau, un engagement de production pris un jour à l'avance. Dans ce contexte, nous proposons une démarche pour l'optimisation du dimensionnement et du contrôle du système de stockage (gestion d'énergie). Comme les erreurs de prévision J+1 de production éolienne sont fortement incertaines, la gestion d'énergie du stockage est un problème d'optimisation stochastique (contrôle optimal stochastique). Pour le résoudre, nous étudions tout d'abord la modélisation des composants du système (modélisation énergétique du stockage par batterie Li-ion ou Sodium-Soufre) ainsi que des entrées (modélisation temporelle stochastique des entrées incertaines). Nous discutons également de la modélisation du vieillissement du stockage, sous une forme adaptée à l'optimisation de la gestion. Ces modèles nous permettent d'optimiser la gestion de l'énergie par la méthode de la programmation dynamique stochastique (SDP). Nous discutons à la fois de l'algorithme et de ses résultats, en particulier de l'effet de la forme des pénalisations sur la loi de gestion. Nous présentons également l'application de la SDP sur des problèmes complémentaires de gestion d'énergie (lissage de la production d'un houlogénérateur, limitation des rampes de production éolienne). Cette étude de l'optimisation de la gestion permet d'aborder l'optimisation du dimensionnement (choix de la capacité énergétique). Des simulations temporelles stochastiques mettent en évidence le fort impact de la structure temporelle (autocorrélation) des erreurs de prévision sur le besoin en capacité de stockage pour atteindre un niveau de performance donné. La prise en compte de paramètres de coût permet ensuite l'optimisation du dimensionnement d'un point de vue économique, en considérant les coûts de l'investissement, des pertes ainsi que du vieillissement. Nous étudions également le dimensionnement du stockage lorsque la pénalisation des écarts à l'engagement comporte un seuil de tolérance. Nous terminons ce manuscrit en abordant la question structurelle de l'interaction entre l'optimisation du dimensionnement et celle du contrôle d'un système de stockage, car ces deux problèmes d'optimisation sont couplés. / The context of this PhD thesis is the integration of wind power into the electricity grid of small islands. This work is supported by EDF SEI, the system operator for French islands. We study a wind-storage system where an energy storage is meant to help a wind farm operator fulfill a day-ahead production commitment to the grid. Within this context, we propose an approach for the optimization of the sizing and the control of the energy storage system (energy management). Because day-ahead wind power forecast errors are a major source of uncertainty, the energy management of the storage is a stochastic optimization problem (stochastic optimal control). To solve this problem, we first study the modeling of the components of the system. This include energy-based models of the storage system, with a focus on Lithium-ion and Sodium-Sulfur battery technologies. We then model the system inputs and in particular the stochastic time series like day-ahead forecast errors. We also discuss the modeling of storage aging, using a formulation which is adapted to the control optimization. Assembling all these models enables us to optimize the energy management of the storage system using the stochastic dynamic programming (SDP) method. We introduce the SDP algorithms and present our optimization results, with a special interest for the effect of the shape of the penalty function on the energy control law. We also present additional energy management applications with SDP (mitigation of wind power ramps and smoothing of ocean wave power). Having optimized the storage energy management, we address the optimization of the storage sizing (choice of the rated energy). Stochastic time series simulations show that the temporal structure (autocorrelation) of wind power forecast errors have a major impact on the need for storage capacity to reach a given performance level. Then we combine simulation results with cost parameters, including investment, losses and aging costs, to build a economic cost function for sizing. We also study storage sizing when the penalization of commitment deviations includes a tolerance threshold. We finish this manuscript with a structural study of the interaction between the optimizations of the sizing and the control of an energy storage system, because these two optimization problems are coupled.

Cette thèse est composée de quatre chapitres. Le premier chapitre traite de l'évaluation de produits financiers dans un modèle comportant un saut pour l'actif risque. Ce saut représente la faillite de l'entreprise correspondante. On étudie alors l'évaluation des prix d'options par indifférence d'utilité dans un cadre d'utilité exponentielle. Par des techniques de programmation dynamique on montre que le prix d'un Bond est solution d'une équation différentielle et le prix d'options dépendantes de l'actif est solution d'une équation aux dérives partielles d'Hamilton-Jacobi-Bellman. Le saut dans la dynamique de l'actif risque induit des différences avec le modèle de Merton que nous tentons de quantifier. Le second chapitre traite d'un marché comportant des sauts : les paris sur le football. Nous rappelons les différentes familles de modèles pour un match de football et introduisons un modèle complet permettant d'évaluer les prix des différents produits apparus sur ce marché ces dix dernières années. La complexité de ce modèle nous amène à étudier un modèle simplifié dont nous étudions les implications et calculons les prix obtenus que l'on compare à la réalité. On remarque que la calibration implicite obtenue génère de très bons résultats en produisant des prix très proches de la réalité. Le troisième chapitre développe le problème de fixation des prix par un teneur de marche monopolistique dans le marché des paris binaires. Ce travail est un prolongement direct au problème introduit par Levitt [Lev04]. Nous généralisons en effet son travail aux cas des paris européens et proposons une méthode pour estimer la méthode de cotation utilisée par le book-maker. Nous montrons que deux hypothèses inextricables peuvent expliquer cette fixation des prix. D'une part, l'incertitude du public sur la vraie valeur ainsi que le caractère extrêmement risque-averse du bookmaker. Le quatrième chapitre prolonge quant à lui cette approche au cas de produits financiers non binaires. Nous examinons différents modèles d'offre et de demande et en déduisons, par des techniques de programmation dynamique, des équations aux dérivées partielles dictant la formation des prix d'achat et de vente. Nous montrons finalement que l'écart entre prix d'achat et prix de vente ne dépend pas de la position du teneur de marche dans l'actif considère. Cependant le prix moyen dépend lui fortement de la quantité détenue par le teneur de marche. Une approche simplifiée est finalement proposée dans le cas multidimensionnel / This thesis is composed of four chapters. The first one deals with the pricing of financial products in a single jump model for the risky asset. This jump represents the bankrupcy of the quoted firm. We study the pricing of derivatives in the context of indifference of utility with an exponential utility. By means of dynamic programming we show that the bond price is solution of an ordinary differential equation and that stock price dependent options are solutions of an equation with partial derivatives of Hamilton-Jacobi-Bellman type generalizing the Black-Scholes one. We then try to quantify differences in the price obtained here and the one from Merton model without jump. The second chapter deals with a specific jump market : the soccer betting market. We recall the different model families for a soccer match and introduce some full model which allows to price the products recently born in this market in last ten years. Nevertheless the model complexity leads us to study a simplified model introduced by Dixon and Robinson from which we are able to derive closed formulas and simulate prices that we compare to market prices. We remark that implicit calibration gives pretty goof fit of market data. Third chapter developps the approach of Levitt [Lev04] on price formation in binary betting market held by a monopolistic market-maker operating in a one time step trading. We generalize Levitt results with european format of betting. We show that prices are distorded on the pressure of demand and offer, that phenomena introducing a market probability that allows to price products under this new measure. We identify some best model for demand and offer and market maker strategy and show that probability change is obvious in case of imperfect information about the value of the product. Fourth chapter generalizes this approach to the case of general payoffs and continuous time. The task is more complex and we just derive partial derivative equations from dynamic programming that enable us to give the bid-ask prices of the product traded by the market-maker. One result is that, in most models, bid-ask spread does not depend on the inventory held by the dealer whereas mid-quote price strongly reflects the unbalance of the dealer

La principale contribution de cette thèse est le développement d'une méthode fiable, robuste, et rapide pour la prédiction des pré-miARNs. Deux objectifs avaient été assignés : efficacité et flexibilité. L'efficacité a été rendue possible au moyen d'un algorithme quadratique. La flexibilité repose sur deux aspects, la nature des données expérimentales et la position taxonomique de l'organisme (en particulier plantes ou animaux). Mirinho accepte en entrée des séquences de génomes complets mais aussi les très nombreuses séquences résultant d'un séquençage massif de type NGS de “RNAseq”. “L'universalité” taxonomique est obtenu par la possibilité de modifier les contraintes sur les tailles de la tige (double hélice) et de la boule terminale. Dans le cas de la prédiction des miARN de plantes la plus grande longueur de leur pré-miARN conduit à des méthodes d'extraction de la structure secondaire en tige-boule moins précises. Mirinho prend en compte ce problème lui permettant de fournir des structures secondaires de pré-miARN plus semblables à celles de miRBase que les autres méthodes disponibles. Mirinho a été utilisé dans le cadre de deux questions biologiques précises l'une concernant des RNAseq l'autre de l'ADN génomique. La première question a conduit au traitement et l'analyse des données RNAseq de Acyrthosiphon pisum, le puceron du pois. L'objectif était d'identifier les miARN qui sont différentiellement exprimés au cours des quatre stades de développement de cette espèce et sont donc des candidats à la régulation des gènes au cours du développement. Pour cette analyse, nous avons développé un pipeline, appelé MirinhoPipe. La deuxieme question a permis d'aborder les problèmes liés à la prévision et l'analyse des ARN non-codants (ARNnc) dans la bactérie Mycoplasma hyopneumoniae. Alvinho a été développé pour la prédiction de cibles des miRNA autour d'une segmentation d'une séquence numérique et de la détection de la conservation des séquences entre ncRNA utilisant un graphe k-partite. Nous avons finalement abordé un problème lié à la recherche de motifs conservés dans un ensemble de séquences et pouvant ainsi correspondre à des éléments fonctionnels / The main contribution of this thesis is the development of a reliable, robust, and much faster method for the prediction of pre-miRNAs. With this method, we aimed mainly at two goals: efficiency and flexibility. Efficiency was made possible by means of a quadratic algorithm. Flexibility relies on two aspects, the input type and the organism clade. Mirinho can receive as input both a genome sequence and small RNA sequencing (sRNA-seq) data of both animal and plant species. To change from one clade to another, it suffices to change the lengths of the stem-arms and of the terminal loop. Concerning the prediction of plant miRNAs, because their pre-miRNAs are longer, the methods for extracting the hairpin secondary structure are not as accurate as for shorter sequences. With Mirinho, we also addressed this problem, which enabled to provide pre-miRNA secondary structures more similar to the ones in miRBase than the other available methods. Mirinho served as the basis to two other issues we addressed. The first issue led to the treatment and analysis of sRNA-seq data of Acyrthosiphon pisum, the pea aphid. The goal was to identify the miRNAs that are expressed during the four developmental stages of this species, allowing further biological conclusions concerning the regulatory system of such an organism. For this analysis, we developed a whole pipeline, called MirinhoPipe, at the end of which Mirinho was aggregated. We then moved on to the second issue, that involved problems related to the prediction and analysis of non-coding RNAs (ncRNAs) in the bacterium Mycoplasma hyopneumoniae. A method, called Alvinho, was thus developed for the prediction of targets in this bacterium, together with a pipeline for the segmentation of a numerical sequence and detection of conservation among ncRNA sequences using a kpartite graph. We finally addressed a problem related to motifs, that is to patterns, that may be composed of one or more parts, that appear conserved in a set of sequences and may correspond to functional elements.

Algumas abordagens para o problema de Planejamento Ótimo da Operação de Sistemas Hidrotérmicos (POOSH) utilizam modelos estocásticos para representar as vazões afluentes dos reservatórios do sistema. Essas abordagens utilizam, em geral, técnicas de Programação Dinâmica Estocástica (PDE) para resolver o POOSH. Por outro lado, muitos autores têm defendido o uso dos modelos determinísticos ou, particularmente, a Programação Dinâmica Determinística (PDD) por representar de forma individualizada a interação entre as usinas hidroelétricas do sistema. Nesse contexto, esta dissertação tem por objetivo comparar o desempenho da solução do POOSH obtida via PDD com a solução obtida pela PDE, que emprega um modelo Markoviano periódico, com distribuição condicional Log-Normal Truncada para representar as vazões. Além disso, é realizada a análise com abordagem bayesiana, no modelo de vazões, para estimação dos parâmetros e previsões das vazões afluentes. Comparamos as performances simulando a operação das usinas hidroelétricas de Furnas e Sobradinho, considerando séries de vazões geradas artificialmente / Some approaches for problem of Optimal Operation Planning of Hydrothermal Systems (OOPHS) use stochastic models to represent the inflows in the reservoirs that compose the system. These approaches typically use the Stochastic Dynamic Programming (SDP) to solve the OOPHS. On the other hand, many authors defend the use of deterministic models and, particularly, the Deterministic Dynamic Programming (DDP) since it individually represents the interaction between the hydroelectric plants. In this context, this dissertation aims to compare the performance of the OOPHS solution obtained via DDP with the one given by SDP, which employs a periodic Markovian model with conditional Truncated Log-Normal distribution to represent the inflows. Furthermore, it is performed a bayesian approach analysis, in the inflow model, for estimating the parameters and forecasting the inflows. We have compared the performances of the DDP and SDP solutions by simulating the hydroelectric plants of Furnas and Sobradinho, employing artificially generated series

Tato diplomová práce se zabývá moderními přístupy detekce klíčových slov a detekce frází v řečových datech. V úvodní části je seznámení s problematikou a teoretický popis metod pro detekci. Následuje popis reprezentace vstupních datových sad použitých při experimentech a evaluaci. Dále jsou uvedeny metody pro detekci klíčových slov definovaných vzorem. Následně jsou popsány evaluační metody a techniky použité pro skórování. Po provedení experimentů na datových sadách a po evaluaci jsou diskutovány výsledky. V dalším kroku jsou navrženy a poté implementovány moderní postupy vedoucí k vylepšení systému pro detekci a opět je provedena evaluace a diskuze dosažených výsledků. V závěrečné části je práce zhodnocena a jsou zde navrženy další směy vývoje našeho systému. Příloha obsahuje manuál pro používání implementovaných skriptů.

The master's thesis deals with design of a dynamic reflective prototype-based language. First, basic principles of this language group are explained and well known representatives are described. Then languages for scientific computing are shortly discussed. Next section of the thesis describes in detail the proposed programming language, its grammar and semantics. Principles of type checking and inheritance are explained. Thesis also demonstrates implementation of basic control structures known from other languages. Next section shows design of virtual machine for the language described before. Section explains used computational model, organization of the object memory and internal representation of important structures of the designed language. Finally, dynamic type checking, compiler and compilation of typical structures to the virtual machine internal code are discussed.

Ce mémoire présente une étude comparative de quatre stratégies de gestion énergétique temps réel, appliquées d'une part à un véhicule hybride thermique-électrique, et d'autre part à un véhicule électrique à pile à combustible : contrôle basé sur des règles empirique (RBS), minimisation de la consommation équivalente (A-ECMS), loi de commande optimale (OCL) établie à partir d'une modélisation analytique du système et programmation dynamique stochastique (SDP) associée à une modélisation des cycles de conduite par chaîne de Markov. Le principe du minimum de Pontryaguin et la programmation dynamique, applicables hors ligne, sont mis en œuvre pour fournir des résultats de référence. Les problèmes d’implémentation numérique et de paramétrage des stratégies sont discutés. Une analyse statistique effectuée sur la base de cycles aléatoires générés par chaînes de Markov permet d’évaluer la robustesse des stratégies étudiées. Les résultats obtenus en simulation, puis sur un dispositif expérimental montrent que les méthodes les plus simples (RBS ou OCL) conduisent à des consommations élevées. SDP aboutit aux meilleures performances avec en moyenne la plus faible consommation de carburant dans les conditions réelles de conduite et un état énergétique final du système de stockage parfaitement maîtrisé. Les résultats d’A-ECMS sont comparables à ceux de SDP en moyenne, mais avec une plus grande dispersion, en particulier pour l'état de charge final. Afin d'améliorer les performances des méthode, des jeux de paramètres dédiés aux différents contextes de conduite sont considérés. / This thesis presents a comparative study between four recent real-time energy management strategies (EMS) applied to a hybrid electric vehicle and to a fuel cell vehicle applications: rule-based strategy (RBS), adaptive equivalent consumption minimization strategy (A-ECMS), optimal control law (OCL) and stochastic dynamic programming (SDP) associated to driving cycle modeling by Markov chains. Pontryagin’s minimum principle and dynamic programming are applied to off-line optimization to provide reference results. Implementation and parameters setting issues are discussed for each strategy and a genetic algorithm is employed for A-ECMS calibration.The EMS robustness is evaluated using different types of driving cycles and a statistical analysis is conducted using random cycles generated by Markov process. Simulation and experimental results lead to the following conclusions. The easiest methods to implement (RBS and OCL) give rather high fuel consumption. SDP has the best overall performance in real-world driving conditions. It achieves the minimum average fuel consumption while perfectly respecting the state-sustaining constraint. A-ECMS results are comparable to SDP’s when using parameters well-adjusted to the upcoming driving cycle, but lacks robustness. Using parameter sets adjusted to the type of driving conditions (urban, road and highway) did help to improve A-ECMS performances.

<div>During 2017 and 2018, two of the costliest years on record regarding natural disasters, the U.S. experienced 30 events with total losses of $400 billion. These exuberant costs arise primarily from the lack of adequate planning spanning the breadth from pre-event preparedness to post-event response. It is imperative to start thinking about ways to make our built environment more resilient. However, empirically-calibrated and structure-specific vulnerability models, a critical input required to formulate decision-making problems, are not currently available. Here, the research objective is to improve the resilience of the built environment through an automated vision-based system that generates actionable information in the form of probabilistic pre-event prediction and post-event assessment of damage. The central hypothesis is that pre-event, e.g., street view images, along with the post-event image database, contain sufficient information to construct pre-event probabilistic vulnerability models for assets in the built environment. The rationale for this research stems from the fact that probabilistic damage prediction is the most critical input for formulating the decision-making problems under uncertainty targeting the mitigation, preparedness, response, and recovery efforts. The following tasks are completed towards the goal.</div><div>First, planning for one of the bottleneck processes of the post-event recovery is formulated as a decision making problem considering the consequences imposed on the community (module 1). Second, a technique is developed to automate the process of extracting multiple street-view images of a given built asset, thereby creating a dataset that illustrates its pre-event state (module 2). Third, a system is developed that automatically characterizes the pre-event state of the built asset and quantifies the probability that it is damaged by fusing information from deep neural network (DNN) classifiers acting on pre-event and post-event images (module 3). To complete the work, a methodology is developed to enable associating each asset of the built environment with a structural probabilistic vulnerability model by correlating the pre-event structure characterization to the post-event damage state (module 4). The method is demonstrated and validated using field data collected from recent hurricanes within the US.</div><div>The vision of this research is to enable the automatic extraction of information about exposure and risk to enable smarter and more resilient communities around the world.</div>

Cette thèse se concentre sur le calcul de la solution optimale d'un problème de couverture de produit dérivé en temps discret. Le problème consiste à minimiser une mesure de risque, définie comme l'espérance d'une fonction convexe du profit (ou perte) du portefeuille, en tenant compte des frais de transaction. Lorsqu'il y a des coûts, il peut être optimal de ne pas transiger. Ainsi, les solutions sont caractérisées par des frontières de transaction. En général, les politiques optimales et les fonctions de risque associées ne sont pas connues explicitement, mais une stratégie bien connue consiste à approximer les solutions de manière récursive en utilisant la programmation dynamique. Notre contribution principale est d'appliquer la méthode du maillage stochastique. Cela permet d'utiliser des processus stochastiques multi-dimensionels pour les dynamiques de prix. On obtient aussi des estimateurs biasés à la hausse et à la baisse, donnant une mesure de la proximité de l'optimum. Nous considérons différentes façons d'améliorer l'efficacité computationelle. Utiliser la technique des variables de contrôle réduit le bruit qui provient de l'utilisation de prix de dérivés estimés à même le maillage stochastique. Deux autres techniques apportent des réductions complémentaires du temps de calcul : utiliser une grille unique pour les états du maillage et utiliser une procédure de "roulette Russe". Dans la dernière partie de la thèse, nous présentons une application pour le cas de la fonction de risque exponentielle négative et un modèle à volatilité stochastique (le modèle de Ornstein-Uhlenbeck exponentiel). Nous étudions le comportement des solutions sous diverses configurations des paramètres du modèle et comparons la performance des politiques basées sur un maillage à celles d'heuristiques. / This thesis focuses on computing the optimal solution to a derivative hedging problem in discrete time. The problem is to minimize a risk measure, defined as the expectation of a convex function of the terminal profit and loss of the portfolio, taking transaction costs into account. In the presence of costs, it is sometimes optimal not to trade, so the solutions are characterized in terms of trading boundaries. In general, the optimal policies and the associated risk functions are not known explicitly, but a well-known strategy is to approximate the solutions recursively using dynamic programming. Our central innovation is in applying the stochastic mesh method, which was originally applied to option pricing. It allows exibility for the price dynamics, which could be driven by a multi-dimensional stochastic process. It also yields both low and high biased estimators of the optimal risk, thus providing a measure of closeness to the actual optimum. We look at various ways to improve the computational efficiency. Using the control variate technique reduces the noise that comes from using derivative prices estimated on the stochastic mesh. Two additional techniques turn out to provide complementary computation time reductions : using a single grid for the mesh states and using a so-called Russian roulette procedure. In the last part of the thesis, we showcase an application to the particular case of the negative exponential risk function and a stochastic volatility model (the exponential Ornstein-Uhlenbeck model). We study the behavior of the solutions under various configurations of the model parameters and compare the performance of the mesh-based policies with that of well-known heuristics.