Dans cette thèse, nous traitons deux problèmes de contrôle optimal stochastique. Chaque problème correspond à une Partie de ce document. Le premier problème traité est très précis, il s'agit de la valorisation des contrats optionnels de vente de type Américain (dit Put Américain) en présence de dividendes discrets (Partie I). Le deuxième est plus général, puisqu'il s'agit dans un cadre discret en temps de prouver l'existence d'un principe de programmation dynamique sous des contraintes en probabilités (Partie II). Bien que les deux problèmes soient assez distincts, le principe de programmation dynamique est au coeur de ces deux problèmes. La relation entre la valorisation d'un Put Américain et un problème de frontière libre a été prouvée par McKean. La frontière de ce problème a une signification économique claire puisqu'elle correspond à tout instant à la borne supérieure de l'ensemble des prix d'actifs pour lesquels il est préférable d'exercer tout de suite son droit de vente. La forme de cette frontière en présence de dividendes discrets n'avait pas été résolue à notre connaissance. Sous l'hypothèse que le dividende est une fonction déterministe du prix de l'actif à l'instant précédant son versement, nous étudions donc comment la frontière est modifiée. Au voisinage des dates de dividende, et dans le modèle du Chapitre 3, nous savons qualifier la monotonie de la frontière, et dans certains cas quantifier son comportement local. Dans le Chapitre 3, nous montrons que la propriété du smooth-fit est satisfaite à toute date sauf celles de versement des dividendes. Dans les deux Chapitres 3 et 4, nous donnons des conditions pour garantir la continuité de cette frontière en dehors des dates de dividende. La Partie II est originellement motivée par la gestion optimale de la production d'une centrale hydro-electrique avec une contrainte en probabilité sur le niveau d'eau du barrage à certaines dates. En utilisant les travaux de Balder sur la relaxation de Young des problèmes de commande optimale, nous nous intéressons plus spécifiquement à leur résolution par programmation dynamique. Dans le Chapitre 5, nous étendons au cadre des mesures de Young des résultats dûs à Evstigneev. Nous établissons alors qu'il est possible de résoudre par programmation dynamique certains problèmes avec des contraintes en espérances conditionnelles. Grâce aux travaux de Bouchard, Elie, Soner et Touzi sur les problèmes de cible stochastique avec perte contrôlée, nous montrons dans le Chapitre 6 qu'un problème avec contrainte en espérance peut se ramener à un problème avec des contraintes en espérances conditionnelles. Comme cas particulier, nous prouvons ainsi que le problème initial de la gestion du barrage peut se résoudre par programmation dynamique.