La prise de décision est un problème omniprésent qui survient dés qu'on fait face à plusieurs choix possibles. Ce problème est d'autant plus complexe lorsque les décisions, ou les actions, doivent être prise d'une manière séquentielle. En effet, l'exécution d'une action à un moment donné entraîne un changement à l'environnement, ou au système qu'on veut contrôler, et un tel changement ne peut pas être prévu avec certitude. Le but d'un processus de prise de décision consiste alors à choisir des actions en vue de se comporter d'une manière optimale dans un environnement incertain. Afin d'y parvenir, l'environnement est souvent modélisé comme un système dynamique à plusieurs états, et les actions sont choisies d'une telle manière à ramener le système vers un état désirable. Dans le cadre de cette thèse, nous avons proposé un ensemble de modèles stochastiques et d'algorithmes, afin d'améliorer la qualité du processus de prise de décision sous l'incertain. Les modèles développés sont une alternative aux Processus Décisionnels de Markov (MDPs), un cadre formel largement utilisé pour ce genre de problèmes. En particulier, nous avons montré que l'état d'un système dynamique peut être représenté d'une manière plus concise lorsqu'il est décrit en termes de prédictions de certains événements dans le futur. Nous avons aussi montré que le processus cognitif même du choix d'actions, appelé politique, peut être vu comme un système dynamique. Partant de cette observation, nous avons proposé une panoplie d'algorithmes, tous basés sur des représentations prédictives de politiques, pour résoudre différents problèmes de prise de décision, tels que la panification décentralisée, l'apprentissage par renforcement, ou bien encore l'apprentissage par imitation. Nous avons montré analytiquement et empiriquement que les approches proposées mènent à des réductions de la complexité de calcul et à une amélioration de la qualité des solutions par rapport aux approches d'apprentissage et de planification standards.