We consider the problem of sequential decision making in non-stationary environments. In order to avoid solutions that are too conservative, we capture the degree of non-stationarity in real-world problems through different mathematical models for the environment. In the first model, we add to the environment a state that follows Markovian dynamics subject to limited levels of non-stationary uncertainty. In the second model, we add non-stationary constraints to the environment. In the third model, we limit the frequency of non-stationary changes. In each of these models, we provide efficient learning algorithms and prove corresponding performance guarantees that depend critically on the degree of non-stationarity. / Nous étudions le problème de décisions séquentielles dans des environnements non-stationnaires. Pour éviter des solutions trop conservatrices, nous modélisons le degré de non-stationnarité à travers differents modèles mathématiques de l'environnement. Dans le premier modèle, nous ajoutons à l'environnement un état qui suit une dynamique Markovienne, sujet à des niveaux limités d'incertitude non-stationnaire. Dans le second modèle, nous ajoutons des contraintes non-stationnaires à l'environnement. Dans le troisième modèle, nous limitons la fréquence des changements non-stationnaires. Pour chaque modèle, nous présentons des algorithmes d'apprentissage efficients et prouvons des guaranties de performance qui dépendent du degré de non-stationnarité.
| Identifer | oai:union.ndltd.org:LACETR/oai:collectionscanada.gc.ca:QMM.92156 |
| Date | January 2010 |
| Creators | Yu, Jia Yuan |
| Contributors | Shie Mannor (Internal/Supervisor) |
| Publisher | McGill University |
| Source Sets | Library and Archives Canada ETDs Repository / Centre d'archives des thèses électroniques de Bibliothèque et Archives Canada |
| Language | English |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation |
| Format | application/pdf |
| Coverage | Doctor of Philosophy (Department of Electrical and Computer Engineering) |
| Rights | All items in eScholarship@McGill are protected by copyright with all rights reserved unless otherwise indicated. |
| Relation | Electronically-submitted theses. |
Page generated in 0.0059 seconds