Cette thèse, intitulée méthodes particulaires en commande optimale stochastique s'intéresse aux problèmes d'optimisation dans l'incertain et a leur résolution. Le terme particulaire renvoie au fait que nous considèrons des méthodes basées sur une approche de type Monte-Carlo, contrairement aux méthodes par programmation dynamiques stochastiques qui utilisent une discrétisation faite a priori.<br />La résolution des problèmes d'optimisation stochastique nécessite deux étapes : une étape d'approximation et une étape d'optimisation. Les deux premiers chapitres de ce manuscrit seront consacrées a la partie optimisation. Nous traiterons dans les chapitres qui suivront de l'approximation des problèmes d'optimisation dans l'incertain. Nous commencerons, dans ce manuscrit, (chapitre I) par présenter les problèmes qui seront abordés ; nous nous attarderons surtout sur la représentation de la structure d'information d'un probléme d'optimisation stochastique. Deux principales représentations se dégagent : une représentation algébrique et une représentation fonctionnelle. A partir de la nature de cette structure d'information, nous ferons la typologie des problémes d'optimisation stochastique : boucle ouverte, boucle fermée, information statique ou information dynamique. Le deuxième chapitre (chapitre II) traitera des conditions d'optimalité pour les problèmes de commande optimale stochastique : à partir des représentations algébriques ou fonctionnelles de l'information, nous présenterons des conditions d'optimalité du type Karush-Kuhn-Tucker. Les conditions présentées dans le chapitre II comportent presque invariablement des opérateurs d'espérance conditionnelle. La résolution de ces problèmes impose alors d'approximer ces opérateurs. Nous commencerons dans le chapitre III par motiver notre approche avant de passer à une revue de la littérature des problèmes d'estimation de densité, densité conditionnelle et espérance conditionnelle. Dans le chapitre IV, nous présentons la méthode des élements finis particulaires qui consiste en l'approximation de la structure d'information par une restriction du feedback à une classe donnée a priori de fonctions de base. Différents résultats de convergence et d'erreur asymptotique seront donné. L'avant dernier chapitre (chapitre V) présentera un algorithme chaotique de gradient pour la résolution de problémes d'optimisation stochastique en boucle fermée. Un résultat de convergence, de vitesse ainsi qu'une application numérique seront donnés. Nous nous intéresserons dans le dernier chapitre (chapitre VI) aux aspects numérique de la résolution des problèmes de commande optimale stochastique à partir des difféerentes méthodes présentes dans les chapitres précedents. Nous présenterons diffèrents algorithmes et heuristiques pour résoudre un problème de gestion de production d'un barrage hydro-électrique.

Dans cette thèse j'étudie la géométrie locale des structuresfinslériennes et sous-finslériennes associées à la norme infinien dimension 2 et 3 : géodésiques généralisées courtes, lieu de coupure, lieu conjugué généralisé, lieu de "saut", petites sphères.Pour définir une telle structure au voisinage d'un point $p$ de $mathbb{R}^n$, on se donne une famille de champs de vecteurs $(F_1,dots,F_k)$ et on considère la norme définie sur la distribution$Delta=mbox{vect}{F_1,dots,F_k}$ par $|G|=inf{max{|u_i|} ; | ; G=sum_i u_i F_i} $.En dimension 2, pour $k=2$, si $F_1$ et $F_2$ ne sont pas proportionnels en $p$ alors on obtient une structure finslérienne. Sinon, alors la structure est sous-finslérienne sur une distribution de rang non constant. Nous décrivons les objets géométriques décrits plus haut pour l'ensembles des couples génériques $(F_1,F_2)$.En dimension 3, nous avons étudié la géométrie locale pour les distributions de contact. / In this thesis I study the local geometry of Finslerian and sub-Finslerian structures associated to the maximum norm in dimension 2 and 3 : short generalized geodesics, cut locus, generalized conjugate locus, switching locus, small spheres.To define such a structure in the neighborhood of a point $p$ of $mathbb{R}^n$, we fix a familly of vector fields $(F_1,dots,F_k)$ and consider the norm defined on the distribution $Delta=mbox{vect}{F_1,dots,F_k}$ by $|G|=inf{max{|u_i|} ; | ; G=sum_i u_i F_i} $.In dimension 2, for $k=2$, if $F_1$ and $F_2$ are not proportionnal at $p$ then we obtain a Finslerian structure. If not, the structure is sub-Finslerian on a distribution with non constant rank. We describe the geometric objects for the set of all generic couples $(F_1,F_2)$.In dimension 3, we studied the local geometry for contact distributions.

Ce mémoire est consacré à l'étude de deux nouvelles méthodes :<br />La méthode d'Adomian pour la résolution d'équations fonctionnelles non linéaires ; <br />La méthode d'optimisation globale Alienor pour la recherche de minimums absolus de fonctions de plusieurs variables.<br />Ces méthodes sont ensuite appliquées à la résolution des problèmes de biomathématiques liés au VIH/SIDA et au paludisme et de plus à la résolution des problèmes de recherche opérationnelle.<br />Pour la méthode décompositionnelle d'Adomian, un algorithme permettant de calculer exactement et rapidement les polynômes d'Adomian pour tous les types de non linéarité et quel que soit le nombre de variables intervenant dans l'équation fonctionnelle a été trouvé et cela à fait l'objet de publication dans la revue Kybernetes.<br />Pour l'optimisation globale utilisant la méthode Alienor, afin de réduire le temps de calcul et aussi le problème rencontré quant au calcul de lorsque le nombre de variable n est très grand (de l'ordre de 1000), une transformation réductrice -dense de la forme est proposé dans Balira KONFE and all ... Les suites et sont des suites lentement croissantes. La fonction univariable obtenue à partir de la transformation réductrice est multimodal d'où la nécessité de développer de nouvelles méthodes pour la résolution des problèmes d'optimisation dans R. La notion d'Optimization Preserving-Operator a été introduite au chapitre 9 et améliorée en O.P.O*. Cet O.P.O* permet d'éliminer les minima parasites et de converger rapidement vers l'optimum absolu.<br />Le couplage des deux méthodes ci-dessus citées pour la résolution des problèmes de contrôle optimal a donné des résultats numériques remarquables.<br />La méthode décompositionnelle d'Adomian permet de transformer les problèmes de contrôle optimal en un problème d'optimisation global qui sera ensuite résolue par la méthode Alienor.<br />En marge des problèmes de contrôle optimal en biomédecine, l'adaptation de la méthode Alienor aux problèmes d'optimisation rencontrés en recherche opérationnelle et plus particulièrement les problèmes d'optimisation en nombre entier, booléen et mixte a donné lieu à des publications dans la revue Kybernetes. Les courbes -denses permettent de générer tous les points entiers contenus dans un pavé donné de Rⁿ.<br />A long terme cette méthode permet de donner une solution à la conjecture que : NP est équivalent à P en recherche opérationnelle.

On s'interesse ici a la resolution numerique de problemes de controle optimal peu reguliers. On utilise a la base les methodes dites indirectes, a la fois precises et rapides, mais en pratique tres sensibles a l'initialisation. Cette difficulte nous amene a utiliser une demarche homotopique, dans laquelle on part d'un probleme apparente plus facile a resoudre. Le "suivi de chemin" de l'homotopie connectant les deux problemes est ici realise par un algorithme de type simplicial. On s'interesse en premier lieu a un probleme de transfert orbital avec maximisation de la masse utile, puis a deux problemes d'arcs singuliers. Les perspectives futures liees a ces travaux comprennent en particulier l'etude de problemes a contraintes d'etat, egalement delicats a resoudre par les methodes indirectes. Par ailleurs, on souhaite comparer cette approche avec les methodes directes, qui impliquent la discretisation totale ou partielle du probleme.

L'ecoulement de Hiemenz balaye lateralement est un modele fidele de l'ecoulement sur le bord d'attaque d'une aile en fleche. Pour des angles de fleche importants l'ecoulement de Hiemenz balaye lateralement est instable pour des perturbations de Gortler-Hammerlin (GH), qui sont de nature essentiellement bi-dimensionnelle. Obrist et Schmid (2003) ont montre que, meme a des angles de fleche moderes auxquels l'ecoulement est lineairement stable, des perturbations GH peuvent etre amplifiees considerablement sur un intervalle de temps court. Le but de cette these est de quantifier les phenomenes de croissance transitoire dans l'ecoulement de Hiemenz balaye et d'etudier les mecanismes physiques sous-jacents. Le modele de perturbations GH est utilise pour la mise au point et la validation d'un algorithme d'optimisation de type gradient. Des amplifications temporelles de trois ordres de grandeur ont ete observees pour des perturbations GH, dont l'origine physique est un analogue du mecanisme bidimensionnel d'Orr, connu pour les ecoulements cisailles bidimensionnels. L'amplification optimale de perturbations temporelles a ete observee pour des tourbillons contra-rotatifs paralleles a la ligne d'arret, qui ne sat-isfont pas l'hypothese de Gortler-Hammerlin; le mecanisme d'amplification est alors semblable au mecanisme classique de 'lift-up'. La croissance transitoire spatiale le long du bord d'attaque a aussi fait l'objet d'une etude. Il a ete montre que les perturbations spatiales optimales, leur taux d'amplification et le mecanisme physique responsable sont etroitement lies aux phenomenes de croissance transitoire induits par le mecanisme de lift-up dans une couche limite bidimensionnelle de Blasius.

Cette thèse est divisée en deux parties. Dans la première partie, nous étudions des problèmes de contrôle optimal déterministes avec contraintes et nous nous intéressons à des questions d'analyse de sensibilité. Le point de vue que nous adoptons est celui de l'optimisation abstraite; les conditions d'optimalité nécessaires et suffisantes du second ordre jouent alors un rôle crucial et sont également étudiées en tant que telles. Dans cette thèse, nous nous intéressons à des solutions fortes. De façon générale, nous employons ce terme générique pour désigner des contrôles localement optimaux pour la norme L1. En renforçant la notion d'optimalité locale utilisée, nous nous attendons à obtenir des résultats plus forts. Deux outils sont utilisés de façon essentielle : une technique de relaxation, qui consiste à utiliser plusieurs contrôles simultanément, ainsi qu'un principe de décomposition, qui est un développement de Taylor au second ordre particulier du lagrangien. Les chapitres 2 et 3 portent sur les conditions d'optimalité nécessaires et suffisantes du second ordre pour des solutions fortes de problèmes avec contraintes pures, mixtes et sur l'état final. Dans le chapitre 4, nous réalisons une analyse de sensibilité pour des problèmes relaxés avec des contraintes sur l'état final. Dans le chapitre 5, nous réalisons une analyse de sensibilité pour un problème de production d'énergie nucléaire. Dans la deuxième partie, nous étudions des problèmes de contrôle optimal stochastique sous contrainte en probabilité. Nous étudions une approche par programmation dynamique, dans laquelle le niveau de probabilité est vu comme une variable d'état supplémentaire. Dans ce cadre, nous montrons que la sensibilité de la fonction valeur par rapport au niveau de probabilité est constante le long des trajectoires optimales. Cette analyse nous permet de développer des méthodes numériques pour des problèmes en temps continu. Ces résultats sont présentés dans le chapitre 6, dans lequel nous étudions également une application à la gestion actif-passif.

Ces travaux de thèse ont pour objectif de mieux comprendre comment le système nerveux central (SNC) planifie et contrôle les mouvements volontaires. Tout mouvement nécessite la résolution de deux types de redondance : interne (complexité du corps) et externe (interactions avec l’environnement), qui rendent difficile la sélection d’une action. Pour mieux comprendre ce contrôle, nous avons étudié en parallèle deux hypothèses importantes dans le domaine du contrôle moteur : les synergies musculaires et la décision motrice. Selon l’hypothèse des synergies musculaires, le contrôle des muscles par le SNC serait simplifié par l’utilisation de groupements invariants d’activations coordonnées de différents muscles, dont la combinaison sous-tendrait la réalisation de mouvements complexes. Le but de cette étude était de mettre à l’épreuve l’hypothèse des synergies musculaires en étudiant simultanément : a) un protocole spécifiant un grand nombre de mouvements variés, b) un nouveau modèle mathématiques tenant compte, pour l’extraction des synergies, de la modularité spatiale et temporelle, c) une double-évaluation de la qualité de la décomposition en synergies : au niveau musculaire (métrique VAF) et fonctionnel (performance de décodage). Notre idée directrice était que l’utilisation de synergies musculaires par le SNC n’est plausible que si elles permettent de rendre compte des activations musculaires d’un grand nombre de mouvements différents, et possèdent chacune un rôle fonctionnel spécifique. Les résultats de cette première étude montrent l'existence d'un petit ensemble de synergies dont la combinaison reconstruit les activations musculaires, et code efficacement toutes les tâches testées. La sélection d’une action, vue comme une prise de décision, peut être guidée par les contraintes extérieures objectives (e.g. la position de l’objet à attraper), les coûts/bénéfices explicites potentiels (e.g. une récompense monétaire), et les coûts/bénéfices internes associés à chaque mouvement (e.g. dépense d’énergie). Au quotidien, les actes sont rarement associés à des récompenses explicites. De plus, la redondance extrinsèque est toujours présente, la saisie d'une pomme par exemple ne définit pas une position finale précise de la main, contrairement au protocole souvent étudié de pointage d'une cible saillante. Les valeurs internes guidant le mouvement auraient donc une importance particulière dans le processus de décision motrice. Afin de les étudier, nous avons construit un protocole limitant les influences décisionnelles externes décrites ci-dessus. Les résultats de cette deuxième étude montrent des comportements différents entre les sujets, et mettent en avant en particulier l'existence de deux valeurs internes guidant la coordination entre posture et mouvement En conclusion, nous suggérons que le contrôle du mouvement peut être vu comme un processus de décision évaluant des valeurs internes pour produire la solution motrice la plus pertinente pour le contexte présent. De plus, ce contrôle serait simplifié par l'utilisation complémentaire de modules fonctionnels stockés dans le SNC. / This thesis is aimed at better understanding how the Central Nervous System (CNS) plans and controls voluntary movements. When moving, humans must overcome intrinsic (e.g. choosing which muscles to activate) and extrinsic (e.g. choosing where to reach an object) redundancy, requiring selecting one motor solution among several potential ones. To better understand this process, we studied in parallel two important motor control theories: muscular synergies and motor decision. In a first part, we focused on intrinsic redundancy by testing the muscular synergies hypothesis. According to it, the CNS simplifies the control of muscles, in using a limited set of building blocks whose linear combinations allow the performance of virtually any motor task. In this study, we challenge the modular motor control hypothesis by combining a) the design of a highly comprehensive experiment with b) the use of a unifying modularity model to describe single-trial EMG activity in space and time and c) a module evaluation process that assesses the modular decomposition not only in input space (EMG data reconstruction) but also in task space (task discrimination). Our rationale is that an effective modular control implementation would allow not only the formation of a wide variety of muscle patterns but also the achievement of a large set of tasks. The main theoretical result is the existence of few spatial and temporal modules that not onlygive a concise representation of muscle patterns but also carry nearly all task-relevant information of EMG signals. In a second part, we studied the decisional process that underlies all voluntary movement. In daily life, human movement is guided by objective external constraints (e.g. an object to reach), potential external cost/benefits (e.g. monetary reward) and internal cost/benefits associated with each movement (e.g. energy expenditure). Here,we aimed at investigating internal variables orienting action selection when facing the complexity of human-environment interactions. To this aim, we designed an experimental protocol reducing external constraints: no predetermined endpoint (e.g. salient target) and no explicit reward (e.g. money). Subjects had to perform whole body reaching movements towards a uniform surface (no pre-determined endpoint). Our results illustrate the presence of idiosyncratic values guiding posture and movement coordination that can be combined in a flexible manner as a function of context and subject. A first value takes into account the energy expenditure and articular jerk, while the other favored stable dynamic equilibrium but requires larger energy expenditure and articular jerk. In conclusion of this work, we suggest that motor control can be viewed as a decision process evaluating internal values to elaborate the most efficient control in function of context. In addition, this control can be simplified by the use of functional modules allowing CNS to generate rapidly a large set of whole body movements.

This dissertation presents various research contributions published during these four years of PhD in the field of batch mode reinforcement learning, which studies optimal control problems for which the only information available on the system dynamics and the reward function is gathered in a set of trajectories. We first focus on deterministic problems in continuous spaces. In such a context, and under some assumptions related to the smoothness of the environment, we propose a new approach for inferring bounds on the performance of control policies. We also derive from these bounds a new inference algorithm for generalizing the information contained in the batch collection of trajectories in a cautious manner. This inference algorithm as itself lead us to propose a min max generalization framework. When working on batch mode reinforcement learning problems, one has also often to consider the problem of generating informative trajectories. This dissertation proposes two different approaches for addressing this problem. The first approach uses the bounds mentioned above to generate data tightening these bounds. The second approach proposes to generate data that are predicted to generate a change in the inferred optimal control policy. While the above mentioned contributions consider a deterministic framework, we also report on two research contributions which consider a stochastic setting. The first one addresses the problem of evaluating the expected return of control policies in the presence of disturbances. The second one proposes a technique for selecting relevant variables in a batch mode reinforcement learning context, in order to compute simplified control policies that are based on smaller sets of state variables.

Cette thèse est consacrée à l'analyse algorithmique des systèmes hybrides. Nous examinons plusieurs problèmes liés à l'étude et au controle des systèmes hybrides linéaires par morceaux. Dans une première partie, nous présentons les notions de base de la théorie. Nous illustrons notre propos grace à de nombreux exemples. La deuxième partie est dédiée au calcul algorithmique des exécutions acceptées par un système hybride. Une méthode de détection des événements (changement de valeur de la variable discrète du système) est proposée. Le cas des exécutions périodiques est également examiné. Dans la troisième partie, nous abordons le problème du calcul de l'ensemble atteignable des systèmes hybrides. Nous apportons un soin particulier aux systèmes où les dynamiques continues sont connues de manière incertaine. Dans la quatrième partie, nous nous intéressons au controle des systèmes hybrides. Nous construisons une analyse multirésolution de l'espace des entrées d'un système linéaire et calculons une base d'ondelettes associée. Les propriétés de cette base se révèlent intéressantes pour la synthèse de signaux d'entrée d'un système hybride. Dans la dernière partie nous montrons que les techniques développées pour les systèmes hybrides linéaires par morceaux peuvent etre utilisées pour analyser des systèmes dynamiques non-linéaires.

Les modèles mathématiques sont importants pour la compréhension de la dynamique de l'atmosphère et de l'océan. Mais si ils étaient notre seule source d'information aucune prévision ne serait possible faute, notamment au manque de la connaissance d'une condition initiale cohérente. On dispose également d'observations de ces systèmes en nombre de plus en plus important, notamment grâce aux nombreux satellites d'observation qui croisent maintenant au large de notre planète. Ces observations sont souvent indirectes et incomplètes, et de ce fait ne fournissent pas non plus, à elles seules, une connaissance approfondie de l'état du milieu considéré. Et pour finir, on dispose de statistiques sur les champs des variables atmosphériques, leur variabilité, leur cohérence en temps et en espace. Je présente donc, dans ce document, des méthodes permettant de combiner tout ou partie de ces informations afin d'améliorer la prévision et la connaissance du fonctionnement de ces systèmes. Ces méthodes se basent le plus souvent sur une théorie mathématique solide, mais les appliquer dans un contexte réaliste n'est pas toujours chose aisée. C'est pourquoi on gardera le souci d'accompagner les développements que nous effectuons jusqu'à des applications opérationnelles ou quasi opérationnelles afin de démontrer la faisabilité de ceux ci.