Cette thèse s'intéresse aux méthodes d'itération sur les politiques dans l'apprentissage par renforcement à grand espace d'états avec approximation linéaire de la fonction de valeur. Nous proposons d'abord une unification des principaux algorithmes du contrôle optimal stochastique. Nous montrons la convergence de cette version unifiée vers la fonction de valeur optimale dans le cas tabulaire, ainsi qu'une garantie de performances dans le cas où la fonction de valeur est estimée de façon approximative. Nous étendons ensuite l'état de l'art des algorithmes d'approximation linéaire du second ordre en proposant une généralisation de Least-Squares Policy Iteration (LSPI) (Lagoudakis et Parr, 2003). Notre nouvel algorithme, Least-Squares λ Policy Iteration (LSλPI), ajoute à LSPI un concept venant de λ-Policy Iteration (Bertsekas et Ioffe, 1996) : l'évaluation amortie (ou optimiste) de la fonction de valeur, qui permet de réduire la variance de l'estimation afin d'améliorer l'efficacité de l'échantillonnage. LSλPI propose ainsi un compromis biais-variance réglable qui peut permettre d'améliorer l'estimation de la fonction de valeur et la qualité de la politique obtenue. Dans un second temps, nous nous intéressons en détail au jeu de Tetris, une application sur laquelle se sont penchés plusieurs travaux de la littérature. Tetris est un problème difficile en raison de sa structure et de son grand espace d'états. Nous proposons pour la première fois une revue complète de la littérature qui regroupe des travaux d'apprentissage par renforcement, mais aussi des techniques de type évolutionnaire qui explorent directement l'espace des politiques et des algorithmes réglés à la main. Nous constatons que les approches d'apprentissage par renforcement sont à l'heure actuelle moins performantes sur ce problème que des techniques de recherche directe de la politique telles que la méthode d'entropie croisée (Szita et Lőrincz, 2006). Nous expliquons enfin comment nous avons mis au point un joueur de Tetris qui dépasse les performances des meilleurs algorithmes connus jusqu'ici et avec lequel nous avons remporté l'épreuve de Tetris de la Reinforcement Learning Competition 2008.

Le renforcement des sols en général, et le clouage en particulier connaissent depuis quelques années un développement important. Cette dernière méthode est apparue sur les chantiers depuis plus de dix ans, alors que le comportement des parois clouées n'est toujours pas réellement maîtrisé. Le présent rapport traite de ce comportement et du dimensionnement de tels ouvrages. Après une présentation sommaire de la méthode, la première partie du mémoire concerne les connaissances bibliographiques en matière de comportement des parois clouées, et les résultats obtenus sur les modèles réduits développés dans le cadre de ces travaux. Les aspects originaux découverts, notamment sur la rupture et les essais d'arrachement, sont valorisés par la bonne représentativité générale des modèles. Dans une deuxième partie, les méthodes actuelles de dimensionnement sont présentées, avant la description du nouveau logiciel développé durant ces travaux. Conçu spécialement pour le dimensionnement des parois clouées, ce logiciel est basé sur des idées nouvelles propres au concept de clouage. Les premiers résultats obtenus permettent de constater une bonne concordance avec les quelques résultats expérimentaux disponibles à l'heure actuelle.

Parmi les techniques de renforcement des sols par inclusions, les micropieux offrent un très vaste champ d'application pour les fondations, les reprises en sous-oeuvre et la stabilisation des pentes et talus. La présente recherche qui fait partie du projet national FOREVER (Renforcement des Sols par Micropieux) a pour objet de modéliser le comportement des micropieux isolés ou en groupe, plus particulièrement développer des outils numériques permettant le calcul. Pour l'étude du comportement des micropieux isolés sous charge axiale, en prenant en compte deux modèles pour la mobilisation du frottement latéral et la résistance de pointe (modèle basé sur l'utilisation des résultats pressiométriques MENARD et modèle basé sur le mécanisme de cisaillement pur d'anneaux concentriques avec une nouvelle définition pour le rayon d'influence), trois micropieux d'essai en vraie grandeur réalisé sur le chantier du TGV Paris-Bruxelles (1994) sont analysés. Un modèle, dit modèle "Multizones", a été présenté et développé pour l'analyse non linéaire des micropieux isolés et chargés latéralement. Ce modèle basé sur le concept de rotule plastique, calcule l'expansion de la zone plastifiée le long du micropieu. Il est introduit dans le programme PILATE-LCPC, donnant le nouveau programme "PILATEP". Les résultats de PILATEP sont comparés avec ceux obtenus par la méthode des éléments finis (programme CESAR-LCPC) ainsi qu'avec des résultats d'essais en modèle réduit par MAHMOUD et BURLY (1994). Un nouveau modèle "hybride" de type "facteur z" et "facteur y" pour le calcul des groupes et des réseaux de micropieux est présenté. Ce modèle combine, d'une part, la méthode des fonctions de transfert de charge pour analyser chacun des micropieux du groupe (modèles 't-z' et 'p-y'), et d'autre part, les concepts du continuum élastique pour déterminer l'interaction entre les micropieux du groupe, appelée "effet de groupe". Ce modèle est introduit dans le programme GOUPIL-LCPC, donnant naissance au programme "GOUPEG". Afin de valider ce logiciel, on compare les résultats de GOUPEG aux résultats expérimentaux du groupe de trois micropieux en vraie grandeur (à Rueil-Malmaison, 1994). Dans un réseau, les micropieux sont chargés axialement et latéralement. Dans ce cas, le couplage entre les efforts axiaux et latéraux est étudié. Enfin, les résultats de GOUPEG sont comparés, avec succès, à ceux obtenus par les méthodes du continuum ainsi que par la méthode des éléments finis (programme CESAR-LCPC).

Les phénomènes physiques aux interfaces sont à l'origine de beaucoup de propriétés de grand intérêt pratique dans les matériaux composites. Par des simulations de dynamique moléculaire, nous avons modélisé et étudié la physique des propriétés mécaniques des polymères et des transferts de chaleur dans les nanofluides. <br />Nous avons développé une méthode d'étude locale de la dynamique dans un fondu de polymère. Ceci a permis d'expliquer les mécanismes impliqués dans la réponse d'un fondu pur à une excitation mécanique externe. Dans le cas d'une interface paroi polymère nous avons montré que la présence de chaînes greffées ralentit localement la dynamique et augmente la densité d'enchevêtrements dans une couche interfaciale de l'ordre de la taille des chaînes. En absence de greffage et pour une surface plane la dynamique est accélérée et la densité d'enchevêtrements diminue. L'étude d'un fondu enchevêtré chargé par des particules de taille inférieure à celle des polymères a montré que l'attraction charge polymère mène à une augmentation effective de la densité d'enchevêtrements à travers des réticulations créées par les charges. Ces phénomènes expliquent le renforcement dans les polymères chargés mesuré à haute température en absence d'effets vitreux.<br />Par l'étude des effets d'interface sur les transferts thermiques dans un nanofluide nous avons établi une méthode de mesure de la résistance thermique particule-fluide. Nous avons montré que la conductivité est bien prédite par un calcul de milieu effectif. L'effet du mouvement brownien est négligeable et l'augmentation de la conductivité de ces fluides est due à des effets collectifs (agrégation) des particules.

Le formalisme des MDP, comme ses variantes, sert typiquement à contrôler l'état d'un système par l'intermédiaire d'un agent et de sa politique. Lorsque l'agent fait face à des informations incomplètes, sa politique peut eff ectuer des actions pour acquérir de l'information typiquement (1) dans le cas d'une observabilité partielle, ou (2) dans le cas de l'apprentissage par renforcement. Toutefois cette information ne constitue qu'un moyen pour contrôler au mieux l'état du système, de sorte que la collecte d'informations n'est qu'une conséquence de la maximisation de la performance escomptée. Cette thèse s'intéresse au contraire à des problèmes de prise de décision séquentielle dans lesquels l'acquisition d'information est une fin en soi. Plus précisément, elle cherche d'abord à savoir comment modi fier le formalisme des POMDP pour exprimer des problèmes de collecte d'information et à proposer des algorithmes pour résoudre ces problèmes. Cette approche est alors étendue à des tâches d'apprentissage par renforcement consistant à apprendre activement le modèle d'un système. De plus, cette thèse propose un nouvel algorithme d'apprentissage par renforcement bayésien, lequel utilise des transitions locales optimistes pour recueillir des informations de manière e fficace tout en optimisant la performance escomptée. Grâce à une analyse de l'existant, des résultats théoriques et des études empiriques, cette thèse démontre que ces problèmes peuvent être résolus de façon optimale en théorie, que les méthodes proposées sont presque optimales, et que ces méthodes donnent des résultats comparables ou meilleurs que des approches de référence. Au-delà de ces résultats concrets, cette thèse ouvre la voie (1) à une meilleure compréhension de la relation entre la collecte d'informations et les politiques optimales dans les processus de prise de décision séquentielle, et (2) à une extension des très nombreux travaux traitant du contrôle de l'état d'un système à des problèmes de collecte d'informations.

Si hier les guérisseurs revendiquaient uniquement le besoin de reconnaissance, aujourd’hui, ils se battent plutôt pour que la reconnaissance qui leur a été accordée par l’État soit capable d’intégrer les conceptions africaines de la maladie et des thérapies ; de les protéger au même titre que les biomédecins dans l’exercice de leur profession ; de protéger les malades en cas de préjudices moral et physique. Ils craignent que la reconnaissance [accordée] ne soit pas reconnue juridiquement par une loi camerounaise qui régule leurs pratiques de soins. Dans la mesure où, sans une reconnaissance juridique et institutionnelle, il leur est impossible de se maintenir dans l’espace [public] de sociabilité thérapeutique ; de changer, à partir de la position illégitime, leurs conditions de praticiens précaires, et surtout leur relation aux usagers de soins [les mères] et aux biomédecins. Dans cette perspective, on se demande quelles sont les modalités d’intéressement ou de désintéressement mutuel qui permettent aux guérisseurs – affaiblis institutionnellement – et aux biomédecins – fortement reconnus – d’évoluer vers une réciprocité de perspectives. L’étude cherche à identifier les modes d’arrachement à l’affaiblissement institutionnel, en s’intéressant, d’un côté, aux processus de capacitation et de renforcement de la légitimité ; et de l’autre, à l’impact de ce renforcement, d’abord, sur la redéfinition des objets et figures de la rencontre et de la reconnaissance, et ensuite, sur la reconfiguration de l’espace de soins et du profil du thérapeute camerounais contemporain. Pour répondre à cet objectif, nous avons sollicité le cadre théorique de la sociologie des épreuves d’inspiration pragmatiste [Thévenot, Boltanski, Gennard et Cantelli] et de l’anthropologie capacitaire [Ricœur]. Les observations de consultations en Maisons de Soins [chez les guérisseurs] et au Centre Mère et Enfant [Hôpital pédiatrique] et les entretiens individuels effectués à Yaoundé [Cameroun] ont engendré une réflexion sur le sens que donnent les mères, guérisseurs et biomédecins au fait de rencontrer ou de refuser de rencontrer un soignant. L’analyse des données recueillies inscrit la rencontre dans l’axe de la reconnaissance capacitaire [des compétences], permettant ainsi d’envisager une pluralité de figures de la reconnaissance et de la rencontre. Elle indique aussi que si la formation à l’identité professionnelle biomédicale constitue pour les guérisseurs une tactique de renforcement de leur légitimité, l’inscription en médecines africaines de certains biomédecins [résistants ou non conformistes] les prédisposent à une résistance institutionnelle aux normes biomédicales ; ce qui permet de nuancer, au regard de la pluralisation et de la diversification des rationalités en jeu, la compréhension du caractère monolithique des institutions. Il en résulte une réflexion sur le brouillage des frontières entre les médecines africaines et la biomédecine, ce brouillage ayant alors comme conséquences, entre autres, une possible fragmentation ou morcellement de ces médecines en termes de «biomodernisation» des médecines africaines et de «traditionalisation» de la biomédecine en contexte africain. / If yesterday the need for recognition was the core claim among traditional health practitioners, today, their quest resides in the recognition not only of their practice but also of the African conceptions of diseases and therapies; in their protection as profesionnals (such as biomedical health practictioners); in the protection of patients in case of moral or physical prejudices. The traditional health practitioners fear that their recognition will not extend to or be sanctioned by Cameroonian law, which regulates their care practices. Without legal and institutional recognition, it is impossible for these practitioners to remain in the social care space; to change, from their illegitimate position, their condition of precarious practitioners, and especially their relationship to biomedical health practitioners. Thus, what are the modalities of mutual interestedness or disinterestedness that allow traditional [institutionally weakened] and biomedical practitioners [strongly recognized] to evolve towards reciprocity of perspectives? The study is seeking to identify modes of wrenching from the institutional weakening, focusing, on one hand, on empowerment and reinforcing processes of healers’ legitimacy; and on the other hand, to the impact of empowerment on the redefinition of objects and figures of encounter and of recognition, on the reconfiguration of social care space and the profile of the therapist. To achieve this objective, we have sought the reference framework of sociology of proofs and the anthropology of capacity of Ricœur. The observations of consultations in «Maisons de Soins» and to the «Centre Mère et Enfant» and interviews have led to a reflection on the interpretation associated by mothers, traditional and biomedical health practitioners to what it means to consult or refuse to consult traditional healer or biomedical practitioner. The analysis of data situates the encounter in the axis of capacity of recognition, allowing us to consider multiple figures of recognition and of encounter. It shows that if the adoption of the biomedical professional identity constitutes for traditional health practitioners a tactic of reinforcement of their legitimacy, the integration in African medicines of some biomedical health practitioners predispose them to an institutional resistance to biomedical norms; making it possible to nuance the comprehension of the monolithic character of institutions, given pluralization and diversification of rationalities at stake. This results in a reflection on blurring of frontiers of African medicines and biomedicine, thus giving place to a possible fragmentation of these medicines in terms in terms of biomodernization of African medicines and traditionalization of biomedicine.

No description available.

No description available.

Pour résoudre des problèmes d'optimisation discret de type boîte noire, de nombreux algorithmes stochastiques tels que les algorithmes évolutionnaires ou les métaheuristiques existent et se révèlent particulièrement efficaces selon le problème à résoudre. En fonction des propriétés observées du problème, choisir l'algorithme le plus pertinent est un problème difficile. Dans le cadre original des environnements de calcul parallèle et distribué, nous proposons et analysons différentes stratégies adaptative de sélection d'algorithme d'optimisation. Ces stratégies de sélection reposent sur des méthodes d'apprentissage automatique par renforcement, issu du domaine de l'intelligence artificielle, et sur un partage d'information entre les noeuds de calcul. Nous comparons et analysons les stratégies de sélection dans différentes situations. Deux types d'environnement de calcul distribué synchrone sont abordés : le modèle en île et le modèle maître-esclave. Sur l'ensemble des noeuds de manière synchrone à chaque itération la stratégie de sélection adaptative choisit un algorithme selon l'état de la recherche de la solution. Dans une première partie, deux problèmes OneMax et NK, l'un unimodal et l'autre multimodal, sont utilisés comme banc d'essai de ces travaux. Ensuite, pour mieux saisir et améliorer la conception des stratégies de sélection adaptatives, nous proposons une modélisation du problème d'optimisation et de son opérateur de recherche locale. Dans cette modélisation, une caractéristique importante est le gain moyen d'un opérateur en fonction de la fitness de la solution candidate. Le modèle est utilisé dans le cadre synchrone du modèle maître-esclave. Une stratégie de sélection se décompose en trois composantes principales : l'agrégation des récompenses échangées, la technique d'apprentissage et la répartition des algorithmes sur les noeuds de calcul. Dans une dernière partie, nous étudions trois scénarios et nous donnons des clés de compréhension sur l'utilisation pertinente des stratégies de sélection adaptative par rapport aux stratégies naïves. Dans le cadre du modèle maître-esclave, nous étudions les différentes façons d'agréger les récompenses sur le noeud maître, la répartition des algorithmes d'optimisation sur les noeuds de calcul et le temps de communication. Cette thèse se termine par des perspectives pour le domaine de l'optimisation stochastique adaptative distribuée. / To solve discrete optimization problems of black box type, many stochastic algorithms such as evolutionary algorithms or metaheuristics exist and prove to be particularly effective according to the problem to be solved. Depending on the observed properties of the problem, choosing the most relevant algorithm is a difficult problem. In the original framework of parallel and distributed computing environments, we propose and analyze different adaptive optimization algorithm selection strategies. These selection strategies are based on reinforcement learning methods automatic, from the field of artificial intelligence, and on information sharing between computing nodes. We compare and analyze selection strategies in different situations. Two types of synchronous distributed computing environment are discussed : the island model and the master-slave model. On the set of nodes synchronously at each iteration, the adaptive selection strategy chooses an algorithm according to the state of the search for the solution. In the first part, two problems OneMax and NK, one unimodal and the other multimodal, are used as benchmarks for this work. Then, to better understand and improve the design of adaptive selection strategies, we propose a modeling of the optimization problem and its local search operator. In this modeling, an important characteristic is the average gain of an operator according to the fitness of the candidate solution. The model is used in the synchronous framework of the master-slave model. A selection strategy is broken down into three main components : the aggregation of the rewards exchanged, the learning scheme and the distribution of the algorithms on the computing nodes. In the final part, we study three scenarios, and we give keys to understanding the relevant use of adaptive selection strategies over naïve strategies. In the framework of the master-slave model, we study the different ways of aggregating the rewards on the master node, the distribution of the optimization algorithms of the nodes of computation and the time of communication. This thesis ends with perspectives in the field of distributed adaptive stochastic optimization.

Les élastomères chargés sont des matériaux nanocomposites présentant un compromis de propriétés unique exploité notamment dans les bandes de roulement des pneumatiques. Ils comprennent une charge renforçante, silice ou noir de carbone, qui doit présenter un module élevé, des dimensions nanométriques, et avoir la capacité de se disperser et de former des liaisons fortes avec la matrice. La nanocellulose est caractérisée par une morphologie anisotrope avec une section de l’ordre de 10 nm, et une structure cristalline avec un module d’environ 150 GPa. L’objectif de la thèse est d’évaluer si ce substrat peut être employé comme charge renforçante. Les travaux se divisent ainsi en trois parties portant successivement sur l’obtention d’aérogels de haute surface spécifique, la modification de leur surface, puis leur emploi comme renfort. La mise au point d’un protocole de lyophilisation de suspensions de nanocellulose, et d’un procédé d’estérification par voie gaz des aérogels obtenus, a permis d’obtenir des charges avec une haute surface spécifique et une interface avec un agent hydrophobe ou un agent de couplage. Une attention particulière a été accordée à la topochimie de la réaction dont le suivi a été réalisée par RMN du solide. Ces charges ont ensuite été incorporées au sein d’un élastomère, puis les matériaux obtenus ont été caractérisés par MET et par des tests mécaniques. Dans le cas d’un aérogel de nanocellulose avec une haute surface spécifique et un agent de couplage, les propriétés des matériaux obtenus sont alors caractéristiques du comportement d’un élastomère chargé. / Filled elastomers are nanocomposites with specific properties that make them suitable for numerous applications including tyre gum. They include a reinforcing filler, silica or carbon black, with features like a high elastic modulus, a size in the nanometer range, and the ability to be dispersed and to perform strong interactions with the matrix. Nanocellulose is an anisotropic nanoparticule with a crystalline structure whose elastic modulus is estimated around 150 GPa. The goal of this project is to study its ability to be a reinforcing filler. The work is divided into three parts dealing respectively with high specific surface aerogel preparation, their surface modification, and their use as a filler. A specific freeze drying protocol and a specially designed gas phase esterification process were used in order to obtain fillers with a high specific surface and an interface that can be either covered by an hydrophobic or a coupling graft. A special care has been devoted to the topochemistry, which has been monitored all along the reaction thanks to solid state NMR. These fillers have then been introduced in elastomers, the resulting materials being characterized by TEM and mechanical tests. In the case of a high specific surface nanocellulose aerogel with an interface covered by coupling agent, material features appeared then to be typical of filled elastomers.