La technique de renforcement des sols compressibles par inclusions rigides a été développée dans les années 70, mais l'utilisation de cette technique en France n'est courante que depuis une dizaine d'années. Dans le cadre du Projet National A.S.I.RI., ce travail de thèse a pour principal objectif d'étudier les mécanismes de report de charge à travers le matelas de répartition, dont la fonction est de transférer la charge provenant de l'ouvrage (remblai, dallage) vers les inclusions rigides, réduisant ainsi les tassements du sol compressible. On a développé et mis en œuvre pour ceci un modèle physique 1g axisymétrique instrumenté permettant de mieux comprendre ces mécanismes en réalisant, en particulier, un programme expérimental destiné à quantifier l'influence de paramètres représentatifs du problème : taux de recouvrement, caractéristiques rhéologiques et épaisseur du matelas ainsi que du sol compressible utilisé. Les résultats obtenus permettent de mettre en évidence l'influence significative des caractéristiques rhéologiques du matelas, de son épaisseur relative et du taux de recouvrement sur le coefficient d'efficacité obtenu ainsi que sur les tassements moyens générés dans le sol compressible. Les résultats expérimentaux obtenus sur le modèle physique sont ensuite confrontés avec ceux résultant de la mise en oeuvre de différentes méthodes de dimensionnement analytiques. Une comparaison est aussi réalisée avec les résultats des essais à l'échelle 1 sur site expérimental ainsi qu'avec les résultats des essais réalisés en centrifugeuse, dans le cadre du Projet National. On présente finalement les résultats d'une modélisation numérique des essais sur le modèle physique, réalisée à partir du logiciel Plaxis. Les résultats numériques sont comparés aux résultats expérimentaux permettant ainsi de faire une validation conjointe du modèle physique et du modèle numérique.

This dissertation presents various research contributions published during these four years of PhD in the field of batch mode reinforcement learning, which studies optimal control problems for which the only information available on the system dynamics and the reward function is gathered in a set of trajectories. We first focus on deterministic problems in continuous spaces. In such a context, and under some assumptions related to the smoothness of the environment, we propose a new approach for inferring bounds on the performance of control policies. We also derive from these bounds a new inference algorithm for generalizing the information contained in the batch collection of trajectories in a cautious manner. This inference algorithm as itself lead us to propose a min max generalization framework. When working on batch mode reinforcement learning problems, one has also often to consider the problem of generating informative trajectories. This dissertation proposes two different approaches for addressing this problem. The first approach uses the bounds mentioned above to generate data tightening these bounds. The second approach proposes to generate data that are predicted to generate a change in the inferred optimal control policy. While the above mentioned contributions consider a deterministic framework, we also report on two research contributions which consider a stochastic setting. The first one addresses the problem of evaluating the expected return of control policies in the presence of disturbances. The second one proposes a technique for selecting relevant variables in a batch mode reinforcement learning context, in order to compute simplified control policies that are based on smaller sets of state variables.

Cette thèse présente nos travaux sur les stratégies d'interaction dans les systèmes multi-agents hétérogènes (hSMA), où l'humain est placé dans le système, et leur application pour fournir des services de communication multimédia. Pour pallier l'hétérogénéité des agents, notre solution consiste à introduire un médiateur et à définir une modélisation où les agents endossent des rôles permettant de construire des classes de service. Un service résulte alors d'une collaboration donnant satisfaction à un sous-ensemble d'agents. Pour définir le comportement des agents, nous avons envisagé divers types de planification, puis l'apprentissage par renforcement dans les Processus de Décision Markoviens (MDP). Nous avons également étudié la modélisation des utilisateurs et le suivi de l'interaction pour l'adaptation aux autres agents et aux aléas d'exécution. La thèse décrit la spécification d'un médiateur capable d'aider un utilisateur dans sa recherche d'informations. Elle présente également une architecture à quatre niveaux d'abstraction et une bibliothèque logicielle utilisés pour concevoir et exécuter des services adaptatifs.

On s'intéresse dans cette étude au potentiel de copolymères à blocs (BCP) de types PBA-b-P(MMA-co-DMA) et PBA-b-P(BA-co-DMA) en tant qu'additifs multifonctionnels nanostructurant la matrice thermodurcissable polyester insaturé de composites SMC et BMC. La nanostructuration de la résine polyester insaturé (UPR) est assurée par la ségrégation du bloc élastomère poly(acrylate de butyle), ainsi que par la miscibilité du deuxième bloc dans le réseau grâce à la bonne compatibilité des motifs diméthylacrylamide (auto-assemblage). Ces BCP sont tout d'abord étudiés en tant qu'agents renforçants et anti-retrait dans les composites SMC et BMC, en étant substitués et comparés aux additifs anti-retrait conventionnels PVAc et P(MMA-co-S) incorporés traditionnellement afin de compenser le retrait de la résine polyester. Ces additifs nanostructurants sont ensuite évalués en tant qu'agents de mûrissement des compounds SMC. La nanostructuration des BCP dans la résine UP réactive pouvant entrainer une importante augmentation de la viscosité (formation d'un gel), ces additifs pourraient peut-être constituer des agents de mûrissement plus efficaces que l'oxyde de magnésium couramment utilisé à cet effet. Une étude des matrices [UPR + BCP, UPR + PVAc et UPR + P(MMA-co-S)] est réalisée dans un premier temps, les composites BMC et SMC chargés par du carbonate de calcium et renforcés par des fibres de verre étant étudiés par la suite. En absence de charges et de fibres de verre (matrice seule), la nanostructuration est moins efficace que la macroséparation de phase des additifs conventionnels PVAc et P(MMA-co-S) pour compenser le retrait du réseau polyester. Dans un composite en revanche, la nanostructuration conduit à une compensation du retrait intermédiaire entre celles du P(MMA-co-S) et du PVAc. Au niveau de la matrice seule, la nanostructuration permet d'éviter une diminution conséquente de l'énergie de rupture du réseau polyester et permet même dans certains cas une amélioration significative de cette dernière, alors que les additifs conventionnels engendrent un effondrement de cette propriété. Cette différence est cependant beaucoup moins visible dans le cas des composites, les charges entrainant une fissuration prématurée de la matrice. Un composite nanostructuré peut tout de même présenter un renforcement significatif par rapport aux composites conventionnels lorsqu'il contient des nanovides compensateurs de retrait de tailles conséquentes qui améliorent la ténacité du matériau. En ce qui concerne le mûrissement d'un compound SMC par nanostructuration au cours du refroidissement (passage de la transition ordre-désordre), si l'augmentation de la viscosité d'un système réactif UPR + BCP semble suffisamment importante et abrupte, elle est cependant insuffisante en présence des charges ou alors intervient à une température trop faible en raison de l'influence de ces dernières sur la nanostructuration.

Les systèmes de dialogue homme machine actuellement utilisés dans l'industrie sont fortement limités par une forme de communication très rigide imposant à l'utilisateur de suivre la logique du concepteur du système. Cette limitation est en partie due à leur représentation de l'état de dialogue sous la forme de formulaires préétablis.Pour répondre à cette difficulté, nous proposons d'utiliser une représentation sémantique à structure plus riche et flexible visant à permettre à l'utilisateur de formuler librement sa demande.Une deuxième difficulté qui handicape grandement les systèmes de dialogue est le fort taux d'erreur du système de reconnaissance vocale. Afin de traiter ces erreurs de manière quantitative, la volonté de réaliser une planification de stratégie de dialogue en milieu incertain a conduit à utiliser des méthodes d'apprentissage par renforcement telles que les processus de décision de Markov partiellement observables (POMDP). Mais un inconvénient du paradigme POMDP est sa trop grande complexité algorithmique. Certaines propositions récentes permettent de réduire la complexité du modèle. Mais elles utilisent une représentation en formulaire et ne peuvent être appliqués directement à la représentation sémantique riche que nous proposons d'utiliser.Afin d'appliquer le modèle POMDP dans un système dont le modèle sémantique est complexe, nous proposons une nouvelle façon de contrôler sa complexité en introduisant un nouveau paradigme : le POMDP résumé à double suivi de la croyance. Dans notre proposition, le POMDP maitre, complexe, est transformé en un POMDP résumé, plus simple. Un premier suivi de croyance (belief update) est réalisé dans l'espace maitre (en intégrant des observations probabilistes sous forme de listes nbest). Et un second suivi de croyance est réalisé dans l'espace résumé, les stratégies obtenues sont ainsi optimisées sur un véritable POMDP.Nous proposons deux méthodes pour définir la projection du POMDP maitre en un POMDP résumé : par des règles manuelles et par regroupement automatique par k plus proches voisins. Pour cette dernière, nous proposons d'utiliser la distance d'édition entre graphes, que nous généralisons pour obtenir une distance entre listes nbest.En outre, le couplage entre un système résumé, reposant sur un modèle statistique par POMDP, et un système expert, reposant sur des règles ad hoc, fournit un meilleur contrôle sur la stratégie finale. Ce manque de contrôle est en effet une des faiblesses empêchant l'adoption des POMDP pour le dialogue dans l'industrie.Dans le domaine du renseignement d'informations touristiques et de la réservation de chambres d'hôtel, les résultats sur des dialogues simulés montrent l'efficacité de l'approche par renforcement associée à un système de règles pour s'adapter à un environnement bruité. Les tests réels sur des utilisateurs humains montrent qu'un système optimisé par renforcement obtient cependant de meilleures performances sur le critère pour lequel il a été optimisé.

Thèse diffusée initialement dans le cadre d'un projet pilote des Presses de l'Université de Montréal/Centre d'édition numérique UdeM (1997-2008) avec l'autorisation de l'auteur.

La corrosion des armatures internes en acier dans les structures en béton armé constitue une cause importante de dégradation, ce qui pourrait réduire significativement leur durée de vie, engendrer des coûts de maintenance élevés et mettre en danger la sécurité des usagers. Les basses températures en Amérique du Nord et l'utilisation des sels de déglaçage sont des facteurs accélérant l'apparition et le développement de la corrosion des armatures en acier. D'importants travaux de recherche ont été réalisés pour inhiber ou retarder ce type de dégradation. L'utilisation des Polymères Renforcés de Fibres (PRF) comme armature interne dans le béton est une solution très prometteuse. Les PRF ont d'excellentes propriétés mécaniques, un faible poids et ont l'avantage d'être non corrodables. L'utilisation de ces matériaux composites est maintenant élargie aux éléments structuraux et non structuraux soumis à des efforts de flexion et/ou de cisaillement et encadrée par les règlements canadiens de conception des bâtiments et des ponts. Cependant, l'utilisation des PRF dans les éléments structuraux soumis à des efforts de compression tels que les colonnes en béton n'est pas bien documentée et les performances structurales qu'engendre ce type d'association sont encore méconnues. Le travail présenté dans cette thèse a pour objectif, à travers une étude expérimentale, d'observer le comportement en compression de colonnes en béton comprenant des armatures longitudinale et transversale en PRF et faisant intervenir plusieurs paramètres. Le choix de paramètres pertinents permet de comprendre les mécanismes de résistance et de rupture de ce nouveau type d'éléments, et de faciliter la modélisation de leur comportement à travers des modèles analytiques simples, pouvant être utilisés par les ingénieurs-concepteurs. Le programme expérimental comprend 24 colonnes en béton avec des dimensions de 350x350x1400 mm, représentatives des colonnes d'usage dans le bâtiment. Parmi ces colonnes, une n'avait aucune armature, deux étaient entièrement renforcées avec de l'acier et les 21 colonnes restantes étaient confinées avec des armatures transversales en PRF, tandis que leur armature longitudinale était en PRF ou en acier. Plusieurs paramètres ont été étudiés, ces derniers sont liés majoritairement aux armatures transversales et à leur capacité à confiner le béton afin d'augmenter sa résistance en compression et sa déformabilité axiale (ductilité). Ainsi, deux types de cadres ont été utilisés, le premier dit "ouvert", était fait d'assemblage de parties en "C" et l'autre "fermé" découpé dans une spirale continue de forme carrée ou rectangulaire. Les armatures transversales avaient trois configurations plus ou moins complexes et qui dépendent du nombre de barres longitudinales qu'elles retiennent, leur matériau était en PRF de verre ou de carbone et différents espacements ont été utilisés. Les paramètres liés à l'armature longitudinale étaient le taux dans la section de béton ainsi que le type de matériau : des barres en PRF de verre, de carbone et en acier ont été utilisées. Les résultats des essais expérimentaux ont montré que le béton confiné avec des armatures transversales en PRF pouvait atteindre des gains significatifs en termes de résistance à la compression et en déformabilité axiale. Ces gains sont liés à la configuration et à l'espacement des armatures transversales, en effet plus ces dernières sont complexes (cadres multiples) et rapprochées, plus le gain est important. Dans certains cas, l'utilisation des PRF de carbone permet d'atteindre une plus grande résistance que dans les cas du verre. L'utilisation des cadres fermés assure aux colonnes un mode de rupture moins fragile que celui observé pour celles ayant des cadres ouverts. L'utilisation des armatures longitudinales en acier procure aux colonnes une plus grande ductilité comparativement aux barres en PRF. En ce qui concerne la modélisation et la prédiction des performances de ce nouveau type de colonnes, un modèle de confinement a été développé pour calculer la résistance à la compression du noyau de béton des colonnes confinées avec des PRF, une équation empirique permettant d'estimer la contribution des armatures longitudinales en PRF a été développée. De plus, d'autres équations ont aussi été proposées pour calculer la capacité portante des colonnes à des fins de conception, la contribution des barres longitudinales en PRF n'étant pas négligeable comme suggéré par le CSA S806.

Cette thèse est dédiée à l'étude des marches aléatoires en milieu aléatoire sur Zd. On s'intéresse tout particulièrement aux environnements qui sont elliptiques, mais pas uniformément elliptiques, et qui peuvent donc contenir des pièges sur lesquels la marche passe beaucoup de temps. Le premier résultat de cette thèse (chapitre 4) concerne les environnements de Dirichlet, qui forment une sous-classe de marches aléatoires en milieu aléatoire présentant des propriétés remarquables. On se place en dimension d≥ 3 et on étudie le cas où les pièges dus à la non-uniforme ellipticité sont prépondérants. Dans ce contexte, on montre l'équivalence des points de vue statique et dynamique pour une marche accélérée. Ceci permet de compléter les résultats de transience et récurrence directionnelles obtenus par Sabot, et de donner le degré polynomial de l'éloignement de la marche par rapport à l'origine dans le cas sous-balistique et transient. On se place ensuite (chapitre 5) dans le cas des marches transientes dans une direction, et on étudie les conditions sur la loi de l'environnement nécessaires pour assurer l'existence de moments pour les temps de renouvellement. On améliore ainsi les résultats obtenus par Campos et Ramírez. Dans la dernière partie (chapitre 6), on étudie les conditions d'application du théorème central limite quenched dans le cas des marches aléatoires balistiques. Sous la condition supplémentaire (T), on affaiblit les hypothèses sur l'intégrabilité des temps de renouvellement des travaux de Rassoul-Agha et Seppäläinen et de Berger et Zeitouni : on arrive à la condition E (τ12+ε) < +∞ (pour le théorème annealed la condition optimale est E (τ12) < +∞)

Durant ce doctorat financé par l'observatoire B2V des mémoires, nous avons réalisé une modélisation mathématique du comportement dans trois tâches distinctes (avec des sujets humains, des sujets singes et des rongeurs), mais qui supposent toutes une coordination entre systèmes de mémoire. Dans la première expérience, nous avons reproduit le comportement de sujets humains (choix et temps de réaction) en combinant les modèles mathématiques d'une mémoire de travail et d'une mémoire inflexible. Nous avons associé pour un sujet son comportement au meilleur modèle possible en comparant des modèles génériques de coordination de ces deux mémoires issues de la littérature actuelle ainsi que notre propre proposition d'une interaction dynamique entre les mémoires. Au final, c'est notre proposition d'une interaction au lieu d'une séparation stricte qui s'est avérée la plus efficace dans la majorité des cas pour expliquer le comportement des sujets. Dans une deuxième expérience, les mêmes modèles de coordination ont été testés dans une tâche chez le singe. Considérée comme un test de transférabilité, cette expérience démontre principalement la nécessité de coordination de mémoires pour expliquer le comportement de certains singes. Dans une troisième expérience, nous avons modélisé le comportement d'un groupe de souris confronté à l'apprentissage d'une séquence d'action motrice dans un labyrinthe sans indices externes. En comparant avec deux autres stratégies d'apprentissages (intégration de chemin et planification dans un graphe), la combinaison d'une mémoire épisodique avec une mémoire inflexible s'est révélée être le meilleur modèle pour reproduire le comportement des souris. / During this PhD funded by the B2V Memories Observatory, we performed a mathematical modeling of behavior in three distinct tasks (with human subjects, monkeys and rodents), all involving coordination between memory systems. In the first experiment, we reproduced the behavior of human subjects (choice and reaction time) by combining the mathematical models of working memory and procedural memory. For each subject, we associated their behavior to the best possible model by comparing generic models of coordination of these two memories from the current literature as well as our own proposal of a dynamic interaction between memories. In the end, it was our proposal of an interaction instead of a strict separation which proved most effective in the majority of cases to explain the behavior of the subjects. In a second experiment, the same coordination models were tested in a monkey task. Considered as a transferability test, this experiment mainly demonstrates the need for coordination of memories to explain the behavior of certain monkeys. In a third experiment, we modeled the behavior of a group of mice confronted with the learning of a motor action sequence in a labyrinth without visual cues. Comparing with two other learning strategies (path integration and graph planning), the combination of an episodic memory with a procedural memory proved to be the best model to reproduce the behavior of mice.

Les systèmes de dialogue incrémentaux sont capables d’entamer le traitement des paroles de l’utilisateur au moment même où il les prononce (sans attendre de signal de fin de phrase tel un long silence par exemple). Ils peuvent ainsi prendre la parole à n’importe quel moment et l’utilisateur peut faire de même (et interrompre le système). De ce fait, ces systèmes permettent d’effectuer une plus large palette de comportements de prise de parole en comparaison avec les systèmes de dialogue traditionnels. Cette thèse s’articule autour de la problématique suivante : est-il possible pour un système de dialogue incrémental d’apprendre une stratégie optimale de prise de parole de façon autonome? Tout d’abord, une analyse des mécanismes sous-jacents à la dynamique de prise de parole dans une conversation homme-homme a permis d’établir une taxonomie de ces phénomènes. Ensuite, une nouvelle architecture permettant de doter les systèmes de dialogues conventionnels de capacités de traitement incrémentales de la parole, à moindre coût, a été proposée. Dans un premier temps, un simulateur de dialogue destiné à répliquer les comportements incrémentaux de l’utilisateur et de la reconnaissance vocale a été développé puis utilisé pour effectuer les premier tests de stratégies de dialogue incrémentales. Ces dernières ont été développées à base de règles issues de l’analyse effectuée lors de l’établissement de la taxonomie des phénomènes de prise de parole. Les résultats de la simulation montrent que le caractère incrémental permet d’obtenir des interactions plus efficaces. La meilleure stratégie à base de règles a été retenue comme référence pour la suite. Dans un second temps, une stratégie basée sur l’apprentissage par renforcement a été implémentée. Elle est capable d’apprendre à optimiser ses décisions de prise de parole de façon totalement autonome étant donnée une fonction de récompense. Une première comparaison, en simulation, a montré que cette stratégie engendre des résultats encore meilleurs par rapport à la stratégie à base de règles. En guise de validation, une expérience avec des utilisateurs réels a été menée (interactions avec une maison intelligente). Une amélioration significative du taux de complétion de tâche a été constatée dans le cas de la stratégie apprise par renforcement et ce, sans dégradation de l’appréciation globale par les utilisateurs de la qualité du dialogue (en réalité, une légère amélioration a été constatée). / Incremental dialogue systems are able to process the user’s speech as it is spoken (without waiting for the end of a sentence before starting to process it). This makes them able to take the floor whenever they decide to (the user can also speak whenever she wants, even if the system is still holding the floor). As a consequence, they are able to perform a richer set of turn-taking behaviours compared to traditional systems. Several contributions are described in this thesis with the aim of showing that dialogue systems’ turn-taking capabilities can be automatically improved from data. First, human-human dialogue is analysed and a new taxonomy of turn-taking phenomena in human conversation is established. Based on this work, the different phenomena are analysed and some of them are selected for replication in a human-machine context (the ones that are more likely to improve a dialogue system’s efficiency). Then, a new architecture for incremental dialogue systems is introduced with the aim of transforming a traditional dialogue system into an incremental one at a low cost (also separating the turn-taking manager from the dialogue manager). To be able to perform the first tests, a simulated environment has been designed and implemented. It is able to replicate user and ASR behaviour that are specific to incremental processing, unlike existing simulators. Combined together, these contributions led to the establishement of a rule-based incremental dialogue strategy that is shown to improve the dialogue efficiency in a task-oriented situation and in simulation. A new reinforcement learning strategy has also been proposed. It is able to autonomously learn optimal turn-taking behavious throughout the interactions. The simulated environment has been used for training and for a first evaluation, where the new data-driven strategy is shown to outperform both the non-incremental and rule-based incremental strategies. In order to validate these results in real dialogue conditions, a prototype through which the users can interact in order to control their smart home has been developed. At the beginning of each interaction, the turn-taking strategy is randomly chosen among the non-incremental, the rule-based incremental and the reinforcement learning strategy (learned in simulation). A corpus of 206 dialogues has been collected. The results show that the reinforcement learning strategy significantly improves the dialogue efficiency without hurting the user experience (slightly improving it, in fact).