Les nanocomposites à matrice polymère et plus particulièrement les élastomères chargés intéressent depuis de nombreuses années la communauté scientifique du fait notamment de leurs bonnes propriétés mécaniques. Il est établi que l'amélioration des propriétés mécaniques observées dans les élastomères renforcés par des charges nanoscopiques est principalement due à des effets de structure (dispersion des charges) et à des effets d'interface (interactions charges/matrice). Afin d'alimenter la discussion sur l'origine du renforcement dans les élastomères chargés, cette étude s'intéresse à la synthèse et à la caractérisation de nanocomposites modèles pour lesquels les interactions charges/matrice et la microstructure sont maîtrisées. En parallèle, ce travail propose également une analogie entre ces systèmes et les ionomères, matériaux constitués de macromolécules sur lesquelles des groupements ioniques sont greffés. Ces matériaux ionomère présentent des propriétés originales et permettent la création de nœuds de réticulation réversibles avec la température / In polymer-based nanocomposites macroscopic properties are driven by one specific feature: the huge interfacial area developed by nanofillers, leading to a strong improvement in mechanical properties. Even though the molecular origins of this reinforcement are still not well understood, its amplitude appears to be strongly related to two main effects: a structural effect (dispersion state) and an interfacial effect (filler/matrix interactions). The present project aims at developing and studying organic-inorganic nanocomposite materials based on an elastomeric matrix and spherical nanoparticles. A specific attention is paid to get tailored interactions and microstructures, different model nanocomposites are obtained with interesting and original thermo-mechanical properties. In parallel, this work also gives an analogy between these nanocomposite and ionomers, polymer chains on which ionic groups are grafted. These ionomer materials show original mechanical properties and allow creating reversible crosslink nodes with temperature

Les structures sont parfois soumises à des sollicitations extrêmes telles que des chocs et des séismes, dont les conséquences peuvent être désastreuses. La réduction de la vulnérabilité au séisme du bâti existant est un enjeu de société de première importance. Le renforcement d'éléments structuraux par matériaux composites collés offre une solution intéressante, mais les règles de dimensionnement concernant l'application de tels matériaux pour le renforcement parasismique n'ont pas encore toutes été clairement établies. Le présent travail de thèse se propose de contribuer à l'établissement de ces règles pour le renforcement de poteaux en béton armé, par matériaux composites. Une campagne expérimentale a donc été menée sur plusieurs poteaux en béton armé, d'échelle représentative ; diverses configurations de renforcement ont été appliquées sur ces corps d'épreuve, qui ont ensuite été testés en flexion composée alternée. Ces différents essais nous ont permis d'analyser le comportement des poteaux selon la présence ou non de confinement (tissu de fibres de carbone), de renforcement à la flexion (lamelles), et d'ancrage des lamelles de renfort en matériaux composites. Cette notion d'ancrage des composites a fait l'objet d'une campagne expérimentale complémentaire, visant à caractériser une technique d'ancrage innovante et à en vérifier les performances. Grâce à ces différents essais, les gains en termes d'énergie dissipée apportés par les différentes configurations de renforcement, les gains en termes de ductilité globale de la structure ainsi qu'en termes d'augmentation de la charge portante ont été vérifiés. Outre ces aspects quantitatifs, ce travail a permis de proposer des pistes pour l'établissement de règles de dimensionnement de ces renforts spécifiques à la réhabilitation parasismique, en lien avec les normes actuelles, et notamment l'Eurocode 8 / Structures can be submitted to severe loadings, especially impacts and earthquakes, and reducing the seismic vulnerability of existing structures is thus an important issue. Retrofitting by Fibre-Reinforced Polymer (FRP) is an interesting technical solution but design rules have to be developed concerning their application for seismic strengthening. This thesis aims to contribute to the development of design rules concerning the strengthening of reinforced concrete columns by FRP. For this purpose, an experimental campaign carried out on full-scale reinforced concrete columns has been undertaken. Different strengthening configurations have been applied to columns, which were then tested under combined axial and lateral load. Those tests helped to analyze the behaviour of columns depending on the FRP confinement (carbon FRP jacket), on flexural reinforcement (carbon plates) and on anchorage of FRP. An additional experimental campaign has been undertaken in order to characterize an innovative anchoring system and assess its performance. The purpose of the study was to evaluate the effectiveness of the different strengthening configurations in increasing the dissipated energy and the ductility. In addition to the quantitative aspects, it was made possible to propose design rules for the use of FRP in seismic rehabilitation, linked to current rules, especially Eurocode 8

Afin de protéger les littoraux maritimes des effets dévastateurs, les digues à talus maritimes sont le plus souvent utilisées. Les dysfonctionnements possibles de ce type d’ouvrage à talus sont la rupture de la carapace conduisant ensuite à la rupture d’ensemble de la structure et les franchissements dépassant le critère de sécurité. L’un des plus utilisé, le modèle semi-empirique de Van der Meer (1987), a été développé pour décrire les conditions de stabilité des digues en enrochements sous l’action de la houle. Ce modèle s’avère incapable de décrire précisément l’influence de la perméabilité réelle du noyau sur la stabilité de la carapace. D’autre, pour une digue, un accroissement du niveau du plan d’eau accompagné par des houles d’intensité accrue va conduire à des aléas de rupture et de franchissement bien supérieurs à ceux prévus lors de la conception de l’ouvrage. Pour le premier modèle physique étudié d’une digue en enrochement naturel, nous avons cherché une relation empirique entre le paramètre P utilisé dans le modèle de VdM et le coefficient de perméabilité Ks réel du milieu poreux constituant le noyau par les deux approches. Le deuxième modèle physique d’une digue en enrochement artificiel est d’étudier différentes solutions de renforcement de digues maritimes existantes vis-à-vis de la remontée du niveau des mers et océans due au changement climatique. Nous validons avec les modèles classiques de prédiction pour le scénario initial de niveau marin et proposons de modifications des formulations existantes pour des scénarios de surélévation du niveau moyen des points de vue du franchissement et de dommage / To protect the devastation on coastal maritime, the slope breakwater are mostly used. The possible malfunctions of this type of slope structure are the damage on armor layer leading to the rupture of the entire structure and the exceeding the safety criterion of overtopping discharge. One of the most used, the semi-empirical model of Van der Meer (1987), has been developed to describe the conditions of stability of armor breakwater under wave attack. This model is unable to accurately describe the influence of the real core’s permeability on the stability of the armor layer. Besides, for a sea dike, an increasing of water level accompanied by intensive swell will lead to the risks of more breakage and wave overtopping than those anticipated in the design of the structure. In the first physical model study of a rubble mound breakwater, we research the empirical relation between the parameter P used in the model VdM and real permeability Ks of porous medium constituting the core layer by two approaches. The second physical model of concrete breakwater is to study the different reinforcement solutions to strengthen the existing sea dikes which face to face the rise in the level of seas and oceans due to climate change. We validate the classical models of prediction for the initial scenario of sea level and propose the modifications of existing formulations in the scenarios of sea elevation from the points of view of damage and overtopping

Le sujet des travaux concerne l'amélioration du comportement des machines dites \og intelligentes\fg, c'est-à-dire capables de s'adapter à leur environnement, même lorsque celui-ci évolue. Un des domaines concerné est celui des interactions homme-machine. La machine doit alors gérer différents types d'incertitude pour agir de façon appropriée. D'abord, elle doit pouvoir prendre en compte les variations de comportements entre les utilisateurs et le fait que le comportement peut varier d'une utilisation à l'autre en fonction de l'habitude à interagir avec le système. De plus, la machine doit s'adapter à l'utilisateur même si les moyens de communication entre lui et la machine sont bruités. L'objectif est alors de gérer ces incertitudes pour exhiber un comportement cohérent. Ce dernier se définit comme la suite de décisions successives que la machine doit effectuer afin de parvenir à l'objectif fixé. Une manière habituelle pour gérer les incertitudes passe par l'introduction de modèles : modèles de l'utilisateur, de la tâche, ou encore de la décision. Un inconvénient de cette méthode réside dans le fait qu'une connaissance experte liée au domaine concerné est nécessaire à la définition des modèles. Si l'introduction d'une méthode d'apprentissage automatique, l'apprentissage par renforcement a permis d'éviter une modélisation de la décision \textit{ad hoc} au problème concerné, des connaissances expertes restent toutefois nécessaires. La thèse défendue par ces travaux est que certaines contraintes liées à l'expertise humaine peuvent être relaxées tout en limitant la perte de généricité liée à l'introduction de modèles / The behaviour of machines is difficult to define, especially when machines have to adapt to a changing environment. For example, this is the case when human-machine interactions are concerned. Indeed, the machine has to deal with several sources of uncertainty to exhibit a consistent behaviour to the user. First, it has to deal with the different behaviours of the users and also with a change in the behaviour of a user when he gets used to the machine. Secondly, the communication between the user and the machine can be noisy, which makes the transfer of information more complicated. The objective is thus to deal with the different sources of uncertainty to show a consistent behaviour. Usually, dealing with uncertainties is performed by introducing models : models of the users, the task concerned or the decision. However, the accuracy of the solution depends on the accuracy of expert knowledge used to build the models. If machine learning, through reinforcement learning, has successfully avoided the use of model for the decision and removed \textit{ad hoc} knowledge about it, expert knowledge is still necessary. The thesis presented in this work is that some constraints related to human expertise can be slackened without a loss of generality related to the introduction of models

Cette thèse, intitulée "Contributions à l'apprentissage par renforcement inverse", fournit trois contributions majeures au domaine. La première est une méthode d'estimation de l'attribut moyen, une quantité exploitée par la grande majorité des approches constituant l'état de l'art. Elle a permis d'étendre ces approches au cadre batch et off-policy. La seconde contribution majeure est un algorithme d'apprentissage par renforcement inverse, structured classification for inverse reinforcement learning (SCIRL), qui relâche une contrainte standard du domaine, la résolution répétée d'un processus décisionnel de Markov en introduisant la structure temporelle (par le biais de l'attribut moyen) de ce processus dans un algorithme de classification structurée. Les garanties théoriques qui lui sont attachées et ses bonnes performances en pratique ont permis sa présentation dans une conférence internationale prestigieuse : NIPS. Enfin, la troisième contribution est constituée par la méthode cascaded supervised learning for inverse reinforcement learning (CSI) consistant à apprendre le comportement de l'expert par une méthode supervisée puis à introduire la structure temporelle du MDP par une régression mettant en jeu la fonction de score du classifieur utilisé. Cette méthode offre des garanties théoriques de même nature que celle de SCIRL tout en présentant l'avantage d'utiliser des composants standards pour la classification et la régression, ce qui simplifie la mise en oeuvre. Ce travail sera présenté dans une autre conférence internationale prestigieuse : ECML / This thesis, "Contributions à l'apprentissage par renforcement inverse", brings three major contributions to the community. The first one is a method for estimating the feature expectation, a quantity involved in most of state-of-the-art approaches which were thus extended to a batch off-policy setting. The second major contribution is an Inverse Reinforcement Learning algorithm, structured classification for inverse reinforcement learning (SCIRL), which relaxes a standard constraint in the field, the repeated solving of a Markov Decision Process, by introducing the temporal structure (using the feature expectation) of this process into a structured margin classification algorithm. The afferent theoritical guarantee and the good empirical performance it exhibited allowed it to be presentend in a good international conference: NIPS. Finally, the third contribution is cascaded supervised learning for inverse reinforcement learning (CSI) a method consisting in learning the expert's behavior via a supervised learning approach, and then introducing the temporal structure of the MDP via a regression involving the score function of the classifier. This method presents the same type of theoretical guarantee as SCIRL, but uses standard components for classification and regression, which makes its use simpler. This work will be presented in another good international conference: ECML

Cette étude porte sur la production et à la caractérisation de matériaux composites à base de matrices d’époxy modifiées par incorporation de particules de caoutchouc recyclées et dévulcanisées. Ces matrices sont renforcées par des fibres d'alumine (Al2O3- FA) et/ou par des nanoplaquettes de graphène (GnPs). Principalement, la fabrication, la caractérisation générale des composites ainsi que l’identification des mécanismes de renforcement à l’échelle micro et nano ont été réalisées. En outre, la fabrication de composites multifonctionnels à base de caoutchouc dévulcanisé et d'époxy a été réalisée pour des applications diverses potentielles dans les industries aéronautique et automobile. Dans un premier temps, les propriétés mécaniques et thermomécaniques des composites ont été étudiées de manière approfondie. L’étude mécanique a consisté à mesurer le module d’élasticité, la ténacité et la température de transition vitreuse. / Recycling of rubber is gaining importance across the world in many industries due to shrinking resources, increasing cost of raw materials, growing conscious about sustainable development as well as environmental issues. In the frame of the common research program between Michigan Tech University/USA and Supmeca/Paris-FRANCE, this PhD work is devoted to the design, development and characterization of recycled rubber modified epoxy-based composites . Additionally, alumina (Al2O3) fibers (AFs) and/or graphene nano platelets (GnPs) have been used as the basic reinforcements. A detailed experimental approach was adapted to these multifunctional composites for explaining of toughening mechanisms by means of fracture toughness test methods and scanning electron microscopy (SEM) on the fracture surfaces. Also, different case studies were included at the end of this work for various potential applications in aeronautic and automotive industries.

Dans le domaine des réseaux de capteurs multimédias sans fil (WMSN), le flux fortement saturé augmente la probabilité de collision et de congestion dans la transmission de données, ce qui dégrade considérablement la performance de la qualité de service (QoS). La technique de déploiement multicanaux est souvent appliquée à la transmission en parallèle pour garantir la QoS. Cependant, comment faire le compromis entre l'exigence QoS et l'efficacité énergétique est un défi pour WMSN énergie-limité. L'analyse théorique de la couche MAC et de la structure de la couche PHY basée sur la norme IEEE 802.15.4, vise à étudier le modèle analytique cross-layer afin de mieux comprendre la relation entre les paramètres du réseau de capteurs et la performance, ouvrant ainsi la voie à de nouvelles améliorations. Recherche d'optimisation multi-canaux. Trouver un indicateur de performance efficace et concevoir une méthode de collecte ou d'estimation de performance efficace basée sur les métriques correspondantes, qui pourraient être utilisées comme entrée de paramètre du mécanisme d'affectation multicanaux. Le système de contrôle dynamique complet est conçu pour une tâche d'attribution multicanal basée sur des techniques d'intelligence de calcul léger et efficace. Nous présentons un mécanisme d'attribution multicouches à bande passante dynamique à fuzzy (MCDB_FLS). La bande passante proactive disponible dans la couche croisée est estimée comme paramètre pour le contrôle d'admission de déploiement multicanal. Une approche axée sur l'apprentissage par renforcement est proposée pour une prise de décision judicieuse dans la mission d'allocation multicanaux. En outre, le modèle de seuil de bande passante basé sur la logique floue fournit une optimisation dynamique sur le contrôle d'admission du système. Les simulations montrent que le MCDB_FLS fonctionne mieux que la référence sur les mesures de QoS et l'efficacité énergétique, réalise le compromis entre l'efficacité énergétique et l'amélioration de la QoS. Enfin, nous introduisons l'intégration de l'approche incrémentielle d'apprentissage automatique dans le mécanisme d'affectation multicanaux avec la Deep Q Network (DQMC). En outre, l'initialisation du poids par action est implémentée sur la base d'un classificateur d'apprentissage supervisé multi-classes avec une approche par empilement. DQMC améliorer la capacité d'auto-adaptatif et de contrôle intelligent pour apprendre le modèle de l'environnement différent de multi-tâches WMSNs. / In the Wireless Multimedia Sensor Networks (WMSNs) field, highly saturated flow increases the probability of collision and congestion in data transmission which dramatically degrade the performance of Quality of Service (QoS). Multi-channels deployment technique is often applied to parallel transmission for QoS guarantee. However, how to make trade-off between QoS requirement and energy efficiency is a challenges to energy-constrained WMSNs. Theoretical analysis of MAC layer and PHY layer structure based on IEEE 802.15.4 standard, aim to study on the cross-layer analytical model in order to provide stronger understanding on the relationship between sensor network parameters and performance, pave the way for new enhancements in succedent multi-channel optimization research. Find effective performance indicator and design efficient performance collection or estimation approach based on the corresponding metrics, which could be used as the parameter input of multi-channel assignment mechanism. Comprehensive dynamically control system is designed for multi-channel assignment task based on light weight and high efficient computation intelligence techniques. We present a fuzzy-based dynamic bandwidth multi-channel assignment mechanism (MCDB_FLS). Cross-layer proactive available bandwidth is estimated as parameters for multi-channel deployment admission control. Reinforcement learning-based approach is proposed for more wisely decision-making in multi- channel allocation mission. Furthermore, fuzzy logic-based bandwidth threshold model provides dynamic optimization on system admission control. Simulations show the MCDB_FLS performs better than benchmark on the metrics of QoS and energy efficiency, achieves the trade-off between energy efficiency and QoS improvement. Finally, we introduce the integration of incremental machine learning approach into multi-channel assignment mechanism with Deep Q Network reinforcement learning method (DQMC). Besides, fully action weight initialization is implemented based on multi-class supervised learning classifier with stacking ensemble approach. DQMC improve the ability of self-adaptive and smart control to learn pattern from different environment of multi-tasks WMSNs.

Dans ce travail de thèse, nous avons modélisé le rôle de la dopamine dans l'apprentissage et dans les processus de sélection de l'action en lien avec les ganglions de la base. L'activité des neurones dopaminergiques présente de nombreuses similarités avec l'erreur de prédiction de la récompense utilisée par les algorithmes d'apprentissage par renforcement. Ainsi, ces neurones sont supposés guider le processus de sélection de l'action.Dans une première partie, nous avons analysé l'information encodée par les neurones dopaminergiques dans une tâche à choix multiples en la comparant à différentes informations utilisées par les modèles d'apprentissage par renforcement. Nos résultats suggèrent que l'information encodée par les neurones dopaminergiques enregistrer dans la tâche n'est que partiellement compatible avec une erreur de prédiction et semble en partie dissociée du comportement.Dans une deuxième partie, nous avons simulé l'effet de la dopamine sur un modèle des ganglions de la base prenant en compte des connections existant chez le primate, souvent négligées dans la littérature. La plupart des modèles actuels font en effet l'hypothèse d'une séparation stricte de deux chemins dans les ganglions de la base : le chemin direct lié à la récompense et le chemin indirect lié à la punition. Cependant des études anatomiques remettent en question cette dissociation, en particulier chez le primate. Nous proposons ainsi d'étudier comment différents niveaux de dopamine, dans le contexte de la maladie de Parkinson, affectent l'apprentissage et la sélection de l'action dans ce modèle / In this thesis work, we modelled the role of dopamine in learning and in the processes of action selection through its interaction with the basal ganglia. During the 90’s, the work of Schultz and colleagues has led to major progress in understanding the neural mechanisms underlying the influence of feedback on learning. The activity of dopaminergic neurons exhibited properties of the reward prediction error signal used in so-called Temporal Difference (TD) machine learning algorithms. Thus, DA has been thought to be the neural signal that help us to adapt our behavior. In the first part of my PhD, we analyze the information encoded by dopaminergic neurons recorded during a multi-choice task. In this purpose, we modeled the task and simulated different TD learning algorithms to quantitatively compare their ability to reproduce dopamine neurons activity. Our results show that the information carried out by dopamine neurons is only partly consistent with a reward prediction error and seems to be dissociated from behavioral adaptation.In the second part of my PhD, we study the effect of different levels of dopamine in a biologically plausible model of primates basal ganglia that considers existing connections often neglected in the literature. Indeed, most of current models of basal ganglia assume the existence of two segregated pathway: the direct pathway associated with reward and the indirect pathway associated with punishment. However, anatomical studies in primates revealed that these two pathways are not dissociated. We study the ability of such a model to reproduce beta oscillations observed in Parkinsonian and the differences in reward and punishment sensitivity, with high or low-level of dopamine.

Ces travaux de thèse ont permis de développer une méthodologie qui permet la désacidification et le renforcement simultanés du papier, en vue de l’application à des papiers de presse anciens. Les traitements novateurs proposés sont des réseaux à base de polysiloxanes à fonctionnalité alcaline, synthétisés à partir d’un mélange de monomères difonctionnel (AMDES ou DIAMINO) et trifonctionnel (APTES). Leur incorporation et les effets engendrés ont tout d’abord été démontrés sur un papier modèle pur cellulose de coton.La caractérisation d’une collection de papiers de presse de la Bibliothèque nationale de France (BnF) a permis d’obtenir des informations sur l’évolution de la composition de ces papiers entre 1950 et 2010 et d’étayer ainsi le choix de cinq autres papiers modèles de composition variée comme supports pour l’étude de l’application des traitements. L’évaluation de l’efficacité des traitements en fonction de la composition des papiers a été basée principalement sur les propriétés chimiques d’alcalinisation (mesures de réserve alcaline) et de résistance mécanique conférées (essais de résistance mécanique).La stabilité chimique des traitements face à deux types d’agression (exposition à l’acide formique et hygrothermique) a été étudiée. Une fois optimisés en proportions relative des monomères, ces traitements ont été appliqués à des papiers modèles pré-dégradés par des vieillissements artificiels permettant ainsi d’étudier l’efficacité des traitements en fonction de l’état de dégradation du papier. Le traitement identifié comme le plus efficace a ensuite été appliqué à un papier journal datant de 1922. / This dissertation describes the development of novel conservation treatments for simultaneous strengthening and deacidification of paper, for the purpose of the application to aged newsprint. The newly proposed treatments are based on the incorporation of polysiloxane networks with an alkaline functionality, synthesized from a mixture of bifunctional (AMDES or DIAMINO) and trifunctional (APTES) monomers. The application and the generated effects on a paper made of cotton linters were firstly demonstrated.The characterization of a collection of newsprint papers from the national French Library (BnF) dating from 1950 to 2010 yielded information about the evolution of the composition of the papers during this period. These results have comforted the choice of five more model papers as supports for the treatments. The efficiency of the treatments was appraised mainly based on the chemical properties of alkalization (alkaline reserve measurements) and conferred mechanical strength (mechanical testing).The chemical stability of the treatments when exposed to two types of aggressions (exposure to formic acid and hygrothermal ageing) was studied. Once the relative proportions of the monomers were optimized, the treatments were applied to model papers artificially pre-degraded in order to study the effectiveness of the treatments according to the state of degradation of the paper. The most effective treatment identified was then applied to a newsprint paper dating from 1922.

L'objectif à long terme de notre travail est la mise au points de techniques d'apprentissage fiables et prédictibles d'actions réflexes, dans le cadre de la robotique mobile. Ce document constitue un départ à ce projet.<br />Dans un premier temps, nous donnons des arguments défendant l'idée que les méthodes d'apprentissage classiques ne peuvent pas,<br />intrinsèquement, répondre à nos exigences de fiabilité et de prédictibilité. Nous pensons que la clé du problème se situe dans la manière dont la communication entre le système apprenant et son environnement est modélisée. Nous illustrons nos propos grâce à un exemple d'apprentissage par renforcement.<br /><br />Nous présentons une démarche formalisée dans laquelle la communication est une interaction, au sens physique du terme. Le système y est soumis à deux forces: la réaction du système est due à la fois à l'action de l'environnement et au maintient de contraintes internes. L'apprentissage devient<br />une propriété émergente d'une suite de réactions du système, dans des cas d'interactions favorables. L'ensemble des évolutions possibles du système est déduit par le calcul, en se basant uniquement (sans autre paramètre) sur la connaissance de l'interaction.<br /><br />Nous appliquons notre démarche à deux sous-systèmes interconnectés, dont l'objectif global est<br />l'apprentissage d'actions réflexes.<br /><br />Nous prouvons que le premier possède comme propriété émergente des facultés d'apprentissage par renforcement et d'apprentissage latent fiables et prédictibles.<br /><br />Le deuxième, qui est ébauché, transforme un signal en une information perceptive. Il fonctionne par sélection d'hypothèses d'évolution du signal au cours du temps à partir d'une mémoire. Des contraintes internes à la mémoire déterminent les ensembles valides d'informations perceptives.<br />Nous montrons, dans un cas simple, que ces contraintes mènent à un équivalent du théorème de Shannon sur l'échantillonnage.