Cette thèse est une étude de méthodes permettant d'estimer des fonctions valeur avec des réseaux de neurones feedforward dans l'apprentissage par renforcement. Elle traite plus particulièrement de problèmes en temps et en espace continus, tels que les tâches de contrôle moteur. Dans ce travail, l'algorithme TD(lambda) continu est perfectionné pour traiter des situations avec des états et des commandes discontinus, et l'algorithme vario-eta est proposé pour effectuer la descente de gradient de manière efficace. Les contributions essentielles de cette thèse sont des succès expérimentaux qui indiquent clairement le potentiel des réseaux de neurones feedforward pour estimer des fonctions valeur en dimension élevée. Les approximateurs de fonctions linéaires sont souvent préférés dans l'apprentissage par renforcement, mais l'estimation de fonctions valeur dans les travaux précédents se limite à des systèmes mécaniques avec très peu de degrés de liberté. La méthode présentée dans cette thèse a été appliquée avec succès sur une tâche originale d'apprentissage de la natation par un robot articulé simulé, avec 4 variables de commande et 12 variables d'état indépendantes, ce qui est sensiblement plus complexe que les problèmes qui ont été résolus avec des approximateurs de fonction linéaires.

Le membre fantôme correspond à la persistance de perceptions sensitives et motrices attribuées au membre amputé. Des douleurs chroniques parfois invalidantes ainsi que des capacités d'évocation de mouvements dans le membre absent sont fréquemment rapportées. Très peu connue, cette motricité résiduelle est souvent considérée comme de l'imagerie motrice. Le premier objectif de cette thèse est de réinterroger le statut psychologique des mouvements de membre fantôme. Le second objectif est d'étudier le lien entre le contrôle moteur dans le membre fantôme et les réorganisations corticales dans le cortex moteur du sujet amputé. Au moyen de tests comportementaux et d'examens en Imagerie par Résonnance Magnétique fonctionnelle (IRMf), ces travaux de thèse ont permis de dissocier expérimentalement une forme de perceptions kinesthésiques associée à de l'imagerie motrice et une autre forme associée à de l'exécution motrice dans le membre fantôme. Cette distinction repose à la fois sur des différences de performances et sur le recrutement de régions cérébrales partiellement distinctes. Au-delà de cette distinction physiologique, les résultats obtenus suggèrent que les mouvements de membre fantôme s'apparentent à une forme d'exécution motrice plutôt qu'à de l'imagerie motrice. A travers le modèle du membre fantôme, ce travail aborde donc la question de la nature des informations menant à la perception d'un mouvement comme étant " exécuté ". Les altérations du fonctionnement cortical mises en évidence chez l'amputé peuvent représenter un modèle d'étude intéressant des différents mécanismes physiopathologiques relevés dans des situations de déficiences liées à une forme de plasticité " maladaptative ". Les observations cliniques et les examens en neuroimagerie menés au cours de cette thèse dressent en effet, un modèle relativement cohérent de l'organisation fonctionnelle du cortex après amputation. En particulier, l'existence d'un lien entre les réorganisations fonctionnelles au sein du cortex moteur et la qualité du contrôle moteur résiduel dans le membre fantôme permet de mieux comprendre les mécanismes sur lesquels reposent certaines thérapies antalgiques, comme les thérapies visuomotrices

L'étude présentée propose des solutions pour la détection et localisation de défauts dans les entraînements électriques et en particulier pour ceux à base de machine asynchrone. Les défauts considérés peuvent affecter la machine, le convertisseur, la mécanique et les capteurs. Ces ensembles fonctionnent à vitesse variable et possèdent une structure de contrôle vectoriel à flux orienté ainsi qu'un contrôle de vitesse. A partir des résultats de caractérisation des défauts, issus des simulations ou des mesures, deux approches sont proposées. La première repose sur l'utilisation d'outils de traitement du signal. Des solutions sont proposées pour s'affranchir du contexte de la vitesse variable via l'enregistrement à écart de position constant (position mécanique ou du champ statorique). La deuxième approche repose sur l'utilisation de la redondance analytique pour effectuer la détection et localisation de défauts. Des observateurs d'état étendus (filtre de Kalman étendu, modèle de référence adaptatif) sont étudiés et testés expérimentalement. Afin de réaliser la localisation des défauts, des observateurs à entrées inconnues sont également proposés. A partir des outils développés, des approches pour constituer un outil de surveillance globale sont proposées. Certaines reposent sur des combinaisons logiques, d'autres sur les réseaux de neurones.

Cette thèse se concentre sur les interactions émotionnelles en robotique autonome. Le robot doit pouvoir agir et réagir dans un environnement naturel et faire face à des perturbations imprédictibles. Il est donc nécessaire que le robot puisse acquérir une autonomie comportementale à savoir la capacité d'apprentissage et d'adaptation en ligne. En particulier, nous nous proposons d'étudier quels mécanismes introduire pour que le robot ait la capacité de se constituer une perception des objets de son environnement qui puisse être partagée par celle d'un partenaire humain. Le problème sera de faire apprendre à notre robot à préférer certains objets et à éviter d'autres objets. La solution peut être trouvée en psychologie dans ce que l'on appelle "référencement social" ("social referencing") qui consiste à attribuer une valeur à un objet grâce à l'interaction avec un partenaire humain. Dans ce contexte, notre problème est de trouver comment un robot peut apprendre de manière autonome à reconnaître les expressions faciales d'un partenaire humain pour ensuite les utiliser pour donner une valence aux objets et permettre leur discrimination. Nous nous intéresserons à comprendre comment des interactions émotionnelles avec un partenaire peuvent amorcer des comportements de complexité croissante tel que le référencement social. Notre idée est que le référencement social aussi bien que la reconnaissance d'expressions faciales peut émerger d'une architecture sensori-motrice. Sans connaissance de ce que l'autre est, le robot devrait réussir à apprendre des tâches "sociales" de plus en plus complexes. Nous soutenons l'idée que le référencement social peut être amorcé par une simple cascade d'architectures sensori-motrices qui à la base ne sont pas dédiées aux interactions sociales. Cette thèse traite de plusieurs sujets qui ont comme dénominateur commun l'interaction sociale. Nous proposons tout d'abord une architecture capable d'apprendre à reconnaître de manière autonome des expressions faciales primaires grâce à un jeu d'imitation entre une tête expressive et un expérimentateur. Les interactions avec le dispositif robotique commençeraient par l'apprentissage de 5 expressions faciales prototypiques. Nous proposons ensuite une architecture capable de reproduire des mimiques faciales ainsi que leurs différents niveaux d'intensité. La tête expressive pourra reproduire des expressions secondaires par exemple une joie mêlée de colère. Nous verrons également que la discrimination de visages peut émerger de cette interaction émotionnelle à l'aide d'une rythmicité implicite qui se crée entre l'homme et le robot. Enfin, nous proposerons un modèle sensori-moteur ayant la capacité de réaliser un référencement social. Trois situations ont pu être testées: 1) un bras robotique capable d'attraper et de fuir des objets selon les interactions émotionnelles venant du partenaire humain. 2) un robot mobile capable de rejoindre ou d'éviter certaines zones de son environnement. 3) une tête expressive capable d'orienter son regard dans la même direction que l'humain tout ! en attribuant des valeurs émotionnelles aux objets via l'interaction expressive de l'expérimentateur. Nous montrons ainsi qu'une séquence développementale peut émerger d'une interaction émotionnelle de très bas niveau et que le référencement social peut s'expliquer d'abord à un niveau sensori-moteur sans nécessiter de faire appel à un modèle de théorie de l'esprit.

L'objectif général de ce travail de thèse était d'examiner, chez le sujet jeune et bien portant, l'adaptabilité des commandes motrices posturale et focale associées à une tâche de poussée bilatérale dynamique lorsque la capacité posturo-cinétique est spécifiquement contrainte par trois types de facteurs : i) le changement d'appui de bipodal à unipodal (1ère expérimentation), ii) la dominance posturale (appui unipodal sur la jambe dominante ou sur la jambe non dominante ; 2ème expérimentation), et iii) la fatigue posturale (3ème et 4ème expérimentation). Les résultats de la 1ère expérimentation ont montré que le système nerveux central augmentait la durée des ajustements posturaux anticipateurs (APA) en condition unipodale de façon à maintenir un niveau de forces inertielles équivalent à celui obtenu en condition bipodale, et donc à maintenir un niveau de contreperturbation anticipatrice équivalent. Il en résultait une performance focale (vitesse maximale) optimale. Les résultats de cette expérimentation, basée sur une analyse des caractéristiques biomécaniques des APA, ont également montré que ce type de stratégie adaptative caractérisée par un allongement de la durée des APA ne dépendait pas de la dominance posturale. En revanche, l'analyse électromyographique (2ème expérimentation) a révélé que la réponse adaptative des muscles posturaux au changement d'appui (de bipodal à unipodal) était asymétrique, i.e. que le niveau d'activation des muscles posturaux nécessaire à assurer une contre-perturbation posturale et une performance focale optimales était plus élevé lorsque les sujets se tenaient en appui unipodal sur la jambe non dominante que sur la jambe dominante. La capacité d'adaptation au changement d'appui serait donc meilleure dans cette dernière situation car plus " économique " en terme énergétique. Enfin, les résultats de la 3ème et de la 4ème expérimentation suggèrent que cette capacité d'adaptation est altérée suite à la répétition intensive de séries de contractions isométriques de haute intensité. Dans ces conditions de fatigue, l'amplitude des APA était en effet drastiquement réduite comparativement à la condition " non fatigue ". L'ensemble de ces résultats contribue à une meilleure connaissance des capacités d'adaptation des commandes motrices posturales et focales associées à l'exécution du mouvement volontaire.

La miniaturisation des moteurs est un point important dans le domaine des microsystèmes. De nouveaux moteurs synchrones planaires de diamètres § 3 à <|> 8 mm ont été fabriqués, qui devraient stimuler le développement des micromoteurs. Leurs performances remarquables sont dues à leur conception hybride adaptée à l'état de l'art des moyens de fabrication disponibles. Ils allient ainsi un bobinage statorique triphasé à 2 couches obtenu par une utilisation innovante des techniques de lithographie profonde, à un rotor disque en SmCo aimanté avec jusqu'à 15 paires de pôles, le tout étant encapsulé dans un boîtier usiné avec lès moyens éprouvés de l'industrie horlogère. Ce travail fait d'abord un bilan général de l'état de l'art des micromoteurs, puis décrit tout le processus de conception, et enfin la fabrication de prototypes de micromoteurs synchrones planaires à aimants, qui développent un couple nominal approchant 100 uN.m.

La première année de vie est une période cruciale pour le développement de la parole chez l'enfant. Le babillage, étape clé dans ce développement, apparaît vers 6 mois sous une forme quasi-similaire chez tous les enfants du monde quel que soit le langage environnant. Durant cette période, l'enfant ne contrôle pas la nature de ses productions et n'a pas encore acquis les capacités pour produire les unités phonologiques de sa langue maternelle. Avec l'apparition de ses premiers mots autour de 12 mois, c'est-à-dire de productions verbales désignant de façon stable un référent identifiable, l'enfant a parcouru un chemin développemental durant lequel il a acquis de nouvelles capacités motrices, articulatoires et phonologiques. Nous nous sommes intéressées à l'apparition de ces capacités en adoptant une démarche à la croisée des approches scientifiques actuelles de type bottom-up (MacNeilage, 1998) et top-down (Fikkert & al. 2004, Wauquier, 2005, 2006) En effet, il nous semble que les productions de parole ne peuvent pas s'expliquer hors du cadre articulatoire et moteur. Mais il nous paraît pour autant indispensable de prendre en considération les caractéristiques structurelles et les contraintes linguistiques de l'input (Vihman, 1996). Pour nous, l'enfant doit donc s'adapter à sa langue maternelle en fonction de ses capacités motrices et articulatoires qui évolueront avec la croissance et la maturation cognitive, tout en comparant constamment ses productions à sa langue maternelle. Pour évaluer ces propositions théoriques, nous avons élaboré une base de données des productions vocales d'un enfant francophone âgé de 7 à 16 mois à partir d'un corpus audio-visuel. Notre questionnement porte sur la nature des premiers mots. En effet, si le contrôle des oscillations mandibulaires peut bien être considéré comme la structure de base de la parole, l'enfant ne pourra pas produire de syllabe adulte tant qu'il n'aura pas acquis trois contrôles supplémentaires à celui de la mandibule : (i) le contrôle du vélum qui permet d'obtenir un conduit vocal globalement oral pour produire des séquences consonnes-voyelles distinctes, (ii) le contrôle de la coordination oro-laryngéee qui permet d'obtenir la distinction voisée/non voisée, et (iii) le contrôle du rythme mandibulaire qui va permettre à l'enfant d'adapter ses productions au patron prosodique de sa langue maternelle.

L'objectif de ce travail est la mise au point d'une méthode de diagnostic permettant de quantifier par la mesure les sources vibratoires de machines en régime stationnaire. La mesure directe des sources par l'introduction d'un capteur d'effort est souvent difficile, voire impossible. On a donc recours à leur estimation indirecte à partir de mesures de réponse vibratoire en fonctionnement et d'un modèle de transfert de la machine. Sur le plan de la méthode, plusieurs développements originaux par rapport à la littérature sont abordés, notamment dans le but d'optimiser la technique lorsque la structure de la machine présente de fortes hétérogénéités de raideur. Par ailleurs, un indicateur de fiabilité de l'estimation indirecte des efforts est introduit, basé sur la comparaison de différentes approches d'inversion du système de transfert. La fiabilité des résultats est en effet un problème crucial en mesure indirecte d'efforts, car la technique est connue pour être fortement sensible aux différentes erreurs rencontrées (bruit de mesure, biais de modèle). La méthodologie est appliquée au problème d'identification des sources internes d'un moteur Diesel. Un effort particulier est porté sur la construction du modèle de transfert de la machine, estimé par deux approches numérique et expérimentale. Les efforts reconstruits sont comparés aux efforts obtenus par un modèle simple d'attelage mobile. La comparaison permet de mettre en évidence certaines lacunes du modèle, ainsi que la relative robustesse de la méthode. Dans le but de présenter l'un des intérêts de la mesure indirecte d'efforts, une hiérarchisation des contributions des excitations internes à la réponse du bloc moteur est réalisée.

La complexité croissante des systèmes employés dans l'industrie automobile, en termes de fonctions réalisées et de méthodes de mise en œuvre, mais aussi en terme de norme d'homologation, amène à envisager des outils toujours plus innovants lors de la conception d'un véhicule. On observe d'ailleurs depuis quelques années une forte augmentation du nombre de brevets déposés, en particulier dans le domaine des systèmes électroniques, dont l'importance ne cesse de croître au sein d'un véhicule automobile moderne. Cette complexité croissante des fonctions réalisées requiert une précision de description accrue pour les dispositifs impliqués, notamment pour les systèmes complexes où une approche analytique est difficilement envisageable. Aux impératifs de précision de la description, qui imposent souvent de prendre en considération les non-linéarités des processus, s'ajoute donc la complexité d'analyse des phénomènes physiques à l'origine des observations que l'on souhaite modéliser. Les développements qu'ont connus ces dernières années les techniques de modélisation non linéaires par apprentissage (notamment les réseaux de neurones formels et les machines à vecteurs supports), alliés à la croissance de la capacité des ordinateurs et des calculateurs embarqués dans les véhicules automobiles, justifient donc l'intérêt porté par Renault à ces outils. C'est dans cette optique qu'a été envisagée une étude portant sur les méthodes de modélisation non linéaire par apprentissage, dont l'objectif était d'en tester les secteurs d'applications possibles dans le contexte automobile, et d'en évaluer les difficultés de mise en œuvre ainsi que les gains attendus. Cette étude a fait l'objet d'une collaboration, sous forme d'un contrat de thèse CIFRE, avec le Laboratoire d'Electronique de l'Ecole Supérieure de Physique et de Chimie Industrielles de la Ville de Paris (ESPCI), dirigé par le Professeur Gérard Dreyfus. De manière générale, les techniques de modélisation par apprentissage permettent d'aborder la modélisation de phénomènes physiques dont la description est ardue, élargissant ainsi le champ des possibles en matière de modélisation, mais également de s'affranchir d'une description physique détaillée pour des processus connus, réduisant ainsi le temps de développement d'un modèle particulier. En contrepartie, l'élaboration de tels modèles par apprentissage requiert la réalisation de mesures sur ledit processus, ce qui implique des coûts qui sont parfois loin d'être négligeables. Notre objectif a donc été d'identifier certains problèmes correspondant à la première approche, c'est-à-dire pour lesquels la réalisation de modèles de connaissance est soit inenvisageable soit particulièrement ardue. Le premier chapitre de ce mémoire s'attache à rappeler les concepts de base relatifs à la modélisation de processus par apprentissage. Nous y introduirons les notions essentielles que nous serons amenés à employer par la suite. Dans le deuxième chapitre, nous décrivons les principaux outils d'optimisation nécessaires à l'élaboration de modèles par apprentissage. Le troisième chapitre regroupe l'ensemble des travaux menés, au cours de cette thèse, sur le thème des réseaux de neurones. Après avoir rappelé la méthodologie d'élaboration de modèles neuronaux, en particulier dans le cas récurrent, nous présentons les résultats obtenus sur deux applications industrielles: l'estimation de la température en un point particulier de la ligne d'échappement, et l'estimation des émissions de différents polluants en sortie d'échappement. Ces deux applications participent à la maîtrise des émissions polluantes, soit durant l'utilisation habituelle d'un véhicule, car la connaissance de cette température est indispensable à la mise en œuvre des stratégies de dépollution actives, soit au stade de la mise au point du moteur, qui sera facilitée par l'utilisation d'un modèle de prédiction des débits de polluants en fonction des réglages du moteur. Nous décrivons également un système de commande optimale en boucle ouverte, associé à un modèle neuronal, et destiné à réduire les variations rapides de la sortie d'un processus: ce système est susceptible d'être utilisé pour contrôler les à-coups de couple d'un véhicule, consécutifs à une variation rapide de l'enfoncement de la pédale d'accélérateur. Une méthode de calcul exact de la matrice Hessienne, dans le cas de modèles décrits par des équations récurrentes, est alors introduite pour permettre l'utilisation de ce système de commande dans le cas de processus dynamiques. Dans le quatrième chapitre, nous nous intéressons aux méthodes de modélisation par noyaux, dont font partie les machines à vecteurs supports, et tentons de les adapter à la modélisation de processus dynamiques, d'abord par un traitement analytique (pour l'une particulière de ces méthodes), avant de proposer un approche itérative du problème d'apprentissage, inspirée de l'algorithme d'apprentissage semi dirigé utilisé pour les réseaux de neurones récurrents.

Les performances des moteurs à combustion interne sont limitées par la quantité de gaz que leur système d'air peut apporter dans le cylindre. Les turbocompresseurs permettent d'augmenter cette quantité et c'est donc pour cette raison qu'ils sont maintenant couram- ment utilisés, parfois en combinaison avec d'autres composants. Ces systèmes présentent l'inconvénient d'entraîner une dynamique lente sur le moteur. Les stratégies de commande associées doivent donc exploiter au maximum la dynamique d'un système complexe. Cette thèse examine les problèmes de commande des systèmes d'air suralimentés à travers trois études de cas : un turbocompresseur à géométrie fixe sur un moteur essence, une turbine à géométrie variable sur un moteur Diesel avec deux circuits de recirculation des gaz brûlés, et un turbocompresseur à deux étages sur un moteur Diesel. La démarche proposée consiste à réduire un modèle physique du système et à synthétiser des stratégies de commande simples basées sur l'analyse de ce modèle. Grâce à la simplicité du modèle réduit et de la loi de commande, on peut prouver des propriétés du système en boucle fermée telles que la convergence, la stabilité et le respect des contraintes. Des résultats expérimentaux sont fournis dans chaque cas pour démontrer la pertinence de la démarche. Le premier problème considéré est à simple entrée simple sortie (SISO) avec des contraintes sur l'actionneur. Le système est non linéaire du premier ordre. La stratégie de commande développée consiste en une linéarisation par retour d'état avec planification de trajectoire sous contrainte. Elle se base sur l'inversion dynamique d'une représentation physique du système. Des problèmes pratiques tels que les contraintes sur l'actionneur et l'anti emballement de l'intégrateur sont pris en compte à la fois dans les parties de prépositionnement et de bouclage du contrôleur. La démarche et les développements sont ensuite étendus à des applications plus complexes. Le second système d'air considéré contient plusieurs sous systèmes avec de nombreuses interactions : turbocompresseur et circuits de recirculation des gaz brûlés. Un niveau de modélisation similaire à celui du premier cas est utilisé pour l'analyse du système. On montre que les dynamiques des circuits de recirculation des gaz brûlés sont plus rapides que celles du turbocompresseur et peuvent donc être négligées. Cependant, les interactions statiques entre les deux systèmes imposent des contraintes sur la commande du turbocom- presseur. La structure de commande développée pour le premier exemple est adaptée à ce nouveau problème de commande. La dernière application est la plus complexe. Le problème de commande peut être réduit à un problème à simple entrée et simple sortie (SISO), mais le système est du second ordre et des contraintes doivent être respectées sur l'un des états. Un modèle physique mais réduit du second ordre permet d'étudier les trajectoires du système en boucle fermée dans le plan des phases. Des stratégies de commande sont ainsi synthétisées pour forcer le système sur les trajectoires désirées tout en satisfaisant les contraintes. La thèse montre donc que différents problèmes de commande de sytèmes d'air peuvent être traités avec des solutions similaires et cohérentes. La démarche globale et le niveau de modélisation retenu sont génériques. Ils pourront ainsi être étendus à de futurs problèmes de commandes de systèmes d'air, mais également à des problèmes de diagnostic pour lesquels ils sont bien adaptés.