Ce document de synthèse décrit les travaux de recherche que nous avons effectués ces douze dernières années, depuis la soutenance de notre thèse le 13 mai 1997. En premier lieu, nous évoquerons la pluridisciplinarité de nos recherches ; pluridisciplinarité induite par une véritable mobilité thématique. Cette approche pluridisciplinaire constitue un atout pour notre projet de recherche, puisqu'elle est bien souvent nécessaire pour assurer une direction de recherches. Les travaux de recherches exposés dans ce mémoire se déclinent sur quatre thèmes distincts, reliés par une problématique commune d'assistance à l'utilisateur : - des travaux portant un point de vue «traitement du langage » : la compréhension de courts textes techniques pour l'assistance aux activités de spécification et de conception de logiciels, conduisant à une traduction formelle ou diagrammatique de type UML ; - des travaux portant un point de vue «traitement de connaissances» : l'acquisition, la modélisation et le traitement des connaissances invoquées dans les systèmes pédagogiques, d'aide à la décision, ou de médiation pour la coopération ; - des travaux portant un point de vue « communication/coopération » : les interactions entre agents logiciels distribués dans des systèmes de simulation, d'aide à la décision ou de conception collaborative ; - des travaux portant un point de vue «coopération et instrumentation d'activités coopératives » : l'analyse, la modélisation et l'instrumentation d'activités coopératives, ainsi que la conception participative de micro-outils logiciels (µ-outils) et leur intégration sur une plate-forme logicielle distribuée. La convergence de ces travaux s'opère avec les recherches menées depuis cinq ans sur la conception de systèmes de médiation pour faciliter la coopération entre utilisateurs de systèmes d'information coopératifs ou de collecticiels. Au-delà de la problématique de conception de systèmes coopératifs, nous nous sommes en effet posé deux sortes de questions : (1) « comment mieux médier la coopération et comment faciliter les communications dans cette coopération médiée ? », c'est le cœur du travail de thèse de Victoria Ospina (soutenue en décembre 2007) ; (2) « comment mieux partager l'information dans les systèmes coopératifs et comment évaluer la pertinence de l'information avant de la partager ? », c'est le cadre de la thèse que nous avons proposée à Jing Peng (octobre 2007).

Ce document présente mon ``projet de recherche'' sur le thème de l'embodiment (``cognition incarnée'') au croisement des sciences cognitives, de l'intelligence artificielle et de la robotique. Plus précisément, je montre comment je compte explorer la façon dont un agent, artificiel ou biologique, élabore des représentations utiles et pertinentes de son environnement. Dans un premier temps, je positionne mes travaux en explicitant notamment les concepts de l'embodiment et de l'apprentissage par renforcement. Je m'attarde notamment sur la problématique de l'apprentissage par renforcement pour des tâches non-Markoviennes qui est une problématique commune aux différents travaux de recherche que j'ai menés au cours des treize dernières années dans des contextes mono et multi-agents, mais aussi robotique. L'analyse de ces travaux et de l'état de l'art du domaine me conforte dans l'idée que la principale difficulté pour l'agent est bien celle de trouver des représentations adaptées, utiles et pertinentes. J'argumente que l'on se retrouve face à une problématique fondamentale de la cognition, intimement liée aux problèmes de ``l'ancrage des symboles'', du ``frame problem'' et du fait ``d'être en situation'' et qu'on ne pourra y apporter des réponses que dans le cadre de l'embodiment. C'est à partir de ce constat que, dans une dernière partie, j'aborde les axes et les approches que je vais suivre pour poursuivre mes travaux en développant des techniques d'apprentissage robotique qui soient incrémentales, holistiques et motivationnelles.

L'audit thermique des bâtiments existants, par la nature de l'opération, pose un certain nombre de problèmes liés à la réalisation d'outils informatiques. Un des aspects importants, concernant les informations partielles (incertaines, imprécises et lacunaires) et leur traitement dans un programme informatique, n'est jusqu'alors pas pris en compte par des outils ''classiques". On propose donc, dans cette thèse, d'établir les bases d'une nouvelle génération d'outils d'aide au diagnostic, en utilisant les techniques de programmation avancée. Après une analyse détaillée de la problématique, nous avons construit une couche d'un modèle d'acteur à partir de Scheme, et réalisé une maquette informatique. Certains concepts importants, notamment celui de la "continuation" permettant la mise en oeuvre de structures de contrôle souples, puissantes et élégantes, ont été largement exploités. La réalisation de la maquette permet de montrer les intérêts d'une telle approche.

Le travail présenté dans ce document s'articule autour de la notion d'interaction dans les systèmes multi-agents (SMA) cognitifs (c'est-à-dire que chaque agent utilise un mécanisme de décision qui dépasse ses capacités de réactions aux stimuli du système et des autres agents), faiblement couplés (c'est-à-dire que les agents ne disposent d'aucune information a priori sur les capacités des autres agents) et ouverts (c'est-à-dire que les interactions ne peuvent pas s'appuyer a priori sur la présence ou l'absence d'autres agents). Les agents de ces systèmes doivent donc s'adapter en cours d'exécution au contexte en fonction des objectifs définis soit a priori, soit en cours d'exécution par l'utilisateur ou par d'autres agents. Notre étude porte sur deux aspects fondamentaux des interactions dans un SMA : la composition des fonctionnalités des agents et la gestion de l'hétérogénéité sémantique. Après avoir re-défini les notions clefs d'agents, de SMA et d'interaction (chapitre 1), nous montrons qu'il est nécessaire dans un contexte ouvert et faiblement couplé que les agents disposent de capacités d'introspection pour se coordonner. Nous définissons précisément les notions d'actions et d'interactions que nous utilisons dans nos travaux. Nous présentons ensuite (chapitre 2) un panorama des travaux existants dans les domaines de la composition de services, de la coordination multi-agents et de la programmation orientée agent et nous montrons qu'ils soulèvent un ensemble de questions communes. Nous définissons ensuite notre modèle d'agent (chapitre 3) et notre modèle d'interaction fondé sur un ensemble de performatifs spécifiques. Nous proposons alors (chapitre 4) deux approches complémentaires pour la composition des fonctionnalités des agents, la première fondée sur la chorégraphique dynamique de services, la seconde sur l'apprentissage par renforcement dans un cadre non-markovien. Nous proposons ensuite (chapitre 5) une solution pour gérer le problème de l'hétérogénéité sémantique entre les agents. Enfin, nous concluons sur les questions soulevées par notre tentative de définition d'un cadre unificateur pour l'interaction dans les SMA ouverts et hétérogènes.

This dissertation presents various research contributions published during these four years of PhD in the field of batch mode reinforcement learning, which studies optimal control problems for which the only information available on the system dynamics and the reward function is gathered in a set of trajectories. We first focus on deterministic problems in continuous spaces. In such a context, and under some assumptions related to the smoothness of the environment, we propose a new approach for inferring bounds on the performance of control policies. We also derive from these bounds a new inference algorithm for generalizing the information contained in the batch collection of trajectories in a cautious manner. This inference algorithm as itself lead us to propose a min max generalization framework. When working on batch mode reinforcement learning problems, one has also often to consider the problem of generating informative trajectories. This dissertation proposes two different approaches for addressing this problem. The first approach uses the bounds mentioned above to generate data tightening these bounds. The second approach proposes to generate data that are predicted to generate a change in the inferred optimal control policy. While the above mentioned contributions consider a deterministic framework, we also report on two research contributions which consider a stochastic setting. The first one addresses the problem of evaluating the expected return of control policies in the presence of disturbances. The second one proposes a technique for selecting relevant variables in a batch mode reinforcement learning context, in order to compute simplified control policies that are based on smaller sets of state variables.

Dans ce mémoire nous abordons de prime abord la reconstruction d'arbres et de réseaux phylogénétiques, à travers deux méthodes d'inférence. Les arbres et les réseaux sont deux supports pour la représentation de l'évolution d'un groupe d'espèces étudiées. Les modèles d'évolution d'espèces qui seront traités sont les suivants : 1) Le modèle arborescent classique qui a longtemps été le seul support formel pour la représentation des relations génétiques entre les espèces. 2) Le modèle en réseau qui permet de représenter des mécanismes phylogénétiques importants pouvant jouer un rôle clé dans l'évolution et pouvant s'expliquer par le phénomène de l'évolution réticulée. Nous nous sommes particulièrement intéressés aux algorithmes d'inférence de réseaux de transferts horizontaux de gènes. Un transfert horizontal de gènes permet à deux espèces de s'échanger, partiellement ou totalement, différents gènes au cours de l'évolution. Le travail effectué sur la reconstruction d'arbres et de réseaux phylogénétiques a mené à la publication de trois articles. Ensuite, nous abordons le problème de réduction du temps d'exécution de différents programmes bioinformatiques. Ce problème a pris de l'ampleur à cause de la croissance du volume de données biologiques et du blocage de la puissance des ordinateurs autour de 3,4GHZ depuis environ deux ans. Nous décrivons un procédé d'accélération des calculs effectués par différents algorithmes d'inférence et de représentation de l'évolution des espèces, en utilisant le parallélisme. Le parallélisme mis en place a été réalisé à travers une librairie standard de passage de messages (Message Passing Interface). Nous montrons les différentes formes de parallélisme, les architectures de systèmes parallèles, quelques environnements qui permettent de supporter l'exécution des applications de façon à exprimer le parallélisme, ainsi que les approches utilisées pour paralléliser différents modèles d'évolution. Les versions parallèles des algorithmes d'évolution ont été développées et installées sur une « grappe » (i.e. cluster) Linux ayant 16 lames possédant chacune deux processeurs et sa propre mémoire. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : algorithmes d'évolution, arbre phylogénétique, réseau phylogénétique, transferts horizontaux de gènes, programmation parallèle, Message Passing Interface (MPI).

Nous nous sommes intéressés à la problématique de la communication au sein des systèmes multi-agents en nous inspirant de la nature et plus particulièrement des fourmis qui sont un parfait exemple de l'intégration de l'apprentissage du vivant (ontogenèse) au capital génétique de celui-ci (phylogénie) : l'effet Baldwin.<br />Nous avons choisi de travailler avec des systèmes de classeurs à algorithme génétique pour représenter les agents. Nous avons introduit un nouveau type de système de classeurs à base de connaissance de taille fixe, les systèmes de classeurs de type Pittsburgh simplifié, dont nous avons étudié les propriétés dans un contexte multi-agents de coordination spontanée.<br />Nous avons ensuite proposé avec succès aux agents "homogènes" de communiquer pour échanger leur "connaissance" à l'aide de l'élitisme distribué.<br />Enfin, les agents "hétérogènes" ont échangé efficacement des informations grâce à un modèle minimal de communication que nous avons ancré dans la réalité puis étendu.

Le problème d'identification des paramètres apparaît dans beaucoup de problèmes en génie civil sous formes différentes et il peut être résolu par beaucoup de méthodes distinctes. Cette thèse présente deux philosophies principales d'identification avec orientation vers les méthodes basées sur intelligence artificielle. Les aspects pratiques sont montrés sur plusieurs problèmes d'identification, où les paramètres des modèles mécaniques non linéaires sont à déterminer.

La thématique centrale de ce mémoire concerne l'Intelligence Artificielle appliquée au diagnostic Médical (IAM). Son orientation repose sur des concepts d'apprentissage automatique de décisions plus que de connaissances pré-définies et figées, d'adaptation à de nouvelles situations plus que de comportements répétitifs et stéréotypés. Au goulot d'étranglement que constitue la construction d'une base de connaissances déclaratives, les systèmes préconisés opposent une utilisation intensive des bases de cas, véritables prolongements sur support informatique de la mémoire à long terme du médecin, et conduisent à l'émergence de capacités classificatoires automatisées au moyen d'algorithmes appropriés.<br />L'entreprise consistant à programmer une machine afin qu'elle produise des raisonnements habituellement attendus d'un spécialiste met au premier plan quelques difficiles questions relatives au pourquoi et au comment de tels systèmes. Le constat sinon d'échec du moins d'immenses difficultés de mise en œuvre des systèmes à bases de connaissances déclaratives, ouvrent la porte à un retour en force de l'expérience et de la mémoire cumulée de l'activité décisionnelle du praticien au cours des mois et des années de pratique. Dans cette optique, l'expérience emmagasinée sous forme de bases de cas dans la mémoire de l'ordinateur prend le pas sur la connaissance figée et laborieusement élaborée dans une base de connaissances pour la construction d'un système d'IAM. Des systèmes hybrides — permettant d'associer des connaissances déclarées par le spécialiste et des connaissances apprises automatiquement — constituent en quelque sorte un idéal que l'on s'efforce d'atteindre, notamment dans notre projet ESPRIT-III : MIX.<br />L'introduction de ce mémoire tente de préciser ce passage de la représentation à l'émergence de connaissances qui consacre en quelque sorte l'immersion de l'IAM dans les sciences de la cognition (et qui correspond en gros à mon parcours de chercheur depuis une douzaine d'années). Divers aspects de la problématique générale de la construction de classifieurs y sont abordés et une présentation succincte des diverses approches de l'émergence est proposée (connexionnisme, algorithmique génétique, induction...) et illustrée par le projet COGNIMED.<br />Autour et parfois en marge de cette problématique centrale, s'ordonnent un certain nombre de travaux que j'ai pu conduire ces dernières années dans les domaines de la psychiatrie-psychologie, de l'analyse textuelle et de la "philosophie de l'esprit". Ces travaux sont également évoqués.<br /><br />Le mémoire est structuré en quatre parties principales et une annexe :<br />- Une partie introductive présentant de manière synthétique la thématique générale de recherche ainsi qu'un bref état de l'art du domaine dans lequel se placent mes travaux. La présentation des problèmes et des orientations de ce domaine sera appuyée par une bibliographie propre à l'introduction.<br />- La première partie est consacrée à la description des recherches qui ont été effectuées depuis une dizaine d'années. Outre la description des thèmes de recherche, cette partie inclut la présentation de quelques articles et résumés de travaux.<br />- La deuxième partie donne une liste complète et structurée des publications, communications, posters, etc.<br />- La troisième partie, orientée vers le futur, est consacrée aux projets imminents et aux perspectives de recherche et de développement à moyen terme.<br />- L'annexe présente l'activité d'encadrement d'étudiants de troisième cycle, directement liée aux activités d'enseignement et de recherche.

L'application des algorithmes issus de l'Intelligence Artificielle à des applications concrètes est un domaine de recherche intéressant de par les perspectives que cela ouvre. En effet, les contraintes de ces problèmes sont telles que les faiblesses des algorithmes sont mises en évidence de façon beaucoup plus efficace que sur les exemples académiques classiques. Dans cette thèse, je m'intéresse plus particulièrement à deux problèmes d'aide au diagnostic médical. Les outils développés sont donc en interaction constante avec l'équipe médicale correspondante. Je montre donc comment, en alliant la puissance de raisonnement des modèles Markoviens au côté intuitif des ensembles flous, il est possible d'obtenir un système de diagnostic viable. Pour aider encore cette coopération, j'introduis la notion d'apprentissage de diagnostic. Cette méthodologie permet en effet au médecin de corriger le diagnostic établi par le système sur un laps de temps donné. Le système adapte alors le modèle du patient, de façon à se rapprocher de la consigne, tout en respectant des contraintes de stabilité numérique. Ce processus autorise donc le médecin à modifier les paramètres du modèle de manière cohérente, et, surtout, sans avoir à régler chacun des paramètres manuellement. Je montre finalement comment cette approche peut être généralisée à des problèmes éloignés de la médecine, en prenant l'exemple de la localisation d'un robot mobile. Cette approche mène à la réalisation d'une interface de conception d'agents ‘intelligents'. L'utilisateur désireux de construire une nouvelle application peut alors mettre cette bibliothèque en œuvre, en reliant des modules les uns aux autres afin d'obtenir les traitements nécessaires. De par sa conception à base d'objets, cette bibliothèque permet aisément l'ajout ou la modification d'algorithmes au fur et à mesure de leur développement. Cela devrait aider au développement de nouvelles applications, tout en réduisant le travail nécessaire des chercheurs impliqués.