L'objectif de l'apprentissage dans le dialogue homme-machine est de donner à la machine des capacités accrues d'interaction et d'adaptation à l'utilisateur, spécialement pour l'acquisition de nouvelles tâches. Dans le cadre du dialogue coopératif finalisé, la tâche structure le dialogue. Et c'est à travers le dialogue que s'établit quoi faire mais aussi comment faire. Dans cette thèse, nous envisageons l'ordinateur comme un partenaire dans la réalisation d'une tâche, capable d'apprendre puis de reconnaître des situations apprises. Nous présentons un modèle de dialogue centré sur la notion d'apprentissage des savoirs et des savoir-faire. Nous proposons un modèle de dialogue indépendant de la tâche, dans lequel le domaine de travail est défini par l'application, mais où le système de dialogue ne connaît pas a priori la ou les tâches à faire. La machine apprend une tâche et à partir de cette nouvelle connaissance elle peut intervenir dans des situations analogues. Par ailleurs, nous fondons le modèle sur les états mentaux de l'utilisateur. Ces états mentaux, à partir desquels la machine peut interpréter et produire des réponses, expriment les croyances et les intentions de l'interlocuteur. La formalisation des échanges dialogiques est réalisée dans un cadre logique fondé sur l'action. Il contient des éléments d'une logique épistémique (pour la représentation des connaissances), d'une logique de l'action (pour décrire les actions et les effets produits), et d'une logique dialogique (pour exprimer les engagements, les ruptures et les incompréhensions lors des échanges dialogiques). De cette façon, notre modèle intègre (i) la gestion des échanges langagiers et non-langagiers, (ii) la coordination des actions à partir de la reconnaissance de plans, et (iii) la construction de connaissances communes à travers l'acquisition de nouvelles tâches. Enfin, nous avons implémenté le système ICPdraw adaptatif qui nous a permis de valider notre approche.

Cette thèse a pour thème la communication humain-machine multimodale pour des systèmes d'information grand-public. Dans ce contexte, la communication naturelle repose sur l'accessibilité sensoriactionnelle, cognitive et rhétorique aux informations et aux moyens d'action. Pour cela, nous identifons le rôle clef que jouent les stratégies de dialogue et de présentation : 1) La stratégie de dialogue pour des systèmes coopératifs définit la tâche dialogique qui oriente la suite du dialogue et conditionne, voire contraint, le choix du contenu, comme la relaxation, la présentation ou la restriction. 2) La stratégie de présentation définit une configuration multimodale des unités informationnelles à rendre perceptibles par l'utilisateur. Nous prônons le choix concerté de la stratégie de dialogue avec celle de présentation et nous proposons un composant logiciel dédié au choix conjoint des stratégies de dialogue et de présentation au sein de l'architecture logicielle de référence Arch. Ce nouveau composant, intermédiaire entre le contrôleur de dialogue et les composants de présentation concrète, prend en compte les contraintes de présentation, qu'elle soient définies par l'utilisateur ou issues du contexte d'utilisation et/ou d'études ergonomiques et cognitives, pour déterminer la réaction multimodale du système interactif. Outre la réalisation logicielle du composant au sein de deux systèmes, nous proposons un outil de conception destiné à des non-informaticiens qui permet la conception incrémentale et la génération d'un composant de choix pour un système donné grâce à une interface graphique. L'outil est associé à une plate-forme de simulation pour des expérimentations magicien d'Oz.

Les technologies de l'interaction personne-machine se centrent de plus en plus sur l'humain. Le statut informatif des expressions présentes massivement en dehors des tours de parole, dans les micro-événements visibles ou audibles, inscrit le sujet dans une communication permanente du Feeling of Thinking (états physiologiques, mentaux, émotionnels, intentionnels et attitudinaux). Ce travail a été mené sur un corpus induit émotionnellement et restreignant l'interaction personne-machine au minima langagier. Une méthodologie empirique, sur des principes éthologiques, a d'abord été construite pour annoter les micro-gestes audibles et visibles de 6 sujets. Une analyse perceptive a ensuite mesuré la pertinence communicative de certaines icônes gestuelles. Puis a été menée une étude des occurrences des micro-gestes dans l'organisation temporelle de la tâche et des tours de parole, traçant ainsi le comportement des sujets. Enfin a été proposée une qualification impressionniste des nombreux sons vocaux non lexicaux qui ponctuent les performances (bruits de bouche, grunts, bursts, fillers, interjections).

Les interfaces multimodales se caractérisent par la multiplicité des modalités d'interaction et leurs combinaisons. Ces modalités d'interaction atomiques ou combinées sont offertes à l'utilisateur pour interagir avec un système (modalités en entrée) ou exploités par le système pour fournir des informations (modalités en sortie). L'interaction multimodale en entrée ne se limite plus aujourd'hui à la combinaison de la parole et du geste : de nombreuses modalités d'interaction, comme les interactions multi-doigts et bi-manuelles, le suivi du regard ou les interfaces tangibles, ouvrent un vaste espace de possibilités pour la multimodalité. Face à ce constat, il est donc important de pouvoir explorer efficacement l'espace de possibilités lors de la conception d'interfaces multimodales : nos travaux visent à définir des solutions conceptuelles et logicielles pour l'exploration des possibilités en termes d'interactions multimodales en entrée. Nous présentons ainsi une approche à composants pour la conception et le prototypage fonctionnel et/ou non fonctionnel d'interfaces multimodales en entrée. Nous adoptons une approche par flots de données, reposant sur un assemblage de composants qui décrit l'interaction multimodale en entrée pour une tâche utilisateur donnée. Nos contributions sont conceptuelles et logicielles. Notre contribution conceptuelle consiste en un espace de caractérisation de composants logiciels pour la multimodalité en entrée. Cet espace permet de caractériser les composants logiciels au sein de l'assemblage de composants qui décrit une interaction multimodale. Il offre au concepteur un cadre conceptuel afin de lui permettre de décrire précisément des alternatives de conception. Notre contribution logicielle consiste en un outil de prototypage basé sur un modèle à composants qui implémente notre espace de caractérisation (notre contribution conceptuelle). L'outil permet au concepteur de créer et d'exécuter un assemblage de composants définissant une interaction multimodale. Nous avons développé de nombreux prototypes multimodaux sur PC et sur téléphones mobiles à l'aide de cet outil, qu'ils soient fonctionnels ou en partie simulés par un compère humain selon une approche Magicien d'Oz. Ces prototypes mettent en oeuvre une grande variété de modalités d'interaction comme des gestes 2D et 3D, le pointage 3D, la voix, les mouvements de la tête, les mouvements du corps, la géolocalisation ou encore des interactions tangibles.

Ce travail de thèse élabore une approche de l’œuvre d’art comme accomplissement pratique, à partir d’un travail de terrain conduit lors de la préparation d’une exposition dans un centre d’art contemporain. Cette recherche, qui relève de l’analyse conversationnelle et de l’ethnométhodologie, vise ainsi à exploiter les acquis méthodologiques, théoriques et analytiques de ces approches pour la description d’un terrain artistique. Aborder l’œuvre « en pratiques », par l’analyse de situations d’interaction avec et autour des œuvres, permet de poser à nouveaux frais un ensemble de questions ayant trait à la définition de l’objet « œuvre d’art » et à la compréhension des activités artistiques et esthétiques. L’analyse détaillée de micro-activités accomplies par les professionnels de l’art (entrer en interaction dans l’espace d’une œuvre, donner des instructions pendant l’installation d’une œuvre, évaluer l’état d’un accrochage, introduire successivement différentes œuvres pendant une visite guidée) nous permet d’appréhender la constitution de l’œuvre comme un phénomène empirique, observé depuis l’écologie de l’exposition et les interactions entre ses acteurs. La thèse défend ainsi une approche descriptive des pratiques sociales situées qui constituent les œuvres. En cela, ce travail offre l’opportunité de s’interroger d’une part sur les manières dont un travail empirique relevant de la linguistique et de la sociologie peut contribuer à une réflexion esthétique, et d’autre part sur les formes de collaboration interdisciplinaire alors engagées par une recherche qui prend l’art pour domaine d’enquête. / This PhD dissertation develops an approach to artworks defined as practical accomplishments, drawing on fieldwork observation of the preparation of an exhibition in a center for contemporary art. This study draws on the analytical and theoretical findings of conversation analysis and ethnomethodology to investigate artistic and aesthetic activities. Approaching artworks as practical accomplishments, by analyzing interactions with and around artworks, contributes to redefining artworks as well as artistic and aesthetic activities. The detailed analysis of micro-activities accomplished by art professionals (entering the artwork’s space, giving instructions for installing the artwork, assessing the artwork installation, successively introducing different artworks in the course of a guided tour) allows for the description of the artwork’s constitution as an empirical phenomenon, as can be observed in the exhibition’s ecology and through the interactions between its actors. The study advocates a descriptive approach to social and situated practices which produce artworks. It endeavors to offer an empirical contribution, from a linguistic and sociological perspective, to theoretical debates in aesthetics and, incidentally, to expand the study of art as an interdisciplinary field of research.

Les entrées et sorties unimodales dans les systèmes actuels ont atteint une maturité reconnue, avec les applications tactiles ou par les services distribués pour la géo-localisation ou la reconnaissance de la parole, du son ou l’'image. Cependant, l'intégration et l’instanciation de toutes ces modalités, manque d’une gestion intelligente du contexte d’acquisition et de restitution basée sur des notions fortement formalisées mais reflétant le sens commun. Ceci demande un comportement plus dynamique du système avec une approche plus adéquate pour gérer l'environnement de l'utilisateur. Cependant,la technologie nécessaire pour atteindre un tel objectif n’est pas encore disponible de façon standardisée, tant au niveau des descriptions fonctionnelles des services unimodaux que de leur description sémantique. Ceci est aussi le cas pour les architectures multimodales, où la composante sémantique est produite par chaque projet sans un accord commun pour assurer l’interoperabilité et est souvent limitée au traitement des entrées et sorties ou aux processus de fusion/fission strictement nécessaires au projet.Pour combler cette lacune, nous proposons une approche sémantique orientée services pour une architecture multimodale générique qui vise à améliorer la description et la découverte des composants de modalité pour les services d'assistance: l'architecture SOA2m. Cette architecture se veut entièrement focalisée sur la multimodalité et enrichie avec des technologies sémantiques car nous croyons que cette orientation permettra d'enrichir le comportement autonome des applications multimodales, avoir une perception robuste des échanges, et contrôler l'intégration sémantique. / Unimodal inputs and outputs in current systems have become very mature with touch applications or distributed services for geo-localization or speech, audio and image recognition. However, the integration and instantiation of all these modalities, lack of an intelligent management of the acquisition and restitution context, based on highly formalized notions reflecting common sense. This requires a more dynamic behavior of the system with a more appropriate approach to manage the user environment.However, the technology required to achieve such a goal is not yet available in a standardized manner, both in terms of the functional description of unimodal services and in terms of their semantic description. This is also the case for multimodal architectures, where the semantic management is produced by each project without a common agreement in the field to ensure inter-operability, and it is often limited to the processing of inputs and outputs or fusion / fission mechanisms. To fill this gap, we propose a semantic service-oriented generic architecture for multimodal systems. This proposal aims to improve the description and the discovery of modality components for assistance services: this is the architecture SOA2m. This architecture is fully focused on multimodality and it is enriched with semantic technologies because we believe that this approach will enhance the autonomous behavior of multimodal applications, provide a robust perception of the user-system exchanges, and help in the control of the semantic integration of the human-computer interaction.As a result, the challenge of discovery is addressed using the tools provided by the field of the semantic web services

Il existe de nos jours beaucoup d'environnements dits de CAO, conçus pour assister et accompagner le travail des concepteurs tout au long d'un projet. Pourtant, ces logiciels sont peu adaptés à la première phase d'un projet: la conception créative. En effet, leurs approches géométriques et excessivement directrices ignorent le caractère flou et itératif de la démarche du concepteur, appuyée par un outil figuratif essentiel: le croquis. Cette thèse s'inscrit dans un courant de travaux axés sur l'utilisation du dessin pour la réalisation de modèles numériques 3D, dans le but de fournir des outils informatiques de support à la conception créative. Mais au delà de l'interprétation de croquis, nous proposons une approche originale appliquée au domaine de la conception architecturale, reposant sur un environnement instrumenté: SVALABARD, une Table à dessin virtuelle, basée sur un paradigme de feuilles d'interaction, composant des périphériques d'entrée et des techniques d'interaction non-standard.<br />Toutefois, la faisabilité technique d'une telle approche a rapidement été compromise de par la rigidité et le manque d'extensibilité des outils actuels pour le développement d'interfaces. C'est pourquoi nous proposons aussi dans cette thèse un nouveau modèle d'architecture logicielle plus flexible et dynamique, qui, une fois réalisé dans la boîte à outils MAGGLITE, nous a permis de faciliter et d'encourager le prototypage et la réalisation d'interactions avancées.

Afin d’accomplir les promesses des récupérateurs d’énergie vibratoire (VEHs) qui s’imposent comme unealternative majeure pour garantir l’autonomie des capteurs pour la surveillance, leurs performances en termes debande passante et puissance récupérable doivent être améliorées. Dans cette thèse, à la différence des VEHs classiqueslinéaires et multimodales ou non-linéaires et mono-fréquence, on propose une approche de récupérationd’énergie basée sur des réseaux d’aimants couplés en lévitation ou élastiquement guidés combinant les avantagesdes non-linéarités et des interactions modales. Une étude bibliographique sur les récupérateurs d’énergie vibratoireest effectuée. En particulier, les inconvénients des récupérateurs linéaires et les techniques de réglage de fréquencesont présentées. De plus, les méthodes non-linéaires sont présentées pour définir une procédure de résolution permettantl’étude de la dynamique des récupérateurs non-linéaires. Les équations du mouvement qui contiennentla non-linéarité magnétique, la non-linéarité géométrique et l’amortissement électromagnétique sont résolus enutilisant la méthode de la balance harmonique couplée avec la méthode asymptotique numérique. Une méthodologied’optimisation multi-objectif basée sur l’algorithme Non Sorting Genetic Algorithm est appliquée afin decalculer les solutions optimales pour maximiser les performances du récupérateur d’énergie. Grâce au couplagenon-linéaire et aux interactions modales, pour le cas des trois aimants couplés, l’approche proposée permet la récupérationde l’énergie vibratoire dans la gamme fréquentielle 4;6 - 14;5 Hz, avec une bande passante d’environ190 % et une puissance normalisée de 20,2 mWcm-3g-2. / In order to accomplish the promises of vibration energy harvesters (VEHs) as a major alternative to powersensors, their performances in terms of frequency bandwidth and harvested power have to be improved. In thisthesis, unlike classical VEHs either linear and multimodal or nonlinear and mono-frequency, we propose a vibrationenergy harvesting approach based on arrays of coupled levitated or elastically guided magnets combining thebenefits of nonlinearities and modal interactions.A review of VEHs is carried out. Particularly, the design issues of linear harvesters are addressed and frequencytuning techniques are presented. A review of nonlinear methods is also presented in order to define a solving procedureenabling the investigation of the dynamics of nonlinear VEHs. The equations of motion which include themagnetic nonlinearity, the geometric nonlinearity and the electromagnetic damping are solved using the harmonicbalance method coupled with the asymptotic numerical method. A multi-objective optimization procedure isintroduced and performed using a non-dominated sorting genetic algorithm for the cases of small magnet arraysin order to select the optimal solutions in term of performances by bringing the eigenmodes close to each other interms of frequencies and amplitudes. Thanks to the nonlinear coupling and the modal interactions even for onlythree coupled magnets, the proposed method enable harvesting the vibration energy in the operating frequencyrange of 4.6–14.5 Hz, with a bandwidth of 190 % and a normalized power of 20:2mWcm-3g-2.

La phase de conception préliminaire est déterminante lors de la réalisation d’un projet industriel. Elle exploite généralement des outils méthodologiques tels que le brainstorming, l’analyse causale et le chronogramme, qui permettent la collaboration entre des participants aux compétences et aux approches différentes. Ces activités se déroulent dans des salles de réunions traditionnelles, autour d'une table ou devant un tableau blanc, avec l’aide de nombreux papiers et Post-it, ce qui rend la préparation, l’exécution, et l’exploitation de ce processus particulièrement difficile. Jusqu’à présent, cette phase de conception préliminaire a résisté à la numérisation, notamment parce que l’addition d’un dispositif informatique au sein de ces activités perturbe la communication et la collaboration naturelles entre participants. Au cours des dix dernières années, de nombreuses avancées technologiques ont été réalisées en ce qui concerne les dispositifs numériques tels que les tables et les tableaux interactifs, les smartphones et les tablettes tactiles. La similarité des configurations physiques de ces dispositifs avec les dispositifs plus traditionnels permet d’exploiter les capacités préexistantes des utilisateurs (l’habileté motrice, le raisonnement spatial, le langage parlé, etc.). Les chercheurs se basent sur l’hypothèse que ces nouveaux dispositifs, travaillant de concert au sein d’espaces interactifs, pourront augmenter la collaboration co-localisée pour les équipes de conception préliminaire. L’objectif de cette thèse est, d’une part, d’étudier la conception d’un espace interactif pour la collaboration co-localisée durant la phase de conception préliminaire, et d’autre part, de proposer une architecture permettant de réunir les dispositifs hétérogènes et distribués composant cet espace.La première contribution consiste en une présentation détaillée d’un espace interactif utilisant une configuration physique encore peu exploitée dans la littérature scientifique : une table et un tableau multi-tactiles de grandes dimensions. La conception de cet espace interactif a été basée sur des observations d’utilisateurs dans un contexte de conception préliminaire traditionnel et sur une revue de la littérature visant à identifier des principes de conception. Lors de la conception de cet espace, une attention particulière a été portée à l’interface utilisateur qui s’étend sur des écrans partagés et qui maintient une séparation entre les activités d’un participant et les activités d’une équipe. Enfin, les évaluations, réalisées avec des groupes de cinq à six participants, démontrent une amélioration dans l’exploitation des outils méthodologiques sur supports numériques par rapport à une utilisation traditionnelle lors de la conception préliminaire.La conception d’une infrastructure distribuée basée sur un système multi-agents constitue la deuxième contribution de cette thèse. Cette infrastructure parvient à rassembler de nombreuses plateformes et des dispositifs hétérogènes. Elle représente une solution intéressante pour les espaces interactifs, en particulier parce qu’elle tolère particulièrement bien la défaillance de réseau et permet un prototypage rapide des dispositifs. / The preliminary design phase occurs near the launch of an engineering project, normally after an initial requirements gathering phase. Through a series of meetingswhich gathers the key actors of a project, effective preliminary design involves discussion and decision-making punctuated by group creativity techniques. These activities are designed to explore the potential solutions of the problem, such asbrainstorming or causal analysis, or to address the project itself, such as collaborative project planning. Such activities are usually conducted in traditional meeting rooms with pen and paper media, which requires significant time and effort to prepare, perform, and later render into a digitally exploitable format. These processes have resisted previous attempts of computer-supported solutions, because any additional instruments risk obstructing the natural collaboration and workflow that make these activities so beneficial. Over the past decade, technologies such as interactive table tops, interactive wall displays, speech recognition software, 3D motion sensing cameras, and handheld tablets and smartphones have experienced significant advances in maturity. Theirform factors resemble the physical configuration of traditional pen-and-paper environments,while their “natural” input devices (based on multi-touch, gestures, voice, tangibles, etc.) allow them to leverage a user’s pre-existing verbal, spatial,social, motor and cognitive skills. Researchers hypothesize that having these devices working in concert inside interactive spaces could augment collaboration forco-located (i.e. physically present) groups of users.There currently exist several interactive spaces in the literature, illustrating awide range of potential hardware configurations and interaction techniques. The goal of this thesis is first to explore what qualities these interactive spaces should exhibit in their interaction design, particularly with regard to preliminary designactivities, and second, to investigate how their heterogeneous and distributed computing devices can be unified into a flexible and extensible distributed computing architecture. The first main contribution of this thesis is an extensive presentation of an interactive space, which at its core uses a configuration not yet fully explored inprevious literature : a large multitouch table top and a large multitouch interactive Abstract board display. The design of this interactive space is driven by observations o fgroups engaged in preliminary design activities in traditional environments and a literature review aimed at extracting user-centered design guide lines. Special consideration is given to the user interface as it extends across multiple shared displays, and maintains a separation of concerns regarding personal and group work. Finally, evaluations using groups of five and six users show that using such an interactive space, coupled with our proposed multi-display interaction techniques, leads to a more effective construction of the digital artifacts used in preliminary design.The second main contribution of this thesis is a multi-agent infrastructure forthe distributed computing environment which effectively accommodates a widerange of platforms and devices in concerted interaction. By using agent-oriented programming and by establishing a common content language for messaging, the infrastructure is especially tolerant of network faults and suitable for rapid prototyping of heterogeneous devices in the interactive space.