L'amputation du membre supérieur, dont la prévalence est comparable à celle des maladies orphelines, induit chez les patients une perte considérable d'autonomie dans la majorité des tâches simples de la vie quotidienne. Pour pallier ces difficultés, les prothèses myoélectriques actuelles proposent une multitude de mouvements possibles. Cependant, leur contrôle non intuitif et lourd cognitivement requiert un apprentissage long et difficile, qui pousse une proportion importante de patients amputés à l'abandon de la prothèse. Dans cette thèse, nous avons cherché à identifier l'origine des difficultés et les manques du contrôle myoélectrique en comparaison au contrôle sensorimoteur naturel, dans le but à terme de proposer de meilleures solutions de restitution et de suppléance. Pour cela, nous avons manipulé diverses conditions expérimentales dans un contexte d'interface homme-machine simplifié où des sujets non amputés contrôlent un curseur sur un écran à partir de contractions isométriques, i.e. des contractions qui n'engendrent pas de mouvement. Cette condition isométrique nous a permis de nous approcher de la condition de la personne amputée contrôlant sa prothèse à partir de l'activité électrique (EMG) de ses muscles résiduels, en absence de mouvement articulaire. Durant une tâche d'atteinte de cible, nous avons entre autre démontré le bénéfice d'une adaptation conjointe du décodeur qui traduit les activités EMG en mouvement du curseur, venant s'ajouter à la propre adaptation du plan de mouvement des sujets en réponse à des perturbations orientées. De plus, il a été mis en évidence que ce bénéfice est d'autant plus important que la dynamique d'adaptation artificielle du décodeur s'inspire de celle de l'Homme. Dans des tâches d'acquisition et de poursuite de cible, impliquant davantage les mécanismes de régulation en ligne du mouvement, nous avons mis en évidence l'importance d'une congruence immédiate entre les informations sensorimotrices et la position du curseur à l'écran pour permettre des corrections rapides et efficaces. Dans une condition où le niveau de bruit du système est relativement faible, comme avec l'utilisation du signal de forces plus stable que l'habituel signal EMG, cette congruence explique, en partie, la supériorité d'un contrôle d'ordre 0 (i.e. position) sur un contrôle d'ordre 1 (i.e.} vitesse). Cependant, dès lors que le niveau de bruit est trop important, ce qui est le cas avec le signal EMG, le filtrage induit par l'intégration nécessaire au contrôle vitesse fait que celui-ci devient plus performant que le contrôle position. L'ensemble de ces résultats suggèrent qu'un décodeur adaptatif et intuitif, respectant et suppléant au mieux les boucles du contrôle sensorimoteur naturel, est le plus à même de faciliter le contrôle des futures prothèses. / Upper limb amputation, although quite rare, induces enormous loss of autonomy for patients in most daily life activities. To overcome this loss, current myoelectric prosthesis offers a multitude of possible movements. However, current controls of these movements are typically non-intuitive and cognitively demanding, leading to a high abandon rate in response to the long and tedious learning involved. In this thesis, we aimed at identifying difficulties and gaps associated with myoelectric controls when compared to natural sensorimotor control, with the long term goal of informing the design of better solutions for prosthesis control. To do so, we manipulated several experimental conditions in a simplified human-machine interface, where non-amputated subjects controlled a cursor on a computer screen from isometric contractions, i.e. muscle contractions produced in the absence of joint movement. This isometric condition was designed to get closer to a situation in which an amputee controls a myoelectric prosthesis using electrical activity (EMG) of his/her residual muscles, without movement of the missing limb. During aiming movements, we demonstrated the benefits of adapting the decoder that translate muscle activities into cursor movement in conjunction with the own subject’s adaptation of the planned movement direction in response to oriented perturbations. Furthermore, these benefits were showed to be even more important as the artificial decoder adaptation was inspired by the modeled adaptation of a human. In reaching and tracking movements toward fixed and moving targets, which increasingly involve online movement regulations, we revealed the importance of an immediate congruency between sensorimotor information and the cursor position on the screen for timely and efficient corrections. For conditions in which the level of noise associated with the control signal is relatively low, such as when using force that is more stable than the usual EMG signal used, this congruency partly explains the better performance obtained with zero order control (i.e. position) when compared to first order control (i.e. velocity). However, when the noise level increases, as is the case with EMG signals, the filtering property associated with the integration involved in a velocity control elicits better performances than with a position control. Taken together, these results suggest that intuitive and adaptive decoder, that supplies and judiciously complements natural sensorimotor feedback loops, is promising to facilitate future prosthesis controls.

Les constructeurs automobiles proposent un vaste éventail de fonctions secondaires à la conduite, en relation avec le GPS, la musique, ou encore la ventilation. L'ensemble de ces fonctions est centralisé sur un écran accessible au centre de l'habitacle, équipé d'une dalle tactile dans nombre de véhicules récents. Cependant, leur manipulation en conduite peut se révéler périlleuse : la sollicitation de la modalité visuelle pour interagir avec l'interface peut entraîner une baisse de vigilance vis-à-vis de la tâche de conduite, ce qui peut mener à des situations dangereuses. Au cours de cette thèse, fruit d'une collaboration entre le Groupe PSA et le laboratoire PRISM, nous nous sommes attachés à proposer une association de gestes et de sons comme alternative à une sollicitation visuelle. Le but est de proposer des interactions réalisables en aveugle, pour permettre au conducteur de focaliser ses yeux sur la route. Pour réaliser conjointement une manipulation de l'interface et une tâche de conduite, une sollicitation multisensorielle peut en effet permettre de faire baisser la charge mentale du conducteur, en comparaison à une situation unimodale visuelle. Pour que le lien entre les gestes et les sons paraisse naturel, un objet virtuel a été introduit, manipulable grâce à des gestes. Cet objet est le support des stratégies de sonification, par analogie aux sons de notre environnement, qui sont la conséquence d'une action sur un objet. L'objet virtuel permet également de structurer différents gestes autour d'une même métaphore, ou encore de redéfinir le menu d'une interface. La première partie de cette thèse est consacrée à la mise au point de stratégies de sonification pour transmettre des informations pertinentes sur la dynamique de l'objet virtuel. Deux expériences perceptives ont été mises en place, qui ont conduit à la discrimination de deux stratégies de sonification intéressantes. Dans une deuxième partie, nous avons œuvré à la mise en situation automobile par un travail sur les stimuli sonores, sur l'interface, et par l'étude de l'intégration multisensorielle. Un design des stratégies de sonification a été proposé pour permettre de se projeter dans une utilisation en véhicule. Par la suite, les évocations provoquées par le couplage des gestes et des sons ont été au centre d'une troisième expérience perceptive. Cette étude a été effectuée en aveugle, où le concept d'objet virtuel était inconnu et découvert progressivement par les sujets. Ces images mentales véhiculées par les stratégies de sonification peuvent en effet être utiles lors de la familiarisation des utilisateurs avec l'interface. Une quatrième expérience perceptive s'est concentrée sur la prise en main de l'objet virtuel, où l'intégration des stimuli visuels et auditifs a été étudiée, dans le contexte du maniement d'une interface. Les sujets ont été placés dans des conditions similaires à la découverte de l'interface en véhicule à l'arrêt, avec des stimuli audio-visuels ; puis à son utilisation en aveugle grâce aux stratégies de sonification. Les enseignements de ces expériences ont permis de bâtir une interface gestuelle, qui a été comparée à une interface tactile dans une dernière expérience perceptive réalisée en simulateur de conduite. Bien que les résultats montrent une utilisation plus performante de l'interface tactile, l'association des gestes et des sons semble intéressante du point de vue de la charge cognitive des conducteurs. L'interface gestuelle peut donc offrir une alternative prometteuse ou un complément aux interfaces tactiles pour une utilisation simultanée à la conduite en toute sécurité. / Car manufacturers offer a wide range of secondary driving controls, such as GPS, music, or ventilation, often localized on a central touch-sensitive screen. However, operating them while driving proves to be unsafe: engaging the sense of sight for interface interaction can lead to vigilance reduction towards the driving task, which can lead to high-risk situations. In this PhD thesis, which is a part of a collaborative research project involving both the PSA Group and the PRISM laboratory, we aim to provide a gesture and sound association as an alternative to the visual solicitation. The goal is to enable blind interface interactions, allowing the driver to focus their eyes on the road. When jointly performing interface manipulations and the driving task, a multisensory solicitation can lower the driver's cognitive load, in comparison with a visual unimodal situation. For the gesture-sound association to feel more natural, a virtual object that can be handled with gestures is introduced. This object is the support for sonification strategies, constructed by analogy with sounds from our environment, which are the consequence of an action on an object .The virtual object also allows to structure different gestures around the same metaphor, or to redefine the interface's menu. The first part of this thesis deals with the development of sonification strategies, with the aim to inform users about the virtual object dynamic. Two perceptual experiments were set up, which led to the discrimination of two valuable sonification strategies. In a second part, the automotive application was addressed by designing new sound stimuli, the interface, and by studying the multisensory integration. Sounds were proposed for each of the two sonification strategies, to progress towards an in-vehicle integration. The evocations brought by the gestures and sounds association were the subject of a third perceptive blinded experiment. The concepts around the virtual object were unknown and gradually discovered by the subjects. These mental images conveyed by the sonification strategies can help users familiarize with the interface. A fourth perceptual experiment focused on the virtual object handling for first-time users, where the integration of audio-visual stimuli was studied, in the context of an interface manipulation. The experiment conditions were similar to the driver first discovering of the interface in a parked vehicle thanks to audio-visual stimuli, and then operating it through sonification strategies only. The results of this experiment lead to the design of a gestural interface, which was compared with the results obtained with a touchscreen interface in a final perceptual experiment, carried out in a driving simulator. Although the results show better performances for the tactile interface, the combination of gestures and sounds proved to be effective from the cognitive load point of view. The gesture interface can therefore offer a promising alternative or complement to tactile interfaces for a safe simultaneous use in driving condition.

Les systèmes de dialogue homme machine actuellement utilisés dans l’industrie sont fortement limités par une forme de communication très rigide imposant à l’utilisateur de suivre la logique du concepteur du système. Cette limitation est en partie due à leur représentation de l’état de dialogue sous la forme de formulaires préétablis.Pour répondre à cette difficulté, nous proposons d’utiliser une représentation sémantique à structure plus riche et flexible visant à permettre à l’utilisateur de formuler librement sa demande.Une deuxième difficulté qui handicape grandement les systèmes de dialogue est le fort taux d’erreur du système de reconnaissance vocale. Afin de traiter ces erreurs de manière quantitative, la volonté de réaliser une planification de stratégie de dialogue en milieu incertain a conduit à utiliser des méthodes d’apprentissage par renforcement telles que les processus de décision de Markov partiellement observables (POMDP). Mais un inconvénient du paradigme POMDP est sa trop grande complexité algorithmique. Certaines propositions récentes permettent de réduire la complexité du modèle. Mais elles utilisent une représentation en formulaire et ne peuvent être appliqués directement à la représentation sémantique riche que nous proposons d’utiliser.Afin d’appliquer le modèle POMDP dans un système dont le modèle sémantique est complexe, nous proposons une nouvelle façon de contrôler sa complexité en introduisant un nouveau paradigme : le POMDP résumé à double suivi de la croyance. Dans notre proposition, le POMDP maitre, complexe, est transformé en un POMDP résumé, plus simple. Un premier suivi de croyance (belief update) est réalisé dans l’espace maitre (en intégrant des observations probabilistes sous forme de listes nbest). Et un second suivi de croyance est réalisé dans l’espace résumé, les stratégies obtenues sont ainsi optimisées sur un véritable POMDP.Nous proposons deux méthodes pour définir la projection du POMDP maitre en un POMDP résumé : par des règles manuelles et par regroupement automatique par k plus proches voisins. Pour cette dernière, nous proposons d’utiliser la distance d’édition entre graphes, que nous généralisons pour obtenir une distance entre listes nbest.En outre, le couplage entre un système résumé, reposant sur un modèle statistique par POMDP, et un système expert, reposant sur des règles ad hoc, fournit un meilleur contrôle sur la stratégie finale. Ce manque de contrôle est en effet une des faiblesses empêchant l’adoption des POMDP pour le dialogue dans l’industrie.Dans le domaine du renseignement d’informations touristiques et de la réservation de chambres d’hôtel, les résultats sur des dialogues simulés montrent l’efficacité de l’approche par renforcement associée à un système de règles pour s’adapter à un environnement bruité. Les tests réels sur des utilisateurs humains montrent qu’un système optimisé par renforcement obtient cependant de meilleures performances sur le critère pour lequel il a été optimisé. / Dialog managers (DM) in spoken dialogue systems make decisions in highly uncertain conditions, due to errors from the speech recognition and spoken language understanding (SLU) modules. In this work a framework to interface efficient probabilistic modeling for both the SLU and the DM modules is described and investigated. Thorough representation of the user semantics is inferred by the SLU in the form of a graph of frames and, complemented with some contextual information, is mapped to a summary space in which a stochastic POMDP dialogue manager can perform planning of actions taking into account the uncertainty on the current dialogue state. Tractability is ensured by the use of an intermediate summary space. Also to reduce the development cost of SDS an approach based on clustering is proposed to automatically derive the master-summary mapping function. A implementation is presented in the Media corpus domain (touristic information and hotel booking) and tested with a simulated user.

L'implémentation d'un système intégrant la Programmation sur Exemple (PsE) demande au développeur de mettre à disposition de l'utilisateur final des outils d'assistance lors de la réalisation des tâches. Pour le développeur, cela passe par la mise à disposition des différents services à partir de l'interface utilisateur de l'application. Le système doit donc fournir des interfaces particulières, car non seulement l'objectif fonctionnel de l'application ne doit pas changer, mais surtout parce que les techniques de la PsE doivent être naturellement intégrées. Un système de PsE est difficile à implanter, et pourtant, la plupart possèdent des éléments en commun parmi lesquels on trouve une représentation des actions utilisateur, un historique des actions, et parfois un algorithme d'apprentissage symbolique opérant sur l'historique. Nous favorisons la création d'un tel système en fournissant les outils nécessaires sous forme d'une boîte à outils par extension de Swing. Les développeurs peuvent bâtir, avec un minimum d'effort, des applications mettant en ?uvre les techniques de la PsE. Les principaux services de base ont été identifiés et définis : enregistrement des actions utilisateur, rejeu des actions et des techniques utilisables pour la mise en ?uvre d'applications types. Ils ont été prototypés à travers l'outil PbDToolkit, ouvrant la voie vers la simplification de la mise en ?uvre des applications de PsE. En utilisant PbDToolkit, il n'est pas nécessaire d'implémenter les fonctionnalités de base car toutes les opérations y sont déjà implémentées avec la liberté d'usage et d'exploitation offerte aux développeurs. PbDToolkit est instrumenté pour permettre de vérifier la conformité d'une IHM à son modèle de tâches. Le concept établit un lien entre les tâches élémentaires du modèle de tâches et les actions de l'IHM. Ainsi, à l'exécution, un scénario est généré suivant le format de scénario de l'environnement K-MADe, outil de modélisation utilisé.

Les modèles numériques de terrains (MNT) permettent de représenter efficacement la topographie d'une zone géographique donnée. Ces MNT peuvent être issus d'une télé acquisition à l'aide de radars embarqués ou de levés manuels sur le terrain à l'aide d'un tachéomètre. Les MNT constituent le contexte thématique de cette thèse qui est composée en trois parties.<br /><br />Dans un premier temps, nous nous intéressons à la création de ces modèles à partir d'une source importante de données topographiques constituée par les cartes topographiques. Nous présentons une chaîne complète de traitements permettant de générer un MNT à partir d'une carte topographique numérisée. Nous détaillons particulièrement de nouvelles méthodes de reconstruction des courbes de niveaux et d'interpolation de ces courbes pour générer un MNT. Les différents travaux effectués dans cette thématique s'intègrent au sein de la plate-forme logicielle AutoDEM que nous avons développée durant cette thèse.<br /><br />Puis, dans une deuxième partie, nous présentons une nouvelle technique permettant de visualiser des MNT en 3D sur une large gamme de dispositifs allant de stations de travail reliées à de grands écrans jusqu'à des terminaux mobiles (TM) à faibles capacités tels que les PDA ou les téléphones portables. L'intérêt majeur de la technique présentée, qui repose sur un mode connecté client-serveur, réside dans l'adaptation dynamique du modèle 3D aux capacités d'affichage du terminal. Nous nous intéressons également à des techniques de rendu à distance et présentons deux techniques permettant d'offrir d'une part une visualisation interactive temps réel et d'autre part un panorama virtuel à l'utilisateur.<br /><br />Enfin, dans un troisième temps, nous décrivons des techniques nouvelles permettant à un utilisateur mobile disposant d'un TM de naviguer et d'interagir avec des données géographiques (cartes ou plans 2D et scènes 3D). La première est une technique d'interaction tangible et bi-manuelle reposant sur la détection par analyse du flux vidéo d'une cible décrivant un code couleur. La deuxième est une technique de sélection à deux niveaux adaptée aux TM ne disposant pas de dispositif de pointage continu.

Étude des aspects logiciels lies a la conception d'applications graphiques interactives

Présentation d'une synthèse des théories et techniques issues des sciences cognitives et de l'informatique. Dans une deuxième partie, un modèle d'architecture permettant d'intégrer aux logiciels interactifs les principes essentiels de l'ergonomie cognitive est propose. Un système interactif organise selon ce modèle repartit la gestion de l'interaction au sein d'agents spécialisés

Cette these s'inscrit dans le domaine de l'ingenierie des Interfaces Homme-Machine. Elle a pour theme la conception et la realisation des systemes interactifs. Parmi ces systemes, nous etudions les interfaces utilisateur qui integrent les aspects innovants de la technologie actuelle en communication homme-machine : les systemes a caracteristiques multiples. L'approche adoptee s'appuie sur une analyse conceptuelle des systemes e caracteristiques multiples en prenant en compte a la fois les activites du systeme et de lÕutilisateur. Cette etude nous conduit a distinguer des etapes dans les mecanismes d'abstraction et de concretisation des informations echangees entre l'utilisateur et le systeme que nous organisons en un canevas : l'espace Pipe-lines. De l'espace Pipe-lines, canevas integrateur des activites de l'utilisateur et du systeme, nous derivons une methode de raisonnement et de classification des systemes en fonction de leurs utilisations : la methode UOM. En adoptant comme fondement l'espace Pipe-lines, nous identifions les besoins pour la realisation logicielle. Nous proposons un modele d'architecture logicielle, PAC- Amodeus qui repond a ces besoins. Ce modele est complete d'un guide d'application constitue d'un ensemble de regles heuristiques que nous avons concretisees par un systeme expert PAC-Expert. En symbiose avec PAC-Amodeus, nous proposons un moteur de fusion des informations specifiees par l'utilisateur. De part ses criteres et sa technique de representation des informations, le moteur est generique. PAC-Amodeus correle au moteur de fusion constitue une plate-forme pour la realisation logicielle de systemes a caracteristiques multiples.

Cette thèse s'inscrit dans le domaine des Interfaces Homme-Machine (IHM). Elle s'articule autour de deux thèmes principaux qui sont la Spécification et la Gestion Automatique du Dialogue Homme-Machine.<br /><br />Le travail présenté est basé sur la méthode Diane+ conçue initialement pour la spécification du dialogue homme-machine. Diane+ repose sur la planification hiérarchique et intègre le niveau de l'utilisateur. Elle est utilisée pour spécifier la répartition des tâches entre l'homme et la machine tout en laissant une latitude décisionnelle à l'utilisateur. Cette spécification utilise un formalisme simple et concis prenant en compte les répartitions les plus complexes. Ce formalisme permet, à partir des spécifications, de :<br />• générer l'interface homme-machine en intégrant des règles d'ergonomie générale,<br />• générer une partie du code des traitements,<br />• gérer automatiquement la dynamique de l'application (noyau fonctionnel et interface homme-machine),<br />• gérer automatiquement l'aide d'utilisation, l'aide fonctionnelle étant quant à elle implémentée par le concepteur.<br />De par les origines de Diane+ et les caractéristiques des IHM, ce travail utilise conjointement le modèle tâche et le modèle objet.

Ce mémoire contribue à la thématique de l'évaluation des interfaces utilisateur. Il se base sur deux contributions pour l'évaluation de ces interfaces. La première consiste en un Framework se basant sur trois différentes techniques d'évaluation (le mouchard électronique, le questionnaire et l'inspection des règles ergonomiques). La seconde consiste en deux ensembles de composants graphiques pour la composition d'interfaces graphiques avec les environnements de développement intégral du type WYSIWYG. Le premier ensemble vise à inspecter la présentation statique de l'interface lors de la conception de cette dernière. Cette inspection s'effectue localement par le composant graphique lui-même par rapport à un ensemble de règles ergonomiques. Le second ensemble consiste à l'évaluation de l'interface utilisateur en analysant l'interaction entre l'utilisateur et l'interface. Cet ensemble de composants opère avec un mouchard dédié à cet usage. Une évaluation de ces deux contributions ainsi que des perspectives de recherche concluront ce présent mémoire.