La thèse traite du problème de la reconnaissance des gestes avec des accents particuliers orientés vers la modélisation des trajectoires de mouvement ainsi que vers l’estimation de la variabilité présente dans l’exécution gestuelle. Les gestes sont acquis dans un scénario typique pour la vision par ordinateur qui approche les particularités des surfaces interactives. On propose un modèle flexible pour les commandes gestuelles à partir d’une représentation par courbes splines et des analogies avec des éléments de la théorie d’élasticité de la physique classique. On utilise les propriétés du modèle pour la reconnaissance des gestes dans un contexte d’apprentissage supervisé. Pour adresser le problème de la variation présente dans l’exécution des gestes, on propose un modèle qui mesure dans une manière quantitative et objective les tendances locales que les utilisateurs sont tentés d'introduire dans leurs exécutions. On utilise ce modèle pour proposer une solution à un problème reconnu comme difficile dans la communauté : la segmentation automatique des trajectoires continues de mouvement et l’identification invariante a l’échelle des commands gestuelles. On démontre aussi l’efficacité du modèle pour effectuer des analyses de type ergonomique pour les dictionnaires de gestes. / We address in this thesis the problem of gesture recognition with specific focus on providing a flexible model for movement trajectories as well as for estimating the variation in execution that is inherently present when performing gestures. Gestures are captured in a computer vision scenario which approaches somewhat the specifics of interactive surfaces. We propose a flexible model for gesture commands based on a spline representation which is enhanced with elastic properties in a direct analogy with the theory of elasticity from classical physics. The model is further used for achieving gesture recognition in the context of supervised learning. In order to address the problem of variability in execution, we propose a model that measures objectively and quantitatively the local tendencies that users introduce in their executions. We make use of this model in order to address a problem that is considered hard by the community: automatic segmentation of continuous motion trajectories and scale invariant identification of gesture commands. We equally show the usefulness of our model for performing ergonomic analysis on gesture dictionaries.

Reproduction de : Thèse de doctorat : Sciences cognitives. Informatique : Lyon 2 : 2006. / Titre provenant de l'écran-titre. Bibliogr. Annexes.

Reproduction de : Habilitation à diriger des recherches : Informatique : Lille 1 : 2005. / Synthèse des travaux. Curriculum vitae. Recueil d'articles en anglais non reproduit dans la version électronique. N° d'ordre (Lille 1) : 477. Titre provenant de la page de titre du document numérisé. Bibliogr. à la suite de chaque chapitre. Liste des publications et communications.

reproduction de : Thèse de doctorat : Informatique et application : Poitiers : 2008. / Titre provenant de l'écran-titre. Bibliogr. 92 réf.

: Objet d'étude pour plusieurs disciplines, l'interface numérique se présente comme un objet hétérogène : un dialogue humain-ordinateur, le reflet d’un modèle mental, un instrument, un ensemble de signes sémiotiques… Toutes ces dimensions, traitées individuellement par les approches disciplinaires, n’ont jamais été rassemblées dans un cadre paradigmatique commun. Cette thèse soutient que l’interface, en tant qu’objet d’étude complexe, doit être abordée dans un cadre capable de traiter cette complexité. Elle propose de le faire par la systémique communicationnelle et de poser la réflexion, non pas en termes d’attributs de qualité de l’interface (utilisabilité, communicabilité, convivialité…), mais en termes de significations. Cela implique de centrer le modèle sur l’humain et fournit une vision intégrée, non parcellisée, de l’interface permettant de concevoir de nouvelles interfaces, de les implémenter dans des contextes et des modalités sensorielles diverses.Le modèle trifocal est ainsi une approche systémique de la communication via l’interface. Il étudie les rapports de l’usager à la machine, à l’objet de son activité et au concepteur, ainsi que les propriétés émergentes de ce système. Le modèle trifocal fournit une description de l’interface transposable d'une modalité à une autre. Il permet, d’une part, l’étude de la signification d’interfaces non visuelles et, d’autre part, la traduction d’interfaces d’une modalité dans une autre. Le modèle trifocal jette un regard nouveau sur la conception d’interfaces accessibles puisqu’il complète les méthodes existantes avec des nouvelles dimensions d’analyse. / Object of study for several disciplines, digital interfaces appear as a heterogeneous object: a human-computer dialogue, a reflection of a mental model, an instrument, a set of semiotic signs ... All these dimensions, addressed individually by disciplinary approaches, have never been gathered in a common paradigmatic framework. This thesis argues that interfaces, as a complex object of study, must be addressed in a framework capable of dealing with this complexity. It proposes to do so by the Systemic Communication Theory and to think about not in terms of interface quality attributes (usability, communicability, conviviality...) but in terms of meanings. This implies a human-centered model and provides an integrated point of view enabling the design of new interfaces as well as their implementation in numerous contexts and sensory modalities.The trifocal model is thus a systemic approach to communication via the interface. It studies the relationships between user and machine, between user and object of his activity and between user and designer, as well as emergent properties of the system. The trifocal model provides an interface description transposable from one modality to another. It allows, on one hand, to study the meaning of non-visual interfaces and, on the other, to translate interfaces from one modality to another. The trifocal model takes a fresh look on designing accessible interfaces since it complements existing methods with new analytical dimensions.

Les interfaces utilisateur intelligentes (IUI) est un domaine de recherche relativement jeune et pluridisciplinaire, car il fait appel à l'ingénierie des connaissances et au domaine des interfaces personne-machine. Nous avons choisi un cadre spécifique, les environnements informatisés dédiés à l'apprentissage humain (EIAH), pour ainsi bien cibler nos recherches. En étudiant la documentation scientifique sur les IUI dans des EIAH, nos recherches ont montré qu'il y a absence de modèle pour construire des IUI efficaces. Pour remédier ce problème, nous proposons un modèle générique d'IUI qui intègre cinq composantes d'interface pour améliorer les EIAH. Ce modèle a été construit à partir de l'étude des critères d'évaluation d'interfaces et de l'étude d'IUI dans des EIAH existantes. Ce modèle a pour but de créer des IUI qui répondent mieux aux besoins des utilisateurs, qui améliorent l'interaction entre l'humain et la machine, et donc aident les personnes dans leur apprentissage. De plus, il se veut un guide afin de faciliter la conception de ces IUI. Ce modèle a été mis à l'épreuve par une évaluation heuristique par des experts afin de démontrer que notre modèle atteint bien ses objectifs. L'intégration des cinq composantes rend les IUI plus efficaces et de meilleure qualité et leur description peut facilement être réutilisable pour toute autre conception d'IUI de EIAH. Cependant, la mise à jour régulière du modèle s'avère nécessaire et une description plus formelle des composantes pourraient être proposées.

Les technologies d’assistance jouent un rôle important dans le quotidien des personnes en situation de handicap, notamment dans l’amélioration de leur autonomie de vie. Certaines d’entre elles à l’exemple des fauteuils roulants motorisés et autres bras robotiques articulés, requièrent une interaction au moyen d’interfaces dédiées capables de traduire l’intention de l’utilisateur. Les individus dont le niveau de paralysie confère de bonnes capacités résiduelles arrivent à interagir avec les interfaces de contrôle nécessitant une intervention mécanique et un certain niveau de dextérité (joysitck, boutons de contrôle, clavier, switch, souris etc). Cependant, certains types de handicap (lésion ou malformation médullaire, paralysie cérébrale, traumatismes à la suite d’un accident, absence congénital de membres du haut du corps, etc) peuvent entraîner une perte d’autonomie des doigts, des avant-bras ou des bras, rendant impossibles le recours à ces outils de contrôle. Dès lors, il est essentiel de concevoir des solutions alternatives capables de pallier ce manque. Partout à travers le monde, des chercheurs réalisent des prouesses technologiques et conçoivent des interfaces corps-machine adaptés à des handicaps spécifiques. Certaines d’entre elles utilisent les signaux bio-physiologiques (électromyoraphie (EMG), électroencéphalographie (EEG), électrocorticographie (ECoG), électrocculographie (EOG)), image de l’activité musculaire, cérébrale et occulographique du corps humain, qu’elles traduisent en moyens de contrôle relatifs à un mouvement, une intention formulée par le cerveau, etc. D’autres se servent de capteurs d’image capable d’être robuste dans un environnement donné, pour traduire la direction du regard, la position de la tête ou l’expression faciale en vecteurs de contrôle. Bien qu’ayant fait montre de leur efficacité, ces techniques sont parfois trop coûteuses, sensibles à l’environnement dans lequel elles sont utilisés, peuvent être encombrantes et contre-intuitives, ce qui explique le gap existant entre les besoins réels, la recherche et le marché des solutions de contrôle alternatives disponibles. Ce projet propose un “framework” embarqué, permettant d’interfacer différents types de modalités de mesure des capacités résiduelles des patients, au sein d’un réseau de capteurs corporels sans-fils multimodales. Son architecture est conçue de façon à pouvoir prendre en compte différents types de handicap et octroyer une large gamme de scénarios de contrôle pouvant s’adapter facilement aux aptitudes physiques de son utilisateur. In fine, l’interface corps-machine que ce projet propose, explore des approches nouvelles, se voulant pallier aux limitations des solutions existantes et favoriser l’autonomie de vie des individus en situation de handicap. / Assistive technologies play an important role in the day-to-day lives of people with disabilities, in particular in improving their autonomy. Tools such as motorized wheelchairs, assistive robotic arms, etc, require interaction through dedicated interfaces capable of translating the user’s intention. Individuals whose level of paralysis allows good residual abilities can interact with control interfaces requiring mechanical intervention and a good level of dexterity (joysitck, control buttons, keyboard, switch, mouse etc). However, certain types of disability (spinal cord injury or malformation, cerebral palsy, trauma following an accident, congenital absence of upper body limbs, etc.) may result in loss of autonomy of the fingers, forearms or arms, making it impossible to use these control tools. Therefore, it is essential to design alternative solutions to overcome this lack. Researchers around the world are realizing technological prowess by designing body-machine interfaces adapted to specific handicaps. Some of them use bio-physiological signals (electromyography (EMG), electroencephalography (EEG), electrocorticography (ECoG), electrocculography (EOG)), images of the muscular, cerebral and occulographic activity of the human body, for translation into means of control with respect to a movement, an intention formulated by the brain, etc. Others use image sensors that can be robust in a given environment, to translate the direction of gaze, the position of the head, or facials expressions, into control vectors. Although they were proved to be efficient, these techniques are sometimes too expensive, sensitive to the environment in which they are used, can be cumbersome and counter-intuitive, which explains the gap between existing needs, research and development, and the market of commercially available alternative control solutions. This project provides a "framework" that enables the design of flexible, modular, adaptive and wearable body-machine interfaces for the severely disabled. The proposed system, which implements a wireless and multimodal body sensor network, allows for different types of modalities the measure the residual capacities of individuals with severe disabilities for translation into intuitive control commands. The architecture is designed to accommodate different types of disabilities and provide a wide range of control scenarios. Ultimately, the body-machine interface that this project proposes, explores new approaches, aiming to overcome the limitations of existing solutions and to promote the autonomy of life of individuals with disabilities.

La modélisation de dialogue humain-machine est un domaine de recherche qui englobe plusieurs disciplines telles que la philosophie, les sciences cognitives et sociales, et l’informatique. Elle a pour but de reproduire la capacité humaine afin d’apprendre des stratégies optimales de dialogue. De plus, elle vise à concevoir et à évaluer des systèmes de gestion de dialogue ou d’étudier plus en détails la nature des conversations. Par ailleurs, peu de modèles de simulation de dialogues existants ont été jugé bons. Ce mémoire présente un modèle de Markov caché qui prédit l’action de l’utilisateur dans les systèmes de dialogue étant donné l’action du système précédente. L’apprentissage du modèle a été réalisé selon une approche d’apprentissage non supervisé en utilisant différentes méthodes de la validation croisée. Quant à l’évaluation du modèle, elle a été faite en utilisant différentes métriques. Les résultats de l’évaluation ont été en dessous des attentes mais tout de même satisfaisants par rapport aux travaux antérieurs. Par conséquent, des avenues de recherches futures seront proposées pour surpasser cette problématique. Mots-clés : traitement de la langue naturelle, dialogue oral homme-machine, modèle de Markov caché, apprentissage non supervisé, validation croisée. / Modeling human-machine dialogue is a research area that encompasses several disciplines such as philosophy, computer science, as well as cognitive and social sciences. It aims to replicate the human ability to learn optimal strategies of dialogue. Furthermore, it aims to design and evaluate management systems for dialogue, and to study the nature of the conversations in more detail. Moreover, few simulation models of existing dialogues were considered good. This thesis presents a hidden Markov model that predicts the action of the user in dialogue systems on the basis of the previous system action. The learning model has been realized through an approach to unsupervised learning using different methods of cross validation. As for model evaluation, it has been done using different metrics. The evaluation results were below expectation. Nonetheless, they are satisfactory compared to previous work. Ultimately, avenues for future research are proposed to overcome this problem. Keywords: natural language processing, spoken dialogue human-machine, Hidden Markov Model (HMM), unsupervised learning, cross validation.

Thèse de doctorat : Celtique : Rennes 2 : 2006. / Bibliogr. f. 471-473. Annexes.

Le prototypage est une étape essentielle du processus de design. Pendant les premières phases du processus de conception, les designers utilisent le prototypage rapide pour explorer diverses idées. Les outils et techniques actuels de prototypage se concentrent en particulier sur des représentations papier et donc destinées à être jetées. Or, alors que ces prototypes jetables peuvent être créés rapidement, ils se prêtent mal au processus d'itération. Je propose donc de créer des outils de prototypage rapide qui puissent efficacement supporter la création d'artéfacts à la fois jetables et réutilisables pour esquisser de nouvelles interactions dans les premières phases du processus de design. La première partie porte sur le prototypage vidéo. Les designers font face à deux écueils majeurs à l'utilisation de la vidéo en design d'interaction: le temps nécessaire pour filmer et celui nécessaire pour éditer. J’ai développé VideoClipper pour aider le processus de création de vidéo. Cet outil intègre une méthode de design itérative qui encourage la planification et permet une vraie flexibilité pendant la création de prototypes. Je présente les résultats d'une étude utilisateur informelle de trois semaines avec des étudiants en design d'interaction. Les résultats suggèrent que les participants passent moins de temps à capturer et éditer avec VideoClipper qu'avec les autres outils vidéos. En revanche, ils trouvent parfois difficile de créer des stop-motions pour représenter des interactions continues et de re-filmer de nouveaux segments lorsque le design évolue. J'ai ensuite crée Montage, un outil de prototypage vidéo qui permet aux designers de progressivement augmenter leurs prototypes papier avec des maquettes numériques pour faciliter la création, la réutilisation et l'exploration d'interactions dynamiques. Montage utilise l'incrustation vidéo pour découpler l'interface du prototype de son contexte d'utilisation, permettant aux designers de les réutiliser ou de les modifier indépendamment. Je décris comment Montage améliore le prototypage vidéo en combinant la vidéo avec des maquettes numériques animées et encourage l'exploration d'autres contextes d'utilisation tout en permettant le prototypage de styles d'interaction différents. La deuxième partie porte sur l’implémentation de prototypes interactifs. Les designers et développeurs professionnels ont souvent du mal à effectuer la transition de la représentation du design à son implémentation concrète. Avec N. Maudet, j'ai mené trois études sur la conception et l'implémentation d'interactions non-conventionnelles pour comprendre l'écart entre les processus, les outils et les représentations des designers et des développeurs. Nous avons découvert que les pratiques actuelles entraînent des redondances entre le travail des designers et celui des développeurs et des divergences entre le design et son implémentation. Nous identifions trois types de problèmes: l'omission de détails critiques, l'ignorance des cas extrêmes et la non prise en compte des limitations techniques. Je propose quatre principes de design pour créer des outils qui limitent ces problèmes. Ces principes sont utilisés pour créer Enact, un environnement interactif de prototypage d'interactions tactiles. Les résultats de deux études suggèrent que Enact aide les participants à détecter plus de cas extrêmes, augmente la participation des designers et offre de nouvelles possibilités de co-création. Ces trois outils de prototypage reposent sur les mêmes principes théoriques sous-jacent: réification, polymorphisme, réutilisation et substrats d'information. De même, les outils présentés mettent en œuvre une approche du prototypage que je nomme “Takeaway Prototyping” ou prototypage recyclable. Par contraste avec les prototypes jetables, les outils pour le prototypage recyclable permettent le design par énaction et réifient des artefacts de conception pour matérialiser la progression du design. / Prototyping is essential in any design process. During the early stages, designers rely on rapid prototyping to explore ideas. Current rapid prototyping tools and techniques focus on paper representations and their disposability. However, while these throwaway prototypes are quick to create they are difficult to iterate over. I argue that rapid prototyping tools can effectively support reusable as well as throwaway artifacts for sketching interaction in early-stage design. First, I investigate tools in the context of video prototyping. Designers experience two main barriers to use video in interaction design: the time to capture and edit the video artifacts. To aid during the capturing-phase of video prototyping I created VideoClipper. This tool embodies an integrated iterative design method that rewards discipline but permits flexibility for video prototyping. The tool provides a storyboard-style overview to organize multiple videos in story Lines. VideoClipper offers editable and reusable TitleCards, video capture for steady-state and rough stop-motion filming and the ability to recombine videos in new ways for redesign. I present informal user studies with interaction design students using VideoClipper in three design courses. Results suggest that participants spend less time capturing and editing in VideoClipper than with other video tools. However, many designers find tedious to create stop-motion videos for continuous interactions and to re-shoot clips as the design evolves. Participants continuously try to reduce re-shooting by reusing backgrounds or mixing different levels of fidelity. Inspired by this behavior, I created Montage, a prototyping tool for video prototyping that lets designers progressively augment paper prototypes with digital sketches, facilitating the creation, reuse and exploration of dynamic interactions. Montage uses chroma keying to decouple the prototyped interface from its context of use, letting designers reuse or change them independently. I describe how Montage enhances video prototyping by combining video with digital animated sketches, encourages the exploration of different contexts of use, and supports prototyping of different interaction styles. Second, I investigate how early designs start being implemented into interactive prototypes. Professional designers and developers often struggle when transitioning from the illustration of the design to the actual implementation of the system. In collaboration with Nolwenn Maudet, I conducted three studies that focused on the design and implementation of custom interactions to understand the mismatches between designers' and developers' processes, tools and representations. We find that current practices induce unnecessary rework and cause discrepancies between design and implementation and we identify three recurring types of breakdowns: omitting critical details, ignoring edge cases, and disregarding technical limitations. I propose four design principles to create tools that mitigate these problems: Provide multiple viewpoints, maintain a single source of truth, reveal the invisible and support design by enaction. We apply these principles to create Enact, an interactive live environment for prototyping touch-based interactions. We introduce two studies to assess Enact and to compare designer-developer collaboration with Enact versus current tools. Results suggest that Enact helps participants detect more edge cases, increases designers' participation and provides new opportunities for co-creation. These three prototyping tools rely on the same underlying theoretical principles: reification, polymorphism, reuse, and information substrates. Also, the presented tools outline a new prototyping approach that I call "Takeaway Prototyping". In contrast to throwaway prototypes, instead of emphasizing disposability, tools for "Takeaway Prototyping" support design by enaction and reify design artifacts to materialize the lessons learned.