Les interfaces multimodales se caractérisent par la multiplicité des modalités d'interaction et leurs combinaisons. Ces modalités d'interaction atomiques ou combinées sont offertes à l'utilisateur pour interagir avec un système (modalités en entrée) ou exploités par le système pour fournir des informations (modalités en sortie). L'interaction multimodale en entrée ne se limite plus aujourd'hui à la combinaison de la parole et du geste : de nombreuses modalités d'interaction, comme les interactions multi-doigts et bi-manuelles, le suivi du regard ou les interfaces tangibles, ouvrent un vaste espace de possibilités pour la multimodalité. Face à ce constat, il est donc important de pouvoir explorer efficacement l'espace de possibilités lors de la conception d'interfaces multimodales : nos travaux visent à définir des solutions conceptuelles et logicielles pour l'exploration des possibilités en termes d'interactions multimodales en entrée. Nous présentons ainsi une approche à composants pour la conception et le prototypage fonctionnel et/ou non fonctionnel d'interfaces multimodales en entrée. Nous adoptons une approche par flots de données, reposant sur un assemblage de composants qui décrit l'interaction multimodale en entrée pour une tâche utilisateur donnée. Nos contributions sont conceptuelles et logicielles. Notre contribution conceptuelle consiste en un espace de caractérisation de composants logiciels pour la multimodalité en entrée. Cet espace permet de caractériser les composants logiciels au sein de l'assemblage de composants qui décrit une interaction multimodale. Il offre au concepteur un cadre conceptuel afin de lui permettre de décrire précisément des alternatives de conception. Notre contribution logicielle consiste en un outil de prototypage basé sur un modèle à composants qui implémente notre espace de caractérisation (notre contribution conceptuelle). L'outil permet au concepteur de créer et d'exécuter un assemblage de composants définissant une interaction multimodale. Nous avons développé de nombreux prototypes multimodaux sur PC et sur téléphones mobiles à l'aide de cet outil, qu'ils soient fonctionnels ou en partie simulés par un compère humain selon une approche Magicien d'Oz. Ces prototypes mettent en oeuvre une grande variété de modalités d'interaction comme des gestes 2D et 3D, le pointage 3D, la voix, les mouvements de la tête, les mouvements du corps, la géolocalisation ou encore des interactions tangibles.
| Identifer | oai:union.ndltd.org:CCSD/oai:tel.archives-ouvertes.fr:tel-01017242 |
| Date | 30 June 2010 |
| Creators | Serrano, Marcos |
| Publisher | Université de Grenoble |
| Source Sets | CCSD theses-EN-ligne, France |
| Language | fra |
| Detected Language | French |
| Type | PhD thesis |
Page generated in 0.0026 seconds