Dans le contexte de la génération synthétique et le décodage d'informations linguistiques, non seulement le composant auditif mais aussi le composant visuel de la parole transmettent de l'information précieuse. Nous étudions le regard en tant qu´élément crucial pour enrichir la parole et fournir des informations supplémentaires. Le regard est un geste déictique très important, ainsi il influence de manières variées l'organisation du dialogue et de l'interaction sociale. Dans une première expérience nous étudions comment le regard d'une tête parlante peut être employé comme geste déictique dans un jeu de recherche et sélection sur un écran d'ordinateur. Nous avons trouvé que ces gestes sont capables de réduire le temps de réaction ainsi que la charge cognitive. Cet effet est accentué quand le geste est de caractère multimodal, utilisant la parole de manière adaptée. Dans une deuxième expérience nous avons étudié le rapport entre le regard d'un sujet cible et les différents éléments d'une interaction dialogique. Nous avons défini différents segments dans l'échange d'information dialogique et avons trouvé qu´ils sont liés aux variations du comportement du regard mesuré. Basé sur ces résultats nous proposons un modèle pour le contrôle du regard d'un agent conversationnel animé dans l'interaction face-à-face.
| Identifer | oai:union.ndltd.org:CCSD/oai:tel.archives-ouvertes.fr:tel-00369479 |
| Date | 02 April 2008 |
| Creators | Raidt, Stephan |
| Source Sets | CCSD theses-EN-ligne, France |
| Language | English |
| Detected Language | French |
| Type | PhD thesis |
Page generated in 0.0036 seconds