Reproduction de : Thèse de doctorat : Sciences de l'information et de la communication : Paris 8 : 2007. / Titre provenant de l'écran-titre. Bibliogr. p. 275-289. Bibliogr. de l'auteur p. 291-292.

Mémoire (M.Ed.)-- Université du Québec à Chicoutimi, 1994. / Document électronique également accessible en format PDF. CaQCU

Thèse (Ph.D.)--Université Laval, 1997. / Titre de l'écran-titre. Publié aussi en version électronique.

Th. doct.--Inform. et réseaux--Paris--ENST, 1995. / Notes bibliogr. Glossaire. Résumé en français et en anglais.

L'apprentissage de geste est un processus complexe, impliquant de nombreux processus sous-jacents (psychomoteurs, cognitifs, biophysiques). Cet apprentissage peut être divisé en plusieurs grandes phases, définies par la capacité de l'apprenant à produire et à percevoir son geste. A l'instar d'un formateur adaptant son discours et son attitude à l'apprenant, un environnement d'apprentissage doit pouvoir adapter les aides qu'il fournit, d'une part en analysant l'état de l'apprenant, et d'autre part en prédisant les aides qui bénéficieront à son apprentissage. Nous proposons une approche modélisant les interactions entre l'apprenant et l'environnement d'apprentissage; c'est-à-dire l'évolution de l'état de l'apprenant en fonction des configurations successives de l'environnement, permettant une adaptation automatique et dynamique de la sélection d'aides. En s'appuyant sur des travaux portant sur la reconnaissance de gestes et les tuteurs intelligents, nous proposons un cadre formel permettant de représenter la qualité de l'activité gestuelle dans un espace métrique. Cette représentation interprète les résultats issus de modèles probabilistes comme des variables floues illustrant le niveau de l'apprenant sur chacune des dimensions du geste. Nous représentons l'environnement comme l'ensemble des actions possibles, chaque action étant représentée par un vecteur de paramètres estimant la situation dans laquelle l'action est la plus pertinente. Dans un premier temps, ces paramètres sont fixés par des experts, et nous considérons cette expertise comme parfaite. Dans un second temps, nous étudions une problématique omniprésente dans les domaines des environnements d'apprentissage, qui fait état de l'écart entre l’expertise et la réalité. Les domaines "mal définis" sont en effet répandus, du fait du coût et de la difficulté à réunir des experts, et de la complexité inhérente à la définition précise d'un domaine. Ne considérant plus le seul avis des experts, le processus de sélection d 'aides peut alors être vu comme une séquence de décisions dont l'objectif est de proposer à chaque itération l'action qui maximisera le gain en matière d'apprentissage. En s'appuyant sur des travaux récents portant sur les séquences de décisions, notre approche considère le processus de sélection d'aides comme un problème de bandit. Le problème de bandit vise à maximiser un gain lors d'une séquence de décisions, et modélise le compromis entre exploration (choisir une action dont l'influence est inconnue), et exploitation (choisir la meilleure action connue). Nous proposons dans ce cadre une extension des méthodes SoftMax. L'implémentation de notre modèle sur une plateforme d'apprentissage de la calligraphie a été réalisée dans le cadre d'une collaboration avec des experts de ce domaine. Nous montrons, au travers de deux cas d’étude, l'intérêt de notre modèle pour l'apprentissage de la calligraphie. Dans le premier cas d’étude, l'adaptation est construite depuis notre représentation du geste, et un ensemble de règles fixées par des experts. Nous y montrons l'avantage apporté par l'apport d'une diversité d'aides. Dans le second cas d'étude, nous comparons deux types d 'adaptation : une adaptation basée sur des règles, et une adaptation basée sur notre approche dynamique. Nous montrons les différences entre ces deux approches, et illustrons les avantages de l'approche dynamique lorsque les règles sont imprécises. / Gesture learning is a complex and multi-step process where trainees are supposed to improve several psychomotor and cognitive skills. This process can be divided into phases depending on trainees’ ability to perform and perceive their gestures. As human tutors adapt their behavior according to their perception and understanding of trainees learning situations' a learning environment should select an appropriate behavior from a representation of trainees’ learning states and a prediction of the potential influence of every possible behavior. The work presented in this document describes an approach modeling the interactions between a trainee and a learning environment: it represents trainees’ consecutive performances and the influence of the environment on these performances. This approach aims at permitting an adaptive selection of the pedagogical actions (i.e. behaviors) implemented in the environment. Relying on related works in the domains of gesture recognition and intelligent tutoring systems, we propose to represent the gestural activity in a metric space. This representation interprets results from a probabilistic mode as fuzzy variables highlighting trainees' level on every aspect of the gesture. We represent the environment as the set of actions it can select, every action being represented by a feature vector describing the learning situation maximizing the action's influence. As a first step, these features are given by a set of experts, and we consider the rules provided as perfect. As a second step, we study an ubiquitous issue in the field of learning environments, which is the difference between the rules provided by experts and the reality of trainees’ needs toward feedback. Ill-defined domains are indeed more and more common, as collecting expert knowledge is difficult and costly, and as studied learning domains are becoming more and more complex and difficult to define. In this second step, the selection process does not rely on expert knowledge, and this process can be seen as a sequence of decisions. At each iteration, the goal is thus to select the action which would maximize the reward in terms of benefits for trainees' learning. The action selection process is represented as a multi-armed bandit problem, where the goal is to compromise between exploration of unknown actions and exploitation of known actions. We present an extension of SoftMax methods which handles multi-dimensional contextual rewards. Taking advantage of the collaboration with calligraphy experts, a calligraphy training platform was implemented as part of this work. Two studies, where participants train on this platform, show the benefits of the proposed approach on calligraphy learning. In a first experiment, action selection is based on expert rules, and we show that providing a diversity of feedback improves skill acquisition. In a second experiment, we compare two configurations of the environment: a selection of actions based on expert rules, and a selection of actions based on the SoftMax method. We describe the difference between the influence of these two approaches on trainees' learning, and we point out the benefits of using dynamic rules.

La base de données est un outil omniprésent dans nos vies, qui est impliquée dans un grand nombre de nos activités quotidiennes. Conçue comme système technique destiné à rendre la gastion des informations plus efficace, et comme support de stockage privilégié, la base de données, avec son utilisation dans de multiples contextes, a acquis une importance dont les implications esthétiques et politiques vont au-delà des questions techniques.La recherche à la fois théorique et pratique étudie la base de données comme un moyen expressif et poétique de création, et met en évidence ses caractères spécifiques, notamment la discrédisation des données et leur mise en relation flexible. Le terme d'aura utilisé par Walter Benjamin pour analyser les transformations de l'expérience esthétique engendrées par la rationalité industrielle et la technique à la fin du dix-neuvième siècle, est reconsidérée afin de formuler une poétique de la base de données. La partie pratique de notre recherche comporte deux projets interactifs fondés sur les principes poétiques élaborés au cours de cette thèse. / Database are ubiquitous in our lives and play an important rôle in many aspects of our daily activities. Conceived as a technical support to facilitate the efficient management of information and as the preferred means of storage, the database has gained a level of importance with aesthetic and political implications that go far beyond purely technical questions.Both theorical and practical in its approach, our research investigates the database as a means of expressive and poetic creation and reveals its specific character, in particular the discretization of data and the establishment of flexible relationships between them. In order to develop a poetics of the database we will reconsider the term « aura », which was utilized by walter Benjamin to analyse the transformations of the nature of aesthetic experience brought about by industrial rationalisation and technology at the end of the nineteenth century. The practical part of our research consists of two interactive projects based on the poetic principles elaborated in context of this dissertation.

Cette thèse s'intéresse à la plasticité des interfaces de Réalité Mixte (RM), c'est-à-dire les applications de Réalité Virtuelle (RV), Réalité Augmentée (RA) et de Virtualité Augmentée (AV). Il y a un réel engouement aujourd’hui pour ce type d’applications notamment grâce à la démocratisation des périphériques tels les lunettes et casques immersifs, les caméras de profondeur et les capteurs de mouvement. La Réalité Mixte trouve notamment ses usages dans le divertissement, la visualisation de données, la formation et la conception en ingénierie. La plasticité d'un système interactif est sa capacité à s'adapter aux contraintes matérielles et environnementales dans le respect de son utilisabilité. La continuité de l'utilisabilité d'une interface plastique est assurée quel que soit le contexte d'usage. Nous proposons ainsi des modèles et une solution logicielle nommée 3DPlasticToolkit afin de permettre aux développeurs de créer des interfaces de Réalité Mixtes plastiques. Tout d'abord, nous proposons trois modèles pour modéliser les sources d'adaptation : un modèle pour représenter les dispositifs d'interaction et les dispositifs d'affichage, un modèle pour représenter les utilisateurs et leurs préférences et un modèle pour représenter la structure et la sémantique des données. Ces sources d'adaptation vont être prises en compte par un processus d'adaptation qui va déployer dans une application les composants applicatifs adaptés au contexte d'usage grâce à des mécanismes de notation. Le déploiement de ces composants va permettre d'adapter à la fois les techniques d'interaction de l'application et également la présentation de son contenu. Nous proposons également un processus de redistribution qui va permettre à l'utilisateur final de changer la distribution des composants de son système sur différentes dimensions : affichage, utilisateur et plateforme. Ce processus va ainsi permettre à l'utilisateur de changer de plateforme dynamiquement ou encore de combiner plusieurs plateformes. L'implémentation de ces modèles dans 3DPlasticToolkit permet de fournir aux développeurs une solution prête à l'usage qui peut gérer les périphériques actuels de Réalité Mixte et qui inclut un certain nombre de techniques d'interaction, d'effets visuels et de métaphores de visualisation de données. / This PhD thesis focuses on plasticity for Mixed Reality (MR) User interfaces, which includes Virtual Reality (VR), Augmented Reality (AR) and Augmented Virtuality (AV) applications. Today, there is a growing interest for this kind of applications thanks to the generalization of devices such as Head Mounted Displays, Depth sensors and tracking systems. Mixed Reality application can be used in a wide variety of domains such as entertainment, data visualization, education and training, and engineering. Plasticity refers to the capacity of an interactive system to withstand variations of both the system physical characteristics and the environment while preserving its usability. Usability continuity of a plastic interface is ensured whatever the context of use. Therefore, we propose a set of software models, integrated in a software solution named 3DPlasticToolkit, which allow any developer to create plastic MR user interfaces. First, we propose three models for modeling adaptation sources: a model for the description of display devices and interaction devices, a model for the description of the users and their preferences, a model for the description of data structure and semantic. These adaptation sources are taken into account by an adaptation process that deploys application components adapted to the context of use thanks to a scoring system. The deployment of these application components lets the system adapt the interaction techniques of the application of its content presentation. We also propose a redistribution process that allows the end-user to change the distribution of his/her application components across multiple dimensions: display, user and platform. Thus, it allows the end-user to switch dynamically of platform or to combine multiple platforms. The implementation of these models in 3DPlasticToolkit provides developers with a ready to use solution for the development of plastic MR user interfaces. Indeed, the solution already integrates different display devices and interaction devices and also includes multiple interaction techniques, visual effects and data visualization metaphors.

L'intelligence artificielle est la discipline de recherche d'imitation ou de remplacement de fonctions cognitives humaines. À ce titre, l'une de ses branches s'inscrit dans l'automatisation progressive du processus de programmation. Il s'agit alors de transférer de l'intelligence ou, à défaut de définition, de transférer de la charge cognitive depuis l'humain vers le système, qu'il soit autonome ou guidé par l'utilisateur. Dans le cadre de cette thèse, nous considérons les conditions de l'évolution depuis un système guidé par son utilisateur vers un système autonome, en nous appuyant sur une autre branche de l'intelligence artificielle : l'apprentissage artificiel. Notre cadre applicatif est celui de la conception d'un assistant opérationnel incrémental, c'est-à-dire d'un système capable de réagir à des requêtes formulées par l'utilisateur en adoptant les actions appropriées, et capable d'apprendre à le faire. Pour nos travaux, les requêtes sont exprimées en français, et les actions sont désignées par les commandes correspondantes dans un langage de programmation (ici, R ou bash). L'apprentissage du système est effectué à l'aide d'un ensemble d'exemples constitué par les utilisateurs eux-mêmes lors de leurs interactions. Ce sont donc ces derniers qui définissent, progressivement, les actions qui sont appropriées pour chaque requête, afin de rendre le système de plus en plus autonome. Nous avons collecté plusieurs ensembles d'exemples pour l'évaluation des méthodes d'apprentissage, en analysant et réduisant progressivement les biais induits. Le protocole que nous proposons est fondé sur l'amorçage incrémental des connaissances du système à partir d'un ensemble vide ou très restreint. Cela présente l'avantage de constituer une base de connaissances très représentative des besoins des utilisateurs, mais aussi l'inconvénient de n'aquérir qu'un nombre très limité d'exemples. Nous utilisons donc, après examen des performances d'une méthode naïve, une méthode de raisonnement à partir de cas : le raisonnement par analogie formelle. Nous montrons que cette méthode permet une précision très élevée dans les réponses du système, mais également une couverture relativement faible. L'extension de la base d'exemples par analogie est explorée afin d'augmenter la couverture des réponses données. Dans une autre perspective, nous explorons également la piste de rendre l'analogie plus tolérante au bruit et aux faibles différences en entrée en autorisant les approximations, ce qui a également pour effet la production de réponses incorrectes plus nombreuses. La durée d'exécution de l'approche par analogie, déjà de l'ordre de la seconde, souffre beaucoup de l'extension de la base et de l'approximation. Nous avons exploré plusieurs méthodes de segmentation des séquences en entrée afin de réduire cette durée, mais elle reste encore le principal obstacle à contourner pour l'utilisation de l'analogie formelle dans le traitement automatique de la langue. Enfin, l'assistant opérationnel incrémental fondé sur le raisonnement analogique a été testé en condition incrémentale simulée, afin d'étudier la progression de l'apprentissage du système au cours du temps. On en retient que le modèle permet d'atteindre un taux de réponse stable après une dizaine d'exemples vus en moyenne pour chaque type de commande. Bien que la performance effective varie selon le nombre total de commandes considérées, cette propriété ouvre sur des applications intéressantes dans le cadre incrémental du transfert depuis un domaine riche (la langue naturelle) vers un domaine moins riche (le langage de programmation). / Artificial Intelligence is the field of research aiming at mimicking or replacing human cognitive abilities. As such, one of its subfields is focused on the progressive automation of the programming process. In other words, the goal is to transfer cognitive load from the human to the system, whether it be autonomous or guided by the user. In this thesis, we investigate the conditions for making a user-guided system autonomous using another subfield of Artificial Intelligence : Machine Learning. As an implementation framework, we chose the design of an incremental operational assistant, that is a system able to react to natural language requests from the user with relevant actions. The system must also be able to learn the correct reactions, incrementally. In our work, the requests are in written French, and the associated actions are represented by corresponding instructions in a programming language (here R and bash). The learning is performed using a set of examples composed by the users themselves while interacting. Thus they progressively define the most relevant actions for each request, making the system more autonomous. We collected several example sets for evaluation of the learning methods, analyzing and reducing the inherent collection biases. The proposed protocol is based on incremental bootstrapping of the system, starting from an empty or limited knowledge base. As a result of this choice, the obtained knowledge base reflects the user needs, the downside being that the overall number of examples is limited. To avoid this problem, after assessing a baseline method, we apply a case base reasoning approach to the request to command transfer problem: formal analogical reasoning. We show that this method yields answers with a very high precision, but also a relatively low coverage. We explore the analogical extension of the example base in order to increase the coverage of the provided answers. We also assess the relaxation of analogical constraints for an increased tolerance of analogical reasoning to noise in the examples. The running delay of the simple analogical approach is already around 1 second, and is badly influenced by both the automatic extension of the base and the relaxation of the constraints. We explored several segmentation strategies on the input examples in order to reduce reduce this time. The delay however remains the main obstacle to using analogical reasoning for natural language processing with usual volumes of data. Finally, the incremental operational assistant based on analogical reasoning was tested in simulated incremental condition in order to assess the learning behavior over time. The system reaches a stable correct answer rate after a dozen examples given in average for each command type. Although the effective performance depends on the total number of accounted commands, this observation opens interesting applicative tracks for the considered task of transferring from a rich source domain (natural language) to a less rich target domain (programming language).

Dans les approches centrées utilisateur, les techniques, méthodes, et processus de développement utilisés visent à connaître et comprendre les utilisateurs (analyser leurs besoins, évaluer leurs manières d'utiliser les systèmes) dans le but de concevoir et développer des systèmes utilisables, c'est-à-dire, en adéquation avec leurs comportements, leurs compétences et leurs besoins. Parmi les techniques employées pour garantir l'utilisabilité, la modélisation des tâches permet de décrire les objectifs et acticités des utilisateurs. Grâce aux modèles produits, les spécialistes des facteurs humains peuvent analyser et évaluer l'efficacité des applications interactives. Cette approche d'analyse et de modélisation de tâches a toujours mis l'accent sur la représentation explicite du comportement standard de l'utilisateur. Ceci s'explique par le fait que les erreurs humaines ne font pas partie des objectifs des utilisateurs et qu'ils sont donc exclus de la description des tâches. Cette vision sans erreurs, suivie largement par la communauté en Interaction Homme-Machine, est très différente de celle de la communauté en Facteur Humain qui, depuis ses débuts, s'intéresse à comprendre les causes des erreurs humaines et leur impact sur la performance, mais aussi sur des aspects majeurs comme la sureté de fonctionnement et la fiabilité des utilisateurs et de leur travail. L'objectif de cette thèse est de démontrer qu'il est possible de décrire de façon systématique, dans des modèles de tâches, les erreurs pouvant survenir lors de l'accomplissement de tâches utilisateur. Pour cette démonstration, nous proposons une approche à base de modèles de tâches associée à un processus de description des erreurs humaines et supportée par un ensemble d'outils. Cette thèse présente les résultats de l'application de l'approche proposée à une étude de cas industrielle dans le domaine d'application de l'aéronautique. / In user-centered approaches, the techniques, methods, and development processes used aim to know and understand the users (analyze their needs, evaluate their ways of using the systems) in order to design and develop usable systems that is in line with their behavior, skills and needs. Among the techniques used to guarantee usability, task modeling makes it possible to describe the objectives and activities of the users. With task models, human factors specialists can analyze and evaluate the effectiveness of interactive applications. This approach of task analysis and modeling has always focused on the explicit representation of the standard behavior of the user. This is because human errors are not part of the users' objectives and are therefore excluded from the job description. This vision of error-free activities, widely followed by the human-machine interaction community, is very different from the Human Factor community vison on user tasks. Since its inception, Human Factor community has been interested in understanding the causes of human error and its impact on performance, but also on major aspects like the reliability of the operation and the reliability of the users and their work. The objective of this thesis is to demonstrate that it is possible to systematically describe, in task models, user errors that may occur during the performance of user tasks. For this demonstration, we propose an approach based on task models associated with a human error description process and supported by a set of tools. This thesis presents the results of the application of the proposed approach to an industrial case study in the application domain of aeronautics.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.