This thesis examines the role of Human-Computer Interaction (HCI) task analysis within the context of Computer-Assisted Language Learning (CALL) system design. It recognises and critically examines several carrefours that differentiate cognitive from sociocultural task analysis theories in Second Language Acquisition and Human-Computer Interaction. A study into the role of multimodal interaction and second language (L2) vocabulary acquisition revealed the need for an integrative approach to examining learner-computer interaction. In response, a conceptual, situated task analysis framework was developed that promotes (1) a common unit of analysis for principled theoretical investigation and methodological selection; and (2) a formative task analysis framework which considers both software engineering and human-computer interaction practices within CALL system design. / Understanding the extant relationships between learner, theory and practice has become increasingly important in light of recent criticisms of CALL software quality, and its influence on learning outcomes. To further develop our understanding of the role of HCI and Software Engineering in CALL, an empirical exploratory study was undertaken. The design of the study was influenced by research concerning (1) cognitive complexity and language learning; (2) social perspectives on learner-computer interaction; and (3) the intersection between system design, quality, and learner-computer interaction. / Computer-mediated activity in language learning environments can be categorised as a highly social process through its dependency upon a number of sociocultural and environmental contraints. As such, learner-computer interaction is likely to be highly fluid and dynamic. The distinction between static and dynamic environments is a critical determinant when selecting a particular HCI task analysis strategy. To evaluate competing task analysis approaches, a small qualitative study was established that considered the role of multimodal interaction in L2 vocabulary acquisition. Emerging trends from this study served to elucidate the appropriateness of existing HCI theories and their units of analysis within the context of CALL system design. / Participants for this study were selected from an undergraduate Computer Science degree at a major Australian university. Participants had little to no prior knowledge of the L2 used in the study. Participants conducted three sessions with a multimodal speech-enabled language learning tool. After each session, participants completed an immediate recall test and responded to a series of semi-structured interview questions. After an eight week period, participants were asked to take part in a delayed recall and recognition test. Findings from this study showed two distinct trends: (1) a relationship between the degree of multimodal interaction strategy and delayed L2 vocabulary recall and recognition; and (2) the limitations of existing HCI task analysis approaches with respect to analysing learner-computer interaction within the context of CALL system design. As such, this study provided key insights into the role of HCI in CALL, proposing several implications for further research. / Instructed by these findings, research was undertaken to develop an holistic, situated task analysis framework: C.A.S.E (Cognition, Activity, Social Organisation, Environment). Ontological, epistemological and methodological components of the framework are discussed in detail. C.A.S.E provides a conceptual framework for integrating cognitive and social theories on learning, interaction and system design. Consequently, C.A.S.E provides both theoretical and methodological support for bridging the divide between CALL, HCI and Software Engineering. Several applications of the framework relevant to CALL practitioners are described in this thesis. / The outcomes of this investigation establish an agenda for further research. The thesis concludes with a discussion related to CALL system design, specifically the role of Software Engineering in end-user developer CALL activities. To assist readers, additional discussions on Philosophy of Science and Software Engineering have been provided as appendix chapters.

L'enjeu de la présente thèse est de proposer de nouvelles méthodes d'analyse des données d'imagerie cérébrale acquises en Imagerie par Résonance Magnétique fonctionnelle (IRMf). Elle s'est concentrée en particulier sur la compréhension des signaux temporels mesurés en IRMf et leur lien avec l'activité cérébrale. En effet, les variations du signal que l'on observe en IRMf sont dues à des changements de l'afflux du sang dans le cerveau et de l'oxygénation de ce sang. Ces changements sont liés à l'activité des neurones, et l'on nomme ce phénomène la réponse hémodynamique. Cette réponse hémodynamique fait l'objet d'un important effort de modélisation, de manière à mieux pouvoir interpréter les données d'IRMf. Et cette thèse contient des travaux liés à la fois à la modélisation pour elle-même, avec l'étude de certains détails des modèles hémodynamiques, et à la fois à l'utilisation de ces modèles pour l'analyse des données, avec en particulier l'analyse des données IRMf et la fusion entre des données d'IRMf et d'Electroencéphalographie (EEG). Ainsi, la première partie de la thèse est consacrée à l'utilisation de modèles hémodynamiques en IRMf. En effet, aujourd'hui, les méthodes standard d'analyse de données d'IRM fonctionnelle utilisent le Modèle Général Linéaire (GLM), qui suppose une relation linéaire entre l'activité des neurones, la réponse hémodynamique et les mesures IRMf. Nous montrons qu'il est aussi possible d'utiliser des modèles plus plausible du point de vue biologique, et éventuellement non-linéaires pour analyser les données. A la place de la régression linéaire utilisée habituellement, nous proposons une identification de modèle basées sur une minimisation d'énergie, et nous proposons d'adapter les tests de Fisher utilisés habituellement dans le cadre du GLM pour pouvoir réaliser dans le nouveau cadre la détection d'activations, le test d'hypothèses cognitives, ainsi que des comparaisons entre différents modèles. La seconde partie quant à elle est expérimentale: nous avons étudié les équations de différents modèles hémodynamiques grâce à des expérience d'Imagerie Optique chez le singe éveillé, dans le cadre d'une collaboration avec Ivo Vanzetta dans l'équipe "Dynamique de la perception visuelle et de l'action'' au CNRS Marseille. Nous nous sommes intéressés en particulier à la dynamique du flux sanguin, qui est de première importance car elle fait le lien entre les activités électriques et métaboliques et les changements du volume et de l'oxygénation du sang. Nous avons mis en évidence des aspects de la réponse hémodynamique qui ne sont pas prévus par les modèles actuels, tels qu'une non-linéarité de cette réponse du flux par rapport à l'intensité de la réponse électrique. Par ailleurs, dans le cadre de la même collaboration, nous avons conçu une méthode pour estimer la vitesse des globules rouges dans les vaisseaux sanguins filmés en Imagerie Optique, qui constitue une nouvelle technique de mesure de ce flux sanguin. Enfin, dans la troisième partie, nous avons étendu les méthodes présentées dans la première partie à l'analyse de données de modalités multiple, et en particulier, proposons une méthode pour estimer l'activité cérébrale à partir d'enregistrement simultanés en IRMf et en EEG. Cette méthode est validée sur des données synthétiques. Le présent synopsis résume les points importants de ces travaux: les objectifs, les méthodes, les conclusions et conséquences pour chaque chapitre. Nous avons également tenté d'en présenter une critique objective, en mentionnant à la fois ce qui constitue des contributions originales et les faiblesses restantes. Nous espérons que ce résumé permettra au lecteur de se repérer rapidement dans cette thèse, et de bien comprendre les relations entre ses différentes composantes.

Les travaux effectués dans le cadre de cette thèse portent sur l'identification automatique de visages dans des images numériques. L'objectif est d'assigner à des visages-requêtes une identité parmi celles d'un ensemble de personnes connues. Pour cela, on cherche à extraire, pour chaque visage, un ensemble de descripteurs appelé signature qui lui soit spécifique, puis à définir un schéma de classification des signatures adapté à l'application visée. De nombreuses méthodes ont été proposées dans la littérature. Parmi les plus efficaces, on compte les techniques de projection statistique, dont le but est de fournir, par le biais d'une analyse multidimensionnelle des données, un espace de représentation plus adapté à la classification que l'espace initial des données. Ce travail reprend ce principe et propose de nouvelles techniques d'extraction de signatures basées sur l'Analyse Discriminante Linéaire qui, contrairement à la plupart des approches existantes, prennent en compte la structure bidimensionnelle des images de visages. Les méthodes proposées permettent de pallier les principaux désavantages des techniques usuelles. Elles contournent le problème de la singularité sans nécessiter l'ajout d'aucun paramètre et leur construction est moins coûteuse et instable. Un schéma original de classification des signatures ainsi obtenues, en monde fermé ou ouvert, est également introduit. Les techniques proposées sont évaluées et comparées aux approches usuelles selon des protocoles expérimentaux rigoureux. Les résultats ainsi obtenus montrent leurs très bonnes performances, et notamment une robustesse accrue vis-à-vis de changements de pose ou d'expression faciale et d'occultations partielles.

Le cadre général de nos travaux de recherche est la réalité virtuelle. Cette discipline, dialogue entre disciplines scientifiques, a pour objectif la création de mondes virtuels et leur exploitation par l'homme. Elle s'intéresse à leur modélisation, c'est-à-dire aux modèles de simulation permettant de donner de la vie aux objets et êtres virtuels représentés à l'intérieur de ces mondes. De plus, elle étudie les interfaces de réalité virtuelle, c'est-à-dire les interfaces motrices et sensorielles donnant à l'utilisateur une perception de ses actions. Dans nos travaux, l'objectif est de comprendre comment l'expérience humaine peut être à la fois renforcée, capitalisée et ré exploitée en environnement virtuel. Nous considérons plus particulièrement les activités de formation, de conception et de collaboration pour lesquelles d'une part l'ingénierie des connaissances permet de modéliser et de proposer un niveau d'abstraction pertinent, et d'autre part pour lesquelles la réalité virtuelle offre des modes d'interaction avec retour sensoriel qui fait sens pour les acteurs impliqués (formateurs, formés, concepteurs, utilisateurs distants,...). Nous intéressons en particuliers aux environnements virtuels informés (EVI) dotés de modèles à base de connaissance dans lesquels il est possible à la fois d'interagir et de permettre des comportements par interprétation de représentations dynamiques ou statiques. Ces EVI sont des moyens puissants d'autoriser une évolution du système lors de l'activité de l'utilisateur mais aussi une évolution de l'utilisateur au fur et à mesure que le système est utilisé. L'approche énactive de la cognition ou « énaction » inspire nos travaux avec la notion « d'action guidée par la perception ». Cette notion provient à la base des réflexions de Francisco Varela, neurobiologiste qui s'est intéressé à la suite de ses travaux avec Maturana au Chili, à une alternative au computationnalisme et au connexionnisme pour comprendre la cognition. La tentative de F. Varela pour introduire des concepts de biologie en sciences cognitives et ses recherches en neurosciences aboutissent au concept de cognition incarnée (‘embodied cognition' ). Dans ce vaste champ d'investigation, nous avons choisi de nous concentrer sur une seule problématique, le couplage entre interaction et connaissance en environnement virtuel informé. Les expériences corporelles et intellectuelles permises par la réalité virtuelle sont étroitement liée à la phénoménologie et c'est cette grille de lecture qui nous a amenée à structurer notre mémoire : - d'une part, comment le fait d'interagir avec des objets de l'environnement virtuel, d'offrir à l'utilisateur le loisir d'explorer et de comprendre à son rythme et d'avoir à l'instant t une perception singulière d'un système, d'un phénomène ou d'une scène va permettre de construire une connaissance. L'utilisateur est cette fois acteur de cette construction, il est au cœur du processus qui lui est propre. Il peut alors partager cette connaissance construite à travers des systèmes collaboratifs évolués. - d'autre part, les connaissances représentées dans l'environnement, accessibles à l'utilisateur ou exploitées par le système vont l'aider à orienter son interaction, vont le guider, tels des guides virtuels ou des traces de son activité dans le monde virtuel. Nous aborderons ainsi des exemples de modèles d'environnements virtuels dans lesquels l'interaction est de plus en plus complexe, au fur et à mesure que les connaissances représentées sont « comprises » et « exploitées » dans l'environnement. Notre méthode de travail est fondée sur une recherche de généricité et de réutilisabilité, un lien fort entre réalité virtuelle et ingénierie des connaissances, orienté par les sciences cognitives, conduisant à l'émergence de concepts, de modèles et de méthodologies, par une approche mêlant à la fois théorie et technologie. Nous présentons de nombreux résultats au niveau des modèles, et des environnements informatiques pour des applications à la fois en conception, en formation et en communication.

Cette thèse est consacrée à l’'élaboration et l’'évaluation des techniques visant à renforcer la robustesse des systèmes d’'indexation de documents audio au sens du locuteur. L’'indexation audio au sens du locuteur consiste à reconnaître l’'identité des locuteurs ainsi que leurs interventions dans un ux continu audio ou dans une base de données d’'archives audio, ne contenant que la parole. Dans ce cadre nous avons choisi de structurer les documents audio (restreints à des journaux radiodiffusés) selon une classication en locuteurs. La technique utilisée repose sur l’'extraction des coefficients mel-cepstrales, suivi par l’'apprentissage statistique de modèles de mélange de gaussiennes (MMG) et sur la détection des changements de locuteur au moyen de test d’'hypothèse Bayésien. Le processus est incrémental : au fur et à mesure que de nouveaux locuteurs sont détectés, ils sont identifiés à ceux de la base de données ou bien, le cas échéant, de nouvelles entrées sont créées dans la base. Comme toute structure de données adaptée au problème incrémental, notre système d’'indexation permet d’'effectuer la mise à jour des modèles MMG de locuteur à l’'aide de l’'algorithme fusion des MMG. Cet algorithme à été conçu à la fois pour créer une structure ascendante en regroupant deux à deux les modèles GMM jugés similaires. Enn, à travers de deux études utilisant des structures arborescentes binaire ou n’'aire, une réexion est conduite an de trouver une structure ordonnée et adaptée au problème incrémental. Quelques pistes de réexions sur l’'apport de l’'analyse vidéo sont discutées et les besoins futurs sont explorés.

La thèse porte sur les problèmes posés par la conception et la réalisation de la partie logicielle des systèmes de traduction automatisée (TAO) hétérogènes, intégrant des systèmes de TA multiples et/ou à composants hétérogènes, ainsi qu'une partie THAM (traduction humaine aidée par la machine), reposant sur des mémoires de traductions. Ces systèmes se développent à côté des systèmes de TA homogènes et de THAM, et les supplanteront peut-être à moyen terme. Leurs différents composants de TA seront construits par des équipes différentes, distribuées autour de la planète, avec des méthodes algorithmiques et des outils différents (langages spécialisés ou LSPL), ainsi que des ressources et composants linguiciels différents (dictionnaires et corpus de divers types, grammaires et transducteurs basés sur des règles), à l'aide d'EDL (environnements de développement linguiciel) eux aussi différents. Les contributions de la thèse concernent en particulier : • l'amélioration des « méta-EDL de TAO », permettant d'effectuer une transition incrémentale entre les EDL natifs des systèmes de TA utilisés pour construire un systèmes de TAO à composants hétérogènes, et un futur EDL intégrateur universel, dans lequel on pourra « rapatrier » la compilation et l'exécution des LSPL ; • la conception et la réalisation d'une base lexicale partageant un même pivot lexical, PIVAX, réalisée au-dessus de la plate-forme Jibiki (G. Sérasset, GETALP) ; • la réingénierie de langages spécialisés « externes » (non supportés par l'EDL Ariane-G5), avec application aux « systèmes-Q » (A. Colmerauer, 1967), qui servit de base pendant 15 ans au système de TA TAUM-météo destiné aux bulletins météorologiques canadiens ; • la conception et la réalisation d'un « moniteur » adapté à la partie « production » d'un système de TAO hétérogène, EMEU_w.1.0, qui a été développé et utilisé dans le cadre d'un projet de grande ampleur.

Durant les dix dernières années, l'imagerie médicale a profité pleinement de l'essor technologique des techniques d'imagerie numérique. Dans le domaine de la radiographie X, les nouveaux détecteurs, possédant un encombrement réduit et une meilleure sensibilité, détrônent progressivement les anciennes techniques à film ou à tube. Cette thèse, préparée en partenariat avec l'entreprise Trixell, leader mondial des détecteurs plats pour radiographie médicale, traite du contrôle qualité des images issues de ces détecteurs. L'exigence du domaine médical impose un contrôle strict des défauts pouvant apparaître sur les images. Cette thèse est donc axée sur la conception d'une chaîne complète d'analyse de la qualité des images issues des détecteurs numériques. Un éclairage particulier est donné à la détection des défauts, parfois peu visibles, à l'aide de techniques de détection adaptées à notre contexte de défauts spatialement corrélés dans un fort bruit de fond.

Depuis son avènement au début des années 1990, le Web a profondément bouleversé la société contemporaine et ce à plusieurs niveaux. Ce nouvel outil est rapidement devenu incontournable et s'est affirmé comme la plus grande base de données du monde. La popularité sans cesse croissante du Web a généré une dynamique très importante principalement au niveau des données qu'il renferme. En effet, en vertu de l'évolution des connaissances du monde réel, de nouvelles informations sont rajoutées, d'autres retirées et certaines sont modifiées sans cesse sur le Web posant ainsi des problèmes pour retrouver l'information pertinente. Les moteurs de recherche existants ne sont pas capables d'une part de prendre en compte l'évolution des connaissances du Web lorsqu'un utilisateur pose une requête et d'autre part, de comprendre les besoins en information de l'utilisateur pour lui retourner les pages Web répondant à ces besoins. L'apparition du paradigme du Web Sémantique, visant à donner un sens aux données du Web pour les rendre compréhensibles par les machines grâce à l'utilisation d'ontologies, contribue à l'amélioration de la recherche documentaire sur le Web. Cependant, les problèmes posés par l'évolution restent peu pris en compte. Dans ces travaux, nous nous sommes intéressés à la prise en compte de l'évolution des données du Web dans le but d'améliorer, en terme de pertinence des résultats, la recherche documentaire sur le Web. La solution que nous proposons est basée sur les ontologies, fondement du Web Sémantique, pour représenter les connaissances du domaine de recherche visé par des requêtes ainsi que les vues des utilisateurs sur ce domaine. Dans la solution que nous préconisons, les ontologies sont vues comme des connaissances qui évoluent au cours du temps. Cette solution nous a obligé à considérer l'évolution des ontologies sous deux aspects différents : de manière générale par rapport au domaine visé par la requête et de manière plus particulière par rapport aux points de vue des utilisateurs. En premier lieu, nous proposons un modèle d'ontologies adaptatives ainsi qu'un processus d'adaptation permettant aux ontologies de s'adapter aux évolutions des connaissances d'un domaine. Le modèle ainsi défini s'appuie sur des idées émises dans les domaines de la psychologie et des sciences naturelles. Ensuite, nous proposons une exploitation de ce type d'ontologie pour améliorer la recherche documentaire sur le Web. Nous introduisons tout d'abord, des structures de données (les WPGraphs et W3Graphs) pour la représentation des données du Web, puis le langage de requête ASK adapté à ces structures pour l'extraction des données pertinentes. Nous proposons également un ensemble de règles d'enrichissement des requêtes ASK basé sur les relations ontologiques et les éléments propres aux ontologies adaptatives des ontologies représentant le domaine visé par la requête et celle représentant les vues des utilisateurs sur le domaine. Pour finir nous proposons un outil pour la gestion des ontologies adaptatives et la recherche d'information sur le Web ainsi qu'une validation expérimentale des concepts introduits. Cette dernière est basée sur un cas d'étude réaliste pour la recherche d'articles scientifiques publiés à la conférence internationale World Wide Web.

Realistic visual and audio rendering still remains a technical challenge. Indeed, typical computers do not cope with the increasing complexity of today's virtual environments, both for audio and visuals, and the graphic design of such scenes require talented artists. In the first part of this thesis, we focus on audiovisual rendering algorithms for complex virtual environments which we improve using human perception of combined audio and visual cues. In particular, we developed a full perceptual audiovisual rendering engine integrating an efficient impact sounds rendering improved by using our perception of audiovisual simultaneity, a way to cluster sound sources using human's spatial tolerance between a sound and its visual representation, and a combined level of detail mechanism for both audio and visuals varying the impact sounds quality and the visually rendered material quality of the objects. All our crossmodal effects were supported by the prior work in neuroscience and demonstrated using our own experiments in virtual environments. In a second part, we use information present in photographs in order to guide a visual rendering. We thus provide two different tools to assist “casual artists” such as gamers, or engineers. The first extracts the visual hair appearance from a photograph thus allowing the rapid customization of avatars in virtual environments. The second allows for a fast previewing of 3D scenes reproducing the appearance of an input photograph following a user's 3D sketch. We thus propose a first step toward crossmodal audiovisual rendering algorithms and develop practical tools for non expert users to create virtual worlds using photograph's appearance.

La communication visuelle tire profit de la grande variété d'apparences qu'une image peut avoir. En ignorant les détails, les images simplifiées concentrent l'attention de l'observateur sur le contenu essentiel à transmettre. Les images stylisées, qui diffèrent de la réalité, peuvent suggérer une information subjective ou imaginaire. Des variations plus subtiles, comme le changement de l'éclairage dans une photographie, ont également un impact direct sur la façon dont le message transmis va être interprété. Le but de cette thèse est de permettre à un utilisateur de manipuler le contenu visuel et créer des images qui correspondent au message qu'il cherche à transmettre. Nous proposons plusieurs manipulations qui modifient, simplifient ou stylisent des images pour augmenter leur pouvoir d'expression. Nous présentons d'abord deux méthodes pour enlever les détails d'une photographie ou d'une vidéo. Le résultat de cette simplification met en valeur les structures importantes de l'image. Nous introduisons ensuite une nouvelle primitive vectorielle, nommée Courbe de Diffusion, qui facilite la création de dégradés de couleurs et de flou dans des images vectorielles. Les images créées avec des courbes de diffusion présentent des effets complexes qui sont difficiles à reproduire avec les outils vectoriels existants. Dans une seconde partie, nous proposons deux algorithmes pour la création d'animations stylisées à partir de vidéos et de scènes 3D. Ces deux méthodes produisent des animations qui ont l'apparence 2D de média traditionnels comme l'aquarelle. Nous décrivons enfin une approche pour décomposer l'information d'illumination et de réflectance dans une photographie. Nous utilisons des indications utilisateurs pour résoudre ce problème sous-contraint. Les différentes manipulations d'image proposées dans ce mémoire facilitent la création d'une variété de représentations visuelles, comme illustré par nos résultats.