The topic of this thesis is learning through social interaction, consisting of experiments that focus on word acquisition through imitation, and a formalism aiming to provide stronger theoretical foundations. The formalism is designed to encompass essentially any situation where a learner tries to figure out what a teacher wants it to do by interaction or observation. It groups learners that are interpreting a broad range of information sources under the same theoretical framework. A teachers demonstration, it's eye gaze during a reproduction attempt and a teacher speech comment are all treated as the same type of information source. They can all tell the imitator what the demonstrator wants it to do, and they need to be interpreted in some way. By including them all under the same framework, the formalism can describe any agent that is trying to figure out what a human wants it to do. This allows us to see parallels between existing research, and it provides a framing that makes new avenues of research visible. The concept of informed preferences is introduced to deal with cases such as "the teacher would like the learner to perform an action, but if it knew the consequences of that action, would prefer another action" or "the teacher is very happy with the end result after the learner has cleaned the apartment, but if it knew that the cleaning produced a lot of noise that disturbed the neighbors, it would not like the cleaning strategy". The success of a learner is judged according to the informed teachers opinion of what would be best for the uninformed version. A series of simplified setups are also introduced showing how a toy world setup can be reduced to a crisply defined inference problem with a mathematically defined success criteria (any learner architecture-setup pair has a numerical success value). An example experiment is presented where a learner is concurrently estimating the task and what the evaluative comments of a teacher means. This experiment shows how the ideas of learning to interpret information sources can be used in practice. The first of the learning from demonstration experiments presented investigates a learner, specifically an imitator, that can learn an unknown number of tasks from unlabeled demonstrations. The imitator has access to a set of demonstrations, but it must infer the number of tasks and determine what demonstration is of what task (there are no symbols or labels attached to the demonstrations). The demonstrator is attempting to teach the imitator a rule where the task to perform is dependent on the 2D position of an object. The objects 2D position is set at a random location within four different, well separated, rectangles, each location indicating that a specific task should be performed. Three different coordinate systems were available, and each task was defined in one of them (for example ''move the hand to the object and then draw a circle around it"). To deal with this setup, a local version of Gaussian Mixture Regression (GMR) was used called Incremental Local Online Gaussian Mixture Regression (ILO-GMR). A small and fixed number of gaussians are fitted to local data, informs policy, and then new local points are gathered. Three other experiments extends the types of contexts to include the actions of another human, making the investigation of language learning possible (a word is learnt by imitating how the demonstrator responds to someone uttering the word). The robot is presented with a setup containing two humans, one demonstrator (who performs hand movements), and an interactant (who might perform some form of communicative act). The interactants behavior is treated as part of the context and the demonstrators behavior is assumed to be an appropriate response to this extended context. Two experiments explore the simultaneous learning of linguistic and non linguistic tasks (one demonstration could show the appropriate response to an interactant speech utterance and another demonstration could show the appropriate response to an object position). The imitator is not given access to any symbolic information about what word or hand sign was spoken, and must infer how many words where spoken, how many times linguistic information was present, and what demonstrations where responses to what word. Another experiment explores more advanced types of linguistic conventions and demonstrator actions (simple word order grammar in interactant communicative acts, and the imitation of internal cognitive operations performed by the demonstrator as a response). Since a single general imitation learning mechanism can deal with the acquisition of all the different types of tasks, it opens up the possibility that there might not be a need for a separate language acquisition system. Being able to learn a language is certainly very useful when growing up in a linguistic community, but this selection pressure can not be used to explain how the linguistic community arose in the first place. It will be argued that a general imitation learning mechanism is both useful in the absence of language, and will result in language given certain conditions such as shared intentionality and the ability to infer the intentions and mental states of others (all of which can be useful to develop in the absence of language). It will be argued that the general tendency to adopt normative rules is a central ingredient for language (not sufficient, and not necessary while adopting an already established language, but certainly very conducive for a community establishing linguistic conventions).

Les visualisations de données permettent de transmettre de l'information aux utilisateurs. Pour explorer et comprendre les données, les utilisateurs sont amenés à interagir avec ces visualisations.Toutefois, l'interaction avec les visualisations modifie le visuel. Pour éviter des changements brusques et garder l'utilisateur focalisé sur les objets graphiques d'intérêt, des transitions visuelles sont nécessaires pour accompagner les modifications de la visualisation. Ces transitions visuelles peuvent être codées sous la forme d'animations, ou de techniques qui permettent de faire des correspondances, ou des liens avec des données représentées sur plusieurs affichages. Le premier objectif de cette thèse était d'étudier les bénéfices et les propriétés des animations pour l'exploration et la compréhension de grandes quantités de données multidimensionnelles. Nous avons établi en conséquence une taxonomie des transitions animées en visualisation d'information basée sur les tâches des utilisateurs. Cette taxonomie a permis de constater qu'il n'existe pas de contrôle utilisateur sur la direction des objets durant l'animation. Nous avons donc proposé des interactions pour le contrôle de la direction des objets graphiques lors d'une transition animée. D'autre part, nous avons étudié une technique de transition animée mettant en jeu une rotation 3D entre visualisations. Nous avons identifié les avantages qu'elle pouvait apporter et en avons proposé une amélioration.Le second objectif était d'étudier les transitions visuelles dans le domaine du Contrôle du Trafic Aérien. En effet, les contrôleurs utilisent de nombreuses visualisations qui comportent des informations étalées et dupliquées sur plusieurs affichages: l'écran Radar, le tableau de strips, des listes spécifiques d'avions (départ, arrivées) etc. Ainsi dans leur activité, les Contrôleurs Aériens réalisent des transitions visuelles en recherchant et en reliant de l'information à travers les différents affichages. Nous avons étudié comment les animations pouvaient être utilisées dans le domaine du contrôle aérien en implémentant un prototype d'image radar regroupant trois visualisations usuelles pour instrumenter l'activité de supervision du trafic aérien.

Les travaux de cette thèse s'inscrivent dans le contexte du traitement et de l'analyse des images couleur. Les premiers travaux pour traiter ces images consistaient à appliquer des traitements déjà existant en niveaux de gris marginalement sur les trois composantes constituant la couleur et le plus généralement dans l'espace RVB. Ces traitements ont été peu à peu améliorés notamment par l'utilisation d'espaces couleur d'avantage liés à la perception humaine mais aussi par des approches vectorielles. Dans ce travail de thèse nous nous plaçons dans la continuité de ces travaux et nous proposons une modélisation mathématique de la dimension vectorielle dans le but de manipuler les couleurs de manière globale. Trois formalismes sont présentés pour représenter la couleur : les complexes, les quaternions et les algèbres géométriques. Dans ce cadre, il est proposé de définir de nouveaux outils d'analyse couleur avec notamment une caractérisation numérique fréquentielle de chacun de ces modèles. Une étude approfondie de leurs utilisations permet de faire ressortir leurs propriétés ainsi que leurs principaux avantages et inconvénients à savoir : impossibilité des complexes à représenter les vecteurs couleurs qui par nature s'expriment en trois dimensions minimum contrairement aux quaternions et aux algèbres géométriques ; distinction entre objets manipulés (vecteurs couleur) et opérations effectuées sur ces objets (projections, rotations,...) pour les algèbres géométriques contrairement aux quaternions... Enfin nous avons montré que la transformée de Fourier quaternionique analyse la couleur avec une direction indiquée par un vecteur couleur, tandis que la transformée de Fourier définie au moyen de l'algèbre G3, plus générique, répartit l'information couleur sur des composantes fréquentielles indépendantes. L'utilisation de modèles algébriques pour représenter l'information couleur permet la définition et le développement d'un filtre spatial de détection de contours tenant compte de la dispersion dans l'espace couleur.

Dans le domaine du "calcul à l'aide de mots" (CW : Computing with words), les approches linguistiques floues ont démontré leur pertinence dans de nombreux problèmes de prise de décision. En effet, elles permettent de modéliser le raisonnement humain en remplaçant les mots, les évaluations, les préférences, les choix, les souhaits, etc. par des variables ad hoc, telles que les sous-ensembles flous ou des variables plus complexes. Dans cette thèse, nous partons d'un problème concret en géolocalisation : la configuration des boîtiers permettant le suivi des mobiles à surveiller et la mise en place des alertes liées au suivi. Il s'agit de mettre en place un système offrant la possibilité de passer des objectifs métiers de l'utilisateur final exprimés sous la forme de paramètres linguistiques (grâce à un dialogue en langage naturel) à une combinaison appropriée des paramètres techniques de l'application. La recherche a visé à montrer comment on peut améliorer une interface utilisateur existante pour passer d'un traitement quantitatif à un traitement qualitatif des occurrences d'événements et des contraintes de géolocalisation. Nous avons ainsi défini les extensions théoriques qui semblaient nécessaires dans le CW : un modèle, fondé sur les 2-tuples sémantiques que nous introduisons, permet de représenter, avec une grande précision et une grande justesse, des ensembles de termes linguistiques même lorsque ces derniers sont positionnés de façon fortement déséquilibrée sur leur axe. Ces 2-tuples sémantiques ont été mis en oeuvre pour interpréter sémantiquement les termes linguistiques issus du dialogue, en leur rattachant une sémantique floue contextuelle.

Je présente mes activités de recherche en indexation video et en reconnaissance d'actions, et je propose un programme de recherche permettant d'aborder ensemble ces deux questions au cours des prochaines années. Je décris d'abord une série de travaux réalisés dans le cadre du groupe MPEG et des projets DIVAN à l'INA (1998-2000), puis VIBES à l'INRIA (2001-2004), et qui visent à aborder l'indexation video à travers la reconnaissance des styles et conventions de la prise de vues et du montage. Cette première partie est illustrée par deux applications - le découpage d'un journal télévisé en sujets, et l'indexation d'un film de cinéma par son script. Je présente ensuite des travaux réalisés à l'INRIA en 2005-2008 au sein de l'équipe MOVI. Je montre comment nous avons utilisé l'infrastructure GRIMAGE pour (1) apprendre des modèles statistiques 3D d'un petit répertoire d'actions humaines permettant de les reconnaitre lorsqu'elles sont exécutées par d'autres acteurs, sous d'autres points de vue ; (2) découper une séquence d'images 3D en actions primitives reconnaissables; et (3) reconnaître ces mêmes actions selon le point de vue d'une seule caméra. Enfin, je propose quelques pistes pour étendre les résultats précédents afin d'aborder simultanément les deux problèmes de la reconnaissance des actions et des styles de mise en scène dans les films. Je présente les avantages et les difficultés d'une approche unifiée de ces deux problèmes, ainsi que des applications possibles dans les domaines de la fiction interactive, du jeu vidéo et du machinima.

Les jeux vidéos et les effets spéciaux ont un besoin constant d'images plus réalistes de scènes naturelles, ce qui inclut les nuages. Les méthodes traditionnelles de synthèse d'images impliquent des calculs coûteux, ce qui qui limite leur réalisme. Dans cette thèse, nous proposons de nouvelles approches pour le rendu de nuages à la fois réalistes et rapides. Ces objectifs sont atteints via une méthodologie s'appuyant sur des approches à la fois physiques et phénoménologiques. Dans la première partie de cette thèse, nous étudions les nuages du point de vue d'un observateur humain, ce qui nous permet d'identifier les éléments visuels importants caractérisant les nuages. Ces éléments visuels sont ceux que nous cherchons à reproduire dans un but de réalisme. Dans la deuxième partie nous conduisons une étude expérimentale du transport de la lumière dans une dalle de nuage en utilisant les lois du transfert radiatif. Cette étude nous permet de mieux comprendre le transport de la lumière dans les nuages à des échelles mésoscopiques et macroscopiques, de trouver l'origine de ces éléments visuels, et de déduire de nouveaux modèles de transport de la lumière phénoménologiques efficaces. Dans la troisième partie nous proposons deux nouvelles méthodes permettant le rendu de nuages réaliste en temps-réel basées sur les résultats de notre étude. Ces méthodes sont optimisées pour le matériel graphique. La qualité de nos résultats est débattue et nous esquissons des axes de recherche future permettant d'améliorer à la fois la vitesse et le réalisme de nos méthodes.

Ce document décrit à la fois un parcours en modélisation statistique du langage et son application aux systèmes multilingues de traitement de la langue, où je relate mes travaux de recherches sur 28 années, en une présentation diachronique selon quelques grandes rubriques, et une prise de position pour la mise en place d'un cadre théorique et pratique permettant de faire émerger une science empirique de la parole. Cette science doit se fonder sur l'apport de toutes les sciences, du traitement automatique ou de la linguistique, dont l'objet d'étude est la parole. Au coeur de ce rapprochement se trouve l'idée que les systèmes automatiques peuvent être utilisés comme des instruments afin d'explorer les très grandes quantités de données à notre disposition et d'en tirer des connaissances nouvelles qui, en retour, permettront d'améliorer les modélisations utilisées en traitement automatique. Après une mise en perspective historique, où est rappelé en particulier la mise en place du paradigme de l'évaluation et le développement de la modélisation statistique de la parole, issue de la théorie de l'information, ainsi que les critiques que ces deux faits majeurs ont engendrées, nous aborderons quelques points théoriques et pratiques. Certaines questions épistémologiques concernant cette science empirique de la parole sont abordées : quel est le statut de la connaissance que nous produisons, comment la qualifier par rapport à d'autres sciences ? est-il possible d'autonomiser les sciences du langage en une véritable science, en essayant de trouver à la fois quel est son observable et le moyen d'améliorer la manière de l'observer, et d'en tirer des connaissances généralisables ? Nous détaillons en particulier la définition de l'observable, et l'étude du résiduel en tant que diagnostic de l'écart entre la modélisation et la réalité. Des propositions pratiques sont ensuite exposées concernant la structuration de la production scientifique et le développement de centres instrumentaux permettant la mutualisation du développement et de la maintenance de ces instruments complexes que sont les systèmes de traitement automatique de la parole.

La réalité augmentée (RA) mobile consiste à faire coexister en temps-réel des mondes virtuel et réel. La mobilité est facilitée par l'utilisation de nouveaux dispositifs de types smartphones, et mini-PC embarquant un certain nombre de capteurs (visuels, inertiels,...). Ces dispositifs disposent toutefois d'une puissance de calcul limitée, qui peut s'avérer critique au vu des applications envisagées. L'une des solutions est de recourir à des mécanismes de distributions pour répartir les calculs sur un ensemble hétérogène de machines (serveurs ou autre terminaux mobiles). L'objectif de cette thèse est de concevoir une architecture logicielle dédiée à la réalité augmentée distribuée et plus particulièrement aux applications distribuées capable de fonctionner sur des réseaux ad-hoc constitués de terminaux hétérogènes déployées au travers d'un réseau dans un premier temps. Dans un deuxième temps, il conviendra de démontrer l'applicabilité de la solution proposée à des applications concrètes et d'explorer différentes possibilités d'exploitation originales de la distribution dans les applications de Réalité Augmentée en mettant l'accent sur la plus value apportée en terme de fonctionnalités ou d'opérations possibles en comparaison avec une solution de Réalité Augmentée classique (non distribuée) et en comparaison avec les performances des environnements dédiés à la RA existants offrant la possibilité de créer des applications distribuées.

Nous nous positionnons dans un contexte d'informatique ambiante dans lequel il arrive que les besoins de l'utilisateur n'aient pas été prévus, notamment en situation exceptionnelle. Dans ce cas, il peut ne pas exister de système préconçu qui réponde exactement à ces besoins. Pour les satisfaire, il faut alors pouvoir composer les systèmes disponibles dans l'environnement, et le système composé doit permettre à l'utilisateur de faire des choix à l'exécution. Ainsi, l'utilisateur a la possibilité d'adapter l'exécution de la composition à son contexte. Cela signifie que la composition intègre des structures de contrôle de l'exécution, destinées à l'utilisateur : la composition est dite flexible. Dans cette thèse, nous proposons de répondre au problème de la composition flexible en contexte d'intelligence ambiante avec un planificateur produisant des plans flexibles. Dans un premier temps, nous proposons une modélisation de la planification flexible. Pour cela, nous définissons les opérateurs de séquence et d'alternative, utilisés pour caractériser les plans flexibles. Nous définissons deux autres opérateurs au moyen de la séquence et de l'alternative : l'entrelacement et l'itération. Nous nous référons à ce cadre théorique pour délimiter la flexibilité traitée par notre planificateur Lambda-Graphplan. L'originalité de Lambda-Graphplan est de produire des itérations en s'appuyant sur une approche par graphe de planification. Nous montrons notamment que Lambda-Graphplan est très performant avec les domaines se prêtant à la construction de structures itératives.

Cette thèse s'inscrit dans le domaine de l'Interaction Homme-Machine. Elle vise à prendre en considération le contexte d'usage pour les nouvelles plateformes de type table interactive. Par la notion de table interactive, on laisse supposer un espace de travail collaboratif et co-localisé permettant de faire intervenir plusieurs utilisateurs en même temps mais également de nouvelles interactions mêlant objets tangibles, virtuels voire tactiles. C'est face à ce constat et à l'engouement accordé à ces nouvelles plateformes que nous avons proposé de caractériser puis de recenser les tables interactives en nous appuyant sur un modèle que nous avons proposé. Le contexte est une notion utilisée depuis longtemps dans la conception d'applications interactives. Les recherches en Interaction Homme-Machine ont apporté de nombreux éléments permettant de le définir et de le qualifier de manière approfondie. Notre proposition se base sur la prise en considération du contexte d'usage pour les tables interactives. Pour cela, nous avons dans un premier temps modélisé le contexte d'usage tel qu'il peut être défini dans la littérature puis augmenté cette modélisation afin de l'adapter à l'utilisation des tables interactives. Un ensemble de formalismes permettant de définir le contexte et une situation d'utilisation pour les tables interactives sont également présentés, ceux-ci nous amenant à proposer un système d'adaptation au contexte d'usage puis un ensemble de règles d'adaptation. Nous réalisons l'adaptation au contexte d'usage en utilisant la table interactive TangiSense, résultat du projet ANR TTT. Pour cela nous utilisons et implémentons nos règles d'adaptation proposées afin de permettre à la table interactive TangiSense de s'adapter en fonction du contexte et des situations d'utilisation. Afin d'évaluer l'ensemble des éléments proposés dans cette thèse, deux études ont été menées : la première en laboratoire, la seconde dans un environnement naturel en école maternelle. Un ensemble de perspectives de recherche termine le mémoire.