L'objet de cette thèse est l'étude de l'intégration de la vidéo dans les systèmes informatiques interactifs. Cette étude se place dans le contexte de la communication médiatisée, où l'informatique permet à la fois de numériser, transmettre, traiter et afficher des flux vidéo numériques mais également de contrôler des moyens vidéo analogiques. Notre démarche se veut à la fois scientifique et technologique, centrée sur les usages : nous voulons comprendre les mécanismes à mettre en oeuvre pour permettre une grande diversité d'usage de la vidéo, de la perception périphérique à la collaboration formelle, et nous voulons en même temps fournir les outils logiciels qui permettront de développer plus encore ces usages. La thèse est organisée en trois parties. La première partie présente différents systèmes commerciaux et travaux de recherche qui illustrent les usages actuels de la vidéo dans les systèmes interactifs. Nous décrivons plus particulièrement les environnements de type Media Space, que nous caractérisons par trois propriétés fondamentales : intégrabilité, flexibilité et intimité. La seconde partie est consacrée à l'utilisation des langages et protocoles du World Wide Web comme infrastructure logicielle pour la mise en oeuvre de nouveaux mediaspaces. Nous montrons le bien-fondé de cette approche en nous basant sur les propriétés identifiées dans la première partie, nous présentons Mediascape et videoServer, deux prototypes qui la mettent en application, puis nous montrons comment elle peut être étendue par l'ajout de clients et de protocoles spécifiques. Ces extensions sont à l'origine de videoSpace, une boîte à outils logicielle que nous présentons dans la troisième partie. Nous décrivons son interface de programmation ainsi que les outils de base qu'elle offre aux utilisateurs, puis nous concluons par trois ensembles de prototypes qui illustrent ses possibilités actuelles et préfigurent les nouveaux usages de la vidéo qu'elle devrait faciliter à l'avenir.

Les nouvelles technologies en matière d'accès à l'information, de communication sans-fil et de localisation d'informations ouvrent la voie à des innovations majeures dans l'utilisation des systèmes informatiques. Ces avancées permettent d'imaginer de nouveaux usages informatiques dont la mise en œuvre motive le développement de méthodes de conception appropriées. Plus particulièrement, l'informatique mobile combine désormais des enjeux conceptuels tels que l'accès à des services par un utilisateur en mobilité, la généralisation d'outils de localisation, la compréhension de systèmes complexes par un public non-expert ou l'importante variabilité des situations d'exécution. Cette thèse propose un cadre de conception qui adresse certains des enjeux pour la mobilité des systèmes d'information. Dans cette perspective, les attentes des utilisateurs et les contraintes technologiques inhérentes à la mobilité des constituants du système définissent un espace contextuel dont les dimensions sont prises en compte dès les premières étapes de la conception. Le modèle proposé établit comme point d'entrée une description de l'espace géographique du système pour différencier un ensemble de contextes d'exécution. L'énoncé de ces contextes permet de corréler les attentes des utilisateurs avec les capacités techniques de la plate-forme et d'offrir le niveau fonctionnel le plus acceptable dans une situation donnée. Dans un second temps, les différentes fonctionnalités et les données mises en œuvre dans chaque contexte d'exécution peuvent être ordonnées ou filtrées afin d'optimiser la présentation des informations aux utilisateurs. Ces recommandations sont produites par l'analyse conjointe des préférences d'utilisateurs selon leurs interactions et leurs comportements spatiaux. Deux cadres expérimentaux viennent illustrer les propositions du modèle. La conception d'un système mobile de suivi de compétition nautique prend en compte différents contextes d'exécution et adapte un niveau de service à des situations dégradées. Un système de documentation et de visite de campus illustre les algorithmes de recommandation et affine la présentation d'informations localement à chaque contexte d'exécution.

Nous nous plaçons dans le contexte de situations décisionnelles critiques où les activités de prise de décision collective sont généralement caractérisées par des sessions de coopération synchrones au sein d'environnements distribués dynamiques, évolutifs et souvent imprévisibles. Au cours de ces sessions, les participants agissent simultanément et depuis des points d'accès distribués sur des objets partagés en suivant des règles de coordination pouvant être implicites ou explicites et en utilisant un ensemble d'outils qui leur permettent de progresser de façon coordonnée. Chacun des participants prend quelques décisions partielles, celles-ci servant de base aux suivantes. La prise de décision nécessite alors une synergie d'efforts de plusieurs membres afin que chacun d'eux mette à contribution son savoir-faire. Les membres ayant différents intérêts, compétences et expériences ne sont plus situés dans la même pièce mais utilisent des informations venant d'autres acteurs via des réseaux de type Internet ou intranet. D'ailleurs, c'est grâce à cette synergie que les membres peuvent atteindre des résultats supérieurs à ceux que qu'ils auraient pu réaliser individuellement. Ainsi l'outil pour décider devient l'outil pour décider ensemble. La contribution principale de cette thèse dans le domaine d'aide à la facilitation de la prise de décision collaborative se trouve dans la conception et la mise en œuvre d'un modèle et d'un système dédiée à la facilitation de la prise de décision de groupe synchrone distribuée. Cette structure collective entre agents humains permet d'une part d'additionner et de mutualiser les savoirs et les capacités créatrices, et d'autre part de limiter l'incertitude inhérente au processus de prise de décision par l'échange et la comparaison des points de vue. L'idée directrice de ce modèle est de renforcer la communication ainsi que la coopération entre les différents acteurs impliqués dans la prise de décision collective. Il s'agit d'une phase de production et de résolution créative de problème individuelle précédant la présentation des contributions au collectif. Cette dynamique d'éclatement puis de regroupement implique des mécanismes de coopération et de communication entre le groupe et l'individu.

L’objectif de cette thèse est de faciliter l’utilisation de l’apprentissage supervisé dans les systèmes de détection pour renforcer la détection. Dans ce but, nous considérons toute la chaîne de traitement de l’apprentissage supervisé (annotation, extraction d’attributs, apprentissage, et évaluation) en impliquant les experts en sécurité. Tout d’abord, nous donnons des conseils méthodologiques pour les aider à construire des modèles de détection supervisés qui répondent à leurs contraintes opérationnelles. De plus, nous concevons et nous implémentons DIADEM, un outil de visualisation interactif qui aide les experts en sécurité à appliquer la méthodologie présentée. DIADEM s’occupe des rouages de l’apprentissage supervisé pour laisser les experts en sécurité se concentrer principalement sur la détection. Par ailleurs, nous proposons une solution pour réduire le coût des projets d’annotations en sécurité informatique. Nous concevons et implémentons un système d’apprentissage actif complet, ILAB, adapté aux besoins des experts en sécurité. Nos expériences utilisateur montrent qu’ils peuvent annoter un jeu de données avec une charge de travail réduite grâce à ILAB. Enfin, nous considérons la génération automatique d’attributs pour faciliter l’utilisation de l’apprentissage supervisé dans les systèmes de détection. Nous définissons les contraintes que de telles méthodes doivent remplir pour être utilisées dans le cadre de la détection de menaces. Nous comparons trois méthodes de l’état de l’art en suivant ces critères, et nous mettons en avant des pistes de recherche pour mieux adapter ces techniques aux besoins des experts en sécurité. / The overall objective of this thesis is to foster the deployment of supervised learning in detection systems to strengthen detection. To that end, we consider the whole machine learning pipeline (data annotation, feature extraction, training, and evaluation) with security experts as its core since it is crucial to pursue real-world impact. First, we provide methodological guidance to help security experts build supervised detection models that suit their operational constraints. Moreover, we design and implement DIADEM, an interactive visualization tool that helps security experts apply the methodology set out. DIADEM deals with the machine learning machinery to let security experts focus mainly on detection. Besides, we propose a solution to effectively reduce the labeling cost in computer security annotation projects. We design and implement an end-to-end active learning system, ILAB, tailored to security experts needs. Our user experiments on a real-world annotation project demonstrate that they can annotate a dataset with a low workload thanks to ILAB. Finally, we consider automatic feature generation as a means to ease, and thus foster, the use of machine learning in detection systems. We define the constraints that such methods should meet to be effective in building detection models. We compare three state-of-the-art methods based on these criteria, and we point out some avenues of research to better tailor automatic feature generation to computer security experts needs.

Depuis l'introduction au début des années 2000 du standard ARINC 661 (définissant les interfaces graphiques dans les cockpits), les avions modernes, tels que l'A380, l'A350 ou le B787, intègrent des systèmes interactifs permettant à l'équipage d'interagir avec des applications interactives. Ces applications sont affichées sur des écrans à travers l'utilisation d'un dispositif similaire à un clavier et une souris. Pour des raisons d'exigences de sûreté de fonctionnement, l'utilisation de ces systèmes est limitée, à l'heure actuelle, à la commande et au contrôle de fonctions avioniques non critiques. Cependant, l'utilisation de ces systèmes dans les cockpits d'avions civils apporte de nombreux avantages (tels qu'une amélioration de l'évolutivité du cockpit) qui amènent les industriels à chercher comment l'étendre à la commande et le contrôle de systèmes avioniques critiques. Dans cette optique, nous proposons une approche duale et homogène de prévention et de tolérance aux fautes pour concevoir et développer des systèmes interactifs tolérants aux fautes. Celle-ci repose, dans un premier temps, sur une approche à base de modèles permettant de décrire de manière complète et non ambiguë les composants logiciels des systèmes interactifs et de prévenir les fautes logicielles de développement. Dans un second temps, elle repose sur une approche de tolérance aux fautes naturelles et certaines fautes logicielles résiduelles en opération, grâce à la mise en œuvre d'une solution architecturale fondée sur le principe des composants autotestables. Les contributions de la thèse sont illustrées sur une étude de cas de taille industrielle : une application interactive inspirée du système de commande et contrôle de l'autopilote de l'A380. / Since the introduction of the ARINC 661 standard (that defines graphical interfaces in the cockpits) in the early 2000, modern aircrafts such as the A380, the A350 or the B787 possess interactive systems. The crew interacts, through physical devices similar to keyboard and mouse, with interactive applications displayed on screens. For dependability reasons, only non-critical avionics systems are managed using such interactive systems. However, their use brings several advantages (such as a better upgradability), leading aircraft manufacturers to generalize the use of such interactive systems to the management of critical avionics functions. To reach this goal, we propose a dual and homogeneous fault prevention and fault tolerance approach. Firstly, we propose a model-based approach to describe in a complete and unambiguous way interactive software components to prevent as much as possible development software faults. Secondly, we propose a fault tolerant approach to deal with operational natural faults and some residual software faults. This is achieved through the implementation of a fault tolerant architecture based on the principle of self-checking components. Our approach is illustrated on a real size case study: an interactive application based on the command and control system of the A380 autopilot.

.

L'évaluation des systèmes interactifs est un domaine de recherche très actif depuis plus d'une trentaine d'années. Suite à l'apparition de systèmes interactifs à architecture dite à base d'agents, de nouvelles problématiques relatives à l'évaluation de tels systèmes apparaissent. Notre contribution réside dans la proposition d'un environnement générique et configurable baptisé EISEval (Environment for Interactive System Evaluation) pour l'aide à leur évaluation. En effet, il prend en compte leurs spécificités et étend les possibilités des mouchards électroniques traditionnels pour évaluer différents aspects d'un système : l'interface utilisateur, quelques propriétés non fonctionnelles (ex. : temps de réponse) et certaines propriétés de l'utilisateur. Cet environnement a été testé et validé dans le cadre du projet SART (Système d'Aide à la Régulation de Trafic), dans un cadre d'évaluation d'un système interactif dans le domaine des transports appelé SAI (Système d'Aide à l'Information des voyageurs). Les perspectives de recherche concernent l'évaluation et l'amélioration du système SAI, de même que l'amélioration de l'environnement d'évaluation proposé, afin d'augmenter son automatisation et l'intégrer dans un environnement d'évaluation intégré. Cet environnement permettrait de combiner des résultats d'évaluation provenant de différentes méthodes (y compris de l'environnement EISEval) pour l'aide à l'évaluation des systèmes interactifs. Mots clés : Évaluation, Interaction Homme-Machine, interface utilisateur, systèmes interactifs, architecture à base d'agents, architecture logicielle, mouchard électronique.

.

Nos travaux s’inscrivent dans le cadre de la définition d’architectures pour la conception des applications informatiques se basant sur l’interactivité avec l’utilisateur. Nous nous plaçons dans un contexte de système médiateur, dans lequel les interactions sont traitées par le système afin de maitriser au mieux l’exécution de l’application interactive. Un point-clé de notre approche est l’hypothèse que le concepteur conçoit son application interactive en fonction d’un présupposé qu’il a sur l’utilisateur (compétence, comportement...). Afin de maintenir la cohérence de l’exécution vis-à-vis du comportement de l’utilisateur pour l’activité en cours, le mécanisme d’adaptation doit alors prendre en compte la logique perçue et interprétée de l’utilisateur. Le principe d’exécution adaptative permet donc à un système interactif d’ajuster sa logique d’exécution en fonction de l’état, des comportements, des réactions et des capacités de l’utilisateur. Ainsi, le point de départ de l’exécution adaptative est la définition des propriétés caractérisant l’état de l’utilisateur et/ou de son environnement, et l’observation ou la capture de cet état, qui permettra par la suite de prendre une décision sur la poursuite du déroulement du scénario. Cependant, cette décision d’adaptation peut être influencée ou entravée par la distance entre l’état observé et l’état réel de l’utilisateur, ainsi que par la distance entre l’état observé et l’état prédit (espéré) par le système. Les principaux obstacles à l’exécution adaptative dans un système interactif sont de 3 types : les ambiguïtés, les incohérences et les quiproquos. Ils peuvent survenir à chaque fois qu’un ensemble d’acteurs du système considéré interagissent, partagent des connaissances globales et gèrent leurs connaissances locales. Un quiproquo se produit lorsque deux acteurs ont des connaissances incohérentes dans leurs visions locales et les utilisent pendant leurs interactions ; cela peut entraîner une déviation de ces interactions. L’ambiguïté causant possiblement des mauvaises perceptions est une des origines de quiproquo. Les ambiguïtés et les quiproquos sont des entraves pouvant entrainer des conséquences graves pour le système, tel que la déviance du scénario, la propagation des quiproquos, l’interruption des interactions, la perte de motivation des utilisateurs... Ils diminuent à la fois la qualité de l’adaptation et la pertinence de l’interaction. La question principale à laquelle veulent répondre nos travaux est : comment peut-on gérer les quiproquos entre les acteurs du système lors de l’exécution, afin d’améliorer l’adaptativité dans les applications interactives ? Le principe de notre solution est de proposer un gabarit de conception et d’organisation des interactions ainsi qu’un gabarit de mécanisme de gestion de cohérence, que les concepteurs d’une application interactive pourront reprendre comme support pour développer leurs propres algorithmes de détection ou de correction. Ce modèle d’architecture doit être générique et réutilisable, les mécanismes doivent être transparents et préserver les propriétés importantes des systèmes interactifs. Pour atteindre cet objectif, notre recherche s’est divisée en trois points : proposer un cadre méthodologique à base de la notion de « situation » pour la conception des applications interactives, pour confiner les interactions et suivre les parcours d’actions de chaque acteur, afin de contrôler l’utilisation des ressources et assurer la cohérence des visions locales ; proposer une architecture robuste à base d’agents avec la surcharge des composants spécifiques en tant qu’infrastructure des systèmes interactifs adaptatifs ; enfin, transférer des techniques du domaine de la sûreté de fonctionnement et de la tolérance aux fautes, vers le domaine de l’interactivité et l’adaptativité pour traiter les quiproquos. / Our works focus on defining an architectural model for interactivity-based computer applications. The research context is placed in the mediator systems where the interactions are treated by the system itself, and in the scenarized applications where its execution is considered as a scenario. This aims to manage at best the interactive application execution. The observation and adaptation are key points of our approach where the designer develops his interactive application according to the presuppositions about users (behaviour, skills...). To maintain an execution consistence towards user’s behaviour in current activities, the adaptation mechanism has to take into account the perceived and interpreted user’s logic. That allows the system to adjust its execution logic to user’s state, behaviour, reactions and capacities. Hence, the starting point of adaptive execution is to define a set of proprieties characterising user’s state and his environment of which the observation permits thereafter to make decisions about the future scenario continuity. However, this decision can be influenced or hampered by the difference distance between the observed state and the real state of user, also the distance between the observed state and the expected one by the system. The principal obstacles against the adaptation and interactions are : the ambiguity, the inconsistency, and the misunderstanding. They can occur when the participant actors interact, share global data, and manage the local knowledge contained in their local visions at the same time. A misunderstanding in interaction arises during actors’ interactions using the inconsistent data in their local visions that can impact badly on interaction. The ambiguity causing possibly the wrong perceptions is one of the principal misunderstanding origines. Theses obstacles lead to serious consequences for the system and application such as scenario deviation, misunderstanding propagation, interaction interruption, user’s motivation lost...They decrease the adaptation quality and interaction pertinence. Hence, the principal question of this thesis is : how can we handle the misunderstanding in interactions between the actors during system execution in order to improve adaptability in the interactive applications ? Our solution principle is to propose a model for interaction designing and organizing, together with a model for consistency handling mechanisms that application designers can employ as a necessary support to install his own detection or correction algorithms. These models have to be generic, reusable to be applied in different types of application. The consistency managements have to be transparent to users, and preserve important properties of interactive systems. To attain this objective, our works follow three major points : propose a situation-based methodological model for interactive application designing to confine a sequence of interactions into a situation with the constraints of context and resource utilisation. This structuration into situations propose a robust system architecture with additional specific components that ensure misunderstanding in interaction detection and management. Integrate the adaptive treatment mechanisms to the dynamic system’s execution through the proposed situation-based architectural model. They are inspired and adapted from fault-tolerance techniques in dependability domain.

L’Interaction Humain-Machine a évolué d’une perspective classique vers un environnement plus naturel, dans lequel les humains peuvent utiliser la langue naturelle pour échanger des connaissances avec un ordinateur. Pour bien “comprendre” les intentions de l’humain, l’ordinateur doit être capable de détecter les émotions et de répondre en conséquence. Cette thèse porte sur plusieurs aspects de la détection des émotion humaines, en partant de différentes techniques de détection jusqu’à leur intégration dans un Système Interactif Distribué. Les émotions sont un concept flou et leur perception par des individus humains peut aussi varier. Par conséquent, cela rend le problème de détection très difficile en informatique. Du point vue de la détection de l’affect, nous avons proposé trois approches différentes : une méthode à base de Cartes Auto-Organisatrices (Self Organizing Maps- SOM), un classifieur de la valence basé sur des caractéristiques multi-modales et un Séparateur à Vaste Marge (Support Vector Machines - SVM) et une technique pour résoudre les conflits dans un dictionnaire affectif (SentiWordNet). En outre, du point de vue de l’intégration aux systèmes, deux questions sont abordées : une expérience de type Magicien d’Oz dans un environnement de narration d’histoires pour enfants et une architecture de Système Interactif Distribué. / Human-Computer Interaction migrates from the classic perspective to a more natural environment, where humans are able to use natural language to exchange knowledge with a computer. In order to fully “understand” the human’s intentions, the computer should be able to detect emotions and reply accordingly. This thesis focuses on several issues regarding the human affects, from various detection techniques to their integration into a Distributed Interactive System. Emotions are a fuzzy concept and their perception across human individuals may vary as well. Therefore, this makes the detection problem very difficult for a computer. From the affect detection perspective, we proposed three different approaches: an emotion detection method based on Self Organizing Maps, a valence classifier based on multi-modal features and Support Vector Machines, and a technique to resolve conflicts into a well known affective dictionary (SentiWordNet). Moreover, from the system integration perspective, two issues are approached: a Wizard of Oz experiment in a children storytelling environment and an architecture for a Distributed Interactive System.