Les progrès récents dans le domaine de l'infographie et la capacité des ordinateurs personnels de rendre les scènes 3D réalistes ont permis de développer des environnements virtuels dans lesquels plusieurs utilisateurs peuvent co-exister et travailler ensemble pour atteindre un objectif commun. Ces environnements sont appelés Environnements Virtuels Collaboratifs (EVCs). Les applications potentielles des EVCs sont dans les domaines militaire, médical, l'assemblage, la conception assistée par ordinateur, la téléopération, l'éducation, les jeux et les réseaux sociaux. Un des problèmes liés aux EVCs est la faible connaissance des utilisateurs concernant l'état, les actions et les intentions de leur(s) collaborateur(s). Ceci réduit non seulement la performance collective, mais conduit également à des résultats non satisfaisants. En outre, les tâches collaboratives ou coopératives réalisées sans aide ou assistance, sont plus difficiles et plus sujettes aux erreurs. Dans ce travail de thèse, nous étudions l'influence de guides multi-modaux sur la performance des utilisateurs lors de tâches collaboratives en environnement virtuel (EV). Nous proposons un certain nombre de guides basés sur les modalités visuelle, auditive et haptique. Dans ce contexte, nous étudions leur qualité de guidage et examinons leur influence sur l'awareness, la co-présence et la coordination des utilisateurs pendant la réalisation des tâches. A cette fin, nous avons développé une architecture logicielle qui permet la collaboration de deux (peut être étendue a plusieurs utilisateurs) utilisateurs (distribués ou co-localisés). En utilisant cette architecture, nous avons développé des applications qui non seulement permettent un travail collaboratif, mais fournissent aussi des assistances multi-modales aux utilisateurs. Le travail de collaboration soutenus par ces applications comprend des tâches de type "Peg-in-hole", de télé-manipulation coopérative via deux robots, de télé-guidage pour l'écriture ou le dessin. Afin d'évaluer la pertinence et l'influence des guides proposés, une série d'expériences a été effectuée au LISA (Laboratoire d'Ingénierie et Systèmes Automatisés) à l'Université d'Angers et au Laboratoire IBISC (Informatique, Biologie Intégrative et Systèmes Complexes) d'Evry. Dans ces expériences, les utilisateurs ont été invités à effectuer des tâches variées, dans des conditions différentes (avec et sans guides). L'analyse a été effectuée sur la base du temps de réalisation des tâches, des erreurs et de l'apprentissage des utilisateurs. Pour les évaluations subjectives des questionnaires ont été utilisés. Ce travail contribue de manière significative au développement de systèmes collaboratifs pour la téléopération, la simulation d'assemblage, l'apprentissage de gestes techniques, la rééducation, la conception assistée par ordinateur et le divertissement. / The recent advancement in the field oh high quality computer graphics and the capability of inexpensive computers to render realistic 3D scenes have made it possible to develop virtual environments where two more users can co-exist and work collaboratively to achieve a common goal. Such environments are called Collaborative Virtual Environnment (CVEs). The potential application domains of CVEs are many, such as military, medical, assembling, computer aided designing, teleoperation, education, games and social networks etc.. One of the problems related to CVEs is the user's low level of awareness about the status, actions and intentions of his/her collaborator, which not only reduces user's performance but also leads to non satisfactory results. In addition, collaborative tasks without using any proper computer generated assistance are very difficult to perform and are more prone to errors. The basic theme of this thesis is to provide assistance in collaborative 3D interactiion in CVEs. In this context, we study and develop the concept of multimodal (audio, visual and haptic) assistance of a user or group of users. Our study focuses on how we can assist users to collaboratively interact with the entities of CVEs. We propose here to study and analyze the contribution of multimodal assistance in collaborative (synchronous and asynchronous) interaction with objects in the virtual environment. Indeed, we propose and implement various multimodal virtual guides. Theses guides are evaluated through a series of experiments where selection/manipulation task is carried out by users both in synchronous and asynchronous mode. The experiments were carried out in LISA (Laboratoire d'Ingénierie et Systèmes Automatisés) lat at University of Angers and IBISC (Informatique, Biologie Intégrative et Systèmes complexes) lab at University of Evry. In these experiments users were asked to perform a task under various conditions (with and without guides). Analysis was done on the basis of task completion time, errors and users' learning. For subjective evaluations questionnaires were used. The findings of this research work can contribute to the development of collaborative systems for teleopreation, assembly tasks, e-learning, rehabilitation, computer aided design and entertainment.

La connaissance des positions et des mouvements des articulateurs (lèvres, palais, langue...) du conduit vocal lors de la phonation est un enjeu crucial pour l’étude de la parole. Puisqu’il n’existe pas encore de système permettant l’acquisition de ces positions et de ces mouvements, ce travail de thèse s’intéresse à la fusion de plusieurs modalités d’imagerie et de capteurs de localisation pour l’acquisition des positions des articulateurs dans l’espace et dans le temps. Nous décrivons un ensemble de protocoles et de méthodes pour obtenir et fusionner automatiquement un important volume de données échographiques (imageant en 2D la dynamique de la langue), stéréoscopiques (imageant en 3D la dynamique des lèvres), de capteurs électromagnétiques (capturant des points 3D de la langue et du visage), et d’Imagerie par Résonance Magnétique (IRM) pour acquérir en 3D l’ensemble des articulateurs en position statique. Nos contributions concernent plus particulièrement la synchronisation temporelle, le recalage spatial des données et l’extraction automatique des formes à partir des données (suivi de la langue dans les images échographiques). Nous évaluons la précision sur chaque donnée extraite, ainsi que sur l’ensemble des données fusionnées. Nous les validons enfin sur un modèle articulatoire existant. Ces travaux permettent l’obtention de données bien fondées pour la mise en place et l’étude de modèles articulatoires pour des applications en parole. / There is no single technique that will allow all relevant behaviour of the speech articulators (lips, tongue, palate...) to be spatially ant temporally acquired. Thus, this thesis investigates the fusion of multimodal articulatory data. A framework is described in order to acquire and fuse automatically an important database of articulatory data. This includes: 2D Ultrasound (US) data to recover the dynamic of the tongue, stereovision data to recover the 3D dynamic of the lips, electromagnetic sensors that provide 3D position of points on the face and the tongue, and 3D Magnetic Resonance Imaging (MRI) that depict the vocal tract for various sustained articulations. We investigate the problems of the temporal synchronization and the spatial registration between all these modalities, and also the extraction of the shape articulators from the data (tongue tracking in US images). We evaluate the uncertainty of our system by quantifying the spatial and temporal inaccuracies of the components of the system, both individually and in combination. Finally, the fused data are evaluated on an existing articulatory model to assess their quality for an application in speech production.

Universiẗat, Diss., 2002--Hamburg. / Lizenzpflichtig.

Aujourd'hui, la proportion des personnes âgées devient importante par rapport à l'ensemble de la population, et les capacités d'admission dans les hôpitaux sont limitées. En conséquence, plusieurs systèmes de télévigilance médicale ont été développés, mais il existe peu de solutions commerciales. Ces systèmes se concentrent soit sur la mise en oeuvre d'une architecture générique pour l'intégration des systèmes d'information médicale, soit sur l'amélioration de la vie quotidienne des patients en utilisant divers dispositifs automatiques avec alarme, soit sur l'offre de services de soins aux patients souffrant de certaines maladies comme l'asthme, le diabète, les problèmes cardiaques ou pulmonaires, ou la maladie d'Alzheimer. Dans ce contexte, un système automatique pour la télévigilance médicale à domicile est une solution pour faire face à ces problèmes et ainsi permettre aux personnes âgées de vivre en toute sécurité et en toute indépendance à leur domicile. Dans cette thèse, qui s'inscrit dans le cadre de la télévigilance médicale, un nouveau système de télévigilance médicale à plusieurs modalités nommé EMUTEM (Environnement Multimodale pour la Télévigilance Médicale) est présenté. Il combine et synchronise plusieurs modalités ou capteurs, grâce à une technique de fusion de données multimodale basée sur la logique floue. Ce système peut assurer une surveillance continue de la santé des personnes âgées. L'originalité de ce système avec la nouvelle approche de fusion est sa flexibilité à combiner plusieurs modalités de télévigilance médicale. Il offre un grand bénéfice aux personnes âgées en surveillant en permanence leur état de santé et en détectant d'éventuelles situations de détresse.

Dans le but de personnaliser les interactions avec les humains, les robots doivent être capables de reconnaître les personnes avec lesquelles ils interagissent. Que ce soit pour communiquer des informations à une personne spécifique ou seulement pour différencier un homme d’une femme, la reconnaissance de personnes est fondamentale à l’établissement d'une interaction naturelle avec une personne connue ou inconnue. Les différents traits de reconnaissance biométrique, c'est-à-dire l'identification ou l'authentification d'une personne par ses caractéristiques physiques (morphologiques), ont déjà fait leurs preuves dans un environnement contrôlé, comme par exemple par la reconnaissance de visages et de la voix. Avec les avancées technologiques et la venue de caméras RGB-D (e.g., la caméra Microsoft Kinect), il est maintenant possible de détecter la présence de personne à proximité ainsi que les coordonnées des joints de son 'squelette'. Toutes ces capacités ont des limitations qui leur sont propres, et leur complémentarité permet de compenser certaines de ces limitations. Par exemple, la portée limitée de détection pour la reconnaissance de visages et de la voix pourrait par exemple être compensée s'il était possible d'arriver à identifier la présence d'une silhouette humaine. À cette fin, le projet proposé vise à développer un système de reconnaissance biométrique pour un robot mobile afin d'identifier la présence une personne, peu importe son orientation, à partir des mesures métrologiques (e.g., forme corporelle et des mesures anthropomorphiques) du corps. Il serait effectivement possible, à partir de mesures comme la longueur des bras et de la tête, la largeur des épaules et de la tête, etc., de reconnaître un individu. Toutefois, une capacité qui reste à être validée sur un robot mobile est la détection en ligne de silhouettes de personnes à partir d'images 2D. Une des difficultés à résoudre est d'y arriver en un temps de traitement suffisamment court afin de pouvoir dériver cette information lors d'interaction humain-robot. L'approche conçue dans ce mémoire, nommé RHIS pour Real-time Human Identification System, améliore une approche pré-existante qui permet l'extraction de 38 composantes frontales et 22 composantes de côté en 30 sec à partir d'images 2D à une distance de 3 m. Contrairement à cette approche, RHIS permet l'extraction de 45 composantes frontales et 24 composantes de côté en 0.1 sec à des distances variant de 1 m à 6 m. La validation de l'approche se fait en utilisant des fonds de scène uniformes (noir) et réels, à des distances allant de 1 à 6 m. Le système est développé dans l’environnement ROS (Robot Operating System) avec l’utilisation d'une Kinect et d'une caméra haute définition comme source vidéo. Afin de démontrer l'usage de RHIS avec d'autres modalités de reconnaissance biométrique, son intégration avec des modalités de reconnaissance de visages et de la voix est aussi présentée.

Il existe aujourd’hui un large consensus sur le fait que le système cognitif est capabled’avoir des activités sur lui-même, on parle de métacognition. Si plusieurs travaux se sontintéressés aux mécanismes qui sous-tendent cette métacognition, à notre connaissance,aucun ne l’a fait dans une perspective « sensorimotrice et intégrative » du fonctionne-ment cognitif comme celle que nous proposons. Ainsi, la thèse que nous défendons dansce travail est la suivante : l’information métacognitive, notamment la fluence, possèdestrictement le même statut que l’information cognitive (i.e., sensorielle et motrice). Dansun premier chapitre, nous proposons un modèle de la cognition respectant ce principe.Ensuite, dans les deux chapitres suivants, nous mettons à l’épreuve notre hypothèse parle biais d’expériences et de simulations effectuées à l’aide du modèle mathématique quenous avons élaboré. Ces travaux ont porté plus précisément sur des phénomènes liés à troispossibilités originales prédites par notre hypothèse : la possibilité de méta-métacognition,la possibilité d’intégration entre information sensorielle et information métacognitive, etla possibilité d’abstraction métacognitive. / There is today a broad consensus that the cognitive system is capable of having acti-vities on itself, we are talking about metacognition. Although several studies have focusedon the mechanisms underlying this metacognition, to our knowledge, none has done so ina "sensorimotor and integrative" perspective of cognitive functioning such as the one wepropose. Thus, the thesis we defend in this work is the following : metacognitive infor-mation, especially fluency, has strictly the same status as any cognitive information (i.e.,sensory and motor). In a first chapter, we propose a model of cognition respecting thisprinciple. Then, in the next two chapters, we test our hypothesis through experimentsand simulations using the mathematical model we have developed. This work focusedmore specifically on phenomena related to three original possibilities predicted by ourhypothesis : the possibility of meta-metacognition, the possibility of integration betweensensory information and metacognitive information, and the possibility of metacognitiveabstraction.

Aujourd'hui, la proportion des personnes âgées devient importante par rapport à l'ensemble de la population, et les capacités d'admission dans les hôpitaux sont limitées. En conséquence, plusieurs systèmes de télévigilance médicale ont été développés, mais il existe peu de solutions commerciales. Ces systèmes se concentrent soit sur la mise en oeuvre d’une architecture générique pour l'intégration des systèmes d'information médicale, soit sur l'amélioration de la vie quotidienne des patients en utilisant divers dispositifs automatiques avec alarme, soit sur l’offre de services de soins aux patients souffrant de certaines maladies comme l'asthme, le diabète, les problèmes cardiaques ou pulmonaires, ou la maladie d'Alzheimer. Dans ce contexte, un système automatique pour la télévigilance médicale à domicile est une solution pour faire face à ces problèmes et ainsi permettre aux personnes âgées de vivre en toute sécurité et en toute indépendance à leur domicile. Dans cette thèse, qui s’inscrit dans le cadre de la télévigilance médicale, un nouveau système de télévigilance médicale à plusieurs modalités nommé EMUTEM (Environnement Multimodale pour la Télévigilance Médicale) est présenté. Il combine et synchronise plusieurs modalités ou capteurs, grâce à une technique de fusion de données multimodale basée sur la logique floue. Ce système peut assurer une surveillance continue de la santé des personnes âgées. L'originalité de ce système avec la nouvelle approche de fusion est sa flexibilité à combiner plusieurs modalités de télévigilance médicale. Il offre un grand bénéfice aux personnes âgées en surveillant en permanence leur état de santé et en détectant d’éventuelles situations de détresse. / The population age increases in all societies throughout the world. In Europe, for example, the life expectancy for men is about 71 years and for women about 79 years. For North America the life expectancy, currently is about 75 for men and 81 for women. Moreover, the elderly prefer to preserve their independence, autonomy and way of life living at home the longest time possible. The current healthcare infrastructures in these countries are widely considered to be inadequate to meet the needs of an increasingly older population. Home healthcare monitoring is a solution to deal with this problem and to ensure that elderly people can live safely and independently in their own homes for as long as possible. Automatic in-home healthcare monitoring is a technological approach which helps people age in place by continuously telemonitoring. In this thesis, we explore automatic in-home healthcare monitoring by conducting a study of professionals who currently perform in-home healthcare monitoring, by combining and synchronizing various telemonitoring modalities,under a data synchronization and multimodal data fusion platform, FL-EMUTEM (Fuzzy Logic Multimodal Environment for Medical Remote Monitoring). This platform incorporates algorithms that process each modality and providing a technique of multimodal data fusion which can ensures a pervasive in-home health monitoring for elderly people based on fuzzy logic.The originality of this thesis which is the combination of various modalities in the home, about its inhabitant and their surroundings, will constitute an interesting benefit and impact for the elderly person suffering from loneliness. This work complements the stationary smart home environment in bringing to bear its capability for integrative continuous observation and detection of critical situations.

La biométrie se réfère à la reconnaissance automatique des individus basée sur leurs caractéristiques physiologiques et/ou comportementales. Les systèmes biométriques unimodaux permettent de reconnaître une personne en utilisant une seule modalité biométrique, mais ne peuvent pas garantir avec certitude une bonne identification. De plus, ces systèmes sont sensibles au bruit introduit par l'unique capteur, à la non-universalité et au manque d'individualité de la modalité biométrique choisie ainsi qu'aux tentatives d'intrusion. La plupart de ces problèmes peuvent être réduits par la mise en place de systèmes biométriques multimodaux utilisant plusieurs signatures biométriques d'une même personne. Dans cette thèse, nous abordons plusieurs points importants concernant la biométrie multimodale. Tout d'abord, après avoir dressé un état de l'art en fusion multimodale, nous faisons le lien entre le fonctionnement du cerveau et certains algorithmes fondamentaux utilisés en reconnaissance faciale. Ensuite, nous mettons en avant l'utilisation des ondelettes à divers niveaux du système biométrique multimodal. Enfin, l'exploration de nouvelles techniques de fusion de signatures biométriques issues du visage (modalité naturelle et non intrusive) et de l'iris (une des modalités les plus précises) ainsi que des analyses statistiques à grande échelle des scores de similarité provenant de chaque modalité ont permis de mettre au point une méthode originale de fusion adaptative combinant l'utilisation des ondelettes et des moments statistiques.

Les bactéries sont des microorganismes capables de se développer et de proliférer indépendamment les uns des autres en milieu liquide. Mais dès qu’une surface se présente, biotique ou abiotique, les bactéries privilégient un « mode de vie en communauté » pour se protéger des agressions externes et survivre aux environnements hostiles. Ces biostructures, appelées biofilms, sont présentes dans tous les environnements naturels, y compris chez l’Homme où elles peuvent être à l’origine d’infections chroniques lorsqu’elles hébergent des germes pathogènes. Il est aujourd’hui admis que de tels édifices biologiques perdurent sous l’action des antibiotiques. Outre le très médiatique phénomène de résistance qui trouve son origine dans des mutations génétiques bactériennes, la tolérance, quant à elle, provient des spécificités de la structure et de la physiologie des bactéries organisées en biofilms. C’est dans ce contexte que s’inscrit ce travail de thèse qui vise à mieux comprendre les mécanismes sous-jacents au manque d’efficacité d’antibiotiques (vancomycine,daptomycine, rifampicine) vis-à-vis des biofilms de S. aureus, en s’appuyant notamment sur des techniques innovantes d’imagerie à résolution micro-nanométrique. Nous avons mis au point un modèle d’infections sur prothèse vasculaire implantable chez la souris qui a permis une toute première visualisation par imagerie de fluorescence de biofilms formés in vivo et soumis à l’action des antibiotiques mais aussi de montrer leur activité limitée. Nous nous sommes ensuite attachés à une meilleure compréhension de la tolérance aux antibiotiques de biofilms bactériens de S. aureus. Pour ce faire, nos études ont porté, d’une part, sur le rôle de la matrice extracellulaire et, d’autre part, sur le rôle de la physiologie des bactéries incluses en biofilm. Il a ainsi été mis en évidence le rôle crucial de la fluidité membranaire. Ces travaux nous ont alors permis de dégager des pistes pour améliorer l’antibiothérapie disponible mais aussi développer des alternatives à ce type de traitement. / Bacteria are microorganisms capable of growing independently in liquid media. However, as soon as they encounter a surface, either biotic or abiotic, bacteria favour a "community living" to protect themselves from external aggressions and survive in hostile environments. These bacterial communities, named biofilms, are present in all natural environments, including humans where they can cause severe infections when hosting pathogenic germs. It is now accepted that such biological edifices persist under antibiotics action. In addition to antibiotic 'resistance', which is associated with genetic mutations of bacteria, 'tolerance' is related with the specific structure and physiology of bacteria organized in biofilms. In this context, we took benefit from innovative high-resolution imaging techniques to better understand the mechanisms underlying antibiotics (vancomycin, daptomycin, rifampicin) (in)efficacy within S. aureus biofilms. In addition, we developed a model for prosthetic vascular graft infections in mice that allowed the visualization by fluorescence imaging of biofilms formed in vivo and subjected to the action of antibiotics. Considering the very limited antibiotics efficacy observed, we then focused on a better understanding of S. aureus bacterial biofilms tolerance towards antibiotics. To this purpose, our work was focused on the role of both the extracellular matrix and the physiology of bacteria included in biofilms. The crucial role of membrane fluidity was then demonstrated. This work allowed us to identify paths for the improvement of antibiotic therapy and to develop alternatives to this type of treatment.

L'examen EEG est un examen fonctionnel essentiel de la médecine moderne. Il consiste dans l'acquisition de signaux physiologique d'un patient afin de diagnostiquer ses troubles neurologiques. À cause d'une mauvaise répartition des experts et d'une diversification des spécialités de neurophysiologie, la téléexpertise s'impose comme une solution pour apporter des soins pour tous. Cette thèse aborde la problématique de téléexpertise d'un examen EEG tout en repoussant les limitations des équipements d'EEG actuelle. Ces limitations, observées par les médecins, sont l'imprécision de la synchronisation entre les signaux physiologiques et l'enregistrement vidéo et la faible qualité de cet enregistrement vidéo. La première limitation nous a conduit à développer un mécanisme de synchronisation matérielle déterministe ainsi que de définir un nouveau format de fichier capable de stocker les signaux physiologiques ainsi que la vidéo de manière uniforme. La seconde limitation a mené en la définition d'un nouvel algorithme de compression nommé ROI-Waaves. Cet algorithme, utilisant la transformée en ondelettes et le codeur entropique HENUC, est capable d'encoder des zones de l'image avec une qualité supérieure afin de conserver les détails des mains et du visage du patient. Finalement, nous avons développé deux implémentations mettant en place les solutions proposées et permettant de réaliser un examen EEG synchronisé et compressé. De plus, nous avons proposé une architecture matérielle compressant un flux vidéo à 100 images par seconde en temps réel en utilisant ROI-Waaves. / The EEG exam is an essential functional exam in modern medicine. It involves the acquisition of biological signals of a patient to diagnose his neurological disorders. Because of a poor spread of experts and diversification of neurophysiological specialties, remote expertise imposes itself as a solution to bring health care to most people. The thesis approaches the problematic of remote diagnosis of EEG exams while pushing back the current EEG device limitations. Those limitations, observed by doctors, are the imprecise synchronization between biological signals and the video recording and the low quality of this video recording. The first limitation has led us to develop a hardware determinist synchronization as well as to define a novel file format to store biological signals alongside the video. Thanks to those two mechanisms, we guarantee the correct synchronization when reviewing a EEG file. The second limitation has driven us to define a new compression algorithm named ROI-Waaves. The algorithm uses wavelet transform and the HENUC coding scheme and encodes one or many regions of an image with higher quality to preserve details. Those regions are defined as the hands and head of the patient and help doctors to perform correct diagnoses. Lastly, we have developed two implementations which use the proposed solutions and allowing to carry out a synchronized and compressed EEG exam. The produced exams by these devices are complete and can be used for review or long-time storage. In addition, we have proposed a hardware architecture that compresses 100 frames per second video stream in real time using ROI-Waaves.