Le travail présenté dans cette thèse s'inscrit à la fois dans le domaine de l'informatique musicale et dans celui de la réalité virtuelle. Nous présentons tout d'abord les avantages des environnements virtuels immersifs et de l'interaction graphique 3D pour les instruments multi-processus et en particulier pour le live-looping hiérarchique, un nouveau modèle d'instrument que nous définissons. Nous proposons ensuite des solutions pour la visualisation et la manipulation des processus sonores dans ces environnements virtuels. Afin de représenter les processus sonores, nous introduisons les widgets réactifs 3D qui s'appuient sur des mappings audiovisuels que nous évaluons. Nous développons un nouveau dispositif d'interaction 3D adapté à l'interaction musicale, appelé Piivert, ainsi que des techniques associées, dont les tunnels afin de manipuler les widgets réactifs 3D. Finalement, nous mettons en œuvre le live-looping hiérarchique avec l'instrument immersif Drile, en utilisant les techniques développées précédemment, et nous étudions plusieurs scènes pour les performances musicales immersives.

L'une des finalités de la Biologie Moléculaire (BM) est l'étude de l'architecture spatiale (ie. structure 3D) des molécules. Les expérimentations in silico (ie. simulations numériques) permettant la modélisation 3D utilisent le plus souvent des approches automatiques. Or, ces approches présentent certains inconvénients: temps de traitement important, modélisation souvent partielle, modèle 3D généralement figé, etc. L'apport des connaissances des experts, de manière interactive, pendant le processus de modélisation automatique peut pallier certains défauts des méthodes calculatoires usuelles. Il s'agit de placer le biologiste au centre des essais virtuels plutôt qu'en observateur de résultats de simulations. C'est ce que nous appelons l'approche hybride, qui associe les avantages des expérimentations in silico (capacité de calcul) à ceux des Interactions Homme-Machine (IHM) et de la Réalité Virtuelle (RV) : commande naturelle, immersion dans l'environnement virtuel (EV), multimodalité, etc. Le résultat de cette approche est la création d'analyses in virtuo, qui comportent trois phases fondamentales: la modélisation 3D, la visualisation et l'interaction 3D (I3D). Cependant, des domaines complexes tels que la BM sont régis par un ensemble de contraintes qui peuvent être locales (liées aux objets 3D ou aux tâches d'I3D) et globales (liées à l'espace des objets 3D ou au système d'I3D). Par conséquent, l'intervention des experts ne peut pas être réalisée efficacement par des techniques d'I3D classiques, indépendantes de la complexité et des contraintes du domaine. Plus généralement, nous sommes confrontés au problème innovant de l'I3D sous contraintes qui intègre les règles de comportement imposées par l'EV. Pour y répondre, nous formalisons un modèle d'assistance qui associe les contraintes, les tâches d'interaction et des outils d'assistance que sont les guides virtuels. Nous avons appliqué ces deux concepts, d'approche hybride et d'assistance à l'I3D sous contraintes, au problème de la modélisation 3D du chromosome. Les contraintes identifiées sont ici architecturales (ie. données physico-chimiques) et fonctionnelles (ie. modèles biologiques). Ces contraintes issues des lois de la Biologie imposent l'ordonnancement spatial du chromosome. Le système d'interaction Hommme-Molécule in virtuo proposé peut être considéré plus crédible puisqu'il respecte les contraintes environnementales, tant au niveau de la structure 3D qu'au niveau de l'I3D.

Les Environnements Virtuels Collaboratifs (EVCs) sont des environnements virtuels peuplés où les utilisateurs interagissent entre eux pour réaliser des actions communes (déplacement en groupe, sélection et manipulation d'objets en commun, communication, etc.). Dans les EVCs, la complexité se situe au niveau de l'interaction d'un groupe d'utilisateurs avec les objets. En effet, il y a plusieurs contraintes à respecter notamment celles liées à la coordination des actions des différents utilisateurs et la conscience de présence d'un utilisateur par rapport aux objets de l'environnement et par rapport aux autres utilisateurs. Notre travail de recherche s'inscrit dans le cadre de l'interaction 3D et de la collaboration en Réalité Virtuelle. Il développe la notion d'assistance à l'interaction 3D collaborative et à son évaluation. Pour l'assistance à l'interaction 3D collaborative, une approche basée sur un Workflow intégrant l'anticipation et la gestion des interactions du groupe est proposée. Pour l'assistance à l'évaluation des techniques d'interaction 3D, une approche basée sur les méthodes empiriques d'évaluation intégrant les outils statistiques de recherche d'informations est proposée. L'objectif de cette thèse est de modéliser, concevoir, implémenter et évaluer un système d'assistance à l'interaction 3D collaborative.

Cette thèse est consacrée au domaine interdisciplinaire des Systèmes de Transport Intelligents et des technologies de Réalité Virtuelle. Elle se concentre sur l'amélioration des stratégies de commande des véhicules intelligents en tenant compte des impacts de l'environnement naturel ainsi que sur l'analyse de performance, la visualisation et la vérification de la validité des algorithmes de commande sur la plateforme de véhicules intelligents réalité virtuelle (IVVR).La plateforme IVVR comprend trois sous-systèmes : un sous-système de commande de véhicules intelligents, un sous-système de visualisation et un sous-système virtuel sans fil. Le synthétique environnement naturel a été modélisé et simulé pour la simulation et l'analyse de performance des stratégies de commande sous conditions environnementales complexes. Ensuite, les expérimentations concernant le trafic équipé du régulateur de vitesses adaptatives (ou coopérative) sont exécutés et ils montrent que les systèmes existants ont échoué à maintenir une espace inter-véhiculaire de sécurité lorsque les conditions d'environnement naturel sont défavorables. Dans ce cas, nous proposons un nouvel algorithme de commande appelé NECACC pour le contrôle longitudinal du véhicule en maintenant une espace inter-véhiculaire de sécurité et garantissant une capacité de circulation optimisée même dans des conditions environnementales complexes. Cet algorithme est ensuite simulé, vérifié et validé sur la plateforme IVVR. Enfin, les démonstrations de trafic virtuel effectuant des manœuvres communes de circulation contrôlés par les systèmes de commande intégrés proposées sont présentées sous diverse conditions environnementales

Etant donné un ensemble de caméras filmant une même scène, le rendu à base de vidéos consiste à générer de nouvelles images de cette scène à partir de nouveaux points de vue. L'utilisateur a ainsi l'impression de pouvoir déplacer une caméra virtuelle dans la scène alors qu'en réalité, toutes les caméras sont fixes. Certaines méthodes de rendu à base de vidéos coûteuses en temps de calcul se basent sur une reconstruction 3d de la scène et produisent des images de très bonne qualité. D'autres méthodes s'orientent plutôt vers le rendu temps réel. C'est dans cette dernière catégorie que s'inscrit la méthode de Plane Sweep sur laquelle porte la majeure partie de nos travaux. Le principe de la méthode des Plane Sweep consiste à discrétiser la scène en plans parallèles et à traiter séparément chaque point de ces plans afin de déterminer s'ils se trouvent ou non sur la surface d'un objet de la scène. Les résultats obtenus permettent de générer une nouvelle image de la scène à partir d'un nouveau point de vue. Cette méthode est particulièrement bien adaptée à une utilisation optimale des ressources de la carte graphique ce qui explique qu'elle permette d'effectuer du rendu en temps réel. Notre principale contribution à cette méthode concerne la façon d'estimer si un point d'un plan représente la surface d'un objet. Nous proposons d'une part un nouveau mode de calcul permettant d'améliorer le résultat visuel tout en rendant la navigation de la caméra virtuelle plus souple. D'autre part, nous présentons une adaptation de la méthode des Plane Sweep permettant de gérer les occlusions partielles. Compte tenu des applications du rendu à base de vidéos en réalité virtuelle, nous proposons une amélioration des Plane Sweep appliquée à la réalité virtuelle avec notamment la création de paires d'images stéréoscopiques permettant de visualiser en relief la scène reconstruite. Notre amélioration consiste à calculer la seconde vue à moindre coût alors qu'une majorité des méthodes concurrentes sont contraintes d'effectuer deux rendus indépendants. Cette amélioration est basée sur un partage des données communes aux deux vues stéréoscopiques. Enfin, dans le cadre de l'utilisation des Plane Sweep en réalité virtuelle, nous présentons une méthode permettant de supprimer les mouvements pseudoscopiques. Ces mouvements pseudoscopiques apparaissent lorsque l'observateur se déplace devant une image stéréoscopique, il ressent alors une distorsion des proportions de la scène virtuelle et voit les objets se déplacer de façon anormale. La méthode de correction que nous proposons est applicable d'une part à des méthodes classiques de rendu d'images de synthèse et d'autre part à la méthode des Plane Sweep. Toutes les méthodes que nous présentons utilisent largement les possibilités du processeur de la carte graphique à l'aide des shader programs et génèrent toutes des images en temps réel. Seuls un ordinateur grand public, un dispositif d'acquisition vidéo et une bonne carte graphique sont suffisants pour les faire fonctionner. Les applications des Plane Sweep sont nombreuses, en particulier dans les domaines de la réalité virtuelle, du jeu vidéo, de la télévision 3d ou de la sécurité.

Le docking moléculaire est une tâche complexe, difficile à appréhender pour une personne seule. C’est pourquoi, nous nous proposons d’étudier la distribution cognitive des charges de travail à travers la collaboration. Une plate-forme distribuée de déformation moléculaire interactive a été mise en place afin d’étudier les avantages mais aussi les limites et les contraintes du travail collaboratif étroitement couplé. Cette première étude, basée sur trois expérimentations, a permis de valider l’intérêt d’une approche collaborative pour des tâches complexes à fort couplage. Cependant, elle a mis en évidence des conflits de coordination ainsi que des problématiques liées à la dynamique d’un groupe. Suite à cette première étude, nous avons proposés une nouvelle configuration de travail associée à des métaphores de communication haptiques afin d’améliorer la communication et les interactions entre les différents collaborateurs. Une dernière expérimentation avec des biologistes a permis de montrer l’utilité de la communication haptique pour le travail collaboratif sur des tâches complexes à fort couplage. / Molecular docking is a very complex task that can not be deal by only one user. Based on this observation, we propose to study the cognitive workload distribution on group of users in collaboration. For this purpose, we implement a distributed platform to interactively manipulate and deform structures of the molecules. With this platform, we want to study the assets of the closely coupled collaboration but also highlight the constraints and the drawbacks. Based on three experimentations, the study validate the concept of workload distribution in the closely coupled collaboration. However, it highlights limits with coordination conflicts through communication problem. Moreover, some difficulties have been encountered with the dynamic in a group of collaborators.Based on these results, we proposed a new working configuration coupled with new haptic communication metaphors to improve the communication and the coordination between the members of the group. These propositions have been evaluated in a fourth experimentation introducing biologists. The results show the importance of the haptic communication to improve the coordination in closely coupled collaboration.

Les accidents vasculaires cérébraux (AVC) constituent la 1ère cause de mortalité chez les femmes et la 3ème chez les hommes ainsi que la 1ère cause de dépendance chez les personnes qui survivent puisqu'ils gardent des séquelles neurologiques majeures. Les déficiences sont majoritairement fonctionnelles et seulement 5 à 25 % des patients vont récupérer un membre supérieur fonctionnel. La récupération fonctionnelle spontanée, maximale dans les 3 mois après la survenue de l'AVC est principalement sous-tendue par des mécanismes de plasticité cérébrale. Mécanismes qui peuvent être boostés par les différentes techniques de réhabilitation parmi lesquelles les substances pharmacologiques ou les techniques de stimulation cérébrale qui sont développées. Quantifier les capacités de chaque patient est indispensable pour déterminer les fonctions perdues et ainsi proposer des protocoles de rééducation adéquats. De nombreuses techniques ont démontré ce potentiel d'évaluation. Notamment, l'imagerie par résonnance magnétique fonctionnelle (IRMf) d'activation (i.e. lors de la réalisation de tâches motrices) de patients AVC, qui a permis de mieux préciser le décours temporel de la réorganisation cérébrale associée à la récupération motrice et des mesures obtenues en IRMf sont proposées comme facteurs pronostics. L'IRMf au repos est de plus en plus utilisée pour étudier les changements de connectivité cérébrale induits par la lésion ou par une intervention donnée. Les techniques de stimulation cérébrale non invasives (SCNI) dont font parties la Stimulation Magnétique Transcrânienne (TMS) et la Paired Associative Stimulation (PAS), en plus d'être utilisées comme outil de rééducation, sont également utilisées comme outils d'évaluation pour étudier la récupération et l'efficacité de thérapeutiques. De plus, depuis quelques années, de plus en plus d'auteurs recommandent l'utilisation de mesures cinématiques pour une évaluation plus objective et automatique des patients après un AVC. Cette évaluation cinématique qui peut être réalisée grâce-à des robots de rééducation permettrait également de différencier les stratégies mises en place lors de la récupération post-AVC. Afin que les changements mesurés par TMS ou par les outils robotiques puissent correctement révéler cette efficacité, il faut que les paramètres obtenus soient reproductibles, valides et fiables. Ainsi, l'objectif de ma thèse est d'étudier l'efficacité de stratégies thérapeutiques sur la plasticité cérébrale et dans la récupération motrice du membre supérieur après un AVC en parallèle de trouver les mesures adaptées pour évaluer au mieux ces effets. Au travers de données obtenues dans le cadre de six protocoles cliniques impliquant des sujets sains ou des patients AVC, il a été possible de mettre en évidence le potentiel d'un outil de mesure et/ou d'une technique interventionnelle à mesurer voire à stimuler les mécanismes à l'origine de la récupération motrice dans l'AVC. / Stroke is the leading cause of death in women and the 3rd in men, as well as the leading cause of dependency in surviving people because they have major neurological sequelae. The deficiencies are mainly functional and only 5 to 25% of patients will recover a functional upper limb. Spontaneous functional recovery, which is maximal within 3 months after the onset of stroke, is mainly underpinned by brain plasticity mechanisms. Mechanisms that can be boosted by different rehabilitation techniques, including pharmacological substances or brain stimulation techniques that are developed for this purpose. Quantifying the capacities of each patient is essential to determine the lost functions and thus propose appropriate rehabilitation protocols. Many techniques have demonstrated their evaluation potential. In particular, functional magnetic resonance imaging (fMRI) of stroke patients performing a motor task, has made it possible to better define the temporal course of brain reorganization associated with motor recovery. In fact, fMRI measures are proposed as prognostic factors. Resting-state fMRI is increasingly being used to study changes in brain connectivity induced by the lesion or by a given therapeutic intervention. Non-invasive brain stimulation (NIBS) techniques, including Transcranial Magnetic Stimulation (TMS) and Paired Associative Stimulation (PAS), in addition to being used as a rehabilitation tool, are also used as assessment tools to study the recovery and efficacy of therapies. In addition, in recent years, more and more authors have recommended the use of kinematic measurements for more objective and automatic patient assessment after stroke. This kinematic assessment, which can be carried out using rehabilitation robots, would also make it possible to differentiate the strategies implemented during post-stroke recovery. In order for the changes measured by TMS or robotic tools to correctly reveal this effectiveness, the parameters obtained must be reproducible, valid and reliable. Thus, the objective of my thesis is to study the effectiveness of therapeutic strategies on brain plasticity and in the motor recovery of the upper limb after a stroke in parallel to find the appropriate measures to best evaluate these effects. Through data obtained from six clinical protocols involving healthy subjects or stroke patients, it was possible to highlight the potential of a measurement tool and/or intervention technique to measure or even stimulate the mechanisms underlying motor recovery in stroke.

La conception concourante de produits matériels centrée sur l’homme est basée sur une collaboration entre le concepteur mécanicien, l’ergonome et le designer industriel. Cette collaboration souvent difficile peut être facilitée par l’utilisation d’objets intermédiaires de conception, tels que la Réalité Virtuelle (RV). Néanmoins, bien que largement utilisée dans l’industrie, la RV souffre d’un déficit d’acceptation de la part des concepteurs de produits. Dans le cadre de ces travaux, nous proposons d’utiliser la RV sous la forme d’outils immersifs d’assistance à la convergence multidisciplinaire développés selon une démarche anthropocentrée en fonction des besoins spécifiques à chaque projet de conception de produits. Afin d’optimiser les délais de développement, nous proposons une méthodologie de conception d’applications immersive dédiée : la méthodologie ASAP(As Soon As Possible). Une première série expérimentale a été conduite dans le cadre de contrats industriels d’études et de recherche afin de valider la faisabilité de la méthodologie et l’efficacité des outils développés.Une deuxième série expérimentale a été effectuée sur plus de 50 sujets dans le cadre de projets, cette fois, pédagogiques qui ont nécessité le développement de 12 applications. Elle a permis de valider quantitativement l’influence des outils immersifs sur l’efficacité perçue des phases de convergence interdisciplinaires ainsi que l’influence de l’approche proposée sur l’acceptation de la RV par les concepteurs de produits. Ces travaux de thèse présentent une première approche qui, selon nous, permettra à terme, de faire évoluer l’usage de la RV vers une intégration plus forte au sein des processus de conception de produits avec, par exemple, une plus large utilisation des applications immersives de modélisation 3D, réelles sources d’innovation. / Human centered and concurring product design is based on the collaboration between mechanical engineers, human factor experts and industrial designers. This collaboration is often difficult and can be eased through the use of intermediary objects such as Virtual Reality (VR). Nevertheless, even though VR is widely used in the industry, it suffers from a lack of acceptance by product designers. In the context of this research work, we suggest to use VR in the form of immersive multidisciplinary convergence support tools. These tools are developed in accordance with an anthropocentered approach, as a function of each specific product design project’s needs. In order to optimize development times, we propose a dedicated immersive software design methodology : the ASAP methodology (As Soon As Possible). A first experiment, aiming to demonstrate the feasibility of the ASAP methodology and the effectiveness of the implemented immersive tools, has been conducted in the context of industrial product design projects. A second experiment, involving more than 50 participants, has been conducted in the context of educational product design projects and led to the development of 12 immersivetools. It demonstrated quantitatively the contribution of immersive tools to the perceived effectiveness of interdisciplinary convergence phases and the contribution of the ASAP methodology on the acceptation of VR by product designers. This research work describes a first approach that could, according to us, allow abetter integration of VR within product design processes.

La génération de motifs esthétiques assistée par ordinateur est un domaine prometteur pour la conception de vêtements (personnalisation de masse, etc.). Dans ce contexte, les techniques de réalité virtuelle (RV) et de réalité mixte (RM) sont très pertinentes pour la visualisation de vêtements sur lesquels sont appliqués les motifs générés. Ces techniques offrent aussi de nouvelles opportunités pour l'interaction 3D avec les mannequins virtuels en situation statique ou dynamique (défilé virtuel). La contribution du travail présenté dans ce mémoire est multiple et implique trois étapes complémentaires : (1) l'identification et le développement de modèles mathématiques exhibant des potentialités pour la génération automatique de motifs complexes ayant des propriétés esthétiques; (2) l'implémentation de ces modèles mathématiques et l'exploration assistée par ordinateur de leur potentialités; (3) l'intégration de ces modèles dans une plate-forme logicielle offrant de multiples possibilités d'interaction avec les mannequins virtuels. En outre, nous proposons de nouvelles techniques d'interaction 3D pour la conception en RV et RM.

Comprendre le mouvement humain mobilise des chercheurs de nombreuses disciplines scientifiques : physiologie, biomécanique, neurosciences comportementales, anatomie fonctionnelle, les sciences du sport... Mes travaux s'inscrivent donc dans une démarche pluridisciplinaire d'analyse/synthèse du mouvement humain. Pour mener à bien cette démarche, une première tâche consiste à modéliser et à simuler le système moteur ainsi qu'un ensemble d'hypothèses. L'objectif est de disposer d'une représentation numérique du problème. Les mouvements simulés doivent ensuite être confrontés à des données expérimentales pour valider à la fois les hypothèses, le modèle et la méthode de simulation. Mon travail s'organise en trois principales contributions qui entrent dans cette approche d'analyse/synthèse. La première contribution concerne le développement de nouvelles méthodes de modélisation et de simulation de mouvements permettant de tester des connaissances issues des sciences expérimentales. La méthode doit aussi être capable de calculer très rapidement des mouvements afin d'intégrer les personnages simulés dans des environnements interactifs, comme en réalité virtuelle, par exemple. Pour modéliser et simuler un mouvement naturel, il faut être capable de gérer des contraintes cinématiques (pour tenir compte de la géométrie de son environnement), cinétiques (pour gérer la répartition de ses masses dans l'espace), dynamiques (les lois de la mécanique s'appliquent évidemment aussi) et d'autres que nous regrouperons sous le terme de " style " (lié à des aspects psychologiques, sociologiques...). Nous avons proposé une nouvelle représentation du mouvement humain qui simplifie grandement la résolution de contraintes cinématiques et cinétiques à partir d'un mouvement initial (issu d'un système de mesures ou conçu manuellement). L'hypothèse est que les mouvements mesurés vérifient intrinsèquement la plupart des contraintes citées précédemment. Il est ensuite possible d'ajouter ou de modifier certaines de ces contraintes pour simuler l'adaptation du système moteur à de nouvelles situations. La deuxième contribution concerne la définition d'un protocole de validation des mouvements simulés. C'est un problème difficile car le mouvement humain implique un grand nombre de degrés de liberté et de pas de temps, ce qui conduit à un espace de dimension énorme. Comment ramener cela à une valeur unique de distance ? Les méthodes classiques utilisent des erreurs moyennes, des corrélations ou des correspondances temporelles entre courbes. Cependant, ces valeurs quantifiables ne reflètent pas toujours le réalisme des mouvements simulés si on demande à des sujets d'en juger la qualité. En réalité virtuelle, plusieurs travaux cherchent à évaluer la sensation d'être présent dans un environnement simulé. Nous avons donc proposé de juger du réalisme du mouvement en faisant interagir des sujets réels avec des entités simulées. Ces travaux ont été menés dans le cadre particulier du duel gardien-tireur mais pourraient être étendus à un cas plus général. La troisième contribution concerne une étude transversale de la locomotion bipède via une approche de type analyse/synthèse. L'objectif de ce travail est de déduire complètement un mouvement de locomotion à partir d'un ensemble de données anatomiques et d'hypothèses générales issues de la biomécanique et des neurosciences. Une application évidente concerne la cherche de locomotions possibles pour des espèces fossiles. Fondamentalement, le problème revient à gérer un espace très important de postures possibles à chaque pas de temps et à en extraire une séquence qui soit comparable à ce qu'une créature réelle aurait naturellement produit. Nos travaux ont donc abouti à un une plate-forme de tests d'hypothèses locomotrices (minimisation d'énergie, de la dérivée de l'accélération, de la distance à une posture de référence...). L'entrée principale de cette plate-forme est la description de l'anatomie de la créature et une série d'empreintes à suivre.