Les récentes évolutions technologiques des terminaux mobiles tels que les téléphones portables, assistants personnels ou GPS, ont été très importantes. Il est aujourd'hui possible d'afficher en temps réel des scènes 3D complètes sur de tels appareils.<br />Cependant, les spécificités ergonomiques et techniques des appareils mobiles risquent de rendre l'interaction avec l'environnement 3D difficile à réaliser efficacement. En particulier, les techniques d'interaction 3D développées pour les ordinateurs de bureau risquent de souffrir de l'absence de souris.<br /><br />Dans ce mémoire, nous nous intéresserons aux contraintes et aux spécificités des terminaux mobiles et étudierons leur influence pour des tâches d'interaction 3D. La première partie du mémoire constitue une introduction aux différents domaines abordés dans cette thèse. Nous y définirons le terme de ``terminal mobile'' et aborderons les spécificités technologiques et ergonomique de ces appareils. Nous introduirons également les notions essentielles de géométrie et d'interaction 3D.<br /><br />Nous nous intéresserons dans un second temps à l'interaction 3D avec un contrôle direct, utilisé dans beaucoup d'applications 3D. Dans ce mode d'interaction, les actions de l'utilisateur produisent des modifications dans l'environnement 3D en temps réel. Après une analyse de l'existant, nous présenterons nos travaux avec une technique d'inspection de modèles 3D qui utilise des informations telles que la profondeur ou la présence de contours dans l'image afin de calculer des mouvements de caméra adaptés au contexte. La suite de la deuxième partie sera consacrée à l'étude de l'apport de l'utilisation de deux doigts sur un écran tactile multi-points.<br /><br />La troisième et dernière partie de ce mémoire est consacrée à l'interaction 3D ``planifiée''. Ce mode d'interaction est plus adapté aux contraintes des terminaux mobiles et possède l'avantage d'offrir une interaction d'un plus haut niveau que ne l'offre le contrôle direct. Nous verrons dans cette partie la définition exacte de ce mode d'interaction, ainsi que les différences, les forces et les faiblesses de cette manière d'interagir avec un environnement 3D. Nous présenterons dans cette partie nos contributions, à savoir une technique de sélection de point 3D utilisable à l'aide des touches de l'appareil, ainsi qu'une technique de placement de caméra simple à utiliser mais offrant un contrôle avancé, qui permet aux utilisateurs, novices ou experts, de spécifier un point de vue à l'aide de quelques gestes simples seulement.

En biologie structurale, l’étude théorique de structures moléculaires comporte quatre activités principales organisées selon le processus séquentiel suivant : la collecte de données expérimentales/théoriques, la visualisation des structures 3d, la simulation moléculaire, l’analyse et l’interprétation des résultats. Cet enchaînement permet à l’expert d’élaborer de nouvelles hypothèses, de les vérifier de manière expérimentale et de produire de nouvelles données comme point de départ d’un nouveau processus.L’explosion de la quantité de données à manipuler au sein de cette boucle pose désormais deux problèmes. Premièrement, les ressources et le temps relatifs aux tâches de transfert et de conversion de données entre chacune de ces activités augmentent considérablement. Deuxièmement, la complexité des données moléculaires générées par les nouvelles méthodologies expérimentales accroît fortement la difficulté pour correctement percevoir, visualiser et analyser ces données.Les environnements immersifs sont souvent proposés pour aborder le problème de la quantité et de la complexité croissante des phénomènes modélisés, en particulier durant l’activité de visualisation. En effet, la Réalité Virtuelle offre entre autre une perception stéréoscopique de haute qualité utile à une meilleure compréhension de données moléculaires intrinsèquement tridimensionnelles. Elle permet également d’afficher une quantité d’information importante grâce aux grandes surfaces d’affichage, mais aussi de compléter la sensation d’immersion par d’autres canaux sensorimoteurs.Cependant, deux facteurs majeurs freinent l’usage de la Réalité Virtuelle dans le domaine de la biologie structurale. D’une part, même s’il existe une littérature fournie sur la navigation dans les scènes virtuelles réalistes et écologiques, celle-ci est très peu étudiée sur la navigation sur des données scientifiques abstraites. La compréhension de phénomènes 3d complexes est pourtant particulièrement conditionnée par la capacité du sujet à se repérer dans l’espace. Le premier objectif de ce travail de doctorat a donc été de proposer des paradigmes navigation 3d adaptés aux structures moléculaires complexes. D’autre part, le contexte interactif des environnements immersif favorise l’interaction directe avec les objets d’intérêt. Or les activités de collecte et d’analyse des résultats supposent un contexte de travail en "ligne de commande" ou basé sur des scripts spécifiques aux outils d’analyse. Il en résulte que l’usage de la Réalité Virtuelle se limite souvent à l’activité d’exploration et de visualisation des structures moléculaires. C’est pourquoi le second objectif de thèse est de rapprocher ces différentes activités, jusqu’alors réalisées dans des contextes interactifs et applicatifs indépendants, au sein d’un contexte interactif homogène et unique. Outre le fait de minimiser le temps passé dans la gestion des données entre les différents contextes de travail, il s’agit également de présenter de manière conjointe et simultanée les structures moléculaires et leurs analyses et de permettre leur manipulation par des interactions directes.Notre contribution répond à ces objectifs en s’appuyant sur une approche guidée à la fois par le contenu et la tâche. Des paradigmes de navigation ont été conçus en tenant compte du contenu moléculaire, en particulier des propriétés géométriques, et des tâches de l’expert, afin de faciliter le repérage spatial et de rendre plus performante l’activité d’exploration. Par ailleurs, formaliser la nature des données moléculaires, leurs analyses et leurs représentations visuelles, permettent notamment de proposer à la demande et interactivement des analyses adaptées à la nature des données et de créer des liens entre les composants moléculaires et les analyses associées. Ces fonctionnalités passent par la construction d’une représentation sémantique unifiée et performante rendant possible l’intégration de ces activités dans un contexte interactif unique. / In structural biology, the theoretical study of molecular structures has four main activities organized in the following scenario: collection of experimental and theoretical data, visualization of 3D structures, molecular simulation, analysis and interpretation of results. This pipeline allows the expert to develop new hypotheses, to verify them experimentally and to produce new data as a starting point for a new scenario.The explosion in the amount of data to handle in this loop has two problems. Firstly, the resources and time dedicated to the tasks of transfer and conversion of data between each of these four activities increases significantly. Secondly, the complexity of molecular data generated by new experimental methodologies greatly increases the difficulty to properly collect, visualize and analyze the data.Immersive environments are often proposed to address the quantity and the increasing complexity of the modeled phenomena, especially during the viewing activity. Indeed, virtual reality offers a high quality stereoscopic perception, useful for a better understanding of inherently three-dimensional molecular data. It also displays a large amount of information thanks to the large display surfaces, but also to complete the immersive feeling with other sensorimotor channels (3D audio, haptic feedbacks,...).However, two major factors hindering the use of virtual reality in the field of structural biology. On one hand, although there are literature on navigation and environmental realistic virtual scenes, navigating abstract science is still very little studied. The understanding of complex 3D phenomena is however particularly conditioned by the subject’s ability to identify themselves in a complex 3D phenomenon. The first objective of this thesis work is then to propose 3D navigation paradigms adapted to the molecular structures of increasing complexity. On the other hand, the interactive context of immersive environments encourages direct interaction with the objects of interest. But the activities of: results collection, simulation and analysis, assume a working environment based on command-line inputs or through specific scripts associated to the tools. Usually, the use of virtual reality is therefore restricted to molecular structures exploration and visualization. The second thesis objective is then to bring all these activities, previously carried out in independent and interactive application contexts, within a homogeneous and unique interactive context. In addition to minimizing the time spent in data management between different work contexts, the aim is also to present, in a joint and simultaneous way, molecular structures and analyses, and allow their manipulation through direct interaction.Our contribution meets these objectives by building on an approach guided by both the content and the task. More precisely, navigation paradigms have been designed taking into account the molecular content, especially geometric properties, and tasks of the expert, to facilitate spatial referencing in molecular complexes and make the exploration of these structures more efficient. In addition, formalizing the nature of molecular data, their analysis and their visual representations, allows to interactively propose analyzes adapted to the nature of the data and create links between the molecular components and associated analyzes. These features go through the construction of a unified and powerful semantic representation making possible the integration of these activities in a unique interactive context.

Background: Sophisticated guided surgery has not been implemented into total joint replacement-surgery (TJR) of the temporomandibular joint (TMJ) so far. Design and in-house manufacturing of a new advanced drilling guide with vector and length control for a typical TJR fossa component are described in this in vitro study, and its accuracy/utilization was evaluated and compared with those of intraoperative real-time navigation and already available standard drilling guides. Methods: Skull base segmentations of five CT-datasets from different patients were used to design drilling guides with vector and length control according to virtual surgical planning (VSP) for the TJR of the TMJ. Stereolithographic models of the skull bases were printed three times for each case. Three groups were formed to compare our newly designed advanced drilling guide with a standard drilling guide and drill-tracking by real-time navigation. The deviation of screw head position, screw length and vector in the lateral skull base have been evaluated (n = 72). Results: There was no difference in the screw head position between all three groups. The deviation of vector and length was significantly lower with the use of the advanced drilling guide compared with standard guide and navigation. However, no benefit in terms of accuracy on the lateral skull base by the use of real-time navigation could be observed. Conclusion: Since guided surgery is standard in implant dentistry and other CMF reconstructions, this new approach can be introduced into clinical practice soon, in order to increase accuracy and patient safety.

In this thesis I deal with the problem of navigation and autonomous driving using convolutional neural networks. I focus on the main approaches utilizing sensory inputs described in literature and the theory of neural networks, imitation and reinforcement learning. I also discuss the tools and methods applicable to driving systems. I created two deep learning models for autonomous driving in simulated environment. These models use the Dataset Aggregation and Deep Deterministic Policy Gradient algorithms. I tested the created models in the TORCS car racing simulator and compared the result with available sources.

This thesis studies navigation and autonomous driving using convolutional neural networks. It presents main approaches to this problem used in literature. It describes theory of neural networks and imitation and reinforcement learning. It also describes tools and methods suitable for a driving system. There are two simulation driving models created using learning algorithms DAGGER and DDPG. The models are then tested in car racing simulator TORCS.