Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2008-2009 / Ces travaux présentent un système interactif de modélisation 3D multirésolution permettant la compression en temps réel de la surface à reconstruire. Les principaux avantages de ce système par rapport à ceux présentés dans le passé sont de pouvoir localement reconstruire la surface à différents niveaux de résolution et de compresser la surface durant l'acquisition des données brutes. Cette utilisation judicieuse de la mémoire rend désormais possible la modélisation d'objets de plus grande taille ou à une résolution plus élevée. Le document est divisé en trois parties. Tout d'abord, nous ferons un retour sur la représentation de surface qui est à la base du système proposé : le champ vectoriel. Nous montrerons tous les avantages d'une telle représentation dans le contexte de la modélisation interactive. Par après, nous aborderons le développement de la représentation multirésolution s'inspirant du champ vectoriel et permettant la compression en temps réel. Nous verrons comment il est possible de faire cohabiter différents niveaux de résolution à l'intérieur d'une même structure de données tout en conservant une représentation cohérente de la surface. Ensuite, nous expliquerons tous les algorithmes nécessaires à la compression en temps réel. La dernière partie de ces travaux aborde la mise au point d'un module de visualisation permettant d'afficher l'état de la surface multirésolution durant l'acquisition des données brutes. L'approche utilisée repose sur une technique de lancer de rayons et offre une grande qualité de rendu tout en conservant l'interactivité du système.

L’Office de l’Efficacité Energétique utilise des méthodes où l’opérateur est très sollicité pour réaliser les modèles 3D de bâtiments nécessaire pour le calcul énergétique. Cependant, les appareils mobiles sont de plus en plus présents sur le marché et pourraient être utilisé pour automatiser cette tâche. Ces appareils possèdent une caméra, et il existe des recherches sur la reconstruction 3D à partir d’images. Ces méthodes permettent d’obtenir un nuage de point et non un maillage devant répondre à certaines caractéristiques afin de pouvoir y réaliser des calculs de volumes. Ce mémoire présente une méthode permettant de réaliser l’acquisition et le traitement qui produit un modèle 3D du bâtiment qui sera utilisé pour les calculs écoénergétiques. Les méthodes de reconstruction 3D ont été passées en revue et ont permis d’imaginer une nouvelle méthode permettant de générer un nuage de points 3D qui sera utilisé pour générer le modèle 3D du bâtiment. / The Office Energy Efficiency use methods to perform 3D model of buildings. But the user is very solicited and he take a lot of time for the 3D reconstruction. The 3D model is using by software for energy calculation. They take some measure to generate an ugly 3D model. Mobile devices are increasingly present on the market at a lower price. These devices contain an integrated camera and there are multiple researches on 3D reconstruction from image. Unfortunately, these methods can generally get a points cloud rather than a mesh that must have some characteristics for accurate volume calculations. The purpose of this paper is to present a series of existing methods or not to perform data acquisition and processing needed to produce a 3D model of a building. The 3D reconstruction methods which we reviewed helped us to designed a new method based on various studies to generate a 3D points cloud. Then an algorithm based on the point cloud processing was performed to generate a 3D model of the building.

En raison de la nature dynamique et volumétrique de l'écosystème marin pélagique, sa modélisation spatiale constitue un défi important. La représentation conventionnelle des phénomènes de ce milieu s’effectue par des coupes statiques verticales ou horizontales dans un environnement bidimensionnel (2D). Cependant, comme le démontre ce mémoire, l'étude de l'écosystème marin peut être grandement améliorée grâce à la modélisation spatiale tridimensionnelle (3D). L’apport principal de cette étude est d’avoir démontré le potentiel et la pertinence de la modélisation spatiale 3D pour l’environnement pélagique marin. Cette étude confirme que les outils émergents de visualisation scientifique dans le domaine de la modélisation géologique peuvent servir à améliorer l’étude de cet écosystème. Elle permet également de combler une lacune importante identifiée dans la littérature scientifique en examinant la performance des méthodes d’interpolation spatiale 3D. L’interpolation spatiale est une étape essentielle de la modélisation spatiale 3D des phénomènes continus (p.ex. salinité, température, etc.), mais aucune étude n’avait encore évalué son efficacité pour l’environnement pélagique marin. Il s’agit donc d’un pas important vers le développement d’un système d’information géographique (SIG) marin 3D complet. Les avantages de migrer vers une modélisation spatiale 3D sont discutés dans le contexte de la campagne océanographique ArcticNet-Malina, réalisée dans la mer de Beaufort (Arctique canadien) en 2009. Des représentations spatiales 3D basées sur une stratégie d’interpolation 3D robuste et optimale de cinq variables pélagiques marines (température, concentration en chlorophylle a, coefficient d’atténuation particulaire, distribution des eaux de l'halocline supérieure et flux vertical de carbone organique particulaire) sont présentées et leurs valeurs écologiques sont discutées. / Spatial modeling of the marine pelagic ecosystem is challenging due to its dynamic and volumetric nature. Consequently, conventional oceanographic spatial analysis of this environment is in a 2D environment, limited to static cutting planes in horizontal and vertical sections to present various phenomena. However, the study of the marine pelagic ecosystem can benefit from 3D spatial modeling. The main contribution of this study is to show that recent advances in 3D spatial modeling tools developed primarily for geological modeling can be exploited to extend the usual interpretation of marine pelagic phenomena from a 2D to a 3D environment. This study also fills a major gap identified in the literature by examining the performance of 3D spatial interpolation methods. Such interpolation is an essential step in 3D spatial modeling of continuous phenomena (eg, salinity, temperature, etc.), but no study has yet evaluated its performance for the marine pelagic environment. Accordingly, this study constitutes an important step towards the development of a complete 3D marine GIS. The benefits of migrating to a 3D spatial modeling of the marine environment are discussed in the context of the oceanographic campaign ArcticNet-Malina, conducted in the Beaufort Sea (Canadian Arctic) in 2009. 3D spatial representations based on a robust and optimal 3D interpolation strategy for five pelagic variables (temperature, chlorophyll a, particulate attenuation coefficient, distribution of upper halocline water mass and vertical flux of particulate organic carbon) of the ArcticNet-Malina campaign are presented and their ecological values are discussed.

Ce Mémoire s’intéresse au suivi (Tracking) sans marqueurs et à la reconstruction tridimensionnelle de mouvements humains articulés à partir de séquences vidéo acquises avec une caméra de type 3D (stéréo ou infrarouge). Ce domaine de recherche est très actif de nos jours et comporte un champ d’applications assez large qui touche des domaines tels que la capture du mouvement sans cibles pour l’animation et la réalité virtuelle, les interactions homme-machines, la télésurveillance ou bien sûr les jeux vidéos. Au cours de ce manuscrit, nous proposons une méthode pour déterminer la pose d’une personne en 3D. La technique, sans marqueurs, repose sur un alignement d’un squelette et d’un modèle humain 3D sur la silhouette vue par la caméra en s’appuyant sur un ajustement progressif, débutant par la tête et se poursuivant par le torse et les différents membres. La technique prend en considération l’aspect articulé de l’anatomie humaine et permet en particulier de régler certains problèmes d’occlusions et de chevauchement. Cela dit, la complexité de la structure du corps humains, de ses contraintes physiques ainsi que la grande variabilité dans les observations des images, font que la détermination d’une solution à ce problème soit difficile. L’objectif de cette mémoire est donc de développer une méthode assez robuste capable de faire face à ces différentes difficultés imposées par le choix de la technologie et le contexte général d’utilisation pour les consoles de jeux vidéo de salon. Pour aborder cette étude, nous proposons un modèle humain 3D qui tient compte des contraintes physiques et qui permet une intégration cohérente des différentes informations visuelles comme le visage, les contours et les silhouettes. / This report is interested in the markerless motion tracking and the three-dimensional reconstruction of articulated human movements from video sequences acquired with a 3D camera (stereo or infrared). Nowadays, this research field is very active and contains a wide field of applications which deals with areas such as motion capture for animations and virtual reality without using any kind of markers, human-machine interaction (HMI), remote monitoring and of course video games. In this manuscript, we propose a novel method to estimate the 3D human pose. This markerless technique is based on an alignment of a skeleton and a 3D human model over the silhouette seen by the camera by leaning on a progressive adjustment, starting from the head and continuing to the trunk and the various members. The technique considers the articulated aspect of the human body and allows, in particular, solving some problems of occlusions and overlapping. Besides, the complexity of the human body structure, of its physical constraints as well as the big variability in the images’ observations, makes that the solution determination for this problem is difficult. The objective of this memory thus is to develop a strong and robust method capable of facing these various difficulties imposed by the technology choice and the general context of use for home video games consoles. To approach this study, we propose a 3D human model which takes into account physical and kinematic constraints and which allows a coherent integration of various visual information such as face detection, edges and silhouettes. The combined system allows 3D human motion tracking using only one 3D camera.

Le présent travail de thèse concerne la quantification en imagerie moléculaire en trois dimensions (3D), en particulier, dans le cadre de la thérapie radionucléique par radiopeptides (TRRP) au ¹⁷⁷Lu pour les tumeurs neuroendocrines (TNE). Le ¹⁷⁷Lu est un radioisotope émetteur beta, à courte portée dans les tissus (2 mm), et gamma, avec des énergies utilisables pour l'imagerie de tomographie par émission mono-photonique (TEM). Ces caractéristiques font de celui-ci un bon radioisotope pour la TRRP des TNE : de petite taille et répandues dans le corps. De plus, avec plusieurs images de TEM prises lors d'un traitement, il est possible de quantifier la distribution du radioisotope dans le corps du patient et même d'évaluer la progression du traitement. L'objectif principal du projet est le développement et la validation des outils, expérimentaux et informatiques, pour la quantification de la dose absorbée lors d'une TRRP au ¹⁷⁷Lu, avec la possibilité d'étendre les méthodes à d'autres radioisotopes. Deux étapes principales ont été nécessaires. La première était la calibration et la caractérisation de l'appareil d'imagerie de TEM. Dans ce contexte, plusieurs techniques d'acquisitions et d'analyse ont été testées et un protocole de calibration simplifié a été proposé. Un accent particulier est mis sur la détermination du facteur de calibration (CF) et du temps mort (τ ) de l'appareil de TEM pour la correction et la quantification des images acquises. D'une évaluation de l'équation qui gouverne le comportement de détection de l'appareil de TEM, une nouvelle formulation plus concise et analysable mathématiquement a été proposée. Celle-ci permet l'extraction des deux facteurs de façon approximative, mais simple ainsi que la proposition d'un nouveau protocole de calibration. Avec des images bien quantifiées en activité (biodistribution du radiopeptide dans le corps), il est possible, par simulations Monte Carlo (MC), de calculer le dépôt de dose. Une deuxième étape a été la validation du code irtGPUMCD. Il s'agit d'un code MC, fonctionnant sur processeur graphique (GPU), pour le calcul de la dose absorbée lors d'une TRRP et précédemment développé au sein du Groupe de recherche en physique médicale du CHU de Québec - Université Laval. Le code irtGPUMCD a été adapté pour l'utilisation dans des conditions standard et validé sur les modèles informatiques de la International Commission on Radiological Protection (ICRP110), non seulement pour le ¹⁷⁷Lu, mais aussi pour le ¹³¹I et ⁹⁹ᵐTc. Avec les simulations exécutées sur une géométrie de référence et une comparaison avec d'autres résultats présents en littérature, le code a été validé. Dans le cadre de l'optimisation en termes de temps et exactitude des résultats fournis par irtGPUMCD, un algorithme de traçage de rayons (raytracing) ainsi qu'une technique de réduction de variance ont été implémentés, testés et validés. Ces changements de code ont permis une réduction d'un facteur dix du temps de calcul pour une simulation. Les images/cartes de dose absorbée tridimensionnelle bien quantifiées donnent la possibilité de calculer les histogrammes dose-volume (DVH) et d'extraire toutes les informations dosimétriques intéressantes tel que fait dans d'autres branches de la radiothérapie. Une petite section de cette thèse est consacrée à la proposition de techniques statistiques, qui permettent, en associant les données dosimétriques avec celles du patient, de construire des modèles de probabilité de complication des tissus normaux (NTCP). Le principal impact de cette étude est l'introduction de toute une chaîne, bien validée, pour la quantification dans les TRRP. Avec une calibration adéquate de l'appareil d'imagerie de TEM et l'utilisation du code MC irtGPUMCD, il sera possible d'effectuer des études dosimétriques et statistiques plus avancées, par rapport à l'état de l'art en médicine nucléaire, et se diriger vers une personnalisation plus poussée des traitements. / The present thesis work concerns quantification in three-dimensional molecular imaging (3D), in particular, in the context of peptide receptor radionuclide therapy (PRRT) with ¹⁷⁷Lu for neuroendocrine tumors (NET). The ¹⁷⁷Lu is a beta emitting radioisotope, with short-range in tissue (2 mm), and gamma, with energies usable for single-photon emission computed tomography (SPECT) imaging. These characteristics make ¹⁷⁷Lu a good radioisotope for the PRRT of NETs: small and widespread in the body. In addition, with several SPECT images taken during a treatment, it is possible to quantify the distribution of the radioisotope in the patient body and assess the progress of the treatment itself. The main objective of the project is the development and validation of tools, experimental and computational, for the absorbed dose quantification during a ¹⁷⁷Lu PRRT, with the possibility to extend the methods to other radioisotopes. Two main steps were necessary. The first step was the calibration and characterization of the SPECT imaging device. In this context, several acquisition and analysis techniques were tested and a simple calibration protocol was proposed. Particular emphasis is given to the determination of the calibration factor (CF) and dead time (τ ) constant of the SPECT device for the correction and quantification of the acquired images. From an evaluation of the equation describing the behavior of the SPECT system, a new, more concise and mathematically tractable formulation has been proposed. This formulation allows the extraction of the two factors in an approximate but simple way as well as the proposal of a new calibration protocol. With well-quantified images in activity (bio-distribution of the radio-peptide in the body) it is possible to calculate the dose deposition by Monte Carlo simulations (MC). A second step was the validation of the irtGPUMCD code. It is a MC code, operating on a graphics processing unit (GPU), previously developed within the Research Group in Medical Physics of the CHU de Québec, which allows the calculation of the absorbed dose received during a PRRT. The irtGPUMCD code has been used and validated under standard conditions with International Commission on Radiological Protection (ICRP110) phantoms, not only for the ¹⁷⁷Lu, but also for the ¹³¹I and ⁹⁹ᵐT c. With the simulations performed on a referenced geometry and with a comparison to other results present in literature, the code was validated. In the context of the optimization in time and accuracy of the results provided by irtGPUMCD, a new raytracing algorithm and a variance reduction technique were introduced, tested and validated. These code changes have led to a reduction in execution time of a factor ten for a simulations. The well quantified three-dimensional absorbed dose images/maps give the possibility of calculating dose-volume histograms (DVH) and extracting all the dosimetric information of interest as done in other branches of radiotherapy. A small part of this thesis is dedicated to the proposal of statistical techniques, which allow, by linking the dosimetric data with patient outcomes, to build models of normal tissues complication probability (NTCP). The main impact of this study is the introduction of a whole chain, well validated, for the quantification in PRRT. With an accurate calibration of the SPECT imaging system and the use of the irtGPUMCD MC code, it will be possible to carry out more advanced dosimetric and statistical studies, compared to the state of the art in nuclear medicine, and to head towards a more personalized treatment.

La présente thèse propose un système complet de placement de capteurs mobiles dans un environnement pleinement tridimensionnel et préalablement inconnu. Les capteurs mobiles sont des capteurs placés sur des unités robotiques autonomes, soit des véhicules possédant une unité de calcul et pouvant se déplacer dans l’environnement. Le placement de capteur est fondé sur une vue désirée par un utilisateur du système nommé vue virtuelle. La vue virtuelle est contrôlée à distance en changeant les paramètres intrinsèques et extrinsèques du capteur virtuel, soit sa position, sa résolution, son champ de vue, etc. Le capteur virtuel n’est alors soumis à aucune contrainte physique, par exemple il peut être placé à n’importe quelle hauteur dans l’environnement et avoir un champ de vue et une résolution arbitrairement grande. Les capteurs mobiles (réels) ont pour tâche de récupérer toute l’information contenue dans le point de vue virtuel. Ce n’est qu’en combinant leur capacité sensorielle que les capteurs mobiles pourront capter l’information demandée par l’utilisateur. Tout d’abord, cette thèse s’attaque au problème de placement de capteurs en définissant une fonction de visibilité servant à évaluer le positionnement d’un groupe de capteurs dans l’environnement. La fonction de visibilité développée est applicable aux environnements tridimensionnels et se base sur le principe de ligne de vue directe entre un capteur et la cible. De plus, la fonction prend en compte la densité d’échantillonnage des capteurs afin de reproduire la densité désirée indiquée par le capteur virtuel. Ensuite, ce travail propose l’utilisation d’un modèle de l’environnement pleinement tridimensionnel et pouvant être construit de manière incrémentale, rendant son utilisation possible dans un environnement tridimensionnel non convexe préalablement inconnu. Puis, un algorithme d’optimisation coopératif est présenté afin de trouver simultanément le nombre de capteurs et leur positionnement respectif afin d’acquérir l’information contenue dans la vue virtuelle. Finalement, la thèse démontre expérimentalement dans diverses conditions que le système proposé est supérieur à l’état de l’art pour le placement de capteurs dans le but d’observer une scène bidimensionnelle. Il est aussi établi expérimentalement en simulation et en réalité que les performances se transposent à l’observation d’environnements tridimensionnels non convexes préalablement inconnus. / This Thesis proposes a novel mobile sensor placement system working in initially unknown three dimensional environment. The mobile sensors are fix sensors placed on autonomous robots, which are ground and aerial vehicles equipped with computing units. The sensor placement is based on a user-defined view, named the virtual view. This view is manipulated through a virtual sensor intrinsic and extrinsic parameters, such as its position, orientation, field of view, resolution, etc. The virtual sensor is not subject to any physical constraint, for example it can be place where no sensor could be or it possess an arbitrary large field of view and resolution. The mobile (real) sensors have to acquire the entire information contained in this virtual view. It is only by combining the sensory capacity of an unknown number of sensors that they can acquire the necessary information. First, this Thesis addresses the sensor placement problem by defining a visibility function to qualify a group of sensor configurations in the environment. This function is applicable to three dimensional environments and is based on direct line of sight principle, where we compute the sensor sampling density in its visibility region. Then, this Thesis proposes the use of an incrementally built model of the environment containing all the information needed by the objective function. Next, a cooperative optimization algorithm is put forward to simultaneously find the number of sensors and their respective position required to capture all the information in the virtual view. Finally, the proposed system is experimentally shown to use less sensor to acquire the scene of interest at a higher resolution than state of the art methods in initially known two dimensional environments. It is also shown in simulation and practice that the performance of the system can be transposed to initially unknown non-convex three dimensional environments.

Depuis leur introduction, les téléphones intelligents n’ont cessé d’évoluer. Ceux-ci intègrent généralement plusieurs composantes utiles (i.e. caméra numérique, récepteur GPS, accéléromètres, boussole numérique et plus récemment le gyroscope) pour des applications de Réalité Augmentée Mobile (RAM). Ce type d’application génère beaucoup d’intérêt auprès du grand public qui se voit offrir une nouvelle manière d’explorer son environnement. Afin d’obtenir une forte augmentation de la réalité en termes d’immersion de l’utilisateur et des interactions qui lui sont proposées, ces applications de RAM requièrent généralement un modèle 3D de l’environnement. Ce modèle 3D peut alors être exploité selon trois finalités différentes au sein de l’application de RAM qui sont : 1) gérer les occlusions; 2) aider au calcul de la pose (position/orientation) de la caméra de l’utilisateur; 3) supporter les interactions et l’augmentation de la réalité. Cependant, ces modèles 3D ne sont pas toujours disponibles à l’endroit où l’on souhaite augmenter la réalité ce qui nuit au déploiement des applications de RAM n’importe où et n’importe quand. Afin de surmonter cette contrainte, le présent projet de maîtrise a consisté à concevoir une chaîne de production de modèles 3D adaptée au contexte des applications de RAM dites fortement augmentées et facilement exploitable directement sur les lieux ciblés pour l’augmentation. La chaîne de production élaborée a été implantée sur la plateforme de l’iPhone 3G puis évaluée selon des critères d’exactitude, de rapidité, d’intuitivité et d’efficacité de l’augmentation résultante. Les résultats de cette évaluation ont permis de mettre en évidence la possibilité de modéliser en 3D un bâtiment simplement tout en atteignant une exactitude sous les 5 mètres en environ 3 minutes à l’aide d’un appareil de type téléphone intelligent. / Recently, a new genre of software applications has emerged allowing the general public to browse their immediate environment using their smartphone: Mobile Augmented Reality (MAR) applications. The growing popularity of this type of application is triggered by the fast evolution of smartphones. These ergonomic mobile platforms embed several pieces of equipment useful to deploy MAR (i.e. digital camera, GPS receiver, accelerometers, digital compass and now gyroscope). In order to achieve a strong augmentation of the reality in terms of user’s immersion and interactions, a 3D model of the real environment is generally required. The 3D model can be used for three different purposes in these MAR applications: 1) to manage the occlusions between real and virtual objects; 2) to provide accurate camera pose (position/orientation) calculation; 3) to support the augmentation and interactions. However, the availability of such 3D models is limited and therefore preventing MAR application to be used anywhere at anytime. In order to overcome such constraints, this proposed research thesis is aimed at devising a new approach adapted to the specific context of MAR applications and dedicated to the simple and fast production of 3D models. This approach was implemented on the iPhone 3G platform and evaluated according to precision, rapidity, simplicity and efficiency criteria. Results of the evaluation underlined the capacity of the proposed approach to provide, in about 3 minutes, a simple 3D model of a building using smartphone while achieving accuracy of 5 meters and higher.

La disponibilité de capteurs 3D rapides et précis a favorisé le développement de différentes applications dans les domaines de l’assemblage, de l’inspection, de la conception assistée par ordinateur (CAO), de l’ingénierie inverse, de la construction mécanique, de la médecine, et du divertissement, pour n’en citer que quelques-unes. Alors que les caméras 2D capturent des images 2D de la surface des objets, soit en noir-et-blanc, soit en couleur, les caméras 3D fournissent des informations sur la géométrie de la surface d’un objet. Aujourd’hui, les caméras 3D nouvellement introduites peuvent acquérir l’apparence et la géométrie des objets en même temps. La popularité et la disponibilité de ces modèles 3D a ouvert de nouveaux champs d’intérêts, comme segmentation de modèles 3D, la reconnaissance du modèles 3D, l’estimation des paramètres de modèles 3D et même la modélisation 3D. Dans ce projet, nous visons à faire une reconnaissance intelligente des différentes parties (primitives) d’un objet 3D. À cette fin, nous préparons d’abord une base de données de primitives de CAO 3D (i.e., plans, cylindres, cônes, sphères et tores). Ensuite, en utilisant les algorithmes de segmentation, les objets complexes sont décomposés en leurs primitives et, en utilisant des techniques de reconnaissance des formes, un descripteur est associé à chaque primitive et, enfin, un classificateur est formé pour apprendre les propriétés des primitives. Le manuscrit étudie différentes méthodes liées à ces défis. Une étape supplémentaire est également proposée dans ce projet, par l’estimation des paramètres des primitives et la génération de primitives de CAO, qui complète l’ensemble du processus d’ingénierie inverse. / The availability of fast and accurate 3D sensors has favored the development of different applications in assembly, inspection, Computer-Aided Design (CAD), reverse engineering, mechanical engineering, medicine, and entertainment, to list just a few. While 2D cameras capture 2D images of the surface of objects, either black-and-white or color, 3D cameras provide information on the geometry of an object surface. Today, newly introduced 3D cameras can acquire the appearance and geometry of objects concurrently. The popularity and availability of such these 3D models has opened new fields of interests, such as 3D model segmentation, 3D model recognition, estimation of 3D models’ parameters and even 3D modelling. In this project, we aim at recognizing different parts (primitives) of a 3D object, intelligently. For this purpose, we first prepare a database of 3D CAD primitives (i.g. planes, cylinders, cones, spheres and, tori). Then using segmentation algorithms, the complex objects are decomposed into their primitives and, by utilizing recognition techniques, a descriptor is extracted and associated to each primitive and, finally, a classifier is trained to learn the properties of primitives. The manuscript investigates different methods related to these challenges. An additional step is also proposed in this project which estimates the parameters of primitives and generate the CAD primitives that completes the whole process of reverse engineering.

Ce mémoire porte sur la conception d'une interface utilisateur basée sur la reconnaissance de gestes pour la commande d'un capteur 3D tenu en main. L'interface proposée permet à l'opérateur d'un tel équipement de commander le logiciel à distance alors qu'il se déplace autour d'un objet à numériser sans devoir revenir auprès du poste de travail. À cet effet, un prototype fonctionnel est conçu au moyen d'une caméra Azure Kinect pointée vers l'utilisateur. Un corpus de gestes de la main est défini et reconnu au moyen d'algorithmes d'apprentissage automatique, et des métaphores d'interactions sont proposées pour la transformation rigide 3D d'un objet virtuel à l'écran. Ces composantes sont implantées dans un prototype fonctionnel compatible avec le logiciel VXelements de Creaform. / This thesis presents the development of a gesture-based user interface for the operation of handheld 3D scanning devices. This user interface allows the user to remotely engage with the software while walking around the target object. To this end, we develop a prototype using an Azure Kinect sensor pointed at the user. We propose a set of hand gestures and a machine learning-based approach to classification for triggering momentary actions in the software. Additionally, we define interaction metaphors for applying 3D rigid transformations to a virtual object on screen. We implement these components into a proof-of-concept application compatible with Creaform VXelements.

Cette recherche s’inscrit dans le cadre général de la 3D interactive en temps réel comme outil de représentation, d’aide à la conception et à la communication des idées et hypothèses de design. Un facteur, l’interaction et plus précisément la navigation dans les Environnements Virtuels (EV) 3D non immersifs est l’objet de cette recherche. Par le biais d’une approche expérimentale, l’influence de la 3D interactive en temps réel sur l’acquisition des connaissances spatiales est illustrée par l'étude du mode d’exploration dans un espace virtuel complexe. En effet, les résultats de la recherche montrent une influence positive de la 3D interactive sur la formation d’une compréhension spatiale des environnements en mode d’exploration actif. Alors qu’en mode d’exploration passif, il s’est avéré que les esquisses comportaient plus d’erreurs dans la représentation des espaces. / This research is part of the general framework of real time 3D interaction as a tool for representation, aided design and communication of design ideas. A factor, interaction and more precisely, navigation in a non immersive 3D Virtual Environment (VE), is the research subject. Using an experimental approach, the influence of real time 3D interaction on the acquisition of spatial knowledge is demonstrated, through observation of exploration modes in a complex virtual space. The research results stress a positive influence on spatial understanding through 3D interaction of visited environments during an active exploration. However, during passive exploration mode, the results revealed sketches with more spatial representations errors.