Ce mémoire porte sur la conception d'une interface utilisateur basée sur la reconnaissance de gestes pour la commande d'un capteur 3D tenu en main. L'interface proposée permet à l'opérateur d'un tel équipement de commander le logiciel à distance alors qu'il se déplace autour d'un objet à numériser sans devoir revenir auprès du poste de travail. À cet effet, un prototype fonctionnel est conçu au moyen d'une caméra Azure Kinect pointée vers l'utilisateur. Un corpus de gestes de la main est défini et reconnu au moyen d'algorithmes d'apprentissage automatique, et des métaphores d'interactions sont proposées pour la transformation rigide 3D d'un objet virtuel à l'écran. Ces composantes sont implantées dans un prototype fonctionnel compatible avec le logiciel VXelements de Creaform. / This thesis presents the development of a gesture-based user interface for the operation of handheld 3D scanning devices. This user interface allows the user to remotely engage with the software while walking around the target object. To this end, we develop a prototype using an Azure Kinect sensor pointed at the user. We propose a set of hand gestures and a machine learning-based approach to classification for triggering momentary actions in the software. Additionally, we define interaction metaphors for applying 3D rigid transformations to a virtual object on screen. We implement these components into a proof-of-concept application compatible with Creaform VXelements.

Les applications de l’analyse du comportement humain ont subit de rapides développements durant les dernières décades, tant au niveau des systèmes de divertissements que pour des applications professionnelles comme les interfaces humain-machine, les systèmes d’assistance de conduite automobile ou des systèmes de protection des piétons. Cette thèse traite du problème de reconnaissance de piétons ainsi qu’à l’estimation de leur orientation en 3D. Cette estimation est faite dans l’optique que la connaissance de cette orientation est bénéfique tant au niveau de l’analyse que de la prédiction du comportement des piétons. De ce fait, cette thèse propose à la fois une nouvelle méthode pour détecter les piétons et une manière d’estimer leur orientation, par l’intégration séquentielle d’un module de détection et un module d’estimation d’orientation. Pour effectuer cette détection de piéton, nous avons conçu un classificateur en cascade qui génère automatiquement une boîte autour des piétons détectés dans l’image. Suivant cela, des régions sont extraites d’un nuage de points 3D afin de classifier l’orientation du torse du piéton. Cette classification se base sur une image synthétique grossière par tramage (rasterization) qui simule une caméra virtuelle placée immédiatement au-dessus du piéton détecté. Une machine à vecteurs de support effectue la classification à partir de cette image de synthèse, pour l’une des 10 orientations discrètes utilisées lors de l’entrainement (incréments de 30 degrés). Afin de valider les performances de notre approche d’estimation d’orientation, nous avons construit une base de données de référence contenant 764 nuages de points. Ces données furent capturées à l’aide d’une caméra Kinect de Microsoft pour 30 volontaires différents, et la vérité-terrain sur l’orientation fut établie par l’entremise d’un système de capture de mouvement Vicon. Finalement, nous avons démontré les améliorations apportées par notre approche. En particulier, nous pouvons détecter des piétons avec une précision de 95.29% et estimer l’orientation du corps (dans un intervalle de 30 degrés) avec une précision de 88.88%. Nous espérons ainsi que nos résultats de recherche puissent servir de point de départ à d’autres recherches futures. / The application of human behavior analysis has undergone rapid development during the last decades from entertainment system to professional one, as Human Robot Interaction (HRI), Advanced Driver Assistance System (ADAS), Pedestrian Protection System (PPS), etc. Meanwhile, this thesis addresses the problem of recognizing pedestrians and estimating their body orientation in 3D based on the fact that estimating a person’s orientation is beneficial in determining their behavior. In this thesis, a new method is proposed for detecting and estimating the orientation, in which the result of a pedestrian detection module and a orientation estimation module are integrated sequentially. For the goal of pedestrian detection, a cascade classifier is designed to draw a bounding box around the detected pedestrian. Following this, extracted regions are given to a discrete orientation classifier to estimate pedestrian body’s orientation. This classification is based on a coarse, rasterized depth image simulating a top-view virtual camera, and uses a support vector machine classifier that was trained to distinguish 10 orientations (30 degrees increments). In order to test the performance of our approach, a new benchmark database contains 764 sets of point cloud for body-orientation classification was captured. For this benchmark, a Kinect recorded the point cloud of 30 participants and a marker-based motion capture system (Vicon) provided the ground truth on their orientation. Finally we demonstrated the improvements brought by our system, as it detected pedestrian with an accuracy of 95:29% and estimated the body orientation with an accuracy of 88:88%.We hope it can provide a new foundation for future researches.

Cette thèse présente une approche de segmentation d’images sans supervision pour obtenir une série de silhouettes et l’enveloppe visuelle («Visual Hull») d’un objet observé à partir de plusieurs points de vue. L’approche proposée peut traiter essentiellement n’importe quelles propriétés d’apparence comme la texture, des couleurs similaires d’arrière-plan, la specularité, la transparence et d’autre phénomènes tels que des ombres et des débordements de couleur. Par rapport aux méthodes plus classiques d’extraction de silhouettes sur plusieurs vues, où certaines hypothèses sur l’objet ou la scène sont formulès, nous ne modélisons ni l’arrière-plan ni les propriétés d’apparence de l’objet. La seule hypothèse est la constance de l’arrière-plan considéré comme inconnu pour un point de vue lorsque l’objet bouge. L’idée principale de l’approche est d’estimer l’évolution temporelle de chaque pixel pour obtenir une mesure de stabilité. Celle-ci est utilisée pour construire la fonction de coût d’arrière-plan. Pour faire face aux ombres et aux ombres projetées, un objet est capturé sous différentes conditions d’éclairage. En outre, les informations d’espace, de temps et d’éclairage sont fusionnées et utilisées dans un formalisme de champ aléatoire de Markov et la fonction d’énergie construite est minimisée par «Graph Cuts». Les expérimentations en laboratoire, sous différentes conditions d’éclairage, montrent que l’approche proposée permet la reconstruction robuste de l’enveloppe visuelle pour une grande variété d’objets difficiles tels que les objets en verre (effets de transparence) ou en métal brillant (effets de réflexions spéculaires). / This thesis presents an unsupervised image segmentation approach for obtaining a set of silhouettes along with the Visual Hull of an object observed from multiple viewpoints. The proposed approach can deal with mostly any type of appearance characteristics such as texture, similar background color, shininess, transparency besides other phenomena such as shadows and color bleeding. Compared to more classical methods for silhouette extraction from multiple views, for which certain assumptions are made on the object or scene, neither the background nor the object appearance properties are modeled. The only assumption is the constancy of the unknown background for a given camera viewpoint while the object is under motion. The principal idea of the approach is the estimation of the temporal evolution of each pixel over time which provides a stability measurement and leads to its associated background cost function. In order to cope with shadows and self-shadows, an object is captured under different lighting conditions. Furthermore, the information from the space, time and lighting domains is exploited and merged based on a Markov Random Field framework and the constructed energy function is minimized via graph-cut. Real-data experiments under different lighting condition show that the proposed approach allows for robust Visual Hull reconstruction of a variety of challenging objects such as objects made of shiny metal or glass.

Il existe désormais une grande variété de lentilles panoramiques disponibles sur le marché dont certaines présentant des caractéristiques étonnantes. Faisant partie de cette dernière catégorie, les lentilles Panomorphes sont des lentilles panoramiques anamorphiques dont le profil de distorsion est fortement non-uniforme, ce qui cause la présence de zones de grandissement augmenté dans le champ de vue. Dans un contexte de robotique mobile, ces particularités peuvent être exploitées dans des systèmes stéréoscopiques pour la reconstruction 3D d’objets d’intérêt qui permettent à la fois une bonne connaissance de l’environnement, mais également l’accès à des détails plus fins en raison des zones de grandissement augmenté. Cependant, à cause de leur complexité, ces lentilles sont difficiles à calibrer et, à notre connaissance, aucune étude n’a réellement été menée à ce propos. L’objectif principal de cette thèse est la conception, l’élaboration et l’évaluation des performances de systèmes stéréoscopiques Panomorphes. Le calibrage a été effectué à l’aide d’une technique établie utilisant des cibles planes et d’une boîte à outils de calibrage dont l’usage est répandu. De plus, des techniques mathématiques nouvelles visant à rétablir la symétrie de révolution dans l’image (cercle) et à uniformiser la longueur focale (cercle uniforme) ont été développées pour voir s’il était possible d’ainsi faciliter le calibrage. Dans un premier temps, le champ de vue a été divisé en zones à l’intérieur desquelles la longueur focale instantanée varie peu et le calibrage a été effectué pour chacune d’entre elles. Puis, le calibrage général des systèmes a aussi été réalisé pour tout le champ de vue simultanément. Les résultats ont montré que la technique de calibrage par zone ne produit pas de gain significatif quant à la qualité des reconstructions 3D d’objet d’intérêt par rapport au calibrage général. Cependant, l’étude de cette nouvelle approche a permis de réaliser une évaluation des performances des systèmes stéréoscopiques Panomorphes sur tout le champ de vue et de montrer qu’il est possible d’effectuer des reconstructions 3D de qualité dans toutes les zones. De plus, la technique mathématique du cercle a produit des résultats de reconstructions 3D en général équivalents à l’utilisation des coordonnées originales. Puisqu’il existe des outils de calibrage qui, contrairement à celui utilisé dans ce travail, ne disposent que d’un seul degré de liberté sur la longueur focale, cette technique pourrait rendre possible le calibrage de lentilles Panomorphes à l’aide de ceux-ci. Finalement, certaines conclusions ont pu être dégagées quant aux facteurs déterminants influençant la qualité de la reconstruction 3D à l’aide de systèmes stéréoscopiques Panomorphes et aux caractéristiques à privilégier dans le choix des lentilles. La difficulté à calibrer les optiques Panomorphes en laboratoire a mené à l’élaboration d’une technique de calibrage virtuel utilisant un logiciel de conception optique et une boîte à outils de calibrage. Cette approche a permis d’effectuer des simulations en lien avec l’impact des conditions d’opération sur les paramètres de calibrage et avec l’effet des conditions de calibrage sur la qualité de la reconstruction. Des expérimentations de ce type sont pratiquement impossibles à réaliser en laboratoire mais représentent un intérêt certain pour les utilisateurs. Le calibrage virtuel d’une lentille traditionnelle a aussi montré que l’erreur de reprojection moyenne, couramment utilisée comme façon d’évaluer la qualité d’un calibrage, n’est pas nécessairement un indicateur fiable de la qualité de la reconstruction 3D. Il est alors nécessaire de disposer de données supplémentaires pour juger adéquatement de la qualité d’un calibrage. / A wide variety of panoramic lenses are available on the market. Exhibiting interesting characteristics, the Panomorph lens is a panoramic anamorphic optical system. Its highly non-uniform distortion profile creates areas of enhanced magnification across the field of view. For mobile robotic applications, a stereoscopic system for 3D reconstruction of objects of interest could greatly benefit from the unique features of these special lenses. Such a stereoscopic system would provide general information describing the environment surrounding its navigation. Moreover, the areas of enhanced magnification give access to smaller details. However, the downfall is that Panomorph lenses are difficult to calibrate, and this is the main reason why no research has been carried out on this topic. The main goal of this thesis is the design and development of Panomorph stereoscopic systems as well as the evaluation of their performance. The calibration of the lenses was performed using plane targets and a well-established calibration toolbox. In addition, new mathematical techniques aiming to restore the symmetry of revolution in the image and to make the focal length uniform over the field of view were developed to simplify the calibration process. First, the field of view was divided into zones exhibiting a small variation of the focal length and the calibration was performed for each zone. Then, the general calibration was performed for the entire field of view. The results showed that the calibration of each zone does not lead to a better 3D reconstruction than the general calibration method. However, this new approach allowed a study of the quality of the reconstruction over the entire field of view. Indeed, it showed that is it possible to achieve good reconstruction for all the zones of the field of view. In addition, the results for the mathematical techniques used to restore the symmetry of revolution were similar to the results obtained with the original data. These techniques could therefore be used to calibrate Panomorph lenses with calibration toolboxes that do not have two degrees of freedom relating to the focal length. The study of the performance of stereoscopic Panomorph systems also highlighted important factors that could influence the choice of lenses and configuration for similar systems. The challenge met during the calibration of Panomorph lenses led to the development of a virtual calibration technique that used an optical design software and a calibration toolbox. With this technique, simulations reproducing the operating conditions were made to evaluate their impact on the calibration parameters. The quality of 3D reconstruction of a volume was also evaluated for various calibration conditions. Similar experiments would be extremely tedious to perform in the laboratory but the results are quite meaningful for the user. The virtual calibration of a traditional lens also showed that the mean reprojection error, often used to judge the quality of the calibration process, does not represent the quality of the 3D reconstruction. It is then essential to have access to more information in order to asses the quality of a lens calibration.

L’automatisation de la détection et de l’identification des animaux est une tâche qui a de l’intérêt dans plusieurs domaines de recherche en biologie ainsi que dans le développement de systèmes de surveillance électronique. L’auteur présente un système de détection et d’identification basé sur la vision stéréo par ordinateur. Plusieurs critères sont utilisés pour identifier les animaux, mais l’accent a été mis sur l’analyse harmonique de la reconstruction en temps réel de la forme en 3D des animaux. Le résultat de l’analyse est comparé avec d’autres qui sont contenus dans une base évolutive de connaissances. / Automating the detection and identification of animals is a task that has an interest in many biological research fields and in the development of electronic security systems. The author present a detection and identification system based on computer stereo vision to achieve this task. A number of criteria are being used to identify the animals, but the emphasis is on the harmonic analysis of the animal real time reconstructed 3D shape. The result of the analysis is compared with others stored in an evolutive knowledge base.

Alors que les principes de développement durable, d’écologie du bâtiment et d’efficacité énergétique prennent une place toujours plus importante dans le design architectural, le CLT, par ses caractéristiques intrinsèques, est un matériau de construction idéal pour une architecture écoresponsable. Cependant, les bâtiments en CLT aspirant à offrir de bonnes performances énergétiques sont généralement limités par les directives et règles de conception, ce qui encourage peu les expérimentations formelles qui permettraient d’explorer des stratégies passives alternatives basées sur la forme du bâtiment. Le mémoire vise à démontrer qu’une approche de conception intégrée conjuguée avec la précision et la diversité des éléments issus de la fabrication numérique permet dorénavant aux architectes d’intégrer des formes et des espaces complexes dans la conception de bâtiments en CLT. Par un processus de recherche -création, le projet de recherche démontre qu’il est possible d’effectuer des explorations formelles tout en validant la composition structurelle et en générant les détails d’assemblage de la structure. L’utilisation d’une seule et unique interface de travail, nommément un logiciel de modélisation paramétrique 3D, simplifie le travail du concepteur. Ce logiciel permet en effet un partage aisé du modèle entre les différents professionnels associés au projet et, en plus, il génère les fichiers de découpe pour les machines-outils à commande numérique, ce qui contribue à une réalisation plus efficace. / While the principles of sustainable development, building ecology and energy efficiency are becoming ever more important in architectural design, the CLT, by its intrinsic characteristics, is an ideal building material for eco-responsible architecture. However, CLT buildings aspiring to provide good energy performance are generally constrained by design guidelines and rules, which does not encourage formal experiments that would explore alternative passive strategies based on the shape of the building.The purpose of the dissertation is to demonstrate that an integrated design approach combined with the precision and diversity of the elements of digital fabrication now allows architects to integrate complex shapes and spaces into CLT building design. Through a research-creation process, the research project demonstrates that it is possible to carry out formal explorations while validating the structural composition and generating the assembly details of the structure. The use of a single work interface, namely 3D parametric software, simplifies the work of the designer. This software makes it easy to share the model among the various professionals associated with the project and, in addition, it generates the cutting files for CNC machine tools, which contributes to a more efficient realization.

Les capteurs basés sur la lumière structurée codée prennent une ampleur grandissante dans le domaine de la numérisation 3D. Ce type de capteur permet une numérisation plus rapide de la surface d'un objet comparativement aux capteurs laser ou aux systèmes de palpage (i.e. numérisation avec contact). De plus, les capteurs fonctionnant par la projection d'une seule trame offrent la possibilité de numériser des scènes en mouvement, ce qui est un avantage indéniable sur la majorité des capteurs commercialisés depuis quelques années. Le projet de recherche traité dans ce mémoire a été réalisé dans le cadre du développement d'un capteur basé sur la lumière blanche structurée, conçu par l'équipe de vision 3D du Laboratoire de Vision et Systèmes Numériques de l'Université Laval. Un tel capteur utilise un projecteur afin de projeter un patron de lumière codée sur la scène. Ce patron se déforme au contact de la surface et sa réflexion est captée par une caméra. Cette déformation permet de déduire la profondeur de la surface et ainsi calculer la position de points 3D représentant la surface de l'objet. Le rôle de ce mémoire est de développer et implanter un algorithme de segmentation d'images qui a comme objectif d'extraire le patron de la scène. Les images acquises par le capteur sont traitées en utilisant une approche basée sur les arêtes pour détecter les primitives contenue dans le patron. Chacune de ces primitives encode un symbole formant un mot codé. Le but de l'algorithme est donc de déterminer la position et l'étiquette (i.e. la valeur du symbole) associées à ces primitives. L'apparence de la scène complique cette tâche, car les propriétés de la surface (e.g. texture, déformations géométriques, type de matériaux) peuvent interférer avec la réflexion du patron. Par exemple, un objet de couleur foncée réfléchira très peu la lumière projetée, tandis qu'une surface géométriquement complexe déformera le patron, pouvant rendre les symboles flous et difficiles à détecter. La robustesse de l'algorithme face à ces défis est analysée et nous soulevons les limitations d'une telle approche de segmentation.

Dans le présent mémoire, le potentiel d’un prototype de la sonde Clariry AutoScan modifiée pour la curiethérapie gynécologique est évalué. Au terme du projet, le but est de déterminer si la sonde peut être intégrée au processus clinique et si la planification de traitement faite sur image par tomodensitométrie (TDM) peut être améliorée par l’ajout d’une échographie transabdominale tridimensionnelle (3DTAUS). Pour ce faire, un total de 19 patientes ont été analysées au cours des différentes étapes du projet. La première partie, l’analyse des contours, comprenant une analyse de faisabilité a été réalisée. Dans cette section, différents éléments devaient être jugés visibles ou non sur les trois modalités d’imagerie (imagerie par résonnance magnétique (IRM), TDM et 3DTAUS) sur les images de 6 patientes. Par la suite, le volume cible clinique à hauts risque (High Risk Clinical Target Volume, HR-CTV) de 8 patientes a été délimité et une analyse comparative de volume et de dimensions a été réalisée. La dernière étape a été d’évaluer les plans de traitements optimisés sur IRM, TDM et TDM-3DTAUS réalisés pour 5 patientes. Pour fin de comparaison, les plans faits sur IRM ont été également évalués sur TDM et TDM-3DTAUS et les plans TDM et TDM-3DTAUS, sur l’IRM. L’analyse de faisabilité a montré que la sonde permet de voir le HR-CTV. Cependant, le rectum, le sigmoïde de même que les ovoïdes ne peuvent être visualisés sur le 3DTAUS. Pour les analyses de contours, en moyenne, les contours se rapprochant davantage du standard à atteindre, l’IRM, sont faits sur le 3DTAUS, mais avec une plus grande variation des contours que le TDM. Pour la planification de traitement, l’ajout du 3DTAUS au TDM permet d’obtenir une dosimétrie plus près de celle obtenue sur l’IRM comparativement au TDM seul. L’utilisation clinique du 3DTAUS est plausible. L’ajout du 3DTAUS permet d’obtenir une dosimétrie plus près de celle sur IRM que le TDM seul, et dans le cas de l’Hôtel-Dieu, avec une charge clinique moindre que l’IRM. / The present work explores the clinical potential of the adapted prototype of the Clarity AutoScan probe for gynecological brachytherapy use. The goal of this project is to determine whether a 3D transabdominal ultrasound (3DTAUS) can improve treatment planning when combine to computed tomography (CT) compared to CT-based treatment planning. For the purpose of this work, 19 patients were analyzed along the various steps of the study. The two main parts are the contour analysis and the treatment planning analysis. In the first part, images set (magnetic resonance images (MRI), CT and 3DTAUS) of 6 patients were analyzed to determine the visibility of various structures. The comparative high-risk clinical target volume (HR-CTV) contour analysis included 5 patients was performed with 4 images sets (MRI, CT, 3DTAUS and CT-3DTAUS). The HR-CTV volume and lateral dimensions were compared to the reference set, the MRI. Treatment plans optimized on MRI, CT and CT-3DTAUS were elaborated for 5 patients. MRI treatment plans were evaluated on CT and CT-3DTAUS, and CT and CT-3DTAUS were evaluated on MRI. HR-CTV and tandem can be seen on 3DTAUS counter to rectum, sigmoid and ovoids. HRCTV contour analysis shows that 3DTAUS contours, on average, are the ones closer to MRI but with the higher variability. For treatment planning, the treatment plans optimized on CT-3DTAUS are the one closer to MRI, showing improvement to CT plans while combining it to 3DTAUS. For complete 3D treatment planning, 3DTAUS can be used alone. However, the CT-3DTAUS fusion allows treatment plans closer to MRI than CT alone. For the reason, 3DTAUS should be added to the current clinical workflow when MRI is not available.

Les infrastructures canadiennes se faisant de plus en plus vieillissantes, il est primordial d'en effectuer une surveillance régulière afin de garantir la sécurité publique. L'inspection des infrastructures consiste à suivre les déformations tridimensionnelles d'une structure sur une période donnée. Les techniques de photogrammétrie à courte portée figurent parmi les solutions permettant d'élaborer des modélisations 3D précises de structure et d'en réaliser la surveillance. Malgré leurs nombreux avantages, elles impliquent un nombre important d'étapes dont la qualité de réalisation dépend de l'expertise de l'opérateur. Ce mémoire présente la solution ergonomique de photogrammétrie courte portée qui a été élaborée pour l'acquisition et la modélisation 3D d'objets complexes. Plus spécifiquement, les composants de cette solution visent à apporter une assistance à un utilisateur non expert en photogrammétrie lors de l'acquisition des prises de vue afin de lui permettre de respecter les tolérances relatives à la configuration d'acquisition qui garantiront que le modèle 3D élaboré répond aux spécifications de précision et de complétude attendues.

Le sujet de la reconstruction 3D par stéréo multivue a été tant étudié, tellement de méthodes ont été développées qu'il n'est pas toujours facile de s'y retrouver. Qu'est-ce qui fait qu'un algorithme est plus efficace qu'un autre? Pour répondre à cette question, il faut être en mesure de reconnaître les caractéristiques fondamentalement intéressantes d'un algorithme. Dans le but d'acquérir ce savoir, nous allons décortiquer les différentes étapes de la reconstruction d'un objet, en partant par la base de la stéréo: l'appariement. Trouver des positions dans différentes images qui correspondent au même point de la surface comprend plusieurs défis: la visibilité (quel point est vu dans quelle image?), l'ambiguïté (quel ensemble de pixels correspond à un point de la surface?), la variation d'apparence angulaire (la couleur d'un point de la surface peut changer selon le point de vue) et la discrétisation de l'apparence (une image est un échantillonnage de l'apparence d'une partie de la surface). Apparier implique de pouvoir évaluer que la variation de couleur angulaire d'un point est cohérente avec le modèle de réflectance de l'objet. Pour évaluer la photo-cohérence, un critère de comparaison, des contraintes sur la surface et une façon d'emmagasiner les données sont nécessaires. Compte tenu des problèmes d'appariement, la photo-cohérence n'est pas suffisante pour trouver la surface. Pour trouver les meilleurs appariements, les algorithmes de reconstruction intègrent donc les façons d'évaluer la photo-cohérence aux autres hypothèses sur la surface (ex: lisse, cohérente aux silhouettes).