Ce mémoire porte sur la conception d'une interface utilisateur basée sur la reconnaissance de gestes pour la commande d'un capteur 3D tenu en main. L'interface proposée permet à l'opérateur d'un tel équipement de commander le logiciel à distance alors qu'il se déplace autour d'un objet à numériser sans devoir revenir auprès du poste de travail. À cet effet, un prototype fonctionnel est conçu au moyen d'une caméra Azure Kinect pointée vers l'utilisateur. Un corpus de gestes de la main est défini et reconnu au moyen d'algorithmes d'apprentissage automatique, et des métaphores d'interactions sont proposées pour la transformation rigide 3D d'un objet virtuel à l'écran. Ces composantes sont implantées dans un prototype fonctionnel compatible avec le logiciel VXelements de Creaform. / This thesis presents the development of a gesture-based user interface for the operation of handheld 3D scanning devices. This user interface allows the user to remotely engage with the software while walking around the target object. To this end, we develop a prototype using an Azure Kinect sensor pointed at the user. We propose a set of hand gestures and a machine learning-based approach to classification for triggering momentary actions in the software. Additionally, we define interaction metaphors for applying 3D rigid transformations to a virtual object on screen. We implement these components into a proof-of-concept application compatible with Creaform VXelements.

Les infrastructures canadiennes se faisant de plus en plus vieillissantes, il est primordial d'en effectuer une surveillance régulière afin de garantir la sécurité publique. L'inspection des infrastructures consiste à suivre les déformations tridimensionnelles d'une structure sur une période donnée. Les techniques de photogrammétrie à courte portée figurent parmi les solutions permettant d'élaborer des modélisations 3D précises de structure et d'en réaliser la surveillance. Malgré leurs nombreux avantages, elles impliquent un nombre important d'étapes dont la qualité de réalisation dépend de l'expertise de l'opérateur. Ce mémoire présente la solution ergonomique de photogrammétrie courte portée qui a été élaborée pour l'acquisition et la modélisation 3D d'objets complexes. Plus spécifiquement, les composants de cette solution visent à apporter une assistance à un utilisateur non expert en photogrammétrie lors de l'acquisition des prises de vue afin de lui permettre de respecter les tolérances relatives à la configuration d'acquisition qui garantiront que le modèle 3D élaboré répond aux spécifications de précision et de complétude attendues.

Le sujet de la reconstruction 3D par stéréo multivue a été tant étudié, tellement de méthodes ont été développées qu'il n'est pas toujours facile de s'y retrouver. Qu'est-ce qui fait qu'un algorithme est plus efficace qu'un autre? Pour répondre à cette question, il faut être en mesure de reconnaître les caractéristiques fondamentalement intéressantes d'un algorithme. Dans le but d'acquérir ce savoir, nous allons décortiquer les différentes étapes de la reconstruction d'un objet, en partant par la base de la stéréo: l'appariement. Trouver des positions dans différentes images qui correspondent au même point de la surface comprend plusieurs défis: la visibilité (quel point est vu dans quelle image?), l'ambiguïté (quel ensemble de pixels correspond à un point de la surface?), la variation d'apparence angulaire (la couleur d'un point de la surface peut changer selon le point de vue) et la discrétisation de l'apparence (une image est un échantillonnage de l'apparence d'une partie de la surface). Apparier implique de pouvoir évaluer que la variation de couleur angulaire d'un point est cohérente avec le modèle de réflectance de l'objet. Pour évaluer la photo-cohérence, un critère de comparaison, des contraintes sur la surface et une façon d'emmagasiner les données sont nécessaires. Compte tenu des problèmes d'appariement, la photo-cohérence n'est pas suffisante pour trouver la surface. Pour trouver les meilleurs appariements, les algorithmes de reconstruction intègrent donc les façons d'évaluer la photo-cohérence aux autres hypothèses sur la surface (ex: lisse, cohérente aux silhouettes).

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2008-2009 / Ces travaux présentent un système interactif de modélisation 3D multirésolution permettant la compression en temps réel de la surface à reconstruire. Les principaux avantages de ce système par rapport à ceux présentés dans le passé sont de pouvoir localement reconstruire la surface à différents niveaux de résolution et de compresser la surface durant l'acquisition des données brutes. Cette utilisation judicieuse de la mémoire rend désormais possible la modélisation d'objets de plus grande taille ou à une résolution plus élevée. Le document est divisé en trois parties. Tout d'abord, nous ferons un retour sur la représentation de surface qui est à la base du système proposé : le champ vectoriel. Nous montrerons tous les avantages d'une telle représentation dans le contexte de la modélisation interactive. Par après, nous aborderons le développement de la représentation multirésolution s'inspirant du champ vectoriel et permettant la compression en temps réel. Nous verrons comment il est possible de faire cohabiter différents niveaux de résolution à l'intérieur d'une même structure de données tout en conservant une représentation cohérente de la surface. Ensuite, nous expliquerons tous les algorithmes nécessaires à la compression en temps réel. La dernière partie de ces travaux aborde la mise au point d'un module de visualisation permettant d'afficher l'état de la surface multirésolution durant l'acquisition des données brutes. L'approche utilisée repose sur une technique de lancer de rayons et offre une grande qualité de rendu tout en conservant l'interactivité du système.

La présente thèse s’inscrit dans le domaine de la physique médicale et, plus précisément, de l’imagerie médicale tridimensionnelle (3D) et de la dosimétrie 3D pour la radiothérapie. L’objectif global du travail était de concevoir et évaluer un nouvel algorithme de reconstruction itératif rapide pour la tomodensitométrie (TDM) à faisceau conique, une modalité consistant à créer des images 3D des densités du sujet imagé à partir de mesures d’atténuation partielle d’un faisceau de radiation incidente. Cet algorithme a été implanté sur matériel graphique (GPU), une plate-forme de calcul hautement parallèle, menant à la conception de stratégies d’optimisation originales. En premier lieu, un nouvel algorithme itératif statistique régularisé, dénommé OSC-TV, a été conçu et implanté sur GPU. Il a été évalué sur des ensembles de projections synthétiques et cliniques de TDM à rayons X à faisceau conique. L’algorithme proposé a démontré une qualité d’image supérieure à celle de méthodes semblables pour des acquisitions basse-dose, ainsi que des temps de reconstruction compatibles avec les activités cliniques. L’impact principal de ce travail est la capacité d’offrir au patient une réduction de dose de radiation ionisante de deux à quatre fois par rapport aux protocoles d’acquisition usuels. En second lieu, cet algorithme a été testé sur des données expérimentales en tomographie optique à faisceau conique, donnant lieu à l’une des premières études de ce genre. La résolution spatiale des images 3D résultantes a été améliorée et le bruit a été réduit. L’on a aussi démontré l’importance de considérer le spectre de la source lumineuse afin d’assurer la justesse de l’estimation des densités. Le principal impact de l’étude est la démonstration de la supériorité de la reconstruction itérative pour des données affectées par les aberrations propres à la tomographie optique à faisceau conique, résultant potentiellement en l’amélioration de la dosimétrie 3D par gel radiochromique en radiothérapie. En troisième lieu, différentes approches de gestion de la matrice-système de type exact à rayons fins ont été évaluées pour la TDM à faisceau conique. Le pré-calcul et le stockage complet de la matrice-système dans la mémoire vive du GPU s’est montré comme l’approche la plus rapide, mais la moins flexible en termes de géométries représentables, en raison de la taille limitée de la mémoire vive. Le traçage de rayons à la volée est apparu très flexible, offrant aussi des temps de reconstruction raisonnables. En somme, les trois études ont permis de mettre en place et d’évaluer la méthode de reconstruction proposée pour deux modalités de tomographie, ainsi que de comparer différentes façons de gérer la matrice-système. / This thesis relates to the field of medical physics, in particular, three-dimensional (3D) imaging and 3D dosimetry for radiotherapy. The global purpose of the work was to design and evaluate a new fast iterative reconstruction algorithm for cone beam computed tomography (CT), an imaging technique used to create 3D maps of subject densities based on measurements of partial attenuation of a radiation beam. This algorithm was implemented for graphics processing units (GPU), a highly parallel computing platform, resulting in original optimization strategies. First, a new iterative regularized statistical method, dubbed OSC-TV, was designed and implemented for the GPU. It was evaluated on synthetic and clinical X ray cone beam CT data. The proposed algorithm yielded improved image quality in comparison with similar methods for low-dose acquisitions, as well as reconstruction times compatible with the clinical workflow. The main impact of this work is the capacity to reduce ionizing radiation dose to the patient by a factor of two to four, when compared to standard imaging protocols. Second, this algorithm was evaluated on experimental data from a cone beam optical tomography device, yielding one of the first studies of this kind. The spatial resolution of the resulting 3D images was improved, while the noise was reduced. The spectral properties of the light source were shown to be a key factor to take into consideration to ensure accurate density quantification. The main impact of the study was the demonstration of the superiority of iterative reconstruction for data affected by aberrations proper to cone beam optical tomography, resulting in a potential to improve 3D radiochromic gel dosimetry in radiotherapy. Third, different methods to handle an exact thin-ray system matrix were evaluated for the cone beam CT geometry. Using a GPU implementation, a fully pre-computed and stored system matrix yielded the fastest reconstructions, while being less flexible in terms of possible CT geometries, due to limited GPU memory capacity. On-the-fly ray-tracing was shown to be most flexible, while still yielding reasonable reconstruction times. Overall, the three studies resulted in the design and evaluation of the proposed reconstruction method for two tomographic modalities, as well as a comparison of the system matrix handling methods.

Le présent travail de thèse concerne la quantification en imagerie moléculaire en trois dimensions (3D), en particulier, dans le cadre de la thérapie radionucléique par radiopeptides (TRRP) au ¹⁷⁷Lu pour les tumeurs neuroendocrines (TNE). Le ¹⁷⁷Lu est un radioisotope émetteur beta, à courte portée dans les tissus (2 mm), et gamma, avec des énergies utilisables pour l'imagerie de tomographie par émission mono-photonique (TEM). Ces caractéristiques font de celui-ci un bon radioisotope pour la TRRP des TNE : de petite taille et répandues dans le corps. De plus, avec plusieurs images de TEM prises lors d'un traitement, il est possible de quantifier la distribution du radioisotope dans le corps du patient et même d'évaluer la progression du traitement. L'objectif principal du projet est le développement et la validation des outils, expérimentaux et informatiques, pour la quantification de la dose absorbée lors d'une TRRP au ¹⁷⁷Lu, avec la possibilité d'étendre les méthodes à d'autres radioisotopes. Deux étapes principales ont été nécessaires. La première était la calibration et la caractérisation de l'appareil d'imagerie de TEM. Dans ce contexte, plusieurs techniques d'acquisitions et d'analyse ont été testées et un protocole de calibration simplifié a été proposé. Un accent particulier est mis sur la détermination du facteur de calibration (CF) et du temps mort (τ ) de l'appareil de TEM pour la correction et la quantification des images acquises. D'une évaluation de l'équation qui gouverne le comportement de détection de l'appareil de TEM, une nouvelle formulation plus concise et analysable mathématiquement a été proposée. Celle-ci permet l'extraction des deux facteurs de façon approximative, mais simple ainsi que la proposition d'un nouveau protocole de calibration. Avec des images bien quantifiées en activité (biodistribution du radiopeptide dans le corps), il est possible, par simulations Monte Carlo (MC), de calculer le dépôt de dose. Une deuxième étape a été la validation du code irtGPUMCD. Il s'agit d'un code MC, fonctionnant sur processeur graphique (GPU), pour le calcul de la dose absorbée lors d'une TRRP et précédemment développé au sein du Groupe de recherche en physique médicale du CHU de Québec - Université Laval. Le code irtGPUMCD a été adapté pour l'utilisation dans des conditions standard et validé sur les modèles informatiques de la International Commission on Radiological Protection (ICRP110), non seulement pour le ¹⁷⁷Lu, mais aussi pour le ¹³¹I et ⁹⁹ᵐTc. Avec les simulations exécutées sur une géométrie de référence et une comparaison avec d'autres résultats présents en littérature, le code a été validé. Dans le cadre de l'optimisation en termes de temps et exactitude des résultats fournis par irtGPUMCD, un algorithme de traçage de rayons (raytracing) ainsi qu'une technique de réduction de variance ont été implémentés, testés et validés. Ces changements de code ont permis une réduction d'un facteur dix du temps de calcul pour une simulation. Les images/cartes de dose absorbée tridimensionnelle bien quantifiées donnent la possibilité de calculer les histogrammes dose-volume (DVH) et d'extraire toutes les informations dosimétriques intéressantes tel que fait dans d'autres branches de la radiothérapie. Une petite section de cette thèse est consacrée à la proposition de techniques statistiques, qui permettent, en associant les données dosimétriques avec celles du patient, de construire des modèles de probabilité de complication des tissus normaux (NTCP). Le principal impact de cette étude est l'introduction de toute une chaîne, bien validée, pour la quantification dans les TRRP. Avec une calibration adéquate de l'appareil d'imagerie de TEM et l'utilisation du code MC irtGPUMCD, il sera possible d'effectuer des études dosimétriques et statistiques plus avancées, par rapport à l'état de l'art en médicine nucléaire, et se diriger vers une personnalisation plus poussée des traitements. / The present thesis work concerns quantification in three-dimensional molecular imaging (3D), in particular, in the context of peptide receptor radionuclide therapy (PRRT) with ¹⁷⁷Lu for neuroendocrine tumors (NET). The ¹⁷⁷Lu is a beta emitting radioisotope, with short-range in tissue (2 mm), and gamma, with energies usable for single-photon emission computed tomography (SPECT) imaging. These characteristics make ¹⁷⁷Lu a good radioisotope for the PRRT of NETs: small and widespread in the body. In addition, with several SPECT images taken during a treatment, it is possible to quantify the distribution of the radioisotope in the patient body and assess the progress of the treatment itself. The main objective of the project is the development and validation of tools, experimental and computational, for the absorbed dose quantification during a ¹⁷⁷Lu PRRT, with the possibility to extend the methods to other radioisotopes. Two main steps were necessary. The first step was the calibration and characterization of the SPECT imaging device. In this context, several acquisition and analysis techniques were tested and a simple calibration protocol was proposed. Particular emphasis is given to the determination of the calibration factor (CF) and dead time (τ ) constant of the SPECT device for the correction and quantification of the acquired images. From an evaluation of the equation describing the behavior of the SPECT system, a new, more concise and mathematically tractable formulation has been proposed. This formulation allows the extraction of the two factors in an approximate but simple way as well as the proposal of a new calibration protocol. With well-quantified images in activity (bio-distribution of the radio-peptide in the body) it is possible to calculate the dose deposition by Monte Carlo simulations (MC). A second step was the validation of the irtGPUMCD code. It is a MC code, operating on a graphics processing unit (GPU), previously developed within the Research Group in Medical Physics of the CHU de Québec, which allows the calculation of the absorbed dose received during a PRRT. The irtGPUMCD code has been used and validated under standard conditions with International Commission on Radiological Protection (ICRP110) phantoms, not only for the ¹⁷⁷Lu, but also for the ¹³¹I and ⁹⁹ᵐT c. With the simulations performed on a referenced geometry and with a comparison to other results present in literature, the code was validated. In the context of the optimization in time and accuracy of the results provided by irtGPUMCD, a new raytracing algorithm and a variance reduction technique were introduced, tested and validated. These code changes have led to a reduction in execution time of a factor ten for a simulations. The well quantified three-dimensional absorbed dose images/maps give the possibility of calculating dose-volume histograms (DVH) and extracting all the dosimetric information of interest as done in other branches of radiotherapy. A small part of this thesis is dedicated to the proposal of statistical techniques, which allow, by linking the dosimetric data with patient outcomes, to build models of normal tissues complication probability (NTCP). The main impact of this study is the introduction of a whole chain, well validated, for the quantification in PRRT. With an accurate calibration of the SPECT imaging system and the use of the irtGPUMCD MC code, it will be possible to carry out more advanced dosimetric and statistical studies, compared to the state of the art in nuclear medicine, and to head towards a more personalized treatment.

La présente thèse propose un système complet de placement de capteurs mobiles dans un environnement pleinement tridimensionnel et préalablement inconnu. Les capteurs mobiles sont des capteurs placés sur des unités robotiques autonomes, soit des véhicules possédant une unité de calcul et pouvant se déplacer dans l’environnement. Le placement de capteur est fondé sur une vue désirée par un utilisateur du système nommé vue virtuelle. La vue virtuelle est contrôlée à distance en changeant les paramètres intrinsèques et extrinsèques du capteur virtuel, soit sa position, sa résolution, son champ de vue, etc. Le capteur virtuel n’est alors soumis à aucune contrainte physique, par exemple il peut être placé à n’importe quelle hauteur dans l’environnement et avoir un champ de vue et une résolution arbitrairement grande. Les capteurs mobiles (réels) ont pour tâche de récupérer toute l’information contenue dans le point de vue virtuel. Ce n’est qu’en combinant leur capacité sensorielle que les capteurs mobiles pourront capter l’information demandée par l’utilisateur. Tout d’abord, cette thèse s’attaque au problème de placement de capteurs en définissant une fonction de visibilité servant à évaluer le positionnement d’un groupe de capteurs dans l’environnement. La fonction de visibilité développée est applicable aux environnements tridimensionnels et se base sur le principe de ligne de vue directe entre un capteur et la cible. De plus, la fonction prend en compte la densité d’échantillonnage des capteurs afin de reproduire la densité désirée indiquée par le capteur virtuel. Ensuite, ce travail propose l’utilisation d’un modèle de l’environnement pleinement tridimensionnel et pouvant être construit de manière incrémentale, rendant son utilisation possible dans un environnement tridimensionnel non convexe préalablement inconnu. Puis, un algorithme d’optimisation coopératif est présenté afin de trouver simultanément le nombre de capteurs et leur positionnement respectif afin d’acquérir l’information contenue dans la vue virtuelle. Finalement, la thèse démontre expérimentalement dans diverses conditions que le système proposé est supérieur à l’état de l’art pour le placement de capteurs dans le but d’observer une scène bidimensionnelle. Il est aussi établi expérimentalement en simulation et en réalité que les performances se transposent à l’observation d’environnements tridimensionnels non convexes préalablement inconnus. / This Thesis proposes a novel mobile sensor placement system working in initially unknown three dimensional environment. The mobile sensors are fix sensors placed on autonomous robots, which are ground and aerial vehicles equipped with computing units. The sensor placement is based on a user-defined view, named the virtual view. This view is manipulated through a virtual sensor intrinsic and extrinsic parameters, such as its position, orientation, field of view, resolution, etc. The virtual sensor is not subject to any physical constraint, for example it can be place where no sensor could be or it possess an arbitrary large field of view and resolution. The mobile (real) sensors have to acquire the entire information contained in this virtual view. It is only by combining the sensory capacity of an unknown number of sensors that they can acquire the necessary information. First, this Thesis addresses the sensor placement problem by defining a visibility function to qualify a group of sensor configurations in the environment. This function is applicable to three dimensional environments and is based on direct line of sight principle, where we compute the sensor sampling density in its visibility region. Then, this Thesis proposes the use of an incrementally built model of the environment containing all the information needed by the objective function. Next, a cooperative optimization algorithm is put forward to simultaneously find the number of sensors and their respective position required to capture all the information in the virtual view. Finally, the proposed system is experimentally shown to use less sensor to acquire the scene of interest at a higher resolution than state of the art methods in initially known two dimensional environments. It is also shown in simulation and practice that the performance of the system can be transposed to initially unknown non-convex three dimensional environments.

Les applications de l’analyse du comportement humain ont subit de rapides développements durant les dernières décades, tant au niveau des systèmes de divertissements que pour des applications professionnelles comme les interfaces humain-machine, les systèmes d’assistance de conduite automobile ou des systèmes de protection des piétons. Cette thèse traite du problème de reconnaissance de piétons ainsi qu’à l’estimation de leur orientation en 3D. Cette estimation est faite dans l’optique que la connaissance de cette orientation est bénéfique tant au niveau de l’analyse que de la prédiction du comportement des piétons. De ce fait, cette thèse propose à la fois une nouvelle méthode pour détecter les piétons et une manière d’estimer leur orientation, par l’intégration séquentielle d’un module de détection et un module d’estimation d’orientation. Pour effectuer cette détection de piéton, nous avons conçu un classificateur en cascade qui génère automatiquement une boîte autour des piétons détectés dans l’image. Suivant cela, des régions sont extraites d’un nuage de points 3D afin de classifier l’orientation du torse du piéton. Cette classification se base sur une image synthétique grossière par tramage (rasterization) qui simule une caméra virtuelle placée immédiatement au-dessus du piéton détecté. Une machine à vecteurs de support effectue la classification à partir de cette image de synthèse, pour l’une des 10 orientations discrètes utilisées lors de l’entrainement (incréments de 30 degrés). Afin de valider les performances de notre approche d’estimation d’orientation, nous avons construit une base de données de référence contenant 764 nuages de points. Ces données furent capturées à l’aide d’une caméra Kinect de Microsoft pour 30 volontaires différents, et la vérité-terrain sur l’orientation fut établie par l’entremise d’un système de capture de mouvement Vicon. Finalement, nous avons démontré les améliorations apportées par notre approche. En particulier, nous pouvons détecter des piétons avec une précision de 95.29% et estimer l’orientation du corps (dans un intervalle de 30 degrés) avec une précision de 88.88%. Nous espérons ainsi que nos résultats de recherche puissent servir de point de départ à d’autres recherches futures. / The application of human behavior analysis has undergone rapid development during the last decades from entertainment system to professional one, as Human Robot Interaction (HRI), Advanced Driver Assistance System (ADAS), Pedestrian Protection System (PPS), etc. Meanwhile, this thesis addresses the problem of recognizing pedestrians and estimating their body orientation in 3D based on the fact that estimating a person’s orientation is beneficial in determining their behavior. In this thesis, a new method is proposed for detecting and estimating the orientation, in which the result of a pedestrian detection module and a orientation estimation module are integrated sequentially. For the goal of pedestrian detection, a cascade classifier is designed to draw a bounding box around the detected pedestrian. Following this, extracted regions are given to a discrete orientation classifier to estimate pedestrian body’s orientation. This classification is based on a coarse, rasterized depth image simulating a top-view virtual camera, and uses a support vector machine classifier that was trained to distinguish 10 orientations (30 degrees increments). In order to test the performance of our approach, a new benchmark database contains 764 sets of point cloud for body-orientation classification was captured. For this benchmark, a Kinect recorded the point cloud of 30 participants and a marker-based motion capture system (Vicon) provided the ground truth on their orientation. Finally we demonstrated the improvements brought by our system, as it detected pedestrian with an accuracy of 95:29% and estimated the body orientation with an accuracy of 88:88%.We hope it can provide a new foundation for future researches.

Cette thèse présente une approche de segmentation d’images sans supervision pour obtenir une série de silhouettes et l’enveloppe visuelle («Visual Hull») d’un objet observé à partir de plusieurs points de vue. L’approche proposée peut traiter essentiellement n’importe quelles propriétés d’apparence comme la texture, des couleurs similaires d’arrière-plan, la specularité, la transparence et d’autre phénomènes tels que des ombres et des débordements de couleur. Par rapport aux méthodes plus classiques d’extraction de silhouettes sur plusieurs vues, où certaines hypothèses sur l’objet ou la scène sont formulès, nous ne modélisons ni l’arrière-plan ni les propriétés d’apparence de l’objet. La seule hypothèse est la constance de l’arrière-plan considéré comme inconnu pour un point de vue lorsque l’objet bouge. L’idée principale de l’approche est d’estimer l’évolution temporelle de chaque pixel pour obtenir une mesure de stabilité. Celle-ci est utilisée pour construire la fonction de coût d’arrière-plan. Pour faire face aux ombres et aux ombres projetées, un objet est capturé sous différentes conditions d’éclairage. En outre, les informations d’espace, de temps et d’éclairage sont fusionnées et utilisées dans un formalisme de champ aléatoire de Markov et la fonction d’énergie construite est minimisée par «Graph Cuts». Les expérimentations en laboratoire, sous différentes conditions d’éclairage, montrent que l’approche proposée permet la reconstruction robuste de l’enveloppe visuelle pour une grande variété d’objets difficiles tels que les objets en verre (effets de transparence) ou en métal brillant (effets de réflexions spéculaires). / This thesis presents an unsupervised image segmentation approach for obtaining a set of silhouettes along with the Visual Hull of an object observed from multiple viewpoints. The proposed approach can deal with mostly any type of appearance characteristics such as texture, similar background color, shininess, transparency besides other phenomena such as shadows and color bleeding. Compared to more classical methods for silhouette extraction from multiple views, for which certain assumptions are made on the object or scene, neither the background nor the object appearance properties are modeled. The only assumption is the constancy of the unknown background for a given camera viewpoint while the object is under motion. The principal idea of the approach is the estimation of the temporal evolution of each pixel over time which provides a stability measurement and leads to its associated background cost function. In order to cope with shadows and self-shadows, an object is captured under different lighting conditions. Furthermore, the information from the space, time and lighting domains is exploited and merged based on a Markov Random Field framework and the constructed energy function is minimized via graph-cut. Real-data experiments under different lighting condition show that the proposed approach allows for robust Visual Hull reconstruction of a variety of challenging objects such as objects made of shiny metal or glass.

Il existe désormais une grande variété de lentilles panoramiques disponibles sur le marché dont certaines présentant des caractéristiques étonnantes. Faisant partie de cette dernière catégorie, les lentilles Panomorphes sont des lentilles panoramiques anamorphiques dont le profil de distorsion est fortement non-uniforme, ce qui cause la présence de zones de grandissement augmenté dans le champ de vue. Dans un contexte de robotique mobile, ces particularités peuvent être exploitées dans des systèmes stéréoscopiques pour la reconstruction 3D d’objets d’intérêt qui permettent à la fois une bonne connaissance de l’environnement, mais également l’accès à des détails plus fins en raison des zones de grandissement augmenté. Cependant, à cause de leur complexité, ces lentilles sont difficiles à calibrer et, à notre connaissance, aucune étude n’a réellement été menée à ce propos. L’objectif principal de cette thèse est la conception, l’élaboration et l’évaluation des performances de systèmes stéréoscopiques Panomorphes. Le calibrage a été effectué à l’aide d’une technique établie utilisant des cibles planes et d’une boîte à outils de calibrage dont l’usage est répandu. De plus, des techniques mathématiques nouvelles visant à rétablir la symétrie de révolution dans l’image (cercle) et à uniformiser la longueur focale (cercle uniforme) ont été développées pour voir s’il était possible d’ainsi faciliter le calibrage. Dans un premier temps, le champ de vue a été divisé en zones à l’intérieur desquelles la longueur focale instantanée varie peu et le calibrage a été effectué pour chacune d’entre elles. Puis, le calibrage général des systèmes a aussi été réalisé pour tout le champ de vue simultanément. Les résultats ont montré que la technique de calibrage par zone ne produit pas de gain significatif quant à la qualité des reconstructions 3D d’objet d’intérêt par rapport au calibrage général. Cependant, l’étude de cette nouvelle approche a permis de réaliser une évaluation des performances des systèmes stéréoscopiques Panomorphes sur tout le champ de vue et de montrer qu’il est possible d’effectuer des reconstructions 3D de qualité dans toutes les zones. De plus, la technique mathématique du cercle a produit des résultats de reconstructions 3D en général équivalents à l’utilisation des coordonnées originales. Puisqu’il existe des outils de calibrage qui, contrairement à celui utilisé dans ce travail, ne disposent que d’un seul degré de liberté sur la longueur focale, cette technique pourrait rendre possible le calibrage de lentilles Panomorphes à l’aide de ceux-ci. Finalement, certaines conclusions ont pu être dégagées quant aux facteurs déterminants influençant la qualité de la reconstruction 3D à l’aide de systèmes stéréoscopiques Panomorphes et aux caractéristiques à privilégier dans le choix des lentilles. La difficulté à calibrer les optiques Panomorphes en laboratoire a mené à l’élaboration d’une technique de calibrage virtuel utilisant un logiciel de conception optique et une boîte à outils de calibrage. Cette approche a permis d’effectuer des simulations en lien avec l’impact des conditions d’opération sur les paramètres de calibrage et avec l’effet des conditions de calibrage sur la qualité de la reconstruction. Des expérimentations de ce type sont pratiquement impossibles à réaliser en laboratoire mais représentent un intérêt certain pour les utilisateurs. Le calibrage virtuel d’une lentille traditionnelle a aussi montré que l’erreur de reprojection moyenne, couramment utilisée comme façon d’évaluer la qualité d’un calibrage, n’est pas nécessairement un indicateur fiable de la qualité de la reconstruction 3D. Il est alors nécessaire de disposer de données supplémentaires pour juger adéquatement de la qualité d’un calibrage. / A wide variety of panoramic lenses are available on the market. Exhibiting interesting characteristics, the Panomorph lens is a panoramic anamorphic optical system. Its highly non-uniform distortion profile creates areas of enhanced magnification across the field of view. For mobile robotic applications, a stereoscopic system for 3D reconstruction of objects of interest could greatly benefit from the unique features of these special lenses. Such a stereoscopic system would provide general information describing the environment surrounding its navigation. Moreover, the areas of enhanced magnification give access to smaller details. However, the downfall is that Panomorph lenses are difficult to calibrate, and this is the main reason why no research has been carried out on this topic. The main goal of this thesis is the design and development of Panomorph stereoscopic systems as well as the evaluation of their performance. The calibration of the lenses was performed using plane targets and a well-established calibration toolbox. In addition, new mathematical techniques aiming to restore the symmetry of revolution in the image and to make the focal length uniform over the field of view were developed to simplify the calibration process. First, the field of view was divided into zones exhibiting a small variation of the focal length and the calibration was performed for each zone. Then, the general calibration was performed for the entire field of view. The results showed that the calibration of each zone does not lead to a better 3D reconstruction than the general calibration method. However, this new approach allowed a study of the quality of the reconstruction over the entire field of view. Indeed, it showed that is it possible to achieve good reconstruction for all the zones of the field of view. In addition, the results for the mathematical techniques used to restore the symmetry of revolution were similar to the results obtained with the original data. These techniques could therefore be used to calibrate Panomorph lenses with calibration toolboxes that do not have two degrees of freedom relating to the focal length. The study of the performance of stereoscopic Panomorph systems also highlighted important factors that could influence the choice of lenses and configuration for similar systems. The challenge met during the calibration of Panomorph lenses led to the development of a virtual calibration technique that used an optical design software and a calibration toolbox. With this technique, simulations reproducing the operating conditions were made to evaluate their impact on the calibration parameters. The quality of 3D reconstruction of a volume was also evaluated for various calibration conditions. Similar experiments would be extremely tedious to perform in the laboratory but the results are quite meaningful for the user. The virtual calibration of a traditional lens also showed that the mean reprojection error, often used to judge the quality of the calibration process, does not represent the quality of the 3D reconstruction. It is then essential to have access to more information in order to asses the quality of a lens calibration.