L'imagerie hyperspectrale compte un vaste éventail d'applications, du tri des matières recyclables à l'agriculture, en passant par l'exploration géologique. Cependant, l'exploitation de cette forme d'imagerie est, encore aujourd'hui, majoritairement basée sur des algorithmes statistiques. Pendant ce temps, des domaines comme la vision numérique et le traitement de la langue naturelle jouissent d'avancées majeures propulsées par l'apprentissage profond. Plusieurs défis persistent afin d'effectuer le transfert de ces techniques d'apprentissage profond vers l'imagerie hyperspectrale. Notamment, il n'existe pas de grands ensembles de données hyperspectrales annotés, qui sont nécessaires pour l'entrainement de modèles d'apprentissage profond. De plus, la nature des données nécessite que les architectures développées en vision numérique soient adaptées afin de tirer profit de l'information spectrale plutôt que géométrique. L'objectif de ce projet est de relever ces multiples défis. Premièrement, nos travaux incluent le développement d'un vaste ensemble de données de détection de cibles hyperspectrales rares pour l'évaluation des performances. Ensuite, une technique d'entrainement basé sur la génération d'échantillons synthétiques est adaptée de la littérature afin de permettre l'entrainement sans disposer d'ensembles de données préalablement étiquetées. Finalement, des modèles développés pour la vision numérique sont modifiés afin d'exploiter la nature spectrale de nos données. Plus spécifiquement, nous nous concentrons sur le Shifted Windows (Swin) Transformer, une architecture ayant récemment fait ses preuves en dépassant les performances de plusieurs techniques de pointe, par exemple en détection d'objets sur l'ensemble Common objects in context (COCO). L'ensemble de nos travaux permettent à nos modèles d'atteindre un temps d'inférence de 86.9 % à 93.6 % plus rapide et une précision améliorée par rapport aux algorithmes statistiques traditionnels. Quoique les résultats obtenus soient prometteurs, nous concluons en énumérant de potentielles améliorations qui, selon nous, permettraient d'élever cette performance davantage. / Hyperspectral imagery has a vast range of applications, from sorting in recycling centers to agriculture, including geological exploration. However, the exploitation of this type of imagery is, to this day, mostly performed using statistical algorithms. Meanwhile, fields like computer vision and natural language processing benefit from major advances fueled by deep learning. Several challenges impede the transfer of these deep learning techniques to hyperspectral imagery. Notably, no large hyperspectral labeled datasets, which are necessary to train deep learning models, are available. Moreover, the nature of the data calls for adjustments of architectures introduced in computer vision in order to take advantage of the spectral information rather than the geometric information. Therefore, our goal is to tackle these multiple challenges. First, our work includes the development of a vast dataset for hyperspectral rare target detection to enable performance evaluation. Second, we adapt a training technique based on synthetic samples generation to allow training without previously labeled data. Finally, we adapt deep learning models developed for computer vision to suit our spectral data. Specifically, we focus on the Shifted Windows (Swin) Transformer, an architecture that has recently proven itself by surpassing multiple state-of-the-art techniques, including for object detection on the Common objects in context (COCO) dataset. Together, the different parts of our work allow our models to reach an inference time 86.9 % to 93.6 % faster and an improved accuracy over traditional statistical algorithms. Even though the achieved results are very promising, we conclude by enumerating potential improvements we think could greatly benefit the system's performance.

La réalité augmentée (RA) est un paradigme informatique non conventionnel dans lequel l'utilisateur interagit naturellement avec des ordinateurs en visualisant des informations en 3D et en interagissant physiquement avec du contenu virtuel. L'insertion de contenu 3D dans l'environnement nécessite que l'appareil informatique mesure le monde qui nous entoure. Les capteurs sont cependant physiquement limités et renvoient des informations brutes incomplètes ou complexes. Distiller ces données en concepts plus abstraits est donc nécessaire pour permettre de raisonner sur des concepts tels que la géométrie ou l'interaction de la lumière avec la scène. Dans cette thèse, nous explorons une question critique dans le contexte de la RA : comment les caméras de qualité grand public et les approches basées sur les données peuvent-elles être combinées pour parvenir à un raisonnement 3D du monde pour les problèmes fondamentaux de la RA ? Nous répondons à cette affirmation en nous concentrant sur trois objectifs importants couramment rencontrés dans la plupart des applications de réalité augmentée. Tout d'abord, nous estimons une pose 3D robuste de diverses instances d'objets dans des séquences temporelles à l'aide d'une seule caméra RGB-D. Notre nouvelle méthode d'apprentissage par réseaux profond permet une estimation robuste et précise de la pose malgré la présence d'occlusion. De plus, nous améliorons la stratégie d'évaluation de suiveurs d'objets en six degrées de libertés avec une méthodologie méticuleuse et un nouvel ensemble de données. Nous démontrons que l'utilisation du système de coordonnées de l'objet estimé nous permet d'éffectuer le rendu de contenu virtuel sur des objets inanimés. Deuxièmement, nous détectons les articulations du haut du corps en 3D à l'aide d'un casque de réalité virtuelle muni de plusieurs caméras pour améliorer les interactions entre le contenu humain et virtuel. Notre méthode tire partie des multiples caméras à large champ de vision sur l'appareil pour estimer une position 3D précise des articulations du corps de l'utilisateur. L'architecture du réseau neuronal utilise explicitement la géométrie projective de chaque caméra pour estimer les caractéristiques 3D pouvant être utilisées lors de la régression des positions des différentes articulations ainsi que d'autres tâches telles que la segmentation du corps. Nos expériences démontrent que l'utilisation de sources de supervision faibles améliore la précision du suiveur tout en permettant de collecter des données qui ne contiennent pas de position d'articulation 3D en vérité terrain. Enfin, nous proposons une méthode pour raisonner sur des conditions de lumière variant dans l'espace à partir d'une seule image couleur. Estimer uniquement l'éclairage global n'est pas précis lorsque les sources lumineuses sont proches du sujet et lorsque les objets de la scène occultent les sources lumineuses, un scénario courant dans les scènes d'intérieur. Notre méthode prend une image couleur et une coordonnée d'image 2D comme entrée pour estimer une représentation harmonique sphérique de la lumière à ce point de la scène. Nous montrons que les prédictions sont cohérentes avec les sources de lumière 3D et l'occlusion. La méthode est également une solution en temps réel en utilisant une architecture légère et des harmoniques sphériques pour effectuer des rendus rapidement. Chacun de ces objectifs est soutenu par des expériences approfondies et des analyses de résultats et, espérons-le, aide à combler le fossé vers de meilleures expériences utilisateur en RA. / Augmented Reality (AR) is an unconventional computing paradigm where the user interacts naturally with machines by visualizing information in 3D and physically interacting with virtual content. Inserting 3D content in the environment requires the computing device to measure the world surrounding us. Sensors are however physically limited and return incomplete or complex raw information. Distilling this data in more abstract concepts is thus mandatory to allow reasoning about numerous concepts such as geometry or light interaction with the scene. In this thesis, we explore a critical question in the context of AR: how consumer grade cameras and data-driven approaches can be combined to achieve 3D reasoning of the world for fundamental AR problems? We address this statement by focusing on three important objectives commonly encountered in most augmented reality applications. First, we estimate a robust 3D pose of various object instances in temporal sequences using a single RGB-D camera. Our novel deep learning framework allows robust and accurate pose estimation despite the presence of occlusion. We further improve the evaluation strategy of 6 DOF object trackers with a meticulous methodology and challenging new dataset. We demonstrate that using the estimated object reference allows us to render virtual content over inanimate objects. Second, we detect the upper body joints in 3D using an off-the-shelf head mounted display (HMD) to improve human and virtual content interactions. Our method takes advantage of the multiple wide field of view cameras on the HMD to estimate an accurate 3D position of the user body joints. The neural network architecture explicitly uses the projective geometry of each cameras to estimate 3D features that can be used to regress the joint position and other tasks such as body segmentation. Our experiments demonstrate that using weak sources of supervision enhance the accuracy of the tracker while allowing to gather data that does not contain ground truth 3D joint position. Finally, we propose a method to reason about spatially-varying light conditions from a single RGB image. Estimating only global lighting does not provide accurate illumination when light sources are near the subject and when objects in the scene occlude the light sources, a common scenario in indoor scenes. Our method takes an RGB image and 2D image coordinate as input to estimate a spherical harmonic representation of light at that point in the scene. We show that the predictions are consistent with 3D light sources and occlusion. The method is also a real-time solution for the full render pipeline by using a lightweight architecture and spherical harmonics. Each of these objectives is supported by extensive experiments and result analyzes and hopefully help closing the gap to better AR experiences.

La réalité augmentée (RA) est un paradigme informatique non conventionnel dans lequel l’utilisateur interagit naturellement avec des ordinateurs en visualisant des informations en 3D et en interagissant physiquement avec du contenu virtuel. L’insertion de contenu 3D dans l’environnement nécessite que l’appareil informatique mesure le monde qui nous entoure. Les capteurs sont cependant physiquement limités et renvoient des informations brutes incomplètes ou complexes. Distiller ces données en concepts plus abstraits est donc nécessaire pour permettre de raisonner sur des concepts tels que la géométrie ou l’interaction de la lumière avec la scène. Dans cette thèse, nous explorons une question critique dans le contexte de la RA : comment les caméras de qualité grand public et les approches basées sur les données peuvent-elles être combinées pour parvenir à un raisonnement 3D du monde pour les problèmes fondamentaux de la RA ? Nous répondons à cette affirmation en nous concentrant sur trois objectifs importants couramment rencontrés dans la plupart des applications de réalité augmentée. Tout d’abord, nous estimons une pose 3D robuste de diverses instances d’objets dans des séquences temporelles à l’aide d’une seule caméra RGB-D. Notre nouvelle méthode d’apprentissage par réseaux profond permet une estimation robuste et précise de la pose malgré la présence d’occlusion. De plus, nous améliorons la stratégie d’évaluation de suiveurs d’objets en six degrées de libertés avec une méthodologie méticuleuse et un nouvel ensemble de données. Nous démontrons que l’utilisation du système de coordonnées de l’objet estimé nous permet d’éffectuer le rendu de contenu virtuel sur des objets inanimés. Deuxièmement, nous détectons les articulations du haut du corps en 3D à l’aide d’un casque de réalité virtuelle muni de plusieurs caméras pour améliorer les interactions entre le contenu humain et virtuel. Notre méthode tire partie des multiples caméras à large champ de vision sur l’appareil pour estimer une position 3D précise des articulations du corps de l’utilisateur. L’architecture du réseau neuronal utilise explicitement la géométrie projective de chaque caméra pour estimer les caractéristiques 3D pouvant être utilisées lors de la régression des positions des différentes articulations ainsi que d’autres tâches telles que la segmentation du corps. Nos expériences démontrent que l’utilisation de sources de supervision faibles améliore la précision du suiveur tout en permettant de collecter des données qui ne contiennent pas de position d’articulation 3D en vérité terrain. Enfin, nous proposons une méthode pour raisonner sur des conditions de lumière variant dans l’espace à partir d’une seule image couleur. Estimer uniquement l’éclairage global n’est pas précis lorsque les sources lumineuses sont proches du sujet et lorsque les objets de la scène occultent les sources lumineuses, un scénario courant dans les scènes d’intérieur. Notre méthode prend une image couleur et une coordonnée iii d’image 2D comme entrée pour estimer une représentation harmonique sphérique de la lumière à ce point de la scène. Nous montrons que les prédictions sont cohérentes avec les sources de lumière 3D et l’occlusion. La méthode est également une solution en temps réel en utilisant une architecture légère et des harmoniques sphériques pour effectuer des rendus rapidement. Chacun de ces objectifs est soutenu par des expériences approfondies et des analyses de résultats et, espérons-le, aide à combler le fossé vers de meilleures expériences utilisateur en RA. / Augmented Reality (AR) is an unconventional computing paradigm where the user interacts naturally with machines by visualizing information in 3D and physically interacting with virtual content. Inserting 3D content in the environment requires the computing device to measure the world surrounding us. Sensors are however physically limited and return incomplete or complex raw information. Distilling this data in more abstract concepts is thus mandatory to allow reasoning about numerous concepts such as geometry or light interaction with the scene. In this thesis, we explore a critical question in the context of AR: how consumer grade cameras and data-driven approaches can be combined to achieve 3D reasoning of the world for fundamental AR problems? We address this statement by focusing on three important objectives commonly encountered in most augmented reality applications. First, we estimate a robust 3D pose of various object instances in temporal sequences using a single RGB-D camera. Our novel deep learning framework allows robust and accurate pose estimation despite the presence of occlusion. We further improve the evaluation strategy of 6 DOF object trackers with a meticulous methodology and challenging new dataset. We demonstrate that using the estimated object reference allows us to render virtual content over inanimate objects. Second, we detect the upper body joints in 3D using an off-the-shelf head mounted display (HMD) to improve human and virtual content interactions. Our method takes advantage of the multiple wide field of view cameras on the HMD to estimate an accurate 3D position of the user body joints. The neural network architecture explicitly uses the projective geometry of each cameras to estimate 3D features that can be used to regress the joint position and other tasks such as body segmentation. Our experiments demonstrate that using weak sources of supervision enhance the accuracy of the tracker while allowing to gather data that does not contain ground truth 3D joint position. Finally, we propose a method to reason about spatially-varying light conditions from a single RGB image. Estimating only global lighting does not provide accurate illumination when light sources are near the subject and when objects in the scene occlude the light sources, a common scenario in indoor scenes. Our method takes an RGB image and 2D image coordinate as input to estimate a spherical harmonic representation of light at that point in the scene. We show that the predictions are consistent with 3D light sources and occlusion. The method is also a real-time solution for the full render pipeline by using a lightweight architecture and spherical harmonics. Each of these objectives is supported by extensive experiments and result analyzes and hopefully help closing the gap to better AR experiences.

Parmi les approches d'imagerie préclinique, les techniques optiques sur petit animal fournissent une information fonctionnelle sur un phénomène biologique ainsi que sur sa localisation. De récents développements permettent d'exploiter ces méthodes dans le cadre de l'imagerie sur animal vigile. Les conditions physiologiques se rapprochent alors de celles du fonctionnement normal de l'organisme. Les travaux de cette thèse ont porté sur l'utilisation optimale de cette modalité via des méthodes originales d'analyse et de traitement.Les problèmes soulevés par la fusion des flux cinématiques et de données de bioluminescence nous ont amené à proposer des approches complémentaires d'estimationde mouvement de l'animal. La représentation sous forme implicite des informations issuesde la vidéo de l'animal permettent de construire un critère robuste à minimiser. L'ajout d'uncritère global mesurant la compacité du signal optique permet de considérer dans sa totalité les données multicanaux acquises pour augmenter la précision du recalage. Finalement ces deux modélisations offrent des résultats pertinents et validés expérimentalement.Dans le but de s'affranchir des contraintes de l'observation planaire de nos données nous avons conçu une méthode d'estimation du mouvement 3D de l'animal à partir d'un modèle pré-calculé. Grâce à un système d'acquisition multi-vues et simultanée de la scène, il est possible d'ajouter une contrainte sur l'estimation de la position de la source pour rendre robuste le suivi des poses issues de la vidéo. Les résultats expérimentaux montrent le potentiel de cette méthode pour fournir des mesures 3D précises sur l'animal vigile.

Reproduction de : Thèse d'université : Génie biologique et médical : Grenoble 1 : 1990. / Titre provenant de l'écran-titre. Bibliogr. p. 163-175.

Thèse de doctorat : Automatique et Traitement du Signal : Nancy 1 : 2007. / Titre provenant de l'écran-titre. Bibliogr.

Thèse doctorat : Images et Systèmes : Villeurbanne, INSA : 2007. / Titre provenant de l'écran-titre. Bibliogr. p. 152-163.

Th. 3e cycle.--Hist.--Strasbourg 2, 1978. Texte remanié de: Thèse 3e cycle--Histoire--Strasbourg II, 1978. / Contient le "Catalogue des planches contenues dans les portefeuilles Wentzel du Cabinet des Estampes de la Bibliothèque nationale" Bibliogr. p. 222-247. Index. Thèse soutenue sous le titre : "Recherche sur les mentalités au XIXM siècle, l'apport de l'imagerie populaire provinciale, l'imagerie Wentzel de Wissembourg"

Th. Etat--Paris I, 1987. / Bibliogr. p. 1023-1133. Index.

Dans une 1ère partie, nous présentons l’évolution des méthodes utilisées pour décrire l’anatomie corticale, et lui appliquer des systèmes de coordonnées. Dans une 2ème partie, nous commentons la méthode de parcellisation automatique du cortex cérébral humain que nous avons publiée, en la replaçant au sein d’autres techniques disponibles. Elle utilise une approche bayesienne pour produire une parcellisation prenant en compte une base de donnée constituée de 12 cerveaux, mais aussi les caractéristiques de la surface corticale et la localisation des classes anatomiques voisines. Enfin, dans une 3ème partie, nous commentons les règles qui ont prévalu à l’établissement d’une parcellisation surfacique sulco-gyrale originale. Cette parcellisation en 74 classes anatomiques par hémisphère est utilisable par la méthode de parcellisation automatique tout en restant proche des conventions usuelles de la communauté de neuroimagerie. Elle nous permet de proposer un certain nombre d’améliorations de la Terminologia Anatomica. Le logiciel et la base de données sont disponibles avec le paquet FreeSurfer sur http : //surfer.nmr.mgh.harvard.edu/ / We first present different methods used to describe the anatomy of the human cerebral cortex, and various coordinates systems. Then we comment the method we published for a fully automated parcellation of the cortical surface. It is described among various other techniques developed for the same purpose. Our method uses a bayesian approach to include several pieces of information in the labeling process : manual parcellation of 12 cortical surfaces, but also shape of the surface and anatomical classes of neighboring vertices. Finally, we comment the anatomical rules we proposed to parcellate the cortical surface in 74 anatomical classes per hemisphere. This parcellation can be used by the automated method we published, but also remains close enough to the anatomical conventions used in the neuroimaging field. We propose several improvements of the Terminologia Anatomica The software and the database are available and included in the FreeSurfer package (http : //surfer.nmr.mgh.harvard.edu/).