Cette thèse introduit une nouvelle approche pour la reconstruction de surface à partir d'acquisitions de nuages de points. Cette approche construit un complexe cellulaire à partir du nuage de points puis formule la reconstruction comme un problème d'étiquetage binaire des cellules de ce complexe sous un ensemble de contraintes de visibilité. La résolution du problème se ramène alors au calcul d'une coupe minimale s-t permettant d'obtenir efficacement une surface optimale d'après ces contraintes. Dans la première partie de cette thèse, l'approche est utilisée pour la reconstruction générique de surface. Une première application aboutit à un algorithme très robuste de reconstruction de surface à partir de nuages denses issus d'acquisitions laser. Une seconde application utilise une variante de cet algorithme au sein d'une chaîne de photo-modélisation en combinaison avec un raffinement variationnel photométrique. La chaîne complète est adaptée à la reconstruction de scènes de grande échelle et obtient d'excellents résultats en terme de complétude et de précision des reconstructions. La seconde partie de cette thèse considère le problème de la reconstruction directe de modèles géométriques simples à partir de nuages de points. Un algorithme robuste est proposé pour décomposer hiérarchiquement des nuages de points denses en formes issues d'un ensemble restreint de classes de formes. Lorsque que cet ensemble de classes est réduit aux plans seulement, la reconstruction de modèles de très faible complexité est possible. Une extension à d'autres classes de formes échange cet avantage contre la gestion de nuages de points plus difficiles.

Les technologies d'acquisition numériques n'ont cessé de se perfectionner, permettant d'obtenir des données d'une qualité toujours plus fine. Néanmoins, le signal acquis est corrompu par des défauts qui ne peuvent être corrigés matériellement et nécessitent des méthodes de restauration adaptées. A l'origine, ces approches s'appuyaient uniquement sur un traitement local du signal. Récemment, le support du filtre a pu être étendu à l'ensemble des données acquises en exploitant leur caractère autosimilaire. Ces approches non locales ont principalement été utilisées pour restaurer des données régulières et structurées telles que des images. Mais dans le cas extrême de données irrégulières et non structurées comme les nuages de points 3D, leur adaptation est peu étudiée à l'heure actuelle. Avec l'augmentation de la quantité de données échangées, de nouvelles méthodes non locales ont récemment été proposées. Elles utilisent un modèle a priori extrait à partir de grands ensembles d'échantillons pour améliorer la qualité de la restauration. Néanmoins, ce type de méthode reste actuellement trop coûteux en temps et en mémoire. Dans cette thèse, nous proposons d'étendre les méthodes non locales aux nuages de points 3D, en définissant une surface de points exploitant leur caractère autosimilaire. Nous introduisons ensuite une nouvelle structure de données, le CovTree, flexible et générique, capable d'apprendre les distributions d'ensemble d'échantillons avec une capacité de mémoire limitée. Finalement, nous généralisons les méthodes de restauration collaboratives, en utilisant notre CovTree pour apprendre un modèle statistique a priori à partir d'un ensemble de données.

L’objectif de cette thèse CIFRE est d’étudier et de tirer parti des derniers appareils mobiles du marché pour générer des 3D des pièces observées. De nous jours, ces appareils intègrent un grand nombre de capteurs, tel que des capteurs inertiels, des cameras RGB, et depuis peu, des capteurs de profondeur. Sans compter la présence de l’écran tactile qui offre une interface pour interagir avec l’utilisateur. Un cas d’usage typique de ces modèles 3D est la génération de plans d’intérieur, ou de fichiers CAO 3D (conception assistée par ordinateur) appliques a l’industrie du bâtiment. Le modèle permet d’esquisser les travaux de rénovation d’un appartement, ou d’évaluer la fidélité d’un chantier en cours avec le modèle initial. Pour le secteur de l’immobilier, la génération automatique de plans et modèles 3D peut faciliter le calcul de la surface habitable et permet de proposer des visites virtuelles a d’éventuels acquéreurs. Concernant le grand public, ces modèles 3D peuvent être intégrés a des jeux en réalité mixte afin d’offrir une expérience encore plus immersive, ou pour des applications de réalité augmentée, telles que la décoration d’intérieur. La thèse a trois contributions principales. Nous commençons par montrer comment le problème classique de détection des points de fuite dans une image, peut être revisite pour tirer parti de l’utilisation de données inertielles. Nous proposons un algorithme simple et efficace de détection de points de fuite reposant sur l’utilisation du vecteur gravite obtenu via ces données. Un nouveau jeu de données contenant des photos avec des données inertielles est présenté pour l’évaluation d’algorithmes d’estimation de points de fuite et encourager les travaux ultérieurs dans cette direction. Dans une deuxième contribution, nous explorons les approches d’odométrie visuelle de l’état de l’art qui exploitent des capteurs de profondeur. Localiser l’appareil mobile en temps réel est fondamental pour envisager des applications reposant sur la réalité augmentée. Nous proposons une comparaison d’algorithmes existants développés en grande partie pour ordinateur de bureau, afin d’étudier si leur utilisation sur un appareil mobile est envisageable. Pour chaque approche considérée, nous évaluons la précision de la localisation et les performances en temps de calcul sur mobile. Enfin, nous présentons une preuve de concept d’application permettant de générer le plan d’une pièce, en utilisant une tablette du projet Tango, équipée d’un capteur RGB-D. Notre algorithme effectue un traitement incrémental des données 3D acquises au cours de l’observation de la pièce considérée. Nous montrons comment notre approche utilise les indications de l’utilisateur pour corriger pendant la capture le modèle de la pièce. / Room layout generation is the problem of generating a drawing or a digital model of an existing room from a set of measurements such as laser data or images. The generation of floor plans can find application in the building industry to assess the quality and the correctness of an ongoing construction w.r.t. the initial model, or to quickly sketch the renovation of an apartment. Real estate industry can rely on automatic generation of floor plans to ease the process of checking the livable surface and to propose virtual visits to prospective customers. As for the general public, the room layout can be integrated into mixed reality games to provide a better immersiveness experience, or used in other related augmented reality applications such room redecoration. The goal of this industrial thesis (CIFRE) is to investigate and take advantage of the state-of-the art mobile devices in order to automate the process of generating room layouts. Nowadays, modern mobile devices usually come a wide range of sensors, such as inertial motion unit (IMU), RGB cameras and, more recently, depth cameras. Moreover, tactile touchscreens offer a natural and simple way to interact with the user, thus favoring the development of interactive applications, in which the user can be part of the processing loop. This work aims at exploiting the richness of such devices to address the room layout generation problem. The thesis has three major contributions. We first show how the classic problem of detecting vanishing points in an image can benefit from an a-priori given by the IMU sensor. We propose a simple and effective algorithm for detecting vanishing points relying on the gravity vector estimated by the IMU. A new public dataset containing images and the relevant IMU data is introduced to help assessing vanishing point algorithms and foster further studies in the field. As a second contribution, we explored the state of-the-art of real-time localization and map optimization algorithms for RGB-D sensors. Real-time localization is a fundamental task to enable augmented reality applications, and thus it is a critical component when designing interactive applications. We propose an evaluation of existing algorithms for the common desktop set-up in order to be employed on a mobile device. For each considered method, we assess the accuracy of the localization as well as the computational performances when ported on a mobile device. Finally, we present a proof of concept of application able to generate the room layout relying on a Project Tango tablet equipped with an RGB-D sensor. In particular, we propose an algorithm that incrementally processes and fuses the 3D data provided by the sensor in order to obtain the layout of the room. We show how our algorithm can rely on the user interactions in order to correct the generated 3D model during the acquisition process.

Cette thèse traite du problème de séparation aveugle de sources non-négatives (c'est à dire des grandeurs positives ou nulles). La situation de séparation de mélanges linéaires instantanés de sources non-négatives se rencontre dans de nombreux problèmes de traitement de signal et d'images, comme la décomposition de signaux mesurés par un spectromètre (spectres de masse, spectres Raman, spectres infrarouges), la décomposition d'images (médicales, multi-spectrale ou hyperspectrales) ou encore l'estimation de l'activité d'un radionucléide. Dans ces problèmes, les grandeurs sont intrinsèquement non-négatives et cette propriété doit être préservée lors de leur estimation, car c'est elle qui donne un sens physique aux composantes estimées. La plupart des méthodes existantes de séparation de sources non-négatives requièrent de ``fortes" hypothèses sur les sources (comme l'indépendance mutuelle, la dominance locale ou encore l'additivité totale des sources), qui ne sont pas toujours vérifiées en pratique. Dans ce travail, nous proposons une nouvelle méthode de séparation de sources non-négatives fondée sur la répartition géométrique du nuage des observations. Les coefficients de mélange et les sources sont estimées en cherchant le cône simplicial d'ouverture minimale contenant le nuage des observations. Cette méthode ne nécessite pas l'indépendance mutuelle des sources, ni même leur décorrélation; elle ne requiert pas non plus la dominance locale des sources, ni leur additivité totale. Une seule condition est nécessaire et suffisante: l'orthant positif doit être l'unique cône simplicial d'ouverture minimale contenant le nuage de points des signaux sources. L'algorithme proposé est évalué avec succès dans deux situations de séparation de sources non-négatives de nature très différentes. Dans la première situation, nous effectuons la séparation de spectres de masse mesurés à la sortie d'un chromatographe liquide haute précision, afin d'identifier et quantifier les différents métabolites (petites molécules) présents dans l'urine d'un rat traité au phénobarbital. Dans la deuxième situation, nous estimons les différents compartiments pharmacocinétiques du radio-traceur FluoroDeoxyGlucose marqué au fluor 18 ([18F]-FDG) dans le cerveau d'un patient humain, à partir d'une série d'images 3D TEP de cet organe. Parmi ces pharmacocinétiques, la fonction d'entrée artérielle présente un grand intérêt pour l'évaluation de l'efficacité d'un traitement anti-cancéreux en oncologie. / This thesis addresses the problem of non-negative blind source separation (i.e. positive or zero quantities). The situation of linear instantaneous mixtures of non-negative sources occurs in many problems of signal and image processing, such as decompositions of signals measured by a spectrometer (mass spectra, Raman spectra, infrared spectra), decomposition of images (medical, multi-spectral and hyperspectral) or estimating of the activity of a radionuclide. In these problems, the sources are inherently non-negative and this property should be preserved during their estimation, in order to get physical meaning components. Most of existing non-negative blind source separation methods require ``strong" assumptions on sources (such as mutual independence, local dominance or total additivity), which are not always satisfied in practice. In this work, we propose a new geometrical method for separating non-negative sources. The mixing matrix and the sources are estimated by finding the minimum aperture simplicial cone containing the scatter plot of mixed data. The proposed method does not require the mutual independence of the sources, neither their decorrelation, nor their local dominance, or their total additivity. One condition is necessary and sufficient: the positive orthant must be the unique minimum aperture simplicial cone cone containing the scatter plot of the sources. The proposed algorithm is successfully evaluated in two different problems of non-negative sources separation. In the first situation, we perform the separation of mass spectra measured at the output of a liquid chromatograph to identify and quantify the different metabolites (small molecules) present in the urine of rats treated with phenobarbital . In the second situation, we estimate the different pharmacokinetics compartments of the radiotracer [18F]-FDG in human brain, from a set of 3D PET images of this organ, without blood sampling. Among these pharmacokinetics, arterial input function is of great interest to evaluate the effectiveness of anti-cancer treatment in oncology.

Le nuage de points 3D est la donnée obtenue par la majorité des méthodes de numérisation surfacique actuelles. Nous nous intéressons ainsi dans cette thèse à l'utilisation de nuages de points comme unique représentation explicite de surface. Cette thèse présente deux contributions en traitements basés points. La première contribution proposée est une nouvelle méthode de rendu de nuages de points bruts et massifs par opérateurs pyramidaux en espace image. Cette nouvelle méthode s'applique aussi bien à des nuages de points d'objets scannés, que de scènes complexes. La succession d'opérateurs en espace image permet alors de reconstruire en temps réel une surface et d'en estimer des normales, ce qui permet par la suite d'en obtenir un rendu par ombrage. De plus, l'utilisation d'opérateurs pyramidaux en espace image permet d'atteindre des fréquences d'affichage plus élevées d'un ordre de grandeur que l'état de l'art .La deuxième contribution présentée est une nouvelle méthode de simulation numérique en mécanique des fluides en volumes immergés par reconstruction implicite étendue. La méthode proposée se base sur une nouvelle définition de surface implicite par moindres carrés glissants étendue à partir d'un nuage de points. Cette surface est alors utilisée pour définir les conditions aux limites d'un solveur Navier-Stokes par éléments finis en volumes immergés, qui est utilisé pour simuler un écoulement fluide autour de l'objet représenté par le nuage de points. Le solveur est interfacé à un mailleur adaptatif anisotrope qui permet de capturer simultanément la géométrie du nuage de points et l'écoulement à chaque pas de temps de la simulation. / Most surface 3D scanning techniques produce 3D point clouds. This thesis tackles the problem of using points as only explicit surface representation. It presents two contributions in point-based processing. The first contribution is a new raw and massive point cloud screen-space rendering algorithm. This new method can be applied to a wide variety of data from small objects to complex scenes. A sequence of screen-space pyramidal operators is used to reconstruct in real-time a surface and estimate its normals, which are later used to perform deferred shading. In addition, the use of pyramidal operators allows to achieve framerate one order of magnitude higher than state of the art methods. The second proposed contribution is a new immersed boundary computational fluid dynamics method by extended implicit surface reconstruction. The proposed method is based on a new implicit surface definition from a point cloud by extended moving least squares. This surface is then used to define the boundary conditions of a finite-elements immersed boundary transient Navier-Stokes solver, which is used to compute flows around the object sampled by the point cloud. The solver is interfaced with an anisotropic and adaptive meshing algorithm which refines the computational grid around both the geometry defined by point cloud and the flow at each timestep of the simulation.

L'imagerie numérique, de la synthèse d'images à la vision par ordinateur est en train de connaître une forte évolution, due entre autres facteurs à la démocratisation et au succès commercial des caméras 3D. Dans le même contexte, l'impression 3D grand public, qui est en train de vivre un essor fulgurant, contribue à la forte demande sur ce type de caméra pour les besoins de la numérisation 3D. L'objectif de cette thèse est d'acquérir et de maîtriser un savoir-faire dans le domaine de la capture/acquisition de modèles 3D en particulier sur l'aspect rendu réaliste. La réalisation d'un scanner 3D à partir d'une caméra RGB-D fait partie de l'objectif. Lors de la phase d'acquisition, en particulier pour un dispositif portable, on est confronté à deux problèmes principaux, le problème lié au référentiel de chaque capture et le rendu final de l'objet reconstruit. / Digital imaging, from the synthesis of images to computer vision isexperiencing a strong evolution, due among other factors to the democratization and commercial success of 3D cameras. In the same context, the consumer 3D printing, which is experiencing a rapid rise, contributes to the strong demand for this type of camera for the needs of 3D scanning. The objective of this thesis is to acquire and master a know-how in the field of the capture / acquisition of 3D models in particular on the rendered aspect. The realization of a 3D scanner from a RGB-D camera is part of the goal. During the acquisition phase, especially for a portable device, there are two main problems, the problem related to the repository of each capture and the final rendering of the reconstructed object.

Ce travail de thèse porte sur la reconstruction et la description des fonctions de distribution d'orientation (ODF) en imagerie de diffusion à haute résolution angulaire (HARDI) telle que l’imagerie par q-ball (QBI). Dans ce domaine, la fonction de distribution d’orientation (ODF) en QBI est largement utilisée pour étudier le problème de configuration complexe des fibres. Toutefois, jusqu’à présent, l’évaluation des caractéristiques ou de la qualité des ODFs reste essentiellement visuelle et qualitative, bien que l’utilisation de quelques mesures objectives de qualité ait également été reportée dans la littérature, qui sont directement empruntées de la théorie classique de traitement du signal et de l’image. En même temps, l’utilisation appropriée de ces mesures pour la classification des configurations des fibres reste toujours un problème. D'autre part, le QBI a souvent besoin d'un nombre important d’acquisitions pour calculer avec précision les ODFs. Ainsi, la réduction du temps d’acquisition des données QBI est un véritable défi. Dans ce contexte, nous avons abordé les problèmes de comment reconstruire des ODFs de haute qualité et évaluer leurs caractéristiques. Nous avons proposé un nouveau paradigme permettant de décrire les caractéristiques des ODFs de manière plus quantitative. Il consiste à regarder un ODF comme un nuage général de points tridimensionnels (3D), projeter ce nuage de points 3D sur un plan angle-distance (ADM), construire une matrice angle-distance (ADMAT), et calculer des caractéristiques morphologiques de l'ODF telles que le rapport de longueurs, la séparabilité et l'incertitude. En particulier, une nouvelle métrique, appelé PEAM (PEAnut Metric) et qui est basée sur le calcul de l'écart des ODFs par rapport à l’ODF (représenté par une forme arachide) d’une seule fibre, a été proposée et utilisée pour classifier des configurations intravoxel des fibres. Plusieurs méthodes de reconstruction des ODFs ont également été comparées en utilisant les paramètres proposés. Les résultats ont montré que les caractéristiques du nuage de points 3D peuvent être évaluées d'une manière relativement complète et quantitative. En ce qui concerne la reconstruction de l'ODF de haute qualité avec des données réduites, nous avons proposé deux méthodes. La première est basée sur une interpolation par triangulation de Delaunay et sur des contraintes imposées à la fois dans l’espace-q et dans l'espace spatial. La deuxième méthode combine l’échantillonnage aléatoire des directions de gradient de diffusion, le compressed sensing, l’augmentation de la densité de ré-échantillonnage, et la reconstruction des signaux de diffusion manquants. Les résultats ont montré que les approches de reconstruction des signaux de diffusion manquants proposées nous permettent d'obtenir des ODFs précis à partir d’un nombre relativement faible de signaux de diffusion. / This thesis concerns the reconstruction and description of orientation distribution functions (ODFs) in high angular resolution diffusion imaging (HARDI) such as q-ball imaging (QBI). QBI is used to analyze more accurately fiber structures (crossing, bending, fanning, etc.) in a voxel. In this field, the ODF reconstructed from QBI is widely used for resolving complex intravoxel fiber configuration problem. However, until now, the assessment of the characteristics or quality of ODFs remains mainly visual and qualitative, although the use of a few objective quality metrics is also reported that are directly borrowed from classical signal and image processing theory. At the same time, although some metrics such as generalized anisotropy (GA) and generalized fractional anisotropy (GFA) have been proposed for classifying intravoxel fiber configurations, the classification of the latters is still a problem. On the other hand, QBI often needs an important number of acquisitions (usually more than 60 directions) to compute accurately ODFs. So, reducing the quantity of QBI data (i.e. shortening acquisition time) while maintaining ODF quality is a real challenge. In this context, we have addressed the problems of how to reconstruct high-quality ODFs and assess their characteristics. We have proposed a new paradigm allowing describing the characteristics of ODFs more quantitatively. It consists of regarding an ODF as a general three-dimensional (3D) point cloud, projecting a 3D point cloud onto an angle-distance map (ADM), constructing an angle-distance matrix (ADMAT), and calculating morphological characteristics of the ODF such as length ratio, separability and uncertainty. In particular, a new metric, called PEAM (PEAnut Metric), which is based on computing the deviation of ODFs from a single fiber ODF represented by a peanut, was proposed and used to classify intravoxel fiber configurations. Several ODF reconstruction methods have also been compared using the proposed metrics. The results showed that the characteristics of 3D point clouds can be well assessed in a relatively complete and quantitative manner. Concerning the reconstruction of high-quality ODFs with reduced data, we have proposed two methods. The first method is based on interpolation by Delaunay triangulation and imposing constraints in both q-space and spatial space. The second method combines random gradient diffusion direction sampling, compressed sensing, resampling density increasing, and missing diffusion signal recovering. The results showed that the proposed missing diffusion signal recovering approaches enable us to obtain accurate ODFs with relatively fewer number of diffusion signals.

L'évaluation de la démarche humaine est l'une des composantes essentielles dans les soins de santé. Les systèmes à base de marqueurs avec plusieurs caméras sont largement utilisés pour faire cette analyse. Cependant, ces systèmes nécessitent généralement des équipements spécifiques à prix élevé et/ou des moyens de calcul intensif. Afin de réduire le coût de ces dispositifs, nous nous concentrons sur un système d'analyse de la marche qui utilise une seule caméra de profondeur. Le principe de notre travail est similaire aux systèmes multi-caméras, mais l'ensemble de caméras est remplacé par un seul capteur de profondeur et des miroirs. Chaque miroir dans notre configuration joue le rôle d'une caméra qui capture la scène sous un point de vue différent. Puisque nous n'utilisons qu'une seule caméra, il est ainsi possible d'éviter l'étape de synchronisation et également de réduire le coût de l'appareillage. Notre thèse peut être divisée en deux sections: reconstruction 3D et analyse de la marche. Le résultat de la première section est utilisé comme entrée de la seconde. Notre système pour la reconstruction 3D est constitué d'une caméra de profondeur et deux miroirs. Deux types de capteurs de profondeur, qui se distinguent sur la base du mécanisme d'estimation de profondeur, ont été utilisés dans nos travaux. Avec la technique de lumière structurée (SL) intégrée dans le capteur Kinect 1, nous effectuons la reconstruction 3D à partir des principes de l'optique géométrique. Pour augmenter le niveau des détails du modèle reconstruit en 3D, la Kinect 2 qui estime la profondeur par temps de vol (ToF), est ensuite utilisée pour l'acquisition d'images. Cependant, en raison de réflections multiples sur les miroirs, il se produit une distorsion de la profondeur dans notre système. Nous proposons donc une approche simple pour réduire cette distorsion avant d'appliquer les techniques d'optique géométrique pour reconstruire un nuage de points de l'objet 3D. Pour l'analyse de la démarche, nous proposons diverses alternatives centrées sur la normalité de la marche et la mesure de sa symétrie. Cela devrait être utile lors de traitements cliniques pour évaluer, par exemple, la récupération du patient après une intervention chirurgicale. Ces méthodes se composent d'approches avec ou sans modèle qui ont des inconvénients et avantages différents. Dans cette thèse, nous présentons 3 méthodes qui traitent directement les nuages de points reconstruits dans la section précédente. La première utilise la corrélation croisée des demi-corps gauche et droit pour évaluer la symétrie de la démarche, tandis que les deux autres methodes utilisent des autoencodeurs issus de l'apprentissage profond pour mesurer la normalité de la démarche. / The problem of assessing human gaits has received a great attention in the literature since gait analysis is one of key components in healthcare. Marker-based and multi-camera systems are widely employed to deal with this problem. However, such systems usually require specific equipments with high price and/or high computational cost. In order to reduce the cost of devices, we focus on a system of gait analysis which employs only one depth sensor. The principle of our work is similar to multi-camera systems, but the collection of cameras is replaced by one depth sensor and mirrors. Each mirror in our setup plays the role of a camera which captures the scene at a different viewpoint. Since we use only one camera, the step of synchronization can thus be avoided and the cost of devices is also reduced. Our studies can be separated into two categories: 3D reconstruction and gait analysis. The result of the former category is used as the input of the latter one. Our system for 3D reconstruction is built with a depth camera and two mirrors. Two types of depth sensor, which are distinguished based on the scheme of depth estimation, have been employed in our works. With the structured light (SL) technique integrated into the Kinect 1, we perform the 3D reconstruction based on geometrical optics. In order to increase the level of details of the 3D reconstructed model, the Kinect 2 with time-of-flight (ToF) depth measurement is used for image acquisition instead of the previous generation. However, due to multiple reflections on the mirrors, depth distortion occurs in our setup. We thus propose a simple approach for reducing such distortion before applying geometrical optics to reconstruct a point cloud of the 3D object. For the task of gait analysis, we propose various alternative approaches focusing on the problem of gait normality/symmetry measurement. They are expected to be useful for clinical treatments such as monitoring patient's recovery after surgery. These methods consist of model-free and model-based approaches that have different cons and pros. In this dissertation, we present 3 methods that directly process point clouds reconstructed from the previous work. The first one uses cross-correlation of left and right half-bodies to assess gait symmetry while the other ones employ deep auto-encoders to measure gait normality.