Holoscopic 3D imaging also known as “Integral imaging” was first proposed by Lippmann in 1908. It facilitates a promising technique for creating full colour spatial image that exists in space. It promotes a single lens aperture for recording spatial images of a real scene, thus it offers omnidirectional motion parallax and true 3D depth, which is the fundamental feature for digital refocusing. While stereoscopic and multiview 3D imaging systems simulate human eye technique, holoscopic 3D imaging system mimics fly’s eye technique, in which viewpoints are orthographic projection. This system enables true 3D representation of a real scene in space, thus it offers richer spatial cues compared to stereoscopic 3D and multiview 3D systems. Focus has been the greatest challenge since the beginning of photography. It is becoming even more critical in film production where focus pullers are finding it difficult to get the right focus with camera resolution becoming increasingly higher. Holoscopic 3D imaging enables the user to carry out re/focusing in post-production. There have been three main types of digital refocusing methods namely Shift and Integration, full resolution, and full resolution with blind. However, these methods suffer from artifacts and unsatisfactory resolution in the final resulting image. For instance the artifacts are in the form of blocky and blurry pictures, due to unmatched boundaries. An upsampling method is proposed that improves the resolution of the resulting image of shift and integration approach. Sub-pixel adjustment of elemental images including “upsampling technique” with smart filters are proposed to reduce the artifacts, introduced by full resolution with blind method as well as to improve both image quality and resolution of the final rendered image. A novel 3D object extraction method is proposed that takes advantage of disparity, which is also applied to generate stereoscopic 3D images from holoscopic 3D image. Cross correlation matching algorithm is used to obtain the disparity map from the disparity information and the desirable object is then extracted. In addition, 3D image conversion algorithm is proposed for the generation of stereoscopic and multiview 3D images from both unidirectional and omnidirectional holoscopic 3D images, which facilitates 3D content reformation.

Cette thèse aborde le problème de la modélisation et de la détection des filaments dans des images 3D. Nous avons développé des méthodes variationnelles pour quatre applications spécifiques : l'extraction de routes où nous avons introduit la notion de courbure totale pour conserver les réseaux réguliers en tolérant les discontinuités de direction ; la détection et la complétion de filaments fortement bruités et présentant des occultations. Nous avons utilisé la magnétostatique et la théorie de Ginzburg-Landau pour représenter les filaments comme ensemble de singularités d'un champ vectoriel ; la détection de filaments dans des images biologiques acquises en microscopie confocale. On modélise les filaments en tenant compte des spécificités de cette dernière. Les filaments sont alors obtenus par une méthode de maximum à posteriori ; la détection de cibles dans des séquences d'images infrarouges. Dans cette application, on cherche des trajectoires optimisant la différence de luminosité moyenne entre la trajectoire et son voisinage en tenant compte des capteurs utilisés. Par ailleurs, nous avons démontré des résultats théoriques portant sur la courbure totale et la convergence de la méthode d'Alouges associée aux systèmes de Ginzburg-Landau. Ce travail réunit à la fois modélisation, résultats théoriques et recherche d'algorithmes numériques performants permettant de traiter de réelles applications.

Les systèmes de fusion d'informations sont principalement composés, d'outils mathématiques permettant de réaliser la représentation et la combinaison des données. L'objectif de ces systèmes peut s'exprimer comme un problème de décision sur la vérité ou la vraisemblance d'une proposition étant donné une ou plusieurs informations issues de différentes sources. Les systèmes de fusion cherchent à exploiter au mieux les propriétés des sources de données en tenant compte de l'imperfection de l'information (imprécis, incomplet, ambigu, incertain, etc.) ainsi que l'aspect redondant, complémentaire et conflictuel des informations. Le système de fusion concerné par cette thèse a la capacité d'intégrer dans ses traitements de la connaissance experte. On le nomme système de fusion coopératif. Puisque ce système cherche à intégrer pleinement les experts dans son fonctionnement, il est important de mettre à disposition des utilisateurs des informations aidant à mieux comprendre la fusion réalisée. De tels systèmes disposent de nombreux paramètres à régler et ces derniers ont un impact important sur la qualité des résultats obtenus. Une des grandes problématiques liées à ces systèmes de fusion d'informations porte sur l'évaluation de leurs performances. L'évaluation doit permettre d'améliorer la qualité de la fusion, d'améliorer l'interaction expert/système et d'aider à mieux ajuster les paramètres du système. En général, l'évaluation de tels systèmes est réalisée en fin de chaîne par une évaluation globale du résultat. Mais, celle-ci ne permet pas de savoir précisément l'endroit de la chaîne qui nécessite une intervention. Une autre difficulté réside dans le fait qu'une vérité terrain complète sur le résultat n'est pas toujours disponible, ce qui complique la tâche d'évaluation de performances de ce type de systèmes. Le contexte applicatif de ce travail est l'interprétation d'images tridimensionnelles (images tomographiques, images sismiques, images synthétiques, ...). Dans ce contexte une évaluation locale des systèmes de fusion d'informations, a été mise en place. L'approche a montré son intérêt dans l'ajustement efficace des paramètres et dans la coopération avec l'expert.

Les systèmes de fusion d'informations sont principalement composés, d'outils mathématiques permettant de réaliser la représentation et la combinaison des données. L'objectif de ces systèmes peut s'exprimer comme un problème de décision sur la vérité ou la vraisemblance d'une proposition étant donné une ou plusieurs informations issues de différentes sources. Les systèmes de fusion cherchent à exploiter au mieux les propriétés des sources de données en tenant compte de l'imperfection de l'information (imprécis, incomplet, ambigu, incertain, etc.) ainsi que l'aspect redondant, complémentaire et conflictuel des informations. Le système de fusion concerné par cette thèse a la capacité d'intégrer dans ses traitements de la connaissance experte. On le nomme système de fusion coopératif. Puisque ce système cherche à intégrer pleinement les experts dans son fonctionnement, il est important de mettre à disposition des utilisateurs des informations aidant à mieux comprendre la fusion réalisée. De tels systèmes disposent de nombreux paramètres à régler et ces derniers ont un impact important sur la qualité des résultats obtenus. Une des grandes problématiques liées à ces systèmes de fusion d'informations porte sur l'évaluation de leurs performances. L'évaluation doit permettre d'améliorer la qualité de la fusion, d'améliorer l'interaction expert/système et d'aider à mieux ajuster les paramètres du système. En général, l'évaluation de tels systèmes est réalisée en fin de chaîne par une évaluation globale du résultat. Mais, celle-ci ne permet pas de savoir précisément l'endroit de la chaîne qui nécessite une intervention. Une autre difficulté réside dans le fait qu'une vérité terrain complète sur le résultat n'est pas toujours disponible, ce qui complique la tâche d'évaluation de performances de ce type de systèmes. Le contexte applicatif de ce travail est l'interprétation d'images tridimensionnelles (images tomographiques, images sismiques, images synthétiques, ...). Dans ce contexte une évaluation locale des systèmes de fusion d'informations, a été mise en place. L'approche a montré son intérêt dans l'ajustement efficace des paramètres et dans la coopération avec l'expert. / Information fusion systems are mainly composed from mathematical tools allowing to realize data representation and combination. The aim of these systems can be expressed as a decision problem on the truth or plausibility of a proposition based on several information coming from different sources. Fusion try to manage the characteristics of the sources taking into account the information imperfection (inaccurate, incomplete, ambiguous, uncertain, etc.) and the redundant aspect, the complement and the conflictual aspect of information. Fusion systems concerned by this thesis have the ability to integrate the expert knowledge in their treatments. They are called cooperative fusion systems. Since these systems are trying to associate experts, it is important to provide to the users some informations that help them to better understand the fusion process. Such systems have many parameters that must be adjusted. These parameters have an important impact on the quality of the obtained results. One of the major problems associated to information fusion systems concerns the evaluation of their performance. A pertinent evaluation will allow to improve the quality of the fusion, to improve expert/system interaction and to better adjust the parameters of the system. Generally, the evaluation of such systems is made in the ouput of the processing chain by a global evaluation of the results. But it does not allow to know the precise subpart of the treatement chain that requires an adjustment of its parameters. Another difficulty releases in the fact that a complete ground truth of the result is not always available, which complicates the performance evaluation task. The application context of this work is the interpretation of 3D images (tomographic images, seismic images, synthetic images, ...). In this context, a local evaluation of the information fusion systems has been implemented. The approach has shown its interest in the efficient adjustment of parameters and the cooperation with expert.

Implementation of a comprehensive set of forms that visualizes the physical existence originally immaterial artifacts.

This thesis deals with possibilities of automatic segmentation of biomedical images. For the 3D image segmentation, a deep learning method has been proposed. In the work problems of network design, memory optimization method and subsequent composition of the resulting image are solved. The uniqueness of the method lies in 3D image processing on a GPU in combination with augmentation of training data and preservation of the output size with the original image. This is achieved by dividing the image into smaller parts with the overlay and then folding to the original size. The functionality of the method is verified on the segmentation of human brain tissue on magnetic resonance imaging, where it overcomes human accuracy when compared a specialist vs. specialist, and cell segmentation on a slices of the Drosophila brain from an electron microscope, where published results from the impacted paper are overcome.

Les imageurs des hôpitaux produisent de plus en plus d'images 3D et il y a un nombre croissant d'études de cohortes. Afin d'ouvrir la voie à des méthodes utilisant de larges bases de données, il est nécessaire de développer des approches permettant de rendre ces bases cohérentes en recalant les images. Les principales méthodes actuelles de recalage de groupes utilisent des données denses (voxels) et sélectionnent une référence pour mettre en correspondance l'ensemble des images. Nous proposons une approche de recalage par groupes, sans image de référence, en utilisant seulement des points d'intérêt (Surf3D), applicable à des bases de plusieurs centaines d'images médicales. Nous formulons un problème global fondé sur l'appariement de points d'intérêt. La variabilité inter-individu étant grande, le taux de faux positifs (paires aberrantes) peut être très important (70\%). Une attention particulière est portée sur l'élimination des appariements erronés. Une première contribution effectue le recalage rigide de groupes d'images. Nous calculons les recalages de toutes les paires d'images. En s'appuyant sur le graphe complet de ces recalages, nous formulons le problème global en utilisant l'opérateur laplacien. Des expérimentations avec 400 images scanner CT 3D hétérogènes illustrent la robustesse de notre méthode et sa vitesse d'exécution. Une seconde contribution calcule le recalage déformable de groupes d'images. Nous utilisons des demi-transformations, paramétrées par des pyramides de B-splines, entre chaque image et un espace commun. Des comparaisons sur un jeu de données de référence montrent que notre approche est compétitive avec la littérature tout en étant beaucoup plus rapide. Ces résultats montrent le potentiel des approches basées sur des points d'intérêt pour la mise en correspondance de grandes bases d'images. Nous illustrons les perspectives de notre approche par deux applications : la segmentation multi-atlas et l'anthropologie. / The ever-increasing amount of medical images stored in hospitals offers a great opportunity for big data analysis. In order to pave the way for huge image groups screening, we need to develop methods able to make images databases consistent by group registering those images. Currently, group registration methods generally use dense, voxel-based, representations for images and often pick a reference to register images. We propose a group registration framework, without reference image, by using only interest points (Surf3D), able to register hundreds of medical images. We formulate a global problem based on interest point matching. The inter-patient variability is high, and the outliers ratio can be large (70\%). We pay a particular attention on inhibiting outliers contribution. Our first contribution is a two-step rigid groupwise registration. In the first step, we compute the pairwise rigid registration of each image pair. In a second step, a complete graph of those registrations allows us to formulate a global problem using the laplacian operator. We show experimental results for groups of up to 400 CT-scanner 3D heterogeneous images highlighting the robustness and speed of our approach. In our second contribution, we compute a non-rigid groupwise registration. Our approach involves half-transforms, parametrized by a b-spline pyramid, between each image and a common space. A reference dataset shows that our algorithm provides competitive results while being much faster than previous methods. Those results show the potential of our interest point based registration method for huge datasets of 3D medical images. We also provide to promising perspectives: multi-atlas based segmentation and anthropology.

This thesis deals with the task of three-dimensional scene reconstruction using image data obtained from multiple views. It is assumed that intrinsic parameters of the utilized cameras are known. The theoretical chapters describe the basic priciples of individual reconstruction steps. Variuous possible implementaions of data model suitable for this task are also described. The practical part also includes a comparison of false keypoint correspondence filtering, implementation of polar stereo rectification and comparison of disparity map calculation methods that are bundled with the OpenCV library. In the final portion of the thesis, examples of reconstructed 3D models are presented and discussed.

Nous développons une méthode générique semi-automatique multi-objet de segmentation d'image par coupure de graphe visant les usages médicaux de routine, allant des tâches impliquant quelques objets dans des images 2D, à quelques dizaines dans celles 3D quasi corps entier. La formulation souple de la méthode permet son adaptation simple à une application donnée. En particulier, le modèle d'a priori de proximité que nous proposons, défini à partir des contraintes de paires du plus court chemin sur le graphe d'adjacence des objets, peut facilement être adapté pour tenir compte des relations spatiales entre les objets ciblés dans un problème donné. L'algorithme de segmentation peut être adapté aux besoins de l'application en termes de temps d'exécution et de capacité de stockage à l'aide d'une partition de l'image à segmenter par une tesselation de Voronoï efficace et contrôlable, établissant un bon équilibre entre la compacité des régions et le respect des frontières des objets. Des évaluations et comparaisons qualitatives et quantitatives avec le modèle de Potts standard confirment que notre modèle d'a priori apporte des améliorations significatives dans la segmentation d'objets distincts d'intensités similaires, dans le positionnement précis des frontières des objets ainsi que dans la robustesse de segmentation par rapport à la résolution de partition. L'évaluation comparative de la méthode de partition avec ses concurrentes confirme ses avantages en termes de temps d'exécution et de qualité des partitions produites. Par comparaison avec l'approche appliquée directement sur les voxels de l'image, l'étape de partition améliore à la fois le temps d'exécution global et l'empreinte mémoire du processus de segmentation jusqu'à un ordre de grandeur, sans compromettre la qualité de la segmentation en pratique. / We develop a generic Graph Cut-based semiautomatic multiobject image segmentation method principally for use in routine medical applications ranging from tasks involving few objects in 2D images to fairly complex near whole-body 3D image segmentation. The flexible formulation of the method allows its straightforward adaption to a given application.\linebreak In particular, the graph-based vicinity prior model we propose, defined as shortest-path pairwise constraints on the object adjacency graph, can be easily reformulated to account for the spatial relationships between objects in a given problem instance. The segmentation algorithm can be tailored to the runtime requirements of the application and the online storage capacities of the computing platform by an efficient and controllable Voronoi tessellation clustering of the input image which achieves a good balance between cluster compactness and boundary adherence criteria. Qualitative and quantitative comprehensive evaluation and comparison with the standard Potts model confirm that the vicinity prior model brings significant improvements in the correct segmentation of distinct objects of identical intensity, the accurate placement of object boundaries and the robustness of segmentation with respect to clustering resolution. Comparative evaluation of the clustering method with competing ones confirms its benefits in terms of runtime and quality of produced partitions. Importantly, compared to voxel segmentation, the clustering step improves both overall runtime and memory footprint of the segmentation process up to an order of magnitude virtually without compromising the segmentation quality.

L'hadronthérapie est une méthode de traitement du cancer qui emploie des ions (carbone ou proton) au lieu des rayons X. Les interactions entre le faisceau et le patient produisent des radiations secondaires. Il existe une corrélation entre la position d'émission de certaines de ces particules et la position du pic de Bragg. Parmi ces particules, des gamma-prompt sont produits par les fragments nucléaires excités et des travaux actuels ont pour but de concevoir des systèmes de tomographie par émission mono-photonique capable d'imager la position d'émission ces radiations en temps réel, avec une précision millimétrique, malgré le faible nombre de données acquises. Bien que ce ne soit pas actuellement possible, le but in fine est de surveiller le dépôt de dose. La caméra Compton est un des système TEMP qui a été proposé pour imager ce type de particules, car elle offre une meilleure résolution énergétique et la possibilité d'avoir une image 3D. Cependant, en pratique l'acquisition est affectée par le bruit provenant d'autres particules secondaires, et les algorithmes de reconstruction des images Compton sont plus compliqués et encore peu aboutis, mais sur une bonne voie de développement. Dans le cadre de cette thèse, nous avons développé une chaîne complète allant de la simulation de l'irradiation d'un fantôme par un faisceau de protons allant jusqu'à la reconstruction tomographique des images obtenues à partir de données acquises par la caméra Compton. Nous avons étudié différentes méthodes de reconstruction analytiques et itératives, et nous avons développé une méthode de reconstruction itérative capable de prendre en compte les incertitudes de mesure sur l'énergie. Enfin nous avons développé des méthodes pour la détection de la fin du parcours des distributions gamma-prompt reconstruites. / Hadrontherapy is a cancer treatment method which uses ions (proton or carbon) instead of X-rays. Interactions between the beam and the patient produce secondary radiation. It has been shown that there is a correlation between the emission position of some of these particles and the Bragg peak position. Among these particles, prompt-gamma are produced by excited nuclear fragments and current work aims to design SPECT systems able to image the emission position the radiation in real time, with a millimetric precision, despite the low data statistic. Although it is not currently possible, the goal is to monitor the deposited dose. The Compton camera is a SPECT system that proposed for imaging such particles, because it offers a good energy resolution and the possibility of a 3D imaging. However, in practice the acquisition is affected by noise from other secondary particles and the reconstruction algorithms are more complex and not totally completed, but the developments are well advanced. In this thesis, we developed a complete process from the simulation of irradiation of a phantom by a proton beam up to the tomographic reconstruction of images obtained from data acquired by the Compton camera. We studied different reconstruction methods (analytical and iterative), and we have developed an iterative method able to consider the measurement uncertainties on energy. Finally we developed methods to detect the end-of-range of the reconstructed prompt-gamma distributions.