L’objectif principal de cette thèse est de fournir aux chirurgiens des outils d’aide à la décision pré et per-opératoire lors d’interventions minimalement invasives en chirurgie hépatique. Ces interventions reposent en général sur des techniques de laparoscopie ou plus récemment d’endoscopie flexible. Lors de telles interventions, le chirurgien cherche à retirer un nombre souvent important de tumeurs hépatiques, tout en préservant le rôle fonctionnel du foie. Cela implique de définir une hépatectomie optimale, c’est à dire garantissant un volume du foie post-opératoire d’au moins 55% du foie initial et préservant au mieux la vascularisation hépatique. Bien qu’une planification de l’intervention puisse actuellement s’envisager sur la base de données pré-opératoire spécifiques au patient, les mouvements importants du foie et ses déformations lors de l’intervention rendent cette planification très difficile à exploiter en pratique. Les travaux proposés dans cette thèse visent à fournir des outils de réalité augmentée utilisables en conditions per-opératoires et permettant de visualiser à chaque instant la position des tumeurs et réseaux vasculaires hépatiques. / The main objective of this thesis is to provide surgeons with tools for pre and intra-operative decision support during minimally invasive hepatic surgery. These interventions are usually based on laparoscopic techniques or, more recently, flexible endoscopy. During such operations, the surgeon tries to remove a significant number of liver tumors while preserving the functional role of the liver. This involves defining an optimal hepatectomy, i.e. ensuring that the volume of post-operative liver is at least at 55% of the original liver and the preserving at hepatic vasculature. Although intervention planning can now be considered on the basis of preoperative patient-specific, significant movements of the liver and its deformations during surgery data make this very difficult to use planning in practice. The work proposed in this thesis aims to provide augmented reality tools to be used in intra-operative conditions in order to visualize the position of tumors and hepatic vascular networks at any time.

L'imagerie panoramique permet d'élargir le champ visuel restreint des caméras standards. La reconstruction 3D d'une scène peut se faire à l'aide d'une ou plusieurs images panoramiques. Afin de reconstruire une scène en trois dimensions à partir d'images panoramiques, plusieurs méthodes existent. Dans ce document, nous nous intéressons à l'utilisation du flou comme indice de profondeur. Plus précisément, nous nous intéressons à la différence de flou proposée par Ziou et Deschênes en 1999 sur des images saisies à l'aide d'une caméra panoramique rotative à bande. Dans un premier temps, nous effectuons l'analyse du modèle de formation du flou d'une caméra rotative à bande et proposons une adaptation du modèle de formation d'une caméra standard dans le cas d'images formées à l'aide d'un capteur linéaire en rotation. Ce modèle adapté est ensuite utilisé pour modifier l'algorithme de reconstruction 3D par différence de flou de Ziou et Deschênes dans le cas d'images panoramiques capturées à l'aide d'une caméra rotative à bande. Nous montrons que cette adaptation nous permet d'obtenir, à partir d'images panoramiques, des résultats similaires à 98% à ce que donne l'algorithme de reconstruction original sur des images non panoramiques.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Avec l’évolution des processus technologiques, l’intérêt pour la robotique mobile n’a de cesse d’augmenter depuis quelques années, notamment pour remplacer l’homme dans des environnements à risque (zones radioactives, robots militaires) ou des zones qui lui sont inaccessibles (exploration planétaire ou sous-marine), ou à des échelles différentes (robot à l’intérieur d’une canalisation, voire robot chirurgical à l’intérieur du corps humain). Dans ce même contexte, les systèmes de navigation destinés plus particulièrement à l’exploration sous-marine suscitent de plus en plus l’intérêt de plusieurs géologues, roboticiens et scientifiques en vue de mieux connaître et caractériser les réseaux sous-marins. Pour des raisons de sécurité optimale, de nouvelles technologies (Radar, Sonar, système de caméras,..) ont été développées pour remplacer les plongeurs humains.C’est dans ce cadre que s’intègre les travaux de cette thèse ayant comme objectif la mise en œuvre d’un système de vision stéréoscopique permettant l’acquisition d’informations utiles et le développement d’un algorithme pour la restitution de la structure 3D d’un environnement confiné aquatique. Notre système est composé d’une paire de capteurs catadioptriques et d’une ceinture de pointeurs lasers permettant d’identifier des amers visuels de la scène et d’une plateforme pour l’exécution du processus de traitement des images acquises. La chaîne de traitement est précédée par une phase d’étalonnage effectuée hors-ligne pour la modélisation géométrique du système complet. L’algorithme de traitement consiste à une analyse pixellique des images stéréoscopiques pour l’extraction des projections lasers 2D et reconstruire leurs correspondants 3D en se basant sur les paramètres d’étalonnage.La mise en œuvre du système complet sur une plateforme logicielle demande un temps d’exécution supérieur à celui exigé par l’application. Les travaux clôturant ce mémoire s’adressent à cette problématique, et proposent une solution permettant de simplifier le développement et l’implémentation d’applications temps-réel sur des plateformes basées sur un dispositif FPGA. La mise en œuvre de notre application a été effectuée et une étude des performances est présentée tout en considérant les besoins de l’application et ses exigences de point de vue précision, rapidité et taux d’efficacité. / With the development of technological processes, interest in mobile robotics is constantly increasing in recent years, particularly to replace human in environments of risk (radioactive areas, military robots) or areas that are inaccessible (planetary or underwater exploration), or at different scales (robot within a pipeline or surgical robot inside the human body). In the same context, navigation systems are designed specifically for underwater exploration which is attracting more and more interest of several geologists, robotics and scientists in order to better understand and characterize submarine environment. For optimal security, new technologies (radar, sonar, camera system, ..) have been developed to replace human.In this context, the work of this thesis is focusing with the aim of implementing a stereoscopic vision system to acquire useful information and the development of an algorithm for the restoration of the 3D structure of a confined aquatic environment. Our system consists of a pair of catadioptric sensors and a laser pointer belt permitting to identify visual landmarks of the scene and a platform for the implementation of the acquired image processing. The processing chain is preceded by an offline calibration phase to generate the geometric modeling of the complete system. The processing algorithm consists of pixel-wise analysis of the stereoscopic images for the extraction of 2D laser projections and rebuilds their 3D corresponding based on the calibration parameters.The implementation of the complete system on a software platform requests an execution time higher than that required by the application. The work closing the memory is addressed to this problem and proposes a solution to simplify the development and implementation of real-time applications on platforms based on a FPGA device. The implementation of our application was performed and a study of performance is presented, considering the requirements of the application in terms of precision, speed and efficiency rate.

La finalité industrielle de ce travail est la réalisation d’un simulateur qui permette aux entraîneurs de football de mieux interpréter certaines situations de jeu à partir de séquences vidéo en en proposant une vision 3D, mais aussi de présenter de la manière la plus ergonomique qui soit des schémas de jeux sur la base de ces situations réelles. De plus, contrairement à ce qui se pratique assez couramment dans ce cadre-là, nous avons souhaité – pour des raisons de souplesse d’utilisation – rester dans un cadre assez large et ne pas profiter d’une phase préalable (fastidieuse) de calibrage, ce qui a été à l’origine de verrous scientifiques et technologiques que nous avons cherché à résoudre, et pour lesquels nous proposons des solutions dans la première partie. Les problèmes que nous avons eu à traiter sont de deux natures, informatiques d’une part et ergonomiques d’autre part. Il s’est agi, par exemple, de caractériser la transformation homographique permettant de passer de l’image au modèle, de retrouver la position de la caméra ou de déterminer automatiquement à quelle zone du terrain correspond l’image acquise. Et, au niveau ergonomique, il s’est agi de reproduire le plus fidèlement possible les modes d’appréhension de la réalité terrain, ainsi que de modélisation et de communication des entraîneurs de football. / This work refers to a 3D simulator that has for purpose to help football trainers interpreting tactical sequences based on real situations. This simulator has to be able to interpret video movies, to reconstruct a situation. The camera’s calibration state has to be as simple as possible. The first part of this document refers to the solution elaborated to implement this constraint whereas the second one is more oriented on the industrialisation process. These processes imply to focus on vision computing and ergonomics problems and to answer questions such as : how to characterize a homographic transformation matching the image and the model ? How to retrieve the position of the camera? Which area is part of the image? In an ergonomically point of view, the simulator has to reproduce the game play reality and to improve the abstraction and the communication of the coaches.

L'analyse du visage est un sujet très étudié dans de nombreux domaines : Interaction Homme Machine, sécurité, post-production cinématographique, jeux video. . . Cela comprend la détection, la reconnaissance, la reconstruction 3D, l'animation et l'analyse d'émotions. L'animation du visage a été la motivation principale durant toute la thèse. Nous nous intéressons à la plupart des domaines liés au visage : tout d'abord la reconstruction 3D et la modélisation de visage, avec un nouveau modèle de visage. Ensuite, nous introduisons des contraintes anthropométriques par champs de Markov pour la détection globale de points d'intérêts. Partant de contraintes anthropométriques, nous sommes capables d'estimer la pose 3D du visage à partir d'une seule image, et de l'étendre au suivi du visage. L'analyse d'émotion conclut notre travail : nous présentons une technique de modélisation d'expression définie comme une série temporelle et proposons de l'utiliser pour la prédiction d'émotions.

Cette thèse traite de la reconstruction 3D de scènes déformables à partir d'images. Nos méthodes s'appuient sur un modèle mathématique de la scène. La reconstruction consiste à estimer les paramètres du modèle grâce aux images. Plus particulièrement, nous nous intéressons aux objets déformables pouvant être représentés par des surfaces développables ou inextensibles. Les surfaces développables sont les surfaces régulières isométriques au plan. Notre première contribution est un modèle génératif de ces surfaces. Il se distingue des modèles existants par sa généralité et par l'expression explicite de la frontière de l'objet. Notre deuxième contribution est un algorithme permettant de reconstruire notre modèle à partir de plusieurs images synchronisées. Notre troisième contribution est une méthode de reconstruction des surfaces inextensibles. Elle exploite les contraintes liant les points de la surface pour trouver la surface 3D à partir d'une seule image et d'une déformation de référence.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Ce travail concerne la reconstruction 3D de vaisseaux sanguins à partir de coupes transversales en nombre éventuellement réduit. Si des données sont manquantes, une reconstruction cohérente avec un réseau de vaisseaux est obtenue. Cette approche permet en outre de limiter les interventions humaines lors du traitement des images des coupes transversales 2D. Sachant que les images utilisées sont obtenues par scanner,la difficulté est de connecter les vaisseaux sanguins entre deux coupes espacées pour obtenir un graphe qui correspond au cœur des vaisseaux. En associant les vaisseaux sanguins sur les coupes à des masses à transporter, on construit un graphe solution d’un problème de transport ramifié. La reconstruction 3D de la géométrie résulte des données 2D d’imagerie issues des différentes coupes transversales et du graphe. La géométrie 3D des vaisseaux sanguins est représentée par la donnée d’une fonction Level Set définie en tout point de l’espace dont l’iso-valeur zéro correspond aux parois des vaisseaux. On s’intéresse ensuite à résoudre numériquement le modèle de Navier-Stokes en écoulement incompressible sur un maillage cartésien inclus dans la géométrie reconstruite. Ce choix est motivé par la rapidité d’assemblage du maillage et des opérateurs discrets de dérivation, en vue d’éventuelles déformation des vaisseaux. L’inadaptation du maillage avec l’interface de la géométrie amène à considérer une condition limite modifiée permettant un calcul consistant des contraintes aux parois. / This work concerns the 3D reconstruction of blood vessels from a limited number of 2D transversal cuts obtained from scanners. If data are missing, a coherentreconstruction with a vessel network is obtained. This approach allows to limit human interventions in processing images of 2D transversal cuts. Knowing that the images used are obtained by scanner, the difficulty is to connect the blood vessels between some widely spaced cuts in order to produce the graph corresponding to the network of vessels. We identify the vessels on each trnasversal cut as a mass to be transported, we construct a graph solution of a branched transport problem. At this stage, we are able to reconstruct the 3D geometry by using the 2D Level Set Functions given by the transversal cuts and the graph information. The 3D geometry of blood vessels is represented by the data of the Level Set function defined at any point of the space whose 0-level corresponds to the vessel walls. The resulting geometry is usually integrated in a fluid mechanic code solving the incompressible Navier-Stokes equations on a Cartesian grid strictly included in a reconstructed geometry. The inadequacy of the mesh with the interface of the geometry is overcomed thanks to a modified boundary condition leading to an accurate computation of the constraints to the walls.

Des applications en vision artificielle exploitent des caméras très variées : fish-eye, systèmes catadioptriques et multi-caméras, etc. Ces caméras ont des caractéristiques intéressantes, dont surtout un champ de vue étendu. Le calibrage et la reconstruction 3D sont deux problèmes fondamentaux en vision artificielle. Les modèles et algorithmes pour ces problèmes sont habituellement de nature paramétrique, s'appliquent à un seul type de caméra et sont rarement capables de gérer des réseaux de caméras hétérogènes. Afin de résoudre ces problèmes, nous introduisons un modèle de formation d'image générique, dans lequel toute caméra est modélisée par l'ensemble de ses pixels et l'ensemble de lignes de vue associées. Nous proposons des méthodes de calibrage générique pour ce modèle, qui calculent toutes ces lignes de vue et permettent de calibrer toute caméra avec la même approche. Nous proposons également des algorithmes génériques pour la reconstruction 3D et l'auto-calibrage.