This thesis deals with automatic localization of thin surgical tools such as needles or electrodes in 3D ultrasound images. The precise and reliable localization is important for medical interventions such as needle biopsy or electrode insertion into tissue. The reader is introduced to basics of medical ultrasound (US) imaging. The state of the art localization methods are reviewed in the work. Many methods such as Hough transform (HT) or Parallel Integral Projection (PIP) are based on projections. As the existing PIP implementations are relatively slow, we suggest an acceleration by using a multiresolution approach. We propose to use model fitting approach which uses randomized sample consensus (RANSAC) and local optimization. It is a fast method suitable for real-time use and it is robust with respect to the presence of other high-intensity structures in the background. We propose two new shape and appearance models of tool in 3D US images. Tool localization can be improved by exploiting its tubularity. We propose a tool model which uses line filtering and we incorporated it into the model fitting scheme. The robustness of such localization algorithm is improved at the expense of additional time for pre-processing. The real-time localization using the shape model is demonstrated by implementation on the 3D US scanner Ultrasonix RP. All proposed methods were tested on simulated data, phantom US data (a replacement for a tissue) and real tissue US data of breast with biopsy needle. The proposed methods had comparable accuracy and the lower number of failures than the state of the art projection based methods.

Cette thèse traite de la détection automatique d’outils chirurgicaux de géométrie linéaire tels que des aiguilles ou des électrodes en imagerie ultrasonore 3D. Une localisation précise et fiable est nécessaire pour des interventions telles que des biopsies ou l’insertion d’électrode dans les tissus afin d’enregistrer leur activité électrique (par exemple dans le cortex cérébral). Le lecteur est introduit aux bases de l’imagerie ultrasonore (US) médicale. L’état de l’art des méthodes de localisation est rapporté. Un grand nombre de méthodes sont basées sur la projection comme la transformation de Hough ou la Projection Intégrale Parallèle (PIP). Afin d’améliorer l’implantation des méthodes PIP connues pour être assez lentes, nous décrivons une possible accélération par approche multirésolution. Nous proposons d’utiliser une méthode d’ajustement de modèle utilisant une approche RANSAC et une optimization locale. C’est une méthode rapide permettant un traitement temps réel et qui a l’avantage d’être très robuste en présence d’autres structures fortement échogènes dans le milieu environnant. Nous proposons deux nouveaux modèles d’apparence et de forme de l’outil dans les images US 3D. La localisation de l’outil peut être améliorée en exploitant son aspect tubulaire. Nous proposons un modèle d’outil utilisant un filtrage rehausseur de ligne que nous avons incorporé dans le schéma de recherche de modèle. La robustesse de cet algorithme de localisation est améliorée au prix d’un temps additionnel de pré-traitement. La localisation temps-réel utilisant le modèle de forme est démontrée par une implantation sur l’échographe Ultrasonix RP. Toutes les méthodes proposées on été testée sur des données de simulation US, des données de fantômes (qui sont des tissus synthétiques imitant les tissus biologiques) ainsi que sur des données réelles de biopsie du sein. Les méthodes proposées ont montré leur capacité à produire des résultats similaires en terme de précision mais en limitant d’avantage le nombre d’échecs de détection par rapport aux méthodes de l’état de l’art basées sur les projections. / This thesis deals with automatic localization of thin surgical tools such as needles or electrodes in 3D ultrasound images. The precise and reliable localization is important for medical interventions such as needle biopsy or electrode insertion into tissue. The reader is introduced to basics of medical ultrasound (US) imaging. The state of the art localization methods are reviewed in the work. Many methods such as Hough transform (HT) or Parallel Integral Projection (PIP) are based on projections. As the existing PIP implementations are relatively slow, we suggest an acceleration by using a multiresolution approach. We propose to use model fitting approach which uses randomized sample consensus (RANSAC) and local optimization. It is a fast method suitable for real-time use and it is robust with respect to the presence of other high-intensity structures in the background. We propose two new shape and appearance models of tool in 3D US images. Tool localization can be improved by exploiting its tubularity. We propose a tool model which uses line filtering and we incorporated it into the model fitting scheme. The robustness of such localization algorithm is improved at the expense of additional time for pre-processing. The real-time localization using the shape model is demonstrated by implementation on the 3D US scanner Ultrasonix RP. All proposed methods were tested on simulated data, phantom US data (a replacement for a tissue) and real tissue US data of breast with biopsy needle. The proposed methods had comparable accuracy and the lower number of failures than the state of the art projection based methods.

Dans les examens médicaux et les actes de thérapie, les techniques minimalement invasives sont de plus en plus utilisées. Des instruments comme des aiguilles de biopsie, ou des électrodes sont utilisés pour extraire des échantillons de cellules ou pour effectuer des traitements. Afin de réduire les traumatismes et de faciliter le suivi visuelle de ces interventions, des systèmes d’assistance par imagerie médicale, comme par exemple, par l’échographie 2D, sont utilisés dans la procédure chirurgicale. Nous proposons d’utiliser l’échographie 3D pour faciliter la visualisation de l’aiguille, mais en raison de l’aspect bruité de l’image ultrasonore (US) et la grande quantité de données d’un volume 3D, il est difficile de trouver l’aiguille de biopsie avec précision et de suivre sa position en temps réel. Afin de résoudre les deux principaux problèmes ci-dessus, nous avons proposé une méthode basée sur un algorithme RANSAC et un filtre de Kalman. De même l’étude est limitée à une région d’intérêt (ROI) pour obtenir une localisation robuste et le suivi de la position de l’aiguille de biopsie en temps réel. La méthode ROI-RK se compose de deux étapes: l’étape d’initialisation et l’étape de suivi. Dans la première étape, une stratégie d’initialisation d’une ROI en utilisant le filtrage de ligne à base de matrice de Hesse est mise en œuvre. Cette étape permet de réduire efficacement le bruit de granularité du volume US, et de renforcer les structures linéaires telles que des aiguilles de biopsie. Dans la deuxième étape, après l’initialisation de la ROI, un cycle de suivi commence. L’algorithme RK localise et suit l’aiguille de biopsie dans une situation dynamique. L’algorithme RANSAC est utilisé pour estimer la position des micro-outils et le filtrage de Kalman permet de mettre à jour la région d’intérêt et de corriger la localisation de l’aiguille. Une stratégie d’estimation de mouvement est également appliquée pour estimer la vitesse d’insertion de l’aiguille de biopsie. Des volumes 3D US avec un fond inhomogène ont été simulés pour vérifier les performances de la méthode ROI-RK. La méthode a été testée dans des conditions variables, telles que l’orientation d’insertion de l’aiguille par rapport à l’axe de la sonde et le niveau de contraste (CR). La précision de la localisation est de moins de 1 mm, quelle que soit la direction d’insertion de l’aiguille. Ce n’est que lorsque le CR est très faible que la méthode proposée peut échouer dans le suivi d’une structure incomplète de l’aiguille. Une autre méthode, utilisant l’algorithme RANSAC avec apprentissage automatique a été proposée. Cette méthode vise à classer les voxels en se basant non seulement sur l’intensité, mais aussi sur les caractéristiques de la structure de l’aiguille de biopsie. Les résultats des simulations montrent que l’algorithme RANSAC avec apprentissage automatique peut séparer les voxels de l’aiguille et les voxels de tissu de fond avec un CR faible. / In medical examinations and surgeries, minimally invasive technologies are getting used more and more often. Some specially designed surgical instruments, like biopsy needles, or electrodes are operated by radiologists or robotic systems and inserted in human’s body for extracting cell samples or delivering radiation therapy. To reduce the risk of tissue injury and facilitate the visual tracking, some medical vision assistance systems, as for example, ultrasound (US) systems can be used during the surgical procedure. We have proposed to use the 3D US to facilitate the visualization of the biopsy needle, however, due to the strong speckle noise of US images and the large calculation load involved as soon as 3D data are involved, it is a challenge to locate the biopsy needle accurately and to track its position in real time in 3D US. In order to solve the two main problems above, we propose a method based on the RANSAC algorithm and Kalman filter. In this method, a region of interest (ROI) has been limited to robustly localize and track the position of the biopsy needle in real time. The ROI-RK method consists of two steps: the initialization step and the tracking step. In the first step, a ROI initialization strategy using Hessian based line filter measurement is implemented. This step can efficiently reduce the speckle noise of the ultrasound volume, and enhance line-like structures as biopsy needles. In the second step, after the ROI is initialized, a tracking loop begins. The RK algorithm can robustly localize and track the biopsy needles in a dynamic situation. The RANSAC algorithm is used to estimate the position of the micro-tools and the Kalman filter helps to update the ROI and auto-correct the needle localization result. Because the ROI-RK method is involved in a dynamic situation, a motion estimation strategy is also implemented to estimate the insertion speed of the biopsy needle. 3D US volumes with inhomogeneous background have been simulated to evaluate the performance of the ROI-RK method. The method has been tested under different conditions, such as insertion orientations angles, and contrast ratio (CR). The localization accuracy is within 1 mm no matter what the insertion direction is. Only when the CR is very low, the proposed method could fail to track because of an incomplete ultrasound imaging of the needle. Another methodology, i.e. RANSAC with machine learning (ML) algorithm has been presented. This method aims at classifying the voxels not only depending on their intensities, but also using some structure features of the biopsy needle. The simulation results show that the RANSAC with ML algorithm can separate the needle voxels and background tissue voxels with low CR.