No description available.

Suturing in laparoscopic surgery is a challenging and time-consuming task that presents haptic, motor and spatial constraints for the surgeon. As a result, there is variability in surgical outcome when performing basic suturing tasks such as knot tying, stitching and tissue dissection (as large as 50\%). This goal of this thesis is to develop a standardized, proof-of-concept, automated robotic suturing system that performs a side-to-side anastomosis with image guidance and dynamic trajectory control. A passive alignment tool is created for rigidly constraining needle pose, and robust computer vision algorithms are used to track surface features and the suture needle. A robotic system integrates these components to autonomously pass a curved suture needle through sequential loops in a tissue pad phantom.

Suturing in laparoscopic surgery is a challenging and time-consuming task that presents haptic, motor and spatial constraints for the surgeon. As a result, there is variability in surgical outcome when performing basic suturing tasks such as knot tying, stitching and tissue dissection (as large as 50\%). This goal of this thesis is to develop a standardized, proof-of-concept, automated robotic suturing system that performs a side-to-side anastomosis with image guidance and dynamic trajectory control. A passive alignment tool is created for rigidly constraining needle pose, and robust computer vision algorithms are used to track surface features and the suture needle. A robotic system integrates these components to autonomously pass a curved suture needle through sequential loops in a tissue pad phantom.

This thesis outlines the development of an automatic image registration algorithm for matching 3D CT data to 2D fluoroscope X-ray images. The registration is required in order to calculate a transformation for measurements in the 2D image into the 3D representation. The algorithm achieves the registration by generating digitally reconstructed radiographs from the CT data set. The radiographs are 2D projection images, and therefore may be compared with the 2D Fluoroscope images. The X-ray and fluoroscope images were compared using the photometric-based registration algorithm, pseudocorrelation, with X^2 as the distance metric. An automated search algorithm was implemented using the Downhill Simplex of Nelder and Meade. The algorithm was successful in locating the position and orientation of the CT data set for calculating a digitally reconstructed radiograph to match the fluoroscope image. The CT data set was located with a maximum mean position error of 2.4 mm in xy, 4.4 mm in z, and xyz axial rotation within 0.5°. The standard deviation given 1800 random starting locations was 9.3 mm in x, 12.7 mm in y, 16.9 mm in z, xz axial rotation 2.5°, and y axial rotation of 1.9°. The search algorithm was successful in handling gross misalignment, however there were difficulties in convergence once within the vicinity of the global minimum. It is suggested to implement a hybrid search technique, switching to a conjugate gradient search algorithm once in the vicinity of the global minimum. An additional refinement would be a possible change of the distant metric, or the registration algorithm, once within the vicinity of the global minimum. Additional investigation needs to be directed towards testing the algorithm with live fluoroscope and CT data. This is required in order to assess registration performance when comparing different imaging modalities. / Thesis / Master of Engineering (ME)

Bien que devenant un environnement de plus en plus riche technologiquement, la salle opératoire reste un endroit où la sécurité des patients n'est pas assurée à 100% comme le montre le nombre toujours conséquent d'erreurs chirurgicales. La nécessité de développer des systèmes intelligents au bloc opératoire apparait comme croissante. Un des éléments clés pour ce type de système est la reconnaissance du processus chirurgical, passant par une identification précise des outils chirurgicaux utilisés. L'objectif de cette thèse a donc porté sur la détection en temps-réel des outils chirurgicaux dans des vidéos 2D provenant de microscopes. Devant l'absence de jeux de données de référence, qui plus est dans un contexte neurochirurgical, la première contribution de la thèse a donc été la création d'un nouvel ensemble d'images de chirurgies du cerveau et du rachis cervical, mis à disposition en ligne. Comme seconde contribution, deux approches différentes ont été proposées permettant de détecter des outils chirurgicaux via des techniques d'analyse d'image. Tout d'abord, le SquaresChnFtrs adapté, basé sur une des méthodes de détection de piétons les plus performantes de la littérature. Notre deuxième méthode, le ShapeDetector, est une approche à deux niveaux n'utilisant aucune contrainte ou hypothèse a priori sur le nombre, la position, ou la forme des outils dans l'image. Par rapport aux travaux précédents du domaine, nous avons choisi de représenter les détections potentielles par des polygones plutôt que par des rectangles, obtenant ainsi des détections plus précises. Pour intégration dans des systèmes médicaux, une optimisation de la vitesse de calcul a été effectuée via un usage optimal du CPU, du GPU, et de méthodes ad-hoc. Pour des vidéos de résolution 612x480 pixels, notre ShapeDetector est capable d'effectuer les détections à une vitesse maximale de 8 Hz. Pour la validation de nos méthodes, nous avons pris en compte trois paramètres: la position globale, la position de l'extrémité, et l'orientation des détections. Les méthodes ont été classées et comparées avec des méthodes de référence compétitives. Pour la détection des tubes d'aspiration, nous avons obtenu un taux de manqué de 15% pour un taux de faux positifs par image de 0.1, comparé à un taux de manqué de 55% pour le SquaresChnFtrs adapté. L'orientation future du travail devra porter sur l'intégration des informations 3D, l'amélioration de la couche de labélisation sémantique, et la classification des outils chirurgicaux. Pour finir, un enrichissement du jeu de données et des annotations de plus haute précision seront nécessaires. / Despite modern-life technological advances and tremendous progress made in surgical techniques including MIS, today's OR is facing many challenges remaining yet to be addressed. The development of CAS systems integrating the SPM methodology was born as a response from the medical community, with the long-term objective to create surgical cockpit systems. Being able to identify surgical tools in use is a key component for systems relying on the SPM methodology. Towards that end, this thesis work has focused on real-time surgical tool detection from microscope 2D images. From the review of the literature, no validation data-sets have been elected as benchmarks by the community. In addition, the neurosurgical context has been addressed only once. As such, the first contribution of this thesis work consisted in the creation of a new surgical tool data-set, made freely available online. Two methods have been proposed to tackle the surgical tool detection challenge. First, the adapted SquaresChnFtrs, evolution of one of the best computer vision state-of-the-art approach for pedestrian detection. Our second contribution, the ShapeDetector, is fully data-driven and performs detection without the use of prior knowledge regarding the number, shape, and position of tools in the image. Compared to previous works, we chose to represent candidate detections with bounding polygons instead of bounding boxes, hence providing more fitting results. For integration into medical systems, we performed different code optimization through CPU and GPU use. Speed gain and accuracy loss from the use of ad-hoc optimization strategies have been thoroughly quantified to find an optimal trade-off between speed and accuracy. Our ShapeDetector is running in-between 5 and 8Hz for 612x480 pixel video sequences.We validated our approaches using a detailed methodology covering the overall tool location, tip position, and orientation. Approaches have been compared and ranked conjointly with a set of competitive baselines. For suction tube detections, we achieved a 15% miss-rate at 0.1 FPPI, compared to a 55% miss-rate for the adapted SquaresChnFtrs. Future works should be directed toward the integration of 3D feature extraction to improve detection performance but also toward the refinement of the semantic labelling step. Coupling the tool detection task to the tool classification in one single framework should be further investigated. Finally, increasing the data-set in diversity, number of tool classes, and detail of annotations is of interest.

Les procédures chirurgicales intraoculaires sont des procédures difficiles par la précision qu’elles demandent, on parle de microchirurgie, mais aussi par la difficulté et la faible qualité de visualisation des tissus à traiter. En effet, dans la plupart des procédures intraoculaires le chirurgien utilise uniquement un microscope ophtalmologique qui ne permet la visualisation des tissus que par la pupille du patient et offre une perception limitée de la profondeur. La Tomographie en Cohérence Optique (OCT) fournit des images en profondeur des tissus sains de manière non invasive, elle est utilisée couramment en diagnostic ophtalmologique et est de plus en plus utilisée intra-opérativement. Dans cette thèse nous allons présenter deux systèmes OCT intra-opératifs qui visent à assister les chirurgiens sur deux procédures intraoculaires, la vitrectomie et l’injection sous-rétinienne. Pour ces deux projets nous avons utilisé le matériel chirurgical utilisé cliniquement pour plusieurs raisons : s’assurer d’utiliser des outils adéquats (dimensions, efficacité, sécurité) pour la procédure, garder des outils que les chirurgiens utilisent régulièrement et avec lesquels ils sont familiers et limiter les coûts de développement. Pour le système OCT nous avons utilisé des sondes OCT en fibre optique car elles sont flexibles, bon marché et de petit diamètre. Leur focalisation peut également être modifiée dépendamment de l’application avec une fibre optique GRIN à leur extrémité pour augmenter le signal OCT. Nous avons ainsi attaché à ces outils chirurgicaux des sondes OCT en fibre optique. Pour le projet portant sur les injections sous-rétiniennes il a fallu dans un premier temps développer des sondes OCT avec des diamètres plus petits que ceux existant. Pour ce faire nous avons développé une méthode permettant de réduire le diamètre des sondes avec de l’acide fluorhydrique et grâce à un design permettant de conserver les propriétés optiques des sondes. Ce travail est présenté dans le premier article. Le second article présente un système permettant de guider les injections sous-rétiniennes. L’injection sous-rétinienne est une intervention chirurgicale de haute précision visant à restaurer et/ou préserver la vision des patients souffrant de maladies rétiniennes. Néanmoins, l’injection sous-rétinienne reste à la limite des capacités physiologiques humaines en raison des tremblements de la main et peut être compromise par le reflux du médicament si l’injection n’est pas assez profonde dans la rétine. Nous avons développé un système pour guider l’injection avec un micromanipulateur et donner des informations précises sur la profondeur au chirurgien avec l’OCT intra-opératif. Après avoir miniaturisé une sonde OCT en fibre optique avec la méthode présentée dans l’article 1 nous avons pu l’insérer dans une canule utilisée cliniquement. La sonde couplée à un système OCT que nous avons développé acquiert un signal A-scan qui va permettre de connaitre la distance entre la canule et la rétine mais aussi de sélectionner la profondeur de l’injection dans les couches rétiniennes. La canule est attachée à un micromanipulateur qui assure son déplacement dans l’œil. Une image M-scan est construite avec le signal OCT et le chirurgien peut directement sélectionner sur l’image la profondeur de l’injection. Nous avons développé l’interface sur Labview. Après avoir sélectionné la cible de l’injection le programme de guidage va déplacer la canule et injecter le volume adéquat grâce à une pompe contrôlable. Nous avons validé notre système de guidage sur des yeux de porcs ex-vivo. Sur 40 injections 38 présentaient un décollement rétinien ciblé et localisé, preuve de la réussie de l’injection rétinienne ce qui représente un taux de succès de 95% (CI : 83.1 – 99.4). Nous avons aussi grâce à un algorithme de traitement de l’image calculé le volume présent sous la rétine après l’injection que nous avons comparé au volume injecté. Nous avons ainsi trouvé que 75% du volume initialement injecté se retrouve bien sous la rétine. Le troisième article présente un système permettant d’arrêter automatiquement le vitrecteur lors d’une vitrectomie pour réduire les dommages accidentels sur la rétine. La survenue de déchirures rétiniennes iatrogèniques dans la vitrectomie par la pars plane est une complication qui compromet l’efficacité globale de la chirurgie. Un certain nombre de déchirures rétiniennes iatrogènes se produisent lorsque la rétine est coupée accidentellement par le vitrecteur. Nous avons développé un vitrecteur intelligent capable de détecter en temps réel une coupure rétinienne accidentelle et de désactiver rapidement la machine de vitrectomie pour les prévenir. Ce vitrecteur intelligent est composé d’une sonde OCT attachée au vitrecteur et va avoir comme rôle de détecter si le vitrecteur aspire la rétine et va endommager ces tissus sains. La sonde OCT agit comme un détecteur de présence devant l’ouverture du vitrecteur, ceci en comparant un signal de référence avec le signal en direct. Cette comparaison de signal OCT va commander un bras robotique pour actionner la pédale d’arrêt du vitrecteur. Ainsi le chirurgien n’a pas besoin d’interpréter un signal, la décision d’arrêt du vitrecteur dû à la présence de la rétine est prise automatiquement. Ceci va permettre de réduire grandement, de 300 ms à 29 ms, le délai de la prise de décision d’arrêt du vitrecteur précédemment limité par le temps de réaction du chirurgien. Nous avons développé les sondes OCT, le système OCT ainsi que l’algorithme d’arrêt automatique de ce système. Nous avons validé sur des yeux porcins in-vivo, deux chirurgiens ont utilisé notre système en essayant d’endommager les tissus rétiniens. 70% (CI : 56.39 – 82.02) des tentatives de dommages rétiniens des chirurgiens furent atténuées ou empêchées par notre système. Ce projet a abouti au dépôt d’un brevet ("Smart Vitrector", Provisional patent application, US 63109040). / Intraocular surgical procedures are difficult procedures because of the precision they require, they are often referred as microsurgery, but also by the little information available to the surgeon. In most intraocular procedures the surgeon only uses an ophthalmic microscope which allows visualization of tissue just through the patient’s pupil and offers limited depth perception. Optical Coherence Tomography (OCT) provides in-depth images of healthy tissue in a non-invasive manner, is commonly used in ophthalmologic diagnostics, and is increasingly used intraoperatively. In this thesis we will present two intraoperative OCT systems that aim to assist surgeons with two intraocular procedures, vitrectomy and subretinal injection. For these two projects we used the surgical equipment used clinically for several reasons : to make sure to use adequate tools (dimensions, efficiency, safety) for the procedure, to keep tools that surgeons use regularly and with which they are familiar and limit development costs. For the OCT system we used fiber optic OCT probes as they are flexible, cheap and small in diameter. Their focus can also be modified, depending the application, with a GRIN fiber at their tip to increase the OCT signal. We have attached optical fiber OCT probes to these surgical tools. For the subretinal injections project it was first necessary to develop OCT probes with smaller diameters than existing ones. To do this, we have developed a method to reduce the diameter of the probes with hydrofluoric acid and a design to maintain the optical properties of the probes. This work is presented in the first article. The second article presents a system for guiding subretinal injections. Subretinal injection of drugs is a challenging surgical intervention aiming to restore and/or preserve the vision of patients suffering from retinal diseases. Nevertheless, the subretinal injection remains at the edge of human physiological capacity because of hand tremor and can be mitigated by drug reflux if the injection is not deep enough in the retina. We developed a system to guide the injection with a micromanipulator and give precise depth information to the surgeon with intraoperative OCT. To do so we first miniaturized an optical fiber OCT probe with the method presented in article 1, we were able to insert it into a cannula used clinically. The probe coupled to an OCT system that we have developed acquires an A-scan signal which enables to know the distance between the cannula and the retina but also to select the depth of the injection into the retinal layers. The cannula is attached to a micromanipulator that moves it inside the eye. An M-scan image is built with the OCT signal and the surgeon can directly select on the image the depth of the injection. We developed the interface on Labview. After selecting the injection target, the guidance program will move the cannula and inject the appropriate volume using a controllable pump.We have validated our guidance system on pig eyes ex-vivo. Out of 40 injections, 38 presented a retinal detachment, proof of a successful retinal injection, which represents a success rate of 95% (CI : 83.1 – 99.4). Thanks to an image processing algorithm, we also calculated the bleb volume under the retina after the injection, which we compared to the initial injected volume. We have found that 75% of the injected volume ends in the subretinal space. The third article presents for automatically stopping the vitrector during a vitrectomy. The occurrence of iatrogenic retinal breaks in pars plana vitrectomy is a complication that compromises the overall efficacy of the surgery. A subset of iatrogenic retinal break occurs when the retina is cut accidentally by the vitrector. We developed a smart vitrector that can detect in real-time potential accidental retinal cut and activate promptly a vitrectomy machine to prevent them. To do so an OCT probe is attached to the vitrector and will have the role of detecting if the vitrector sucks the retina and will damage these healthy tissues. The OCT probe acts as a presence detector in front of the vitrector opening, by comparing a reference signal with the live signal. This OCT signal comparison will control a robotic arm to operate the vitrector stop pedal. Thus, the surgeon does not need to interpret a signal, the decision to stop the vitrector due to the presence of the retina is taken automatically. This will greatly reduce, from 300 ms to 29 ms, the delay to stop the vitrector previously limited by the reaction time of the surgeon. We have developed the OCT probes, the OCT system, and the automatic shutdown algorithm for this system. We validated our system on in-vivo porcine eyes, two surgeons used the modified vitrector trying to damage retinal tissue. 70% (CI : 56.39 – 82.02) of surgeons’ retinal damage attempts were mitigated or prevented by our system. This project resulted in a patent ("Smart Vitrector", Provisional patent application, US 63109040).

This thesis deals with automatic localization of thin surgical tools such as needles or electrodes in 3D ultrasound images. The precise and reliable localization is important for medical interventions such as needle biopsy or electrode insertion into tissue. The reader is introduced to basics of medical ultrasound (US) imaging. The state of the art localization methods are reviewed in the work. Many methods such as Hough transform (HT) or Parallel Integral Projection (PIP) are based on projections. As the existing PIP implementations are relatively slow, we suggest an acceleration by using a multiresolution approach. We propose to use model fitting approach which uses randomized sample consensus (RANSAC) and local optimization. It is a fast method suitable for real-time use and it is robust with respect to the presence of other high-intensity structures in the background. We propose two new shape and appearance models of tool in 3D US images. Tool localization can be improved by exploiting its tubularity. We propose a tool model which uses line filtering and we incorporated it into the model fitting scheme. The robustness of such localization algorithm is improved at the expense of additional time for pre-processing. The real-time localization using the shape model is demonstrated by implementation on the 3D US scanner Ultrasonix RP. All proposed methods were tested on simulated data, phantom US data (a replacement for a tissue) and real tissue US data of breast with biopsy needle. The proposed methods had comparable accuracy and the lower number of failures than the state of the art projection based methods.

Η παρούσα διπλωματική εργασία πραγματεύεται την ανάπτυξη ενός αποδοτικού συστήματος ελέγχου που θα επιτυγχάνει τον ακριβή έλεγχο της θέσης ενός λαπαροσκοπικού ρομποτικού εργαλείου που χρησιμοποιεί ‘έξυπνα μορφομνήμονα κράματα’ ως τένοντες-επενεργητές. Το γεγονός ότι το εργαλείο που χρησιμοποιείται είναι με πλεονάζοντες βαθμούς ελευθερίας, καθιστά ιδιαίτερα δύσκολο πρόβλημα την επίλυση της αντίστροφης κινηματικής. Στόχος της παρούσας εργασίας είναι, μέσω τεχνικών υπολογιστικής όρασης, να επιλυθεί προσεγγιστικά η αντίστροφη κινηματική ανάλυση της θέσης των αρθρώσεων του ρομποτικού εργαλείου. Ο προτεινόμενος νόμος ελέγχου χρησιμοποιεί την αριθμητική επίλυση των γωνιών των αρθρώσεων από την αντίστροφη κινηματική για την επιτυχή παρακολούθηση της επιθυμητής τροχιάς του ρομποτικού εργαλείου. / This thesis deals with the development of a robust control system responsible for the precise position control of an innovative, SMA-based tendon-driven endoscopic robotic surgical tool. Given the hyper-redundant features of this robotic tool, the solution to the inverse kinematics problem is quite complicated. Henceforth, the main objective of this thesis is the numerical solution of the joints' positions using image processing techniques. The proposed control law utilizes this information for trajectory tracking purposes of the tool's end-effector.

Cette thèse traite de la détection automatique d’outils chirurgicaux de géométrie linéaire tels que des aiguilles ou des électrodes en imagerie ultrasonore 3D. Une localisation précise et fiable est nécessaire pour des interventions telles que des biopsies ou l’insertion d’électrode dans les tissus afin d’enregistrer leur activité électrique (par exemple dans le cortex cérébral). Le lecteur est introduit aux bases de l’imagerie ultrasonore (US) médicale. L’état de l’art des méthodes de localisation est rapporté. Un grand nombre de méthodes sont basées sur la projection comme la transformation de Hough ou la Projection Intégrale Parallèle (PIP). Afin d’améliorer l’implantation des méthodes PIP connues pour être assez lentes, nous décrivons une possible accélération par approche multirésolution. Nous proposons d’utiliser une méthode d’ajustement de modèle utilisant une approche RANSAC et une optimization locale. C’est une méthode rapide permettant un traitement temps réel et qui a l’avantage d’être très robuste en présence d’autres structures fortement échogènes dans le milieu environnant. Nous proposons deux nouveaux modèles d’apparence et de forme de l’outil dans les images US 3D. La localisation de l’outil peut être améliorée en exploitant son aspect tubulaire. Nous proposons un modèle d’outil utilisant un filtrage rehausseur de ligne que nous avons incorporé dans le schéma de recherche de modèle. La robustesse de cet algorithme de localisation est améliorée au prix d’un temps additionnel de pré-traitement. La localisation temps-réel utilisant le modèle de forme est démontrée par une implantation sur l’échographe Ultrasonix RP. Toutes les méthodes proposées on été testée sur des données de simulation US, des données de fantômes (qui sont des tissus synthétiques imitant les tissus biologiques) ainsi que sur des données réelles de biopsie du sein. Les méthodes proposées ont montré leur capacité à produire des résultats similaires en terme de précision mais en limitant d’avantage le nombre d’échecs de détection par rapport aux méthodes de l’état de l’art basées sur les projections. / This thesis deals with automatic localization of thin surgical tools such as needles or electrodes in 3D ultrasound images. The precise and reliable localization is important for medical interventions such as needle biopsy or electrode insertion into tissue. The reader is introduced to basics of medical ultrasound (US) imaging. The state of the art localization methods are reviewed in the work. Many methods such as Hough transform (HT) or Parallel Integral Projection (PIP) are based on projections. As the existing PIP implementations are relatively slow, we suggest an acceleration by using a multiresolution approach. We propose to use model fitting approach which uses randomized sample consensus (RANSAC) and local optimization. It is a fast method suitable for real-time use and it is robust with respect to the presence of other high-intensity structures in the background. We propose two new shape and appearance models of tool in 3D US images. Tool localization can be improved by exploiting its tubularity. We propose a tool model which uses line filtering and we incorporated it into the model fitting scheme. The robustness of such localization algorithm is improved at the expense of additional time for pre-processing. The real-time localization using the shape model is demonstrated by implementation on the 3D US scanner Ultrasonix RP. All proposed methods were tested on simulated data, phantom US data (a replacement for a tissue) and real tissue US data of breast with biopsy needle. The proposed methods had comparable accuracy and the lower number of failures than the state of the art projection based methods.