Spinal injections for back-pain management are frequently carried out in hospitals and radiological clinics. Currently, these procedures are performed under fluoroscopy or CT guidance in specialized interventional radiology facilities, and thus incur a major financial burden on the healthcare system. Additionally, the current practice exposes patients and surgeons to X-ray radiation. The use of US for image guided navigation of the spine would greatly reduce the exposure of both the patient and the physician to ionizing radiation and allow the procedure to be performed outside of a specialized facility. However, US as the sole guidance modality has its own challenges. In particular, due to the significant level of occlusion in spinal US images, it can be difficult to accurately identify the appropriate injection site. Here, a groupwise US to CT registration algorithm for guiding percutaneous spinal interventions is presented. In our registration methodology, each vertebra in CT is treated as a sub-volume and transformed individually. A biomechanical model is used to constrain the displacement of the vertebrae relative to one another. The sub-volumes are then reconstructed into a single volume. In each iteration of registration, an US image is simulated from the reconstructed CT volume and an intensity-based similarity metric with the real US image is calculated. Validation studies are performed on datasets from a lamb cadaver, five patient-based phantoms designed to preserve realistic curvatures of the spine and a sixth patient-based phantom where the curvature of the spine is changed between preoperative and intraoperative imaging. For datasets where the spine curve between two imaging modalities was artificially perturbed, the proposed methodology was able to register initial misalignments of up to 20 mm with a success rate of 95%. For the phantom with a physical change in the curvature of the spine introduced between the US and CT datasets, the registration success rate was 98.5%. Finally, the registration success rate for the lamb cadaver with soft tissue information was 87%. The results demonstrate that our algorithm robustly registers US and CT datasets of the spine, regardless of a change in the patients pose between preoperative and intraoperative image acquisitions. / Thesis (Master, Computing) -- Queen's University, 2009-11-27 13:48:33.288

This report is the result of a master thesis made by two students at Linköping University. The aim was to find an image registration method for visual and infrared images and to find an error measure for grading the registration performance. In practice this could be used for position determination by registering the infrared image taken at the current position to a set of visual images with known positions and determining which visual image matches the best. Two methods were tried, using different image feature extractors and different ways to match the features. The first method used phase information in the images to generate soft features and then minimised the square error of the optical flow equation to estimate the transformation between the visual and infrared image. The second method used the Canny edge detector to extract hard features from the images and Chamfer distance as an error measure. Both methods were evaluated for registration as well as position determination and yielded promising results. However, the performance of both methods was image dependent. The soft edge method proved to be more robust and precise and worked better than the hard edge method for both registration and position determination.

El diagnóstico final de la mayoría de tipos de cáncer lo realiza un médico experto en anatomía patológica que examina muestras tisulares o celulares sospechosas extraídas del paciente. Actualmente, esta evaluación depende en gran medida de la experiencia del médico y se lleva a cabo de forma cualitativa mediante técnicas de imagen tradicionales como la microscopía óptica. Esta tarea tediosa está sujeta a altos grados de subjetividad y da lugar a niveles de discordancia inadecuados entre diferentes patólogos, especialmente en las primeras etapas de desarrollo del cáncer. La espectroscopía infrarroja por Transformada de Fourier (siglas FTIR en inglés) es una tecnología ampliamente utilizada en la industria que recientemente ha demostrado una capacidad creciente para mejorar el diagnóstico de diferentes tipos de cáncer. Esta técnica aprovecha las propiedades del infrarrojo medio para excitar los modos vibratorios de los enlaces químicos que forman las muestras biológicas. La principal señal generada consiste en un espectro de absorción que informa sobre la composición química de la muestra iluminada. Los microespectrómetros FTIR modernos, compuestos por complejos componentes ópticos y detectores matriciales de alta sensibilidad, permiten capturar en un laboratorio de investigación común imágenes hiperespectrales de alta calidad que aúnan información química y espacial. Las imágenes FTIR son estructuras de datos ricas en información que se pueden analizar individualmente o junto con otras modalidades de imagen para realizar diagnósticos patológicos objetivos. Por lo tanto, esta técnica de imagen emergente alberga un alto potencial para mejorar la detección y la graduación del riesgo del paciente en el cribado y vigilancia de cáncer. Esta tesis estudia e implementa diferentes metodologías y algoritmos de los campos interrelacionados de procesamiento de imagen, visión por ordenador, aprendizaje automático, reconocimiento de patrones, análisis multivariante y quimiometría para el procesamiento y análisis de imágenes hiperespectrales FTIR. Estas imágenes se capturaron con un moderno microscopio FTIR de laboratorio a partir de muestras de tejidos y células afectadas por cáncer colorrectal y de piel, las cuales se prepararon siguiendo protocolos alineados con la práctica clínica actual. Los conceptos más relevantes de la espectroscopía FTIR se investigan profundamente, ya que deben ser comprendidos y tenidos en cuenta para llevar a cabo una correcta interpretación y tratamiento de sus señales especiales. En particular, se revisan y analizan diferentes factores fisicoquímicos que influyen en las mediciones espectroscópicas en el caso particular de muestras biológicas y pueden afectar críticamente su análisis posterior. Todos estos conceptos y estudios preliminares entran en juego en dos aplicaciones principales. La primera aplicación aborda el problema del registro o alineación de imágenes hiperespectrales FTIR con imágenes en color adquiridas con microscopios tradicionales. El objetivo es fusionar la información espacial de distintas muestras de tejido medidas con esas dos modalidades de imagen y centrar la discriminación en las regiones seleccionadas por los patólogos, las cuales se consideran más relevantes para el diagnóstico de cáncer colorrectal. En la segunda aplicación, la espectroscopía FTIR se lleva a sus límites de detección para el estudio de las entidades biomédicas más pequeñas. El objetivo es evaluar las capacidades de las señales FTIR para discriminar de manera fiable diferentes tipos de células de piel que contienen fenotipos malignos. Los estudios desarrollados contribuyen a la mejora de métodos de decisión objetivos que ayuden al patólogo en el diagnóstico final del cáncer. Además, revelan las limitaciones de los protocolos actuales y los problemas intrínsecos de la tecnología FTIR moderna, que deberían abordarse para permit / The final diagnosis of most types of cancers is performed by an expert clinician in anatomical pathology who examines suspicious tissue or cell samples extracted from the patient. Currently, this assessment largely relies on the experience of the clinician and is accomplished in a qualitative manner by means of traditional imaging techniques, such as optical microscopy. This tedious task is subject to high degrees of subjectivity and gives rise to suboptimal levels of discordance between different pathologists, especially in early stages of cancer development. Fourier Transform infrared (FTIR) spectroscopy is a technology widely used in industry that has recently shown an increasing capability to improve the diagnosis of different types of cancer. This technique takes advantage of the ability of mid-infrared light to excite the vibrational modes of the chemical bonds that form the biological samples. The main generated signal consists of an absorption spectrum that informs of the chemical composition of the illuminated specimen. Modern FTIR microspectrometers, composed of complex optical components and high-sensitive array detectors, allow the acquisition of high-quality hyperspectral images with spatially-resolved chemical information in a common research laboratory. FTIR images are information-rich data structures that can be analysed alone or together with other imaging modalities to provide objective pathological diagnoses. Hence, this emerging imaging technique presents a high potential to improve the detection and risk stratification in cancer screening and surveillance. This thesis studies and implements different methodologies and algorithms from the related fields of image processing, computer vision, machine learning, pattern recognition, multivariate analysis and chemometrics for the processing and analysis of FTIR hyperspectral images. Those images were acquired with a modern benchtop FTIR microspectrometer from tissue and cell samples affected by colorectal and skin cancer, which were prepared by following protocols close to the current clinical practise. The most relevant concepts of FTIR spectroscopy are thoroughly investigated, which ought to be understood and considered to perform a correct interpretation and treatment of its special signals. In particular, different physicochemical factors are reviewed and analysed, which influence the spectroscopic measurements for the particular case of biological samples and can critically affect their later analysis. All these knowledge and preliminary studies come into play in two main applications. The first application tackles the problem of registration or alignment of FTIR hyperspectral images with colour images acquired with traditional microscopes. The aim is to fuse the spatial information of distinct tissue samples measured by those two imaging modalities and focus the discrimination on regions selected by the pathologists, which are meant to be the most relevant areas for the diagnosis of colorectal cancer. In the second application, FTIR spectroscopy is pushed to their limits of detection for the study of the smallest biomedical entities. The aim is to assess the capabilities of FTIR signals to reliably discriminate different types of skin cells containing malignant phenotypes. The developed studies contribute to the improvement of objective decision methods to support the pathologist in the final diagnosis of cancer. In addition, they reveal the limitations of current protocols and intrinsic problems of modern FTIR technology, which should be tackled in order to enable its transference to anatomical pathology laboratories in the future. / El diagnòstic final de la majoria de tipus de càncer ho realitza un metge expert en anatomia patològica que examina mostres tissulars o cel¿lulars sospitoses extretes del pacient. Actualment, aquesta avaluació depèn en gran part de l'experiència del metge i es porta a terme de forma qualitativa mitjançant tècniques d'imatge tradicionals com la microscòpia òptica. Aquesta tasca tediosa està subjecta a alts graus de subjectivitat i dóna lloc a nivells de discordança inadequats entre diferents patòlegs, especialment en les primeres etapes de desenvolupament del càncer. L'espectroscòpia infraroja per Transformada de Fourier (sigles FTIR en anglès) és una tecnologia àmpliament utilitzada en la indústria que recentment ha demostrat una capacitat creixent per millorar el diagnòstic de diferents tipus de càncer. Aquesta tècnica aprofita les propietats de l'infraroig mitjà per excitar els modes vibratoris dels enllaços químics que formen les mostres biològiques. El principal senyal generat consisteix en un espectre d'absorció que informa sobre la composició química de la mostra il¿luminada. Els microespectrómetres FTIR moderns, compostos per complexos components òptics i detectors matricials d'alta sensibilitat, permeten capturar en un laboratori d'investigació comú imatges hiperespectrals d'alta qualitat que uneixen informació química i espacial. Les imatges FTIR són estructures de dades riques en informació que es poden analitzar individualment o juntament amb altres modalitats d'imatge per a realitzar diagnòstics patològics objectius. Per tant, aquesta tècnica d'imatge emergent té un alt potencial per a millorar la detecció i la graduació del risc del pacient en el cribratge i vigilància de càncer. Aquesta tesi estudia i implementa diferents metodologies i algoritmes dels camps interrelacionats de processament d'imatge, visió per ordinador, aprenentatge automàtic, reconeixement de patrons, anàlisi multivariant i quimiometria per al processament i anàlisi d'imatges hiperespectrals FTIR. Aquestes imatges es van capturar amb un modern microscopi FTIR de laboratori a partir de mostres de teixits i cèl¿lules afectades per càncer colorectal i de pell, les quals es van preparar seguint protocols alineats amb la pràctica clínica actual. Els conceptes més rellevants de l'espectroscòpia FTIR s'investiguen profundament, ja que han de ser compresos i tinguts en compte per dur a terme una correcta interpretació i tractament dels seus senyals especials. En particular, es revisen i analitzen diferents factors fisicoquímics que influeixen en els mesuraments espectroscòpiques en el cas particular de mostres biològiques i poden afectar críticament la seua anàlisi posterior. Tots aquests conceptes i estudis preliminars entren en joc en dues aplicacions principals. La primera aplicació aborda el problema del registre o alineació d'imatges hiperespectrals FTIR amb imatges en color adquirides amb microscopis tradicionals. L'objectiu és fusionar la informació espacial de diferents mostres de teixit mesurades amb aquestes dues modalitats d'imatge i centrar la discriminació en les regions seleccionades pels patòlegs, les quals es consideren més rellevants per al diagnòstic de càncer colorectal. En la segona aplicació, l'espectroscòpia FTIR es porta als seus límits de detecció per a l'estudi de les entitats biomèdiques més xicotetes. L'objectiu és avaluar les capacitats dels senyals FTIR per discriminar de manera fiable diferents tipus de cèl¿lules de pell que contenen fenotips malignes. Els estudis desenvolupats contribueixen a la millora de mètodes de decisió objectius que ajuden el patòleg en el diagnòstic final del càncer. A més, revelen les limitacions dels protocols actuals i els problemes intrínsecs de la tecnologia FTIR moderna, que haurien d'abordar per permetre la seva transferència als laboratoris d'anatomia patològica en el futur. / Peñaranda Gómez, FJ. (2018). Application of artificial vision algorithms to images of microscopy and spectroscopy for the improvement of cancer diagnosis [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/99748

La vision de nuit des pilotes d’hélicoptère est artificiellement assistée par un dispositif de vision bas niveau de lumière constitué d’un intensificateur de lumière (IL) couplé à une caméra numérique d’une part, et d’une caméra infrarouge (IR) d’autre part. L’objectif de cette thèse est d’améliorer ce dispositif en ciblant les défauts afin de les corriger.Une première partie consiste à réduire le bruit dont souffrent les images IL. Cela nécessite d’évaluer la nature du bruit qui corrompt ces images. Pour cela, une méthode d’estimation automatique du bruit est mise en place. L’estimation repose sur la détection non paramétrique de zones homogènes de l’image. Les statistiques du bruit peuvent être alors être estimées à partir de ces régions homogènes à l’aide d’une méthode d’estimation robuste de la fonction de niveau de bruit par minimisation l1.Grâce à l’estimation du bruit, les images IL peuvent alors débruitées. Nous avons pour cela développé dans la seconde partie un algorithme de débruitage d’images qui associe les moyennes non locales aux méthodes variationnelles en effectuant une régularisation adaptative pondérée parune attache aux données non locale. Une adaptation au débruitage de séquences d’images permet ensuite de tenir compte de la redondance d’information apportée par le flux vidéo, en garantissant stabilité temporelle et préservation des structures fines.Enfin, dans la troisième partie les informations issues des capteurs optique et infrarouge sont recalées dans un même référentiel. Nous proposons pour cela un critère de recalage multimodal basé sur l’alignement des contours des images. Combiné à une résolution par montée de gradient et à un schéma temporel, l’approche proposée permet de recaler de façon robuste les deuxmodalités, en vue d’une ultérieure fusion. / Night vision for helicopter pilots is artificially enhanced by a night vision system. It consists in a light intensifier (LI) coupled with a numerical camera, and an infrared camera. The goal of this thesis is to improve this device by analyzing the defaults in order to correct them.The first part consists in reducing the noise level on the LI images. This requires to evaluate the nature of the noise corrupting these images, so an automatic noise estimation method has been developed. The estimation is based on a non parametric detection of homogeneous areas.Then the noise statistics are estimated using these homogeneous regions by performing a robust l`1 estimation of the noise level function.The LI images can then be denoised using the noise estimation. We have developed in the second part a denoising algorithm that combines the non local means with variational methods by applying an adaptive regularization weighted by a non local data fidelity term. Then this algorithm is adapted to video denoising using the redundancy provided by the sequences, hence guaranteeing temporel stability and preservation of the fine structures.Finally, in the third part data from the optical and infrared sensors are registered. We propose an edge based multimodal registration metric. Combined with a gradient ascent resolution and a temporel scheme, the proposed method allows robust registration of the two modalities for later fusion.

Les travaux présentés dans cette thèse s'inscrivent dans le contexte du traitement des images cardiaques et l'étude de la fonction contractile du coeur, pour une meilleure compréhension de physiopathologie cardiaque et l'aide au diagnostic. Nous avons implémenté une méthode de segmentation des parois endocardiques sur des ciné-IRM non marquées. Nous avons utilisé une approche fondée sur les ensembles de niveaux, avec une formulation basée-région qui donne des résultats satisfaisants sur des cas sains et pathologiques. Nous avons proposé une méthode pratique pour la quantification des déformations segmentaires afin decaractériser la contractilité myocardique. La méthode a fait l'objet d'une validation clinique par l'expertise de médecins et par comparaison à la méthode HARP sur des IRM marquées. Pour améliorer la précision des mesures, nous avons proposé un algorithme de recalage iconique multimodal IRM/TDM, utilisant la maximisation de l'information culturelle. Nous l'avons appliqué à la localisation de coupes petit-axe dans des volumes TDM avec des résultats encourageants. Ce travail a pour perspective son application à l'obtention de séquences TDM de hautes résolutions spatiale et temporelle / The work presented in this thesis is related to the cardiac images processing and the cardiac contractile function study, for a better comprehension of cardiac physiopathology and diagnosis. We implemented a method for the segmentation of the endocardial walls on standard MRI without tags. We used an approach based on the level set method, with a region-based formulation which gives satisfactory results on healthy and pathological cases. We proposed a practical method for the quantification of the segmental deformations in order to characterize the myocardial contractility. The method was clinically validated by the assesment of doctors and by comparison with the HARP method on tagget MRI. To improve the measurements precision, we proposed an iconic MRI/CT multimodal registration algorithm, using the maximization of the mutual information. We applied it to the localization of short-axis slices in CT volumes with good results. This work has as prospect its application to obtain high spatial and temporal resolutions CT sequences

Tato práce se zabývá multimodální registrací snímků sítnice z různých skenovacích zařízení. Multimodální registrace umožňuje zvýraznit prvky na snímcích sítnice, které jsou důležité pro detekci různých typů onemocnění oka (jako je glaukom, degradace nervových vláken, degradace cév, atd.). Teoretická část tvoří zhruba první půlku práce a je následována praktickou částí, která popisuje postupy při různých typech registrací snímků z fundus kamery, SLO a OCT. Registrace fundus a SLO snímků je provedena pomocí prostorové transformace. Tato práce popisuje tři různé metody registrace SLO snímků se snímky z fundus kamery. První a zároveň nejjednodušší je manuální registrace. Druhou je automatická registrace založená na metodě korelace. Výsledky, včetně porovnání obou metod, jsou uvedeny v závěru. Třetím typem je poloautomatická registrace, která využívá výhod obou předchozích metod a tím pádem je kompromisem mezi rychlostí a přesností registrace. Registrace fundus snímků a B-scanů z OCT je realizována dvěma různými metodami. První je opět založená na korelaci a druhá na prostorové transformaci. Všechny tyto registrační metody jsou realizovány také prakticky v programovém prostředí Matlab.

The diploma thesis deals with registration and analysis of images from the experimental low-cost fundus camera that reaches a low SNR (around 10 dB) and low temporal and spatial resolution. The aim of the diploma tesis is to explore the possibilities of digital processing leading to the creation of a videosequence that has real benefits for medical diagnostics. The well-known program elastix is used for registration. Preprocessing filters and interpolation are implemented in Matlab. The program provides a wide range of setting options, out of which many combinations were tested and evaluated. To assess the accuracy achieved, spatial variations in the detected motion of blood-vessels are evaluated. Best results with a precision below 0.3 px were achieved by using a band-pass filter, a~suitably sized mask, rigid registration and a metric of the mutual information. Test sequences were registered precisely enough both for visual assessment and basic computational analysis. Registered sequences and the developed application that both can be used in the further development of the experimental camera are the main contributions of the diploma thesis.