Abstract Biology and medicine rely heavily on images to understand how the body functions, for diagnosing diseases and to test the effects of treatments. In recent decades, microscopy has experienced rapid improvements, enabling imaging of fixed and living cells at higher resolutions and frame rates, and deeper inside the biological samples. This has led to rapid growth in the image data. Automated methods are needed to quantitatively analyze these huge datasets and find statistically valid patterns. Cell segmentation and tracking is critical for automated analysis, yet it is a challenging problem due to large variations in cell shapes and appearances caused by various factors, including cell type, sample preparation and imaging setup. This thesis proposes novel methods for segmentation and tracking of cells, which rely on machine learning based approaches to improve the performance, generalization and reusability of automated methods. Cell proposals are used to efficiently exploit spatial and temporal context for resolving detection ambiguities in high-cell-density regions, caused by weak boundaries and deformable shapes of cells. This thesis presents two cell proposal methods: the first method uses multiple blob-like filter banks for detecting candidates for round cells, while the second method, Cell Proposal Network (CPN), uses convolutional neural networks to learn the cell shapes and appearances, and can propose candidates for cells in a wide variety of microscopy images. CPN first regresses cell candidate bounding boxes and their scores, then, it segments the regions inside the top ranked boxes to obtain cell candidate masks. CPN can be used as a general cell detector, as is demonstrated by training a single model to segment images from histology, fluorescence and phase-contrast microscopy. This work poses segmentation and tracking as proposal selection problems, which are solved optimally using integer linear programming or approximately using iterative shortest cost path search and non-maximum suppression. Additionally, this thesis presents a method which utilizes graph-cuts and an off-the-shelf edge detector to accurately segment highly deformable cells. The main contribution of this thesis is a cell tracking method which uses CPN to propose cell candidates, represents alternative tracking hypotheses using a graphical model, and selects the globally optimal sub-graph providing cell tracks. It achieves state-of-the-art tracking performance on multiple public benchmark datasets from both phase-contrast and fluorescence microscopy containing cells of various shapes and appearances. / Tiivistelmä Biologia ja lääketiede nojaavat vahvasti kuvatietoon solujen ja kehon toimintojen ymmärtämiseksi sairauksien diagnostiikassa ja hoitojen vaikutusten seuraamisessa. Viime vuosikymmeninä mikroskopiassa on tapahtunut nopeaa teknistä kehitystä, mikä on mahdollistanut elävien solujen kuvantamisen tarkemmin, nopeammin sekä syvemmältä automatisoidusti useasta näytteestä. Tämä taas on johtanut kuvadatan nopeaan kasvuun ja suurempaan määrään biologisia kysymyksiä, joihin voidaan vastata. Kuvadatan räjähdysmäisen kasvun vuoksi kaikkia tuloksia ei voida enää tulkita pelkästään ihmistyövoimaa käyttämällä, mikä on johtanut tarpeeseen kehittää automaattisia menetelmiä analysoimaan kvantitatiivisesti suuria datajoukkoja ja löytämään tilastollisesti kelvollisia malleja. Solujen erottaminen niiden ympäristöstä ja toisista soluista (segmentointi) ja solujen seuranta ovat kriittisiä alkuvaiheen osia onnistuneessa automaattisessa analyysissä. Automaattisten menetelmien kehittämisessä solusegmentointi on kuitenkin osoittautunut hyvin haastavaksi ongelmaksi solujen muodon ja ulkonäön suurten muutosten vuoksi solutyypistä, näytteen valmistelusta ja kuvantamisjärjestelmästä johtuen. Tämä väitöskirja esittää uusia menetelmiä solujen segmentointiin ja seurantaan keskittyen koneoppimiseen perustuviin lähestymistapoihin, jotka parantavat automaattisten menetelmien suorituskykyä ja uudelleenkäytettävyyttä. Spatiaalista ja ajallista kontekstia tehokkaasti hyödyntäviä soluehdotelmia käytetään ratkaisemaan solujen heikosti erottuvista reunoista ja joustavista muodoista johtuvaa solujen muodon monitulkintaisuutta erityisesti silloin kun tutkittava solutiheys on suuri. Tämä väitöskirja esittää kaksi menetelmää soluehdotelmille; ensimmäinen menetelmä käyttää useita läikkätyyppisiä suodatinpankkeja ilmaisemaan kandidaatteja pyöreänmuotoisille soluille, kun taas toinen menetelmä nimeltään soluehdotelmaverkko (Cell Proposal Network, CPN) käyttää konvoluutionaalisia neuroverkkoja oppiakseen tunnistamaan solut niiden muodon sekä ulkonäön perusteella erityyppisissä mikroskooppikuvissa. CPN regressoi ensin solukandidaatteja ympäröivät suorakaiteet ja niiden pistemäärän, jonka jälkeen se segmentoi alueet parhaiten sijoittuneiden suorakaiteiden joukosta tuottaen solukandidaattimaskit. CPN:ää voidaan mahdollisesti käyttää yleisenä soluilmaisimena erityyppisilla kuvantamistekniikoilla tuotetuissa kuvissa mukaan lukien histologisen valo-, fluoresenssi- ja vaihekontrastimikroskooppian. Väitöskirja esittää solujen segmentoinnin ja seurannan soluehdotelmien valintaongelmina, mitkä ratkaistaan joko optimaalisesti käyttämällä kokonaislukuoptimointia tai likimääräisesti käyttämällä iteratiivista lyhimmän kustannuspolun hakua sekä ei-maksimien vaimennusta. Tämä väitöskirja esittää myös verkon leikkaukseen (graph cut) perustuvan menetelmän, mikä hyödyntää valmiiksi saatavilla olevaa reunanilmaisinta segmentoimaan tarkasti muotoaan voimakkaasti muuttavia soluja. Väitöskirjatutkimuksen keskeinen tulos on uusi solujen seurantamenetelmä, mikä käyttää CPN:ää solukandidaattien ehdottamiseen, esittää vaihtoehtoiset seurantahypoteesit verkkomallia hyödyntämällä, ja valitsee globaalisti optimaalisen aliverkon solujen kulkemille reitille. Verrattuna useisiin muihin julkisesti saatavilla oleviin kuva-analyysiohjelmistoihin tässä väitöskirjassa kehitetyt menetelmät olivat suorituskyvyltään parhaita vaihekontrasti- ja fluoresenssimikroskopialla tuotettujen kuva-aineistojen analyyseissa, joissa solujen ulkomuoto oli hyvin vaihteleva.

Följande studie behandlar utvecklandet av automatiserade cellsegmenteringsmodeller med avsikt att identifiera gränser mellan celler i hjärtvävnad. Syftet är att möjliggöra analys av data genererad från multiplexed error-robust in situ hybridization (MERFISH). MERFISH är en spatial transcriptomics-teknik som till skillnad från exempelvis single-cell RNA sequencing (ScRNA-seq) och single molecule fluorescence in situ hybridization (smFISH), möjliggör profilering av hundratals RNA-sekvenser hos enskilda celler utan att förlora dess rumsliga kontext. I Kosuri laboratoriet på Salk Institute of Biological Studies i San Diego tillämpas MERFISH på mushjärtan. Syftet är att få en djupare insikt i hur celler är organiserade i friska hjärtan, och hur denna struktur ändras i och med åldring och sjukdom. Att extrahera meningsfull information från MERFISH medför dock en betydande utmaning - en exakt cellsegmentering. Studien bidrar följaktligen till utvecklandet av segmenteringsmodeller för att kringgå de utmaningar som står i vägen för all efterföljande analys. Då klassiska segmenteringsalgoritmer är otillräckliga för att segmentera den komplexa vävnad som hjärtat utgörs av, tillämpades några av dagens mest avancerade och framstående maskininlärningsalgoritmer inom fältet, kallade Cellpose och Omnipose. Givet den täta och heterogena hjärtvävnaden, som härstammar från en bred distribution av celltyper och geometrier, utvecklades två separata modeller; en för att täcka både mindre celler och kardiomyocyter skurna på tvärsnittet; och en för att enbart segmentera kardiomyocyter skurna i longitudinell riktning. Den förstnämnda modellen utvecklades och tränades i Cellpose, och uppnådde en träffsäkerhet på 91.2%. Modellen för longitudinella kardiomyocyter utvecklades istället både i Cellpose och Omnipose för att utvärdera vilket nätverk som är bäst lämpat för ändamålet. Ingen av nätverken lyckades uppnå en tillräckligt hög träffsäkerhet för att vara applicerbar, och är därmed i behov av fortsatt träning. Modellen genererad i Omnipose bedöms dock vara mest lovande, givet dess mer heltäckande segmentering. Ytterligare utvecklingsområden för framtiden innefattar segmentering av celler i fibros-täta regioner, samt att utveckla en 3D-segmentering av hela hjärtat för att uppnå en mer komplett MERFISH-analys. Sammanfattningsvis har de genererade segmenteringsmodellerna banat väg för möjliggörandet av en rigorös MERFISH-analys av hjärtat. Genom att avslöja några av de strukturella och funktionella orsakerna till hjärtsvikt på en cellulär nivå, kan vi således på sikt bidra till utvecklingen av mer effektiva terapeutiska strategier. / The following study delves into the development of automated cell segmentation models, with the intention of identifying boundaries between cells in the cardiac tissue for analysing spatial transcriptomics data. Addressing the limitations of alternative techniques like single-cell RNA sequencing (ScRNA-seq) and single molecule fluorescence in situ hybridization (smFISH), the study underscores the innovative use of multiplexed error-robust fluorescence in situ hybridization (MERFISH) deployed by the Kosuri Lab at Salk Institute for Biological Studies. This advanced imaging-based technique allows for a single-cell transcriptome profiling of hundreds of different transcripts while retaining the spatial context of the tissue. The technique can accordingly reveal how the organization of cells within a healthy heart is altered during disease. However, the extraction of meaningful data from MERFISH poses a significant challenge - accurate cell segmentation. This thesis therefore presents the development of a robust model for cell boundary identification within cardiac tissue, leveraging some of the advanced supervised machine learning algorithms in the field, named Cellpose and Omnipose. Due to the dense and highly heterogeneous tissue- stemming from a wide distribution of cell types and shapes- two separate models had to be developed; one that covers the smaller cells and the cross-sectioned cardiomyocytes, and correspondingly one to cover the longitudinal cardiomyocytes. The cross-section model was successfully developed to achieve an accuracy of 91.2%, whereas the longitudinal model still needs further improvements before being implemented. The thesis acknowledges potential areas for improvement, emphasizing the need to further improve the segmentation of longitudinal cardiomyocytes, tackle the challenges with segmenting cells within fibrotic regions of the diseased heart, as well as achieving a precise 3D cell segmentation. Nonetheless, the generated models have paved the way towards enabling efficient downstream MERFISH analysis to ultimately understand the structural and functional dynamics of heart failure at a cellular level, aiding the development of more effective therapeutic strategies.

Diabetic Peripheral Neuropathy (DPN) is one of the most common types of diabetes that can affect the cornea. An accurate analysis of the corneal epithelium nerve structures and the corneal endothelial cell can assist early diagnosis of this disease and other corneal diseases, which can lead to visual impairment and then to blindness. In this thesis, fully-automated segmentation and quantification algorithms for processing and analysing sub-basal epithelium nerves and endothelial cells are proposed for early diagnosis of diabetic neuropathy in Corneal Confocal Microscopy (CCM) images. Firstly, a fully automatic nerve segmentation system for corneal confocal microscope images is proposed. The performance of the proposed system is evaluated against manually traced images with an execution time of the prototype is 13 seconds. Secondly, an automatic corneal nerve registration system is proposed. The main aim of this system is to produce a new informative corneal image that contains structural and functional information. Thirdly, an automated real-time system, termed the Corneal Endothelium Analysis System (CEAS) is developed and applied for the segmentation of endothelial cells in images of human cornea obtained by In Vivo CCM. The performance of the proposed CEAS system was tested against manually traced images with an execution time of only 6 seconds per image. Finally, the results obtained from all the proposed approaches have been evaluated and validated by an expert advisory board from two institutes, they are the Division of Medicine, Weill Cornell Medicine-Qatar, Doha, Qatar and the Manchester Royal Eye Hospital, Centre for Endocrinology and Diabetes, UK.

<p dir="ltr">Advancements in machine learning, especially deep learning, have facilitated the creation of models capable of performing tasks previously thought impossible. This progress has opened new possibilities across diverse fields such as medical imaging and remote sensing. However, the performance of these models relies heavily on the availability of extensive labeled datasets.<br>Collecting large amounts of labeled data poses a significant financial burden, particularly in specialized fields like medical imaging and remote sensing, where annotation requires expert knowledge. To address this challenge, various methods have been developed to mitigate the necessity for labeled data or leverage information contained in unlabeled data. These encompass include self-supervised learning, few-shot learning, and semi-supervised learning. This dissertation centers on the application of semi-supervised learning in segmentation tasks.<br><br>We focus on panoptic segmentation, a task that combines semantic segmentation (assigning a class to each pixel) and instance segmentation (grouping pixels into different object instances). We choose two segmentation tasks in different domains: nerve segmentation in microscopic imaging and hyperspectral segmentation in satellite images from Mars.<br>Our study reveals that, while direct application of methods developed for natural images may yield low performance, targeted modifications or the development of robust models can provide satisfactory results, thereby unlocking new applications like machine-assisted annotation of new data.<br><br>This dissertation begins with a challenging panoptic segmentation problem in microscopic imaging, systematically exploring model architectures to improve generalization. Subsequently, it investigates how semi-supervised learning may mitigate the need for annotated data. It then moves to hyperspectral imaging, introducing a Hierarchical Bayesian model (HBM) to robustly classify single pixels. Key contributions of include developing a state-of-the-art U-Net model for nerve segmentation, improving the model's ability to segment different cellular structures, evaluating semi-supervised learning methods in the same setting, and proposing HBM for hyperspectral segmentation. <br>The dissertation also provides a dataset of labeled CRISM pixels and mineral detections, and a software toolbox implementing the full HBM pipeline, to facilitate the development of new models.</p>

No description available.