Prostate cancer is one of the most common types of cancer occurring in men. Several types of research have been done using deep learning methods for the classification/prediction of cancer grades. In this thesis, the results of prostate cancer risk prediction, based only on the images of cells from the prostate tissues, have been analyzed. Cell images from the prostate tissues were extracted using a deep learning based segmentation model. These cell images were then used in a Multiple Instance Learning model for cancer risk prediction. An attention mechanism was used to visualize the regions in the tissue to which the model paid more attention. The results suggest that the Multiple Instance Learning (MIL) model achieves an Area Under the receiver Operating Characteristics (AUROC) of 0.641 ± 0.013, which is better than a random model for low-risk vs. high-risk cancer prediction. The model’s prediction was made on cell images, with the glandular information destroyed. The MIL model, however, performs worse than a model which gets to see the glandular architecture of the cells in the prostate tissues. / Prostatacancer är en av de vanligaste typerna av cancer som förekommer ho smän. Flera typer av forskning har gjorts med metoder för djupinlärning förklassificering/förutsägelse av cancerns malignitetsgrad. I detta examensarbete harresultaten av prostatacancerriskprediktion, baserad enbart på bilder av celler från prostatavävnaderna, analyserats. Cellbilder från prostatavävnaderna extraherades med hjälp av en djupinlärningsbaserad segmenteringsmodell. Dessa cellbilder användes sedan i en Multiple Instance Learning-modell för förutsägelse av cancerrisk. En uppmärksamhetsmekanism användes för att visualisera de regioner i vävnaden som modellen ägnade mer uppmärksamhet åt. Resultaten tyder på att Multiple Instance Learning-modellen uppnår en AUROC på 0.641 ± 0.013, vilket är bättre än en slumpmässig modell för förutsägelse av lågrisk kontra högrisk cancer. Modellens förutsägelse gjordes på cellbilder, med körtelinformationen förstörd. MIL-modellen presterar dock sämre än en modell som får se körtelarkitekturen hos cellerna i prostatavävnaderna.

Följande studie behandlar utvecklandet av automatiserade cellsegmenteringsmodeller med avsikt att identifiera gränser mellan celler i hjärtvävnad. Syftet är att möjliggöra analys av data genererad från multiplexed error-robust in situ hybridization (MERFISH). MERFISH är en spatial transcriptomics-teknik som till skillnad från exempelvis single-cell RNA sequencing (ScRNA-seq) och single molecule fluorescence in situ hybridization (smFISH), möjliggör profilering av hundratals RNA-sekvenser hos enskilda celler utan att förlora dess rumsliga kontext. I Kosuri laboratoriet på Salk Institute of Biological Studies i San Diego tillämpas MERFISH på mushjärtan. Syftet är att få en djupare insikt i hur celler är organiserade i friska hjärtan, och hur denna struktur ändras i och med åldring och sjukdom. Att extrahera meningsfull information från MERFISH medför dock en betydande utmaning - en exakt cellsegmentering. Studien bidrar följaktligen till utvecklandet av segmenteringsmodeller för att kringgå de utmaningar som står i vägen för all efterföljande analys. Då klassiska segmenteringsalgoritmer är otillräckliga för att segmentera den komplexa vävnad som hjärtat utgörs av, tillämpades några av dagens mest avancerade och framstående maskininlärningsalgoritmer inom fältet, kallade Cellpose och Omnipose. Givet den täta och heterogena hjärtvävnaden, som härstammar från en bred distribution av celltyper och geometrier, utvecklades två separata modeller; en för att täcka både mindre celler och kardiomyocyter skurna på tvärsnittet; och en för att enbart segmentera kardiomyocyter skurna i longitudinell riktning. Den förstnämnda modellen utvecklades och tränades i Cellpose, och uppnådde en träffsäkerhet på 91.2%. Modellen för longitudinella kardiomyocyter utvecklades istället både i Cellpose och Omnipose för att utvärdera vilket nätverk som är bäst lämpat för ändamålet. Ingen av nätverken lyckades uppnå en tillräckligt hög träffsäkerhet för att vara applicerbar, och är därmed i behov av fortsatt träning. Modellen genererad i Omnipose bedöms dock vara mest lovande, givet dess mer heltäckande segmentering. Ytterligare utvecklingsområden för framtiden innefattar segmentering av celler i fibros-täta regioner, samt att utveckla en 3D-segmentering av hela hjärtat för att uppnå en mer komplett MERFISH-analys. Sammanfattningsvis har de genererade segmenteringsmodellerna banat väg för möjliggörandet av en rigorös MERFISH-analys av hjärtat. Genom att avslöja några av de strukturella och funktionella orsakerna till hjärtsvikt på en cellulär nivå, kan vi således på sikt bidra till utvecklingen av mer effektiva terapeutiska strategier. / The following study delves into the development of automated cell segmentation models, with the intention of identifying boundaries between cells in the cardiac tissue for analysing spatial transcriptomics data. Addressing the limitations of alternative techniques like single-cell RNA sequencing (ScRNA-seq) and single molecule fluorescence in situ hybridization (smFISH), the study underscores the innovative use of multiplexed error-robust fluorescence in situ hybridization (MERFISH) deployed by the Kosuri Lab at Salk Institute for Biological Studies. This advanced imaging-based technique allows for a single-cell transcriptome profiling of hundreds of different transcripts while retaining the spatial context of the tissue. The technique can accordingly reveal how the organization of cells within a healthy heart is altered during disease. However, the extraction of meaningful data from MERFISH poses a significant challenge - accurate cell segmentation. This thesis therefore presents the development of a robust model for cell boundary identification within cardiac tissue, leveraging some of the advanced supervised machine learning algorithms in the field, named Cellpose and Omnipose. Due to the dense and highly heterogeneous tissue- stemming from a wide distribution of cell types and shapes- two separate models had to be developed; one that covers the smaller cells and the cross-sectioned cardiomyocytes, and correspondingly one to cover the longitudinal cardiomyocytes. The cross-section model was successfully developed to achieve an accuracy of 91.2%, whereas the longitudinal model still needs further improvements before being implemented. The thesis acknowledges potential areas for improvement, emphasizing the need to further improve the segmentation of longitudinal cardiomyocytes, tackle the challenges with segmenting cells within fibrotic regions of the diseased heart, as well as achieving a precise 3D cell segmentation. Nonetheless, the generated models have paved the way towards enabling efficient downstream MERFISH analysis to ultimately understand the structural and functional dynamics of heart failure at a cellular level, aiding the development of more effective therapeutic strategies.