Abstract Biology and medicine rely heavily on images to understand how the body functions, for diagnosing diseases and to test the effects of treatments. In recent decades, microscopy has experienced rapid improvements, enabling imaging of fixed and living cells at higher resolutions and frame rates, and deeper inside the biological samples. This has led to rapid growth in the image data. Automated methods are needed to quantitatively analyze these huge datasets and find statistically valid patterns. Cell segmentation and tracking is critical for automated analysis, yet it is a challenging problem due to large variations in cell shapes and appearances caused by various factors, including cell type, sample preparation and imaging setup. This thesis proposes novel methods for segmentation and tracking of cells, which rely on machine learning based approaches to improve the performance, generalization and reusability of automated methods. Cell proposals are used to efficiently exploit spatial and temporal context for resolving detection ambiguities in high-cell-density regions, caused by weak boundaries and deformable shapes of cells. This thesis presents two cell proposal methods: the first method uses multiple blob-like filter banks for detecting candidates for round cells, while the second method, Cell Proposal Network (CPN), uses convolutional neural networks to learn the cell shapes and appearances, and can propose candidates for cells in a wide variety of microscopy images. CPN first regresses cell candidate bounding boxes and their scores, then, it segments the regions inside the top ranked boxes to obtain cell candidate masks. CPN can be used as a general cell detector, as is demonstrated by training a single model to segment images from histology, fluorescence and phase-contrast microscopy. This work poses segmentation and tracking as proposal selection problems, which are solved optimally using integer linear programming or approximately using iterative shortest cost path search and non-maximum suppression. Additionally, this thesis presents a method which utilizes graph-cuts and an off-the-shelf edge detector to accurately segment highly deformable cells. The main contribution of this thesis is a cell tracking method which uses CPN to propose cell candidates, represents alternative tracking hypotheses using a graphical model, and selects the globally optimal sub-graph providing cell tracks. It achieves state-of-the-art tracking performance on multiple public benchmark datasets from both phase-contrast and fluorescence microscopy containing cells of various shapes and appearances. / Tiivistelmä Biologia ja lääketiede nojaavat vahvasti kuvatietoon solujen ja kehon toimintojen ymmärtämiseksi sairauksien diagnostiikassa ja hoitojen vaikutusten seuraamisessa. Viime vuosikymmeninä mikroskopiassa on tapahtunut nopeaa teknistä kehitystä, mikä on mahdollistanut elävien solujen kuvantamisen tarkemmin, nopeammin sekä syvemmältä automatisoidusti useasta näytteestä. Tämä taas on johtanut kuvadatan nopeaan kasvuun ja suurempaan määrään biologisia kysymyksiä, joihin voidaan vastata. Kuvadatan räjähdysmäisen kasvun vuoksi kaikkia tuloksia ei voida enää tulkita pelkästään ihmistyövoimaa käyttämällä, mikä on johtanut tarpeeseen kehittää automaattisia menetelmiä analysoimaan kvantitatiivisesti suuria datajoukkoja ja löytämään tilastollisesti kelvollisia malleja. Solujen erottaminen niiden ympäristöstä ja toisista soluista (segmentointi) ja solujen seuranta ovat kriittisiä alkuvaiheen osia onnistuneessa automaattisessa analyysissä. Automaattisten menetelmien kehittämisessä solusegmentointi on kuitenkin osoittautunut hyvin haastavaksi ongelmaksi solujen muodon ja ulkonäön suurten muutosten vuoksi solutyypistä, näytteen valmistelusta ja kuvantamisjärjestelmästä johtuen. Tämä väitöskirja esittää uusia menetelmiä solujen segmentointiin ja seurantaan keskittyen koneoppimiseen perustuviin lähestymistapoihin, jotka parantavat automaattisten menetelmien suorituskykyä ja uudelleenkäytettävyyttä. Spatiaalista ja ajallista kontekstia tehokkaasti hyödyntäviä soluehdotelmia käytetään ratkaisemaan solujen heikosti erottuvista reunoista ja joustavista muodoista johtuvaa solujen muodon monitulkintaisuutta erityisesti silloin kun tutkittava solutiheys on suuri. Tämä väitöskirja esittää kaksi menetelmää soluehdotelmille; ensimmäinen menetelmä käyttää useita läikkätyyppisiä suodatinpankkeja ilmaisemaan kandidaatteja pyöreänmuotoisille soluille, kun taas toinen menetelmä nimeltään soluehdotelmaverkko (Cell Proposal Network, CPN) käyttää konvoluutionaalisia neuroverkkoja oppiakseen tunnistamaan solut niiden muodon sekä ulkonäön perusteella erityyppisissä mikroskooppikuvissa. CPN regressoi ensin solukandidaatteja ympäröivät suorakaiteet ja niiden pistemäärän, jonka jälkeen se segmentoi alueet parhaiten sijoittuneiden suorakaiteiden joukosta tuottaen solukandidaattimaskit. CPN:ää voidaan mahdollisesti käyttää yleisenä soluilmaisimena erityyppisilla kuvantamistekniikoilla tuotetuissa kuvissa mukaan lukien histologisen valo-, fluoresenssi- ja vaihekontrastimikroskooppian. Väitöskirja esittää solujen segmentoinnin ja seurannan soluehdotelmien valintaongelmina, mitkä ratkaistaan joko optimaalisesti käyttämällä kokonaislukuoptimointia tai likimääräisesti käyttämällä iteratiivista lyhimmän kustannuspolun hakua sekä ei-maksimien vaimennusta. Tämä väitöskirja esittää myös verkon leikkaukseen (graph cut) perustuvan menetelmän, mikä hyödyntää valmiiksi saatavilla olevaa reunanilmaisinta segmentoimaan tarkasti muotoaan voimakkaasti muuttavia soluja. Väitöskirjatutkimuksen keskeinen tulos on uusi solujen seurantamenetelmä, mikä käyttää CPN:ää solukandidaattien ehdottamiseen, esittää vaihtoehtoiset seurantahypoteesit verkkomallia hyödyntämällä, ja valitsee globaalisti optimaalisen aliverkon solujen kulkemille reitille. Verrattuna useisiin muihin julkisesti saatavilla oleviin kuva-analyysiohjelmistoihin tässä väitöskirjassa kehitetyt menetelmät olivat suorituskyvyltään parhaita vaihekontrasti- ja fluoresenssimikroskopialla tuotettujen kuva-aineistojen analyyseissa, joissa solujen ulkomuoto oli hyvin vaihteleva.

Abstract Desmoglein 3 (Dsg3) is an adhesion receptor in desmosomes, but relatively little is known about its role in cancer. In this study, the function of Dsg3 was investigated in oral squamous cell carcinoma (SCC) cell lines in vitro using locally established human leiomyoma tumor microenvironment (TME) matrices. Since Dsg3 has been identified as a key regulator in cell adhesion, we hypothesized that it may play a role in oral SCC cells adhesion and motility. Thus, one aim of the study was to explore this hypothesis by both gain and loss of function methods in four human buccal mucosa SCC SqCC/Y1 cell lines: transduction of vector control (Ct), full-length (FL) or two different C-terminally truncated Dsg3 mutants (Δ238 and Δ560). Live cell imaging was performed for 2D migration and 3D sandwich, alongside other assays. In 3D sandwich, we tested the effects of the monoclonal antibody, AK23, targeting the extracellular domain of Dsg3 in SqCC/Y1 cells. Our results showed that loss of Dsg3 disrupted cell adhesion and protein expression. In 2D assays, FL and Dsg3 mutants migrated faster with higher accumulated distances than Ct. In contrast with 2D, mutants showed accelerated invasion over the Ct in 3D models. The AK23 antibody inhibited only the invasion of FL cells. The TME in vivo consists of cellular and matrix elements playing a leading role in carcinoma progression. To study carcinoma cells invasion in vitro, mouse Matrigel® and rat type 1 collagen are the most commonly used matrices in 3D models. Since they are non-human in origin, they do not perfectly mimic human TME. To address this, we have developed a solid organotypic myoma disc model derived from human uterus leiomyoma tumor. Here, we introduce a novel Myogel, prepared from leiomyoma similar to Matrigel®. We validated Myogel for cell-TME interactions in 3D models, using SqCC/Y1 and HSC-3 cell lines. Compared with Matrigel® and type I collagen, oral SCC cell lines invaded more efficiently in Myogel containing matrices. This study describes promising 3D models using human TME mimicking Myogel which is suitable to analyze oral SCC cells both in carcinoma monocultures and in co-cultures, such as with TME fibroblasts. We also introduce a possible novel therapeutic target against Dsg3 to suppress cancer cell invasion. / Tiivistelmä Desmogleiini 3 (Dsg3) on desmosomien adheesioreseptori, jonka merkityksestä syövässä tiedetään vähän. Koska Dsg3 on tärkeä epiteelisolujen välisissä liitoksissa, oletimme sillä olevan vaikutusta myös suun karsinoomasolujen tarttumisessa ja niiden liikkuvuudessa. Testasimme hypoteesiamme muuttamalla Dsg3:n toimintaa ihmisen posken karsinoomasolulinjassa SqCC/Y1, josta oli aiemmin valmistettu neljä erilaista muunnosta: tyhjän vektorin sisältävä kontrollisolulinja (Ct), kokopitkää Dsg3 tuottava solulinja (FL), sekä kaksi Dsg3 C-päästä lyhennettyä mutanttisolulinjaa (Δ238 ja Δ560). Immunofluoresenssi-menetelmää käyttäen analysoimme solulinjoissamme solujen välisiä liitoksia. Lisäksi mittasimme solujen liikkeitä 2D-migraatio- ja 3D-sandwich-kokeissa. Testasimme myös Dsg3:n solunulkoista osaa tunnistavan monoklonaalisen vasta-aineen (AK23) vaikutusta solujen invaasioon. Osoitimme, että Dsg3:n rakenteen muuttaminen ja toiminnan estyminen häiritsi solujen tarttumista. 2D-kokeissa sekä FL että mutanttilinjat (Δ238 ja Δ560) migroivat kontrollisoluja nopeammin ja pidemmälle, mutta 3D-kokeissa vain mutanttilinjat invasoituivat kontrollisoluja tehokkaammin. AK23-vasta-aine esti vain FL-solujen invaasiota. Syöpäsolujen 3D-invaasiota mittaavissa kokeissa käytetään yleensä hiiren kasvaimesta valmistettua kaupallista Matrigeeliä® tai rotan kudoksista eristettyä tyypin I kollageenia. Tutkimusryhmämme on jo aiemmin kehittänyt organotyyppisen myoomamallin, jossa valmistamme myoomakudosnapit ihmisen kohdun leiomyoomakasvaimista. Tässä työssä valmistimme leiomyoomasta Myogeelia, vertasimme sitä Matrigeeliin®, sekä tutkimme tarkemmin Myogeeli-valmisteen soveltuvuutta 3D-tutkimuksiin. Totesimme, että kielen (HSC-3) ja posken (SqCC/Y1) karsinoomasolut invasoituivat tehokkaimmin Myogeeli-pitoisissa matrikseissa kuin Matrigeeliä® tai kollageeniä sisältävissä kasvatusalustoissa. Tutkimustulostemme perusteella Myogeeli-pohjaiset 3D-mallit soveltuvat hyvin sekä syöpäsolulinjojen invaasiotutkimuksiin että yhteisviljelmiin, joissa syöpäsoluja viljellään yhdessä syöpäkasvaimen ympärillä olevien solujen, kuten fibroblastien, kanssa.

The dissertation deals with the image processing in digital holographic microscopy and X-ray computed tomography. The focus of the work lies in the proposal of data processing techniques to meet the needs of the biological experiments. Transmitted light holographic microscopy is particularly used for quantitative phase imaging of transparent microscopic objects such as living cells. The phase images are affected by the phase aberrations that make the analysis particularly difficult. Here, we present a novel algorithm for dynamical processing of living cells phase images in a time-lapse sequence. The algorithm compensates for the deformation of a phase image using weighted least squares surface fitting. Moreover, it identifies and segments the individual cells in the phase image. This property of the algorithm is important for real-time cell quantitative phase imaging and instantaneous control of the course of the experiment. The efficiency of the propounded algorithm is demonstrated on images of rat fibrosarcoma cells using an off-axis holographic microscope. High resolution X-ray computed tomography is increasingly used technique for the study of the small rodent bones micro-structure. In this part of the work, the trabecular and cortical bone morphology is assessed in the distal half of rat femur. We developed new method for mapping the cortical position and dimensions from a central longitudinal axis with one degree angular resolution. This method was used to examine differences between experimental groups. The bone position in tomographic slices is aligned before the mapping using the propound standardization procedure. The activity of remodelling process of the long bone is studied on the system of cortical canals.