Abstract In recent years, facial expression recognition has become a useful scheme for computers to affectively understand the emotional state of human beings. Facial representation and facial expression recognition under unconstrained environments have been two critical issues for facial expression recognition systems. This thesis contributes to the research and development of facial expression recognition systems from two aspects: first, feature extraction for facial expression recognition, and second, applications to challenging conditions. Spatial and temporal feature extraction methods are introduced to provide effective and discriminative features for facial expression recognition. The thesis begins with a spatial feature extraction method. This descriptor exploits magnitude while it improves local quantized pattern using improved vector quantization. It also makes the statistical patterns domain-adaptive and compact. Then, the thesis discusses two spatiotemporal feature extraction methods. The first method uses monogenic signal analysis as a preprocessing stage and extracts spatiotemporal features using local binary pattern. The second method extracts sparse spatiotemporal features using sparse cuboids and spatiotemporal local binary pattern. Both methods increase the discriminative capability of local binary pattern in the temporal domain. Based on feature extraction methods, three practical conditions, including illumination variations, facial occlusion and pose changes, are studied for the applications of facial expression recognition. First, with near-infrared imaging technique, a discriminative component-based single feature descriptor is proposed to achieve a high degree of robustness and stability to illumination variations. Second, occlusion detection is proposed to dynamically detect the occluded face regions. A novel system is further designed for handling effectively facial occlusion. Lastly, multi-view discriminative neighbor preserving embedding is developed to deal with pose change, which formulates multi-view facial expression recognition as a generalized eigenvalue problem. Experimental results on publicly available databases show that the effectiveness of the proposed approaches for the applications of facial expression recognition. / Tiivistelmä Kasvonilmeiden tunnistamisesta on viime vuosina tullut tietokoneille hyödyllinen tapa ymmärtää affektiivisesti ihmisen tunnetilaa. Kasvojen esittäminen ja kasvonilmeiden tunnistaminen rajoittamattomissa ympäristöissä ovat olleet kaksi kriittistä ongelmaa kasvonilmeitä tunnistavien järjestelmien kannalta. Tämä väitöskirjatutkimus myötävaikuttaa kasvonilmeitä tunnistavien järjestelmien tutkimukseen ja kehittymiseen kahdesta näkökulmasta: piirteiden irrottamisesta kasvonilmeiden tunnistamista varten ja kasvonilmeiden tunnistamisesta haastavissa olosuhteissa. Työssä esitellään spatiaalisia ja temporaalisia piirteenirrotusmenetelmiä, jotka tuottavat tehokkaita ja erottelukykyisiä piirteitä kasvonilmeiden tunnistamiseen. Ensimmäisenä työssä esitellään spatiaalinen piirteenirrotusmenetelmä, joka parantaa paikallisia kvantisoituja piirteitä käyttämällä parannettua vektorikvantisointia. Menetelmä tekee myös tilastollisista malleista monikäyttöisiä ja tiiviitä. Seuraavaksi työssä esitellään kaksi spatiotemporaalista piirteenirrotusmenetelmää. Ensimmäinen näistä käyttää esikäsittelynä monogeenistä signaalianalyysiä ja irrottaa spatiotemporaaliset piirteet paikallisia binäärikuvioita käyttäen. Toinen menetelmä irrottaa harvoja spatiotemporaalisia piirteitä käyttäen harvoja kuusitahokkaita ja spatiotemporaalisia paikallisia binäärikuvioita. Molemmat menetelmät parantavat paikallisten binärikuvioiden erottelukykyä ajallisessa ulottuvuudessa. Piirteenirrotusmenetelmien pohjalta työssä tutkitaan kasvonilmeiden tunnistusta kolmessa käytännön olosuhteessa, joissa esiintyy vaihtelua valaistuksessa, okkluusiossa ja pään asennossa. Ensiksi ehdotetaan lähi-infrapuna kuvantamista hyödyntävää diskriminatiivistä komponenttipohjaista yhden piirteen kuvausta, jolla saavutetaan korkea suoritusvarmuus valaistuksen vaihtelun suhteen. Toiseksi ehdotetaan menetelmä okkluusion havainnointiin, jolla dynaamisesti havaitaan peittyneet kasvon alueet. Uudenlainen menetelmä on kehitetty käsittelemään kasvojen okkluusio tehokkaasti. Viimeiseksi työssä on kehitetty moninäkymäinen diskriminatiivisen naapuruston säilyttävään upottamiseen pohjautuva menetelmä käsittelemään pään asennon vaihtelut. Menetelmä kuvaa moninäkymäisen kasvonilmeiden tunnistamisen yleistettynä ominaisarvohajotelmana. Kokeelliset tulokset julkisilla tietokannoilla osoittavat tässä työssä ehdotetut menetelmät suorituskykyisiksi kasvonilmeiden tunnistamisessa.

Abstract Image description plays an important role in representing inherent properties of entities and scenes in static images. Within the last few decades, it has become a fundamental issue of many practical vision tasks, such as texture classification, face recognition, material categorization, and medical image processing. The study of static image analysis can also be extended to video analysis, such as dynamic texture recognition, classification and synthesis. This thesis contributes to the research and development of image and video analysis from two aspects. In the first part of this work, two image description methods are presented to provide discriminative representations for image classification. They are designed in unsupervised (i.e., class labels of texture images are not available) and supervised (i.e., class labels of texture images are available) manner, respectively. First, a supervised model is developed to learn discriminative local patterns, which formulates the image description as an integrated three-layered model to estimate an optimal pattern subset of interest by simultaneously considering the robustness, discriminative power and representation capability of features. Second, in the case that class labels of training images are unavailable, a linear configuration model is presented to describe microscopic image structures in an unsupervised manner, which is subsequently combined together with a local descriptor: local binary pattern (LBP). This description is theoretically verified to be rotation invariant and is able to provide a discriminative complement to the conventional LBPs. In the second part of the thesis, based on static image description and deformable image registration, video analysis is studied for the applications of dynamic texture description, synthesis and recognition. First, a dynamic texture synthesis model is proposed to create a continuous and infinitely varying stream of images given a finite input video, which stitches video clips in the time domain by selecting proper matching frames and organizing them into a logical order. Second, a method for the application of facial expression recognition, which formulates the dynamic facial expression recognition problem as the construction of longitudinal atlases and groupwise image registration problem, is proposed. / Tiivistelmä Kuvan deskriptiolla on tärkeä rooli staattisissa kuvissa esiintyvien luontaisten kokonaisuuksien ja näkymien kuvaamisessa. Viime vuosikymmeninä se on tullut perustavaa laatua olevaksi ongelmaksi monissa käytännön konenäön tehtävissä, kuten tekstuurien luokittelu, kasvojen tunnistaminen, materiaalien luokittelu ja lääketieteellisten kuvien analysointi. Staattisen kuva-analyysin tutkimusala voidaan myös laajentaa videoanalyysiin, kuten dynaamisten tekstuurien tunnistukseen, luokitteluun ja synteesiin. Tämä väitöskirjatutkimus myötävaikuttaa kuva- ja videoanalyysin tutkimukseen ja kehittymiseen kahdesta näkökulmasta. Työn ensimmäisessä osassa esitetään kaksi kuvan deskriptiomenetelmää erottelukykyisten esitystapojen luomiseksi kuvien luokitteluun. Ne suunnitellaan ohjaamattomiksi (eli tekstuurikuvien luokkien leimoja ei ole käytettävissä) tai ohjatuiksi (eli luokkien leimat ovat saatavilla). Aluksi kehitetään ohjattu malli oppimaan erottelukykyisiä paikallisia kuvioita, mikä formuloi kuvan deskriptiomenetelmän integroituna kolmikerroksisena mallina - tavoitteena estimoida optimaalinen kiinnostavien kuvioiden alijoukko ottamalla samanaikaisesti huomioon piirteiden robustisuus, erottelukyky ja esityskapasiteetti. Seuraavaksi, sellaisia tapauksia varten, joissa luokkaleimoja ei ole saatavilla, esitetään työssä lineaarinen konfiguraatiomalli kuvaamaan kuvan mikroskooppisia rakenteita ohjaamattomalla tavalla. Tätä käytetään sitten yhdessä paikallisen kuvaajan, eli local binary pattern (LBP) –operaattorin kanssa. Teoreettisella tarkastelulla osoitetaan kehitetyn kuvaajan olevan rotaatioinvariantti ja kykenevän tuottamaan erottelukykyistä, täydentävää informaatiota perinteiselle LBP-menetelmälle. Työn toisessa osassa tutkitaan videoanalyysiä, perustuen staattisen kuvan deskriptioon ja deformoituvaan kuvien rekisteröintiin – sovellusaloina dynaamisten tekstuurien kuvaaminen, synteesi ja tunnistaminen. Aluksi ehdotetaan sellainen malli dynaamisten tekstuurien synteesiin, joka luo jatkuvan ja äärettömän kuvien virran annetusta äärellisen mittaisesta videosta. Menetelmä liittää yhteen videon pätkiä aika-avaruudessa valitsemalla keskenään yhteensopivia kuvakehyksiä videosta ja järjestämällä ne loogiseen järjestykseen. Seuraavaksi työssä esitetään sellainen uusi menetelmä kasvojen ilmeiden tunnistukseen, joka formuloi dynaamisen kasvojen ilmeiden tunnistusongelman pitkittäissuuntaisten kartastojen rakentamisen ja ryhmäkohtaisen kuvien rekisteröinnin ongelmana.

Abstract Because of its natural and non-intrusive interaction, identity verification and recognition using facial information is among the most active areas in computer vision research. Unfortunately, it has been shown that conventional 2D face recognition techniques are vulnerable to spoofing attacks, where a person tries to masquerade as another one by falsifying biometric data and thereby gaining an illegitimate advantage. This thesis explores different directions for software-based face anti-spoofing. The proposed approaches are divided into two categories: first, low-level feature descriptors are applied for describing the static and dynamic characteristic differences between genuine faces and fake ones in general, and second, complementary attack-specific countermeasures are investigated in order to overcome the limitations of generic spoof detection schemes. The static face representation is based on a set of well-known feature descriptors, including local binary patterns, Gabor wavelet features and histogram of oriented gradients. The key idea is to capture the differences in quality, light reflection and shading by analysing the texture and gradient structure of the input face images. The approach is then extended to the spatiotemporal domain when both facial appearance and dynamics are exploited for spoof detection using local binary patterns from three orthogonal planes. It is reasonable to assume that no generic spoof detection scheme is able to detect all known, let alone unseen, attacks scenarios. In order to find out well-generalizing countermeasures, the problem of anti-spoofing is broken into two attack-specific sub-problems based on whether the spoofing medium can be detected in the provided view or not. The spoofing medium detection is performed by describing the discontinuities in the gradient structures around the detected face. If the display medium is concealed outside the view, a combination of face and background motion correlation measurement and texture analysis is applied. Furthermore, an open-source anti-spoofing fusion framework is introduced and its system-level performance is investigated more closely in order to gain insight on how to combine different anti-spoofing modules. The proposed spoof detection schemes are evaluated on the latest benchmark datasets. The main findings of the experiments are discussed in the thesis. / Tiivistelmä Kasvokuvaan perustuvan henkilöllisyyden tunnistamisen etuja ovat luonnollinen vuorovaikutus ja etätunnistus, minkä takia aihe on ollut erittäin aktiivinen tutkimusalue konenäön tutkimuksessa. Valitettavasti tavanomaiset kasvontunnistustekniikat ovat osoittautuneet haavoittuvaisiksi hyökkäyksille, joissa kameralle esitetään jäljennös kohdehenkilön kasvoista positiivisen tunnistuksen toivossa. Tässä väitöskirjassa tutkitaan erilaisia ohjelmistopohjaisia ratkaisuja keinotekoisten kasvojen ilmaisuun petkuttamisen estämiseksi. Työn ensimmäisessä osassa käytetään erilaisia matalan tason piirteitä kuvaamaan aitojen ja keinotekoisten kasvojen luontaisia staattisia ja dynaamisia eroavaisuuksia. Työn toisessa osassa esitetään toisiaan täydentäviä hyökkäystyyppikohtaisia vastakeinoja, jotta yleispätevien menetelmien puutteet voitaisiin ratkaista ongelmaa rajaamalla. Kasvojen staattisten ominaisuuksien esitys perustuu yleisesti tunnettuihin matalan tason piirteisiin, kuten paikallisiin binäärikuvioihin, Gabor-tekstuureihin ja suunnattujen gradienttien histogrammeihin. Pääajatuksena on kuvata aitojen ja keinotekoisten kasvojen laadun, heijastumisen ja varjostumisen eroavaisuuksia tekstuuria ja gradienttirakenteita analysoimalla. Lähestymistapaa laajennetaan myös tila-aika-avaruuteen, jolloin hyödynnetään samanaikaisesti sekä kasvojen ulkonäköä ja dynamiikkaa irroittamalla paikallisia binäärikuvioita tila-aika-avaruuden kolmelta ortogonaaliselta tasolta. Voidaan olettaa, ettei ole olemassa yksittäistä yleispätevää vastakeinoa, joka kykenee ilmaisemaan jokaisen tunnetun hyökkäystyypin, saati tuntemattoman. Näin ollen työssä keskitytään tarkemmin kahteen hyökkäystilanteeseen. Ensimmäisessä tapauksessa huijausapuvälineen reunoja ilmaistaan analysoimalla gradienttirakenteiden epäjatkuvuuksia havaittujen kasvojen ympäristössä. Jos apuvälineen reunat on piilotettu kameran näkymän ulkopuolelle, petkuttamisen ilmaisu toteutetaan yhdistämällä kasvojen ja taustan liikkeen korrelaation mittausta ja kasvojen tekstuurianalyysiä. Lisäksi työssä esitellään vastakeinojen yhdistämiseen avoimen lähdekoodin ohjelmisto, jonka avulla tutkitaan lähemmin menetelmien fuusion vaikutuksia. Tutkimuksessa esitetyt menetelmät on kokeellisesti vahvistettu alan viimeisimmillä julkisesti saatavilla olevilla tietokannoilla. Tässä väitöskirjassa käydään läpi kokeiden päähavainnot.

Abstract Biology and medicine rely heavily on images to understand how the body functions, for diagnosing diseases and to test the effects of treatments. In recent decades, microscopy has experienced rapid improvements, enabling imaging of fixed and living cells at higher resolutions and frame rates, and deeper inside the biological samples. This has led to rapid growth in the image data. Automated methods are needed to quantitatively analyze these huge datasets and find statistically valid patterns. Cell segmentation and tracking is critical for automated analysis, yet it is a challenging problem due to large variations in cell shapes and appearances caused by various factors, including cell type, sample preparation and imaging setup. This thesis proposes novel methods for segmentation and tracking of cells, which rely on machine learning based approaches to improve the performance, generalization and reusability of automated methods. Cell proposals are used to efficiently exploit spatial and temporal context for resolving detection ambiguities in high-cell-density regions, caused by weak boundaries and deformable shapes of cells. This thesis presents two cell proposal methods: the first method uses multiple blob-like filter banks for detecting candidates for round cells, while the second method, Cell Proposal Network (CPN), uses convolutional neural networks to learn the cell shapes and appearances, and can propose candidates for cells in a wide variety of microscopy images. CPN first regresses cell candidate bounding boxes and their scores, then, it segments the regions inside the top ranked boxes to obtain cell candidate masks. CPN can be used as a general cell detector, as is demonstrated by training a single model to segment images from histology, fluorescence and phase-contrast microscopy. This work poses segmentation and tracking as proposal selection problems, which are solved optimally using integer linear programming or approximately using iterative shortest cost path search and non-maximum suppression. Additionally, this thesis presents a method which utilizes graph-cuts and an off-the-shelf edge detector to accurately segment highly deformable cells. The main contribution of this thesis is a cell tracking method which uses CPN to propose cell candidates, represents alternative tracking hypotheses using a graphical model, and selects the globally optimal sub-graph providing cell tracks. It achieves state-of-the-art tracking performance on multiple public benchmark datasets from both phase-contrast and fluorescence microscopy containing cells of various shapes and appearances. / Tiivistelmä Biologia ja lääketiede nojaavat vahvasti kuvatietoon solujen ja kehon toimintojen ymmärtämiseksi sairauksien diagnostiikassa ja hoitojen vaikutusten seuraamisessa. Viime vuosikymmeninä mikroskopiassa on tapahtunut nopeaa teknistä kehitystä, mikä on mahdollistanut elävien solujen kuvantamisen tarkemmin, nopeammin sekä syvemmältä automatisoidusti useasta näytteestä. Tämä taas on johtanut kuvadatan nopeaan kasvuun ja suurempaan määrään biologisia kysymyksiä, joihin voidaan vastata. Kuvadatan räjähdysmäisen kasvun vuoksi kaikkia tuloksia ei voida enää tulkita pelkästään ihmistyövoimaa käyttämällä, mikä on johtanut tarpeeseen kehittää automaattisia menetelmiä analysoimaan kvantitatiivisesti suuria datajoukkoja ja löytämään tilastollisesti kelvollisia malleja. Solujen erottaminen niiden ympäristöstä ja toisista soluista (segmentointi) ja solujen seuranta ovat kriittisiä alkuvaiheen osia onnistuneessa automaattisessa analyysissä. Automaattisten menetelmien kehittämisessä solusegmentointi on kuitenkin osoittautunut hyvin haastavaksi ongelmaksi solujen muodon ja ulkonäön suurten muutosten vuoksi solutyypistä, näytteen valmistelusta ja kuvantamisjärjestelmästä johtuen. Tämä väitöskirja esittää uusia menetelmiä solujen segmentointiin ja seurantaan keskittyen koneoppimiseen perustuviin lähestymistapoihin, jotka parantavat automaattisten menetelmien suorituskykyä ja uudelleenkäytettävyyttä. Spatiaalista ja ajallista kontekstia tehokkaasti hyödyntäviä soluehdotelmia käytetään ratkaisemaan solujen heikosti erottuvista reunoista ja joustavista muodoista johtuvaa solujen muodon monitulkintaisuutta erityisesti silloin kun tutkittava solutiheys on suuri. Tämä väitöskirja esittää kaksi menetelmää soluehdotelmille; ensimmäinen menetelmä käyttää useita läikkätyyppisiä suodatinpankkeja ilmaisemaan kandidaatteja pyöreänmuotoisille soluille, kun taas toinen menetelmä nimeltään soluehdotelmaverkko (Cell Proposal Network, CPN) käyttää konvoluutionaalisia neuroverkkoja oppiakseen tunnistamaan solut niiden muodon sekä ulkonäön perusteella erityyppisissä mikroskooppikuvissa. CPN regressoi ensin solukandidaatteja ympäröivät suorakaiteet ja niiden pistemäärän, jonka jälkeen se segmentoi alueet parhaiten sijoittuneiden suorakaiteiden joukosta tuottaen solukandidaattimaskit. CPN:ää voidaan mahdollisesti käyttää yleisenä soluilmaisimena erityyppisilla kuvantamistekniikoilla tuotetuissa kuvissa mukaan lukien histologisen valo-, fluoresenssi- ja vaihekontrastimikroskooppian. Väitöskirja esittää solujen segmentoinnin ja seurannan soluehdotelmien valintaongelmina, mitkä ratkaistaan joko optimaalisesti käyttämällä kokonaislukuoptimointia tai likimääräisesti käyttämällä iteratiivista lyhimmän kustannuspolun hakua sekä ei-maksimien vaimennusta. Tämä väitöskirja esittää myös verkon leikkaukseen (graph cut) perustuvan menetelmän, mikä hyödyntää valmiiksi saatavilla olevaa reunanilmaisinta segmentoimaan tarkasti muotoaan voimakkaasti muuttavia soluja. Väitöskirjatutkimuksen keskeinen tulos on uusi solujen seurantamenetelmä, mikä käyttää CPN:ää solukandidaattien ehdottamiseen, esittää vaihtoehtoiset seurantahypoteesit verkkomallia hyödyntämällä, ja valitsee globaalisti optimaalisen aliverkon solujen kulkemille reitille. Verrattuna useisiin muihin julkisesti saatavilla oleviin kuva-analyysiohjelmistoihin tässä väitöskirjassa kehitetyt menetelmät olivat suorituskyvyltään parhaita vaihekontrasti- ja fluoresenssimikroskopialla tuotettujen kuva-aineistojen analyyseissa, joissa solujen ulkomuoto oli hyvin vaihteleva.