Abstract The face plays an important role in our social interactions as it conveys rich sources of information. We can read a lot from one face image, but there is also information we cannot perceive without special devices. The thesis concerns using computer vision methodologies to analyse two kinds of subtle facial information that can hardly be perceived by naked eyes: the micro-expression (ME), and the heart rate (HR). MEs are rapid, involuntary facial expressions which reveal emotions people do not intend to show. It is difficult for people to perceive MEs as they are too fast and subtle, thus automatic ME analysis is valuable work which may lead to important applications. In the thesis, the progresses of ME studies are reviewed, and four parts of work are described. 1) We introduce the first spontaneous ME database, the SMIC. The lacking of data is hindering ME analysis research, as it is difficult to collect spontaneous MEs. The protocol for inducing and annotating SMIC is introduced to help future ME collections. 2) A framework including three features and a video magnification process is introduced for ME recognition, which outperforms other state-of-the-art methods on two ME databases. 3) An ME spotting method based on feature difference analysis is described, which can spot MEs from spontaneous long videos. 4) An automatic ME analysis system (MESR) was proposed for firstly spotting and then recognising MEs. The HR is an important indicator of our health and emotional status. Traditional HR measurements require skin-contact which cannot be applied remotely. We propose a method which can counter for illumination changes and head motions and measure HR remotely from color facial videos. We also apply the method for solving the face anti-spoofing problem. We show that the pulse-based feature is more robust than traditional texture-based features against unseen mask spoofs. We also show that the proposed pulse-based feature can be combined with other features to build a cascade system for detecting multiple types of attacks. At last, we summarize the contributions of the work, and propose future plans about ME and HR studies based on limitations of the current work. It is also planned to combine the ME and HR (maybe also other subtle signals from face) to build a multimodal system for affective status analysis. / Tiivistelmä Kasvot ovat monipuolinen informaatiolähde ja keskeinen ihmisten välisessä vuorovaikutuksessa. Pystymme päättelemään paljon yhdestäkin kasvokuvasta, mutta kasvoissa on paljon tietoa, jota ei pysty irrottamaan ilman erityiskeinoja. Tässä työssä analysoidaan konenäöllä ihmiselle vaikeasti havaittavaa tietoa: mikroilmeitä ja sydämen sykettä. Tahdosta riippumattomat mikroilmeet paljastavat tunteita, joita ihmiset pyrkivät piilottamaan. Mikroilmeiden havaitseminen on vaikeaa niiden nopeuden ja pienuuden vuoksi, joten automaattinen analyysi voi johtaa uusiin merkittäviin sovelluksiin. Tämä työ tarkastelee mikroilmetutkimuksen edistysaskeleita ja sisältää neljä uutta tulosta. 1) Spontaanien mikroilmeiden tietokanta (Spontaneous MIcroexpression Corpus, SMIC). Spontaanien mikroilmeiden aiheuttaminen datan saamiseksi on oma haasteensa. SMIC:n keräämisessä ja mikroilmeiden annotoinnissa käytetty menettely on kuvattu myöhemmän datan keruun ohjeistukseksi. 2) Aiempia mikroilmeiden tunnistusmenetelmiä paremmaksi kahden testitietokannan avulla todennettu ratkaisu, joka käyttää kolmea eri piirrettä ja videon suurennusta. 3) Piirre-eroanalyysiin perustuva mikroilmeiden havaitsemismenetelmä, joka havaitsee ne pitkistä realistisista videoista. 4) Automaattinen analyysijärjestelmä (Micro-Expression Spotting and Recognition, MESR), jossa mikroilmeet havaitaan ja tunnistetaan. Sydämen syke on tärkeä terveyden ja tunteiden indikoija. Perinteiset sykkeenmittausmenetelmät vaativat ihokontaktia, eivätkä siten toimii etäältä. Tässä työssä esitetään sykkeen videolta pienistä värimuutoksista mittaava menetelmä, joka sietää valaistusmuutoksia ja sallii pään liikkeet. Menetelmä on monikäyttöinen ja sen sovelluksena kuvataan todellisten kasvojen varmentaminen sykemittauksella. Tulokset osoittavat sykepiirteiden toimivan perinteisiä tekstuuripiirteitä paremmin uudenlaisia naamarihuijauksia vastaan. Syketietoa voidaan myös käyttää osana sarjatyyppisissä ratkaisuissa havaitsemaan useanlaisia huijausyrityksiä. Työn yhteenveto keskittyy suunnitelmiin parantaa mikroilmeiden ja sydämen sykkeen analyysimenetelmiä nykyisen tutkimuksen rajoitteiden pohjalta. Tavoitteena on yhdistää mikroilmeiden ja sydämen sykkeen analyysit, sekä mahdollisesti muuta kasvoista saatavaa tietoa, multimodaaliseksi affektiivisen tilan määrittäväksi ratkaisuksi.

Abstract Emotion recognition, a key step of affective computing, is the process of decoding an embedded emotional message from human communication signals, e.g. visual, audio, and/or other physiological cues. It is well-known that speech is the main channel for human communication and thus vital in the signalling of emotion and semantic cues for the correct interpretation of contexts. In the verbal channel, the emotional content is largely conveyed as constant paralinguistic information signals, from which prosody is the most important component. The lack of evaluation of affect and emotional states in human machine interaction is, however, currently limiting the potential behaviour and user experience of technological devices. In this thesis, speech prosody and related acoustic features of speech are used for the recognition of emotion from spoken Finnish. More specifically, methods for emotion recognition from speech relying on long-term global prosodic parameters are developed. An information fusion method is developed for short segment emotion recognition using local prosodic features and vocal source features. A framework for emotional speech data visualisation is presented for prosodic features. Emotion recognition in Finnish comparable to the human reference is demonstrated using a small set of basic emotional categories (neutral, sad, happy, and angry). A recognition rate for Finnish was found comparable with those reported in the western language groups. Increased emotion recognition is shown for short segment emotion recognition using fusion techniques. Visualisation of emotional data congruent with the dimensional models of emotion is demonstrated utilising supervised nonlinear manifold modelling techniques. The low dimensional visualisation of emotion is shown to retain the topological structure of the emotional categories, as well as the emotional intensity of speech samples. The thesis provides pattern recognition methods and technology for the recognition of emotion from speech using long speech samples, as well as short stressed words. The framework for the visualisation and classification of emotional speech data developed here can also be used to represent speech data from other semantic viewpoints by using alternative semantic labellings if available. / Tiivistelmä Emootiontunnistus on affektiivisen laskennan keskeinen osa-alue. Siinä pyritään ihmisen kommunikaatioon sisältyvien emotionaalisten viestien selvittämiseen, esim. visuaalisten, auditiivisten ja/tai fysiologisten vihjeiden avulla. Puhe on ihmisten tärkein tapa kommunikoida ja on siten ensiarvoisen tärkeässä roolissa viestinnän oikean semanttisen ja emotionaalisen tulkinnan kannalta. Emotionaalinen tieto välittyy puheessa paljolti jatkuvana paralingvistisenä viestintänä, jonka tärkein komponentti on prosodia. Tämän affektiivisen ja emotionaalisen tulkinnan vajaavaisuus ihminen-kone – interaktioissa rajoittaa kuitenkin vielä nykyisellään teknologisten laitteiden toimintaa ja niiden käyttökokemusta. Tässä väitöstyössä on käytetty puheen prosodisia ja akustisia piirteitä puhutun suomen emotionaalisen sisällön tunnistamiseksi. Työssä on kehitetty pitkien puhenäytteiden prosodisiin piirteisiin perustuvia emootiontunnistusmenetelmiä. Lyhyiden puheenpätkien emotionaalisen sisällön tunnistamiseksi on taas kehitetty informaatiofuusioon perustuva menetelmä käyttäen prosodian sekä äänilähteen laadullisten piirteiden yhdistelmää. Lisäksi on kehitetty teknologinen viitekehys emotionaalisen puheen visualisoimiseksi prosodisten piirteiden avulla. Tutkimuksessa saavutettiin ihmisten tunnistuskykyyn verrattava automaattisen emootiontunnistuksen taso käytettäessä suppeaa perusemootioiden joukkoa (neutraali, surullinen, iloinen ja vihainen). Emootiontunnistuksen suorituskyky puhutulle suomelle havaittiin olevan verrannollinen länsieurooppalaisten kielten kanssa. Lyhyiden puheenpätkien emotionaalisen sisällön tunnistamisessa saavutettiin taas parempi suorituskyky käytettäessä fuusiomenetelmää. Emotionaalisen puheen visualisoimiseksi kehitetyllä opetettavalla epälineaarisella manifoldimallinnustekniikalla pystyttiin tuottamaan aineistolle emootion dimensionaalisen mallin kaltainen visuaalinen rakenne. Mataladimensionaalisen kuvauksen voitiin edelleen osoittaa säilyttävän sekä tutkimusaineiston emotionaalisten luokkien että emotionaalisen intensiteetin topologisia rakenteita. Tässä väitöksessä kehitettiin hahmontunnistusmenetelmiin perustuvaa teknologiaa emotionaalisen puheen tunnistamiseksi käytettäessä sekä pitkiä että lyhyitä puhenäytteitä. Emotionaalisen aineiston visualisointiin ja luokitteluun kehitettyä teknologista kehysmenetelmää käyttäen voidaan myös esittää puheaineistoa muidenkin semanttisten rakenteiden mukaisesti.

Abstract There is an extensive literature on advanced paternal age (APA) as a risk factor for a wide variety of adverse health outcomes in the offspring that occur throughout the lifespan. APA is also a well-replicated and relatively robust risk factor for schizophrenia in the offspring. The aim of this study was to investigate advanced paternal age (APA) as a risk factor for schizophrenia and mortality in the offspring in four perspectives and original publications. The Northern Finland 1966 Birth Cohort (NFBC 1966) consists of 12,068 pregnant women with expected dates of delivery in 1966, and their 12,058 live-born children. The data used here were collected prospectively for 11,058 singleton-birth cohort members who were living in Finland at age one. The Helsinki 1951–1960 Schizophrenia Cohort consists of 529 persons born in Helsinki, Finland, between January 1, 1951 and December 31, 1960, who developed nonaffective psychosis before 1999. The Finnish Nonaffective Psychosis Cohort (Finnish NAP Cohort) consists of all 13,712 persons born in Finland between 1950 and 1969, who developed nonaffective psychosis before 1992. Both APA (≥30) and younger paternal age (<25) increased the risk of schizophrenia; younger paternal age may be associated with an increased risk in males but not females. In the general population, APA was associated with increased all-causes mortality and suicide in females but not males. Within NAP, in females but not males, there was a significant increase in all-causes mortality and natural deaths in offspring of fathers age ≥40. In both the general population and within NAP, APA was associated with having a mother with schizophrenia. An understanding of APA has substantial public health potential, as average paternal ages are increasing, and APA is common, has widespread effects, and is potentially preventable. We have provided important information for future epidemiological and clinical studies of all conditions associated with APA. Accounting for the APA effect as a potential confounding factor may also increase the signal-to-noise ratio in other epidemiological and genetic analyses. Our results have generated new and more refined hypotheses regarding psychosocial and/or biological mechanisms of the APA effect, and lay the foundation for animal models for its mechanism of action. Subsequent studies will be important to clarifying the pathophysiology of a potentially preventable determinant of schizophrenia and mortality. / Tiivistelmä Isän korkean iän (advanced paternal age, APA) on havaittu olevan yhteydessä laajaan kirjoon eri terveysongelmia. Aiemmassa tutkimuksessa havaittiin APA:n liittyvän tyttärien ylikuolleisuuteen, mutta pojilla vastaavaa yhteyttä ei havaittu. Tätä yhteyttä ei ole aiemmin tutkittu väestöpohjaisessa otoksessa. APA:n on myös havaittu olevan yksi skitsofrenian riskitekijöistä, mutta vaikutuksen suuruutta sairastumisriskiin, mahdollisia sukupuolieroja, kliinisiä piirteitä tai yhteyttä kuvantamislöydöksiin ei tunneta. Tämän tutkimuksen tarkoitus oli selvittää APA:n vaikutusta lasten skitsofreniariskiin ja kuolleisuuteen. Pohjois-Suomen vuoden 1966 syntymäkohortti (Northern Finland 1966 Birth Cohort, NFBC 1966) käsittää 12 068 raskaana olevaa naista ja heidän 12 058 elävänä syntynyttä lastaan. Tässä tutkimuksessa käytetty tieto on kerätty prospektiivisesti 11 058 kohortin jäsenestä, jotka asuivat Suomessa yhden vuoden ikäisinä eivätkä olleet kaksosia. Helsingin vuosien 1951–1960 skitsofreniakohortin 529 Helsingissä 1951–1960 syntynyttä jäsentä seurattiin tätä tutkimusta varten prospektiivisesti kesäkuuhun 2006 asti. Suomalaiseen psykoosikohorttiin (The Finnish Nonaffective Psychosis Cohort, Finnish NAP Cohort) kuuluu 13 712 psykoosia sairastavaa henkilöä, jotka ovat syntyneet 1950–1969. Sekä isän korkea (≥30) että nuori ikä (<25) lisäsivät riskiä sairastua skitsofreniaan. Isän nuori ikä näytti lisäävän riskiä ainoastaan pojilla. Yleisväestössä isän korkea ikä oli yhteydessä lisääntyneeseen kokonaiskuolleisuuteen ja itsemurhiin naisilla, mutta vastaavaa yhteyttä ei havaittu miehillä. Psykoosia sairastavilla naisilla isän ikä ≥40 oli yhteydessä lisääntyneeseen kokonaiskuolleisuuteen ja luonnollisiin kuolemiin. Yleisväestössä ja psykoosia sairastavilla korkea isän ikä oli yhteydessä äidin skitsofreniaan. Skitsofreniaa sairastavilla korkea isän ikä liittyi pitempään hoitamattoman psykoosin kestoon, huonompaan sosiaaliseen ja ammatilliseen toimintakykyyn sekä lisääntyneeseen päihteiden käyttöön. Tämä tutkimus vahvisti aiempaa käsitystä isän korkean iän yhteydestä kuolleisuuteen ja skitsofreniaan. Löydöksellä on mahdollisia kansanterveydellisiä vaikutuksia, koska keskimääräinen isän ikä on noussut ja on yleistä väestössä. Isän ikään on mahdollista vaikuttaa. Isän ikä on myös mahdollinen sekoittava tekijä tutkittaessa skitsofrenian kausaalisia tekijöitä ja kehityskulkuja.