Abstract The face plays an important role in our social interactions as it conveys rich sources of information. We can read a lot from one face image, but there is also information we cannot perceive without special devices. The thesis concerns using computer vision methodologies to analyse two kinds of subtle facial information that can hardly be perceived by naked eyes: the micro-expression (ME), and the heart rate (HR). MEs are rapid, involuntary facial expressions which reveal emotions people do not intend to show. It is difficult for people to perceive MEs as they are too fast and subtle, thus automatic ME analysis is valuable work which may lead to important applications. In the thesis, the progresses of ME studies are reviewed, and four parts of work are described. 1) We introduce the first spontaneous ME database, the SMIC. The lacking of data is hindering ME analysis research, as it is difficult to collect spontaneous MEs. The protocol for inducing and annotating SMIC is introduced to help future ME collections. 2) A framework including three features and a video magnification process is introduced for ME recognition, which outperforms other state-of-the-art methods on two ME databases. 3) An ME spotting method based on feature difference analysis is described, which can spot MEs from spontaneous long videos. 4) An automatic ME analysis system (MESR) was proposed for firstly spotting and then recognising MEs. The HR is an important indicator of our health and emotional status. Traditional HR measurements require skin-contact which cannot be applied remotely. We propose a method which can counter for illumination changes and head motions and measure HR remotely from color facial videos. We also apply the method for solving the face anti-spoofing problem. We show that the pulse-based feature is more robust than traditional texture-based features against unseen mask spoofs. We also show that the proposed pulse-based feature can be combined with other features to build a cascade system for detecting multiple types of attacks. At last, we summarize the contributions of the work, and propose future plans about ME and HR studies based on limitations of the current work. It is also planned to combine the ME and HR (maybe also other subtle signals from face) to build a multimodal system for affective status analysis. / Tiivistelmä Kasvot ovat monipuolinen informaatiolähde ja keskeinen ihmisten välisessä vuorovaikutuksessa. Pystymme päättelemään paljon yhdestäkin kasvokuvasta, mutta kasvoissa on paljon tietoa, jota ei pysty irrottamaan ilman erityiskeinoja. Tässä työssä analysoidaan konenäöllä ihmiselle vaikeasti havaittavaa tietoa: mikroilmeitä ja sydämen sykettä. Tahdosta riippumattomat mikroilmeet paljastavat tunteita, joita ihmiset pyrkivät piilottamaan. Mikroilmeiden havaitseminen on vaikeaa niiden nopeuden ja pienuuden vuoksi, joten automaattinen analyysi voi johtaa uusiin merkittäviin sovelluksiin. Tämä työ tarkastelee mikroilmetutkimuksen edistysaskeleita ja sisältää neljä uutta tulosta. 1) Spontaanien mikroilmeiden tietokanta (Spontaneous MIcroexpression Corpus, SMIC). Spontaanien mikroilmeiden aiheuttaminen datan saamiseksi on oma haasteensa. SMIC:n keräämisessä ja mikroilmeiden annotoinnissa käytetty menettely on kuvattu myöhemmän datan keruun ohjeistukseksi. 2) Aiempia mikroilmeiden tunnistusmenetelmiä paremmaksi kahden testitietokannan avulla todennettu ratkaisu, joka käyttää kolmea eri piirrettä ja videon suurennusta. 3) Piirre-eroanalyysiin perustuva mikroilmeiden havaitsemismenetelmä, joka havaitsee ne pitkistä realistisista videoista. 4) Automaattinen analyysijärjestelmä (Micro-Expression Spotting and Recognition, MESR), jossa mikroilmeet havaitaan ja tunnistetaan. Sydämen syke on tärkeä terveyden ja tunteiden indikoija. Perinteiset sykkeenmittausmenetelmät vaativat ihokontaktia, eivätkä siten toimii etäältä. Tässä työssä esitetään sykkeen videolta pienistä värimuutoksista mittaava menetelmä, joka sietää valaistusmuutoksia ja sallii pään liikkeet. Menetelmä on monikäyttöinen ja sen sovelluksena kuvataan todellisten kasvojen varmentaminen sykemittauksella. Tulokset osoittavat sykepiirteiden toimivan perinteisiä tekstuuripiirteitä paremmin uudenlaisia naamarihuijauksia vastaan. Syketietoa voidaan myös käyttää osana sarjatyyppisissä ratkaisuissa havaitsemaan useanlaisia huijausyrityksiä. Työn yhteenveto keskittyy suunnitelmiin parantaa mikroilmeiden ja sydämen sykkeen analyysimenetelmiä nykyisen tutkimuksen rajoitteiden pohjalta. Tavoitteena on yhdistää mikroilmeiden ja sydämen sykkeen analyysit, sekä mahdollisesti muuta kasvoista saatavaa tietoa, multimodaaliseksi affektiivisen tilan määrittäväksi ratkaisuksi.

Abstract Military aviation is characterised by challenging working environments. Even though flying is a heavily visual task, much of the most important information is expressed aurally, via radio. The purpose of this study is to investigate the characteristics of radio communication in military aviation environments, the effect of workload on radio communication, as well as the functionality of a new hearing protection system. Flight simulator (F/A-18 Hornet simulator) and heart rate analysis were used to analyse the effect of an increased workload on radio communication. In addition to this, two survey studies were conducted, the first to investigate the prevalence and nature of radio communication problems in military aviation environments, and the second for evaluating the functionality of a new hearing protection solution (moulded communication ear plugs, m-CEPs) for military pilots. In the flight simulator, pilots’ heart rate reflected the level of mental workload. Changes in radio communication were observed during a high workload: The total amount of communication, as well as informing and requesting messages increased. A decrease in acknowledgements was observed. This reflects a change in the team communication tactics during information-loaded flight phases. In survey studies, radio speech communication problems occurred during 14% of the flight time. The most prevalent problems included multiple speakers and overlapping speech on the radio frequency band, missing acknowledgments, and high background noise, especially during helicopter operations. During their career, 18% of the respondents had encountered a potentially dangerous event caused by radio communication problems. The pilots reported a high motivation to use enhanced hearing protection systems. m-CEPs were shown to be a promising tool for improving hearing protection and radio communication: they were considered to be better than the previous hearing protectors, and the pilots reported that they improve the experienced speech intelligibility. However, discomfort and technical problems remain a problem. In the challenging hearing conditions of military aviation, the high quality of radio communication and hearing protection remain important. In the future, radio communication training should be improved and focused on team communication training. The technical development of hearing protection devices should be continued to assure the best possible comfort and technical reliability. / Tiivistelmä Sotilaslentäjä työskentelee fyysisesti, psyykkisesti ja kognitiivisesti hyvin haastavassa monitehtäväympäristössä. Radiopuheviestinnän onnistuminen on lentoturvallisuuden ja tehtävätehokkuuden kannalta olennaista, sillä merkittävä osa turvallisuuden kannalta kriittisestä informaatiosta välitetään puheella radioteitse. Tämän väitöstutkimuksen tavoitteena on selvittää radiopuheviestinnän ongelmien esiintymistä ja luonnetta, kuormituksen vaikutusta radiopuheviestintään sekä uuden kuulonsuojausjärjestelmän toimivuutta sotilaslentäjän työssä. Tutkimus toteutettiin lentosimulaattorissa sekä kahdella kyselytutkimuksella. F/A-18 Hornet -simulaattorissa tutkittiin sykeanalyysin avulla lentotehtävän psyykkisen kuormituksen vaikutusta radiopuheviestintään. Kyselytutkimuksilla selvitettiin radiopuheviestintäongelmien yleisyyttä ja luonnetta sekä uuteen kuulonsuojausjärjestelmään (yksilöllisesti valettu kommunikaatiokuulosuojain) liittyviä tekijöitä. Sykeanalyysi osoittautui käyttökelpoiseksi psyykkisen kuormituksen arviontiin simulaattorissa. Radiopuheviestintä muuttui kuormittavassa lentovaiheessa: viestinnän määrä lisääntyi; informoivat ja kysyvät viestit lisääntyivät; ja kuittaukset vähenivät. Kyselytutkimuksissa lennon aikaisia radiopuheviestinnän ongelmia raportoitiin esiintyvän 14 % lentoajasta. Suuri puhujien määrä ja päällekkäinen puhe radiojaksolla, kuittausten puuttuminen sekä taustamelu varsinkin helikopteritoiminnassa olivat merkittävimpiä ongelmia. Vastaajista 18 % kertoi kohdanneensa urallaan läheltä piti- tai vaaratilanteen, johon radiopuheviestinnän ongelma oli myötävaikuttanut. Lentäjät olivat hyvin motivoituneita käyttämään uusia kuulonsuojausjärjestelmiä. Yksilöllisesti valetut kommunikaatiokuulosuojaimet vaikuttavat lupaavalta ratkaisulta kuulonsuojauksen ja viestinnän parantamiseen. Lentäjät pitivät niitä parempina kuin aiemmat kuulonsuojausjärjestelmät, ja niiden raportoitiin parantavan puheen ymmärrettävyyttä sotilasilmailun haastavissa kuunteluolosuhteissa. Mukavuusongelmia ja teknisiä ongelmia esiintyi kuitenkin edelleen runsaasti. Sotilasilmailun haastavissa kuunteluolosuhteissa laadukas radioviestintä ja toimiva kuulonsuojaus ovat tärkeitä. Radiopuheviestinnän harjoittelussa tulisi panostaa tehtäviä suorittavien ryhmien keskinäisen viestinnän (team communication) parantamiseen. Kuulonsuojausjärjestelmiä tulee edelleen kehittää.