Abstract Barkhausen noise measurement is an intriguing non-destructive testing method suitable for ferromagnetic materials. It is based on the stochastic movements of magnetic domain walls when the tested sample is placed in an external varying magnetic field. Barkhausen noise is typically utilised so that some features are calculated from the signal and then compared with the studied material properties. Typical features are, for example, the root-mean-square value (RMS), peak height, width and position. Better utilisation of the method, however, requires quantitative predictions of material properties. The aim of this thesis is to study and select a suitable methodology for the quantitative prediction of material properties based on Barkhausen noise measurement. The prediction considered is divided into four steps: feature generation, feature selection, model identification and model validation. In feature generation, a large set of features is calculated with different mathematical procedures. This feature set is explored in the feature selection step to find the most significant features in terms of predictions. A model with the selected features is identified and some independent data are usually used for model validation. This thesis presents the developed procedures required in feature generation and the results of the studies using different feature selection strategies and modelling techniques. The studied feature selection methods are forward selection, simulated annealing and genetic algorithms. In addition, two-step algorithms are investigated where a pre-selection step is used before the actual selection. The modelling techniques used are multivariable linear regression, partial least squares regression, principal component regression and artificial neural networks. The studies also consider the use and effect of different objective functions. The results of the studies show that the proposed modelling scheme can be used for the prediction task. The models identified mainly include reasonable terms and the prediction accuracy is fairly good considering the challenge. However, the application of Barkhausen noise measurement is very case-dependent and thus conflicts may occur. Furthermore, the changes in unmeasured material properties may lead to the unexpected behaviour of some features. The results show that linear models are adequate for capturing the major interactions between material properties and Barkhausen noise but indicate that the use of neural networks would lead to better model performance. The results also show that genetic algorithms give better selection results but at the expense of the computational cost. / Tiivistelmä Barkhausen-kohina-mittaus on ferromagneettisille materiaaleille soveltuva materiaalia rikkomaton testausmenetelmä. Mittaus perustuu magneettisten alueiden välisten rajapintojen stokastisiin liikkeisiin, kun testattava kappale asetetaan vaihtuvaan magneettikenttään. Tyypillisesti Barkhausen-kohina-mittaussignaalista lasketaan piirteitä, joita sitten verrataan tutkittaviin materiaaliominaisuuksiin. Usein käytettyjä piirteitä ovat signaalin keskineliön neliöjuuri (RMS-arvo) sekä piikin korkeus, leveys ja paikka. Menetelmää voidaan soveltaa paremmin, jos tutkittavia materiaaliominaisuuksia voidaan ennustaa kvantitatiivisesti. Tämän tutkimuksen tavoitteena on tutkia ja valita menetelmiä, jotka soveltuvat materiaaliominaisuuksien kvantitatiiviseen ennustamiseen Barkhausen-kohina-mittauksen perusteella. Ennustusmallit luodaan neljässä vaiheessa: piirteiden laskenta, piirteiden valinta, mallin identifiointi ja mallin validointi. Piirteiden laskennassa yhdistellään erilaisia matemaattisia laskutoimituksia, joista tuloksena saadaan suuri joukko erilaisia piirteitä. Tästä joukosta valitaan ennustukseen soveltuvimmat piirteiden valinta -vaiheessa. Tämän jälkeen ennustusmalli identifioidaan ja viimeisessä vaiheessa sen toimivuus todennetaan riippumattomalla testausaineistolla. Väitöskirjassa esitetään piirteiden laskentaan kehitettyjä algoritmeja sekä mallinnustuloksia käytettäessä erilaisia piirteiden valintamenetelmiä ja mallinnustekniikoita. Tutkitut valintamenetelmät ovat eteenpäin valinta, taaksepäin eliminointi, simuloitu jäähtyminen ja geneettiset algoritmit. Väitöskirjassa esitellään myös kaksivaiheisia valintamenettelyjä, joissa ennen varsinaista piirteiden valintaa suoritetaan esivalinta. Käytetyt mallinnustekniikat ovat monimuuttujaregressio, osittainen pienimmän neliösumman regressio, pääkomponenttiregressio ja neuroverkot. Tarkasteluissa huomioidaan myös erilaisten kustannusfunktioiden vaikutukset. Esitetyt tulokset osoittavat, että käytetyt menetelmät soveltuvat materiaaliominaisuuksien kvantitatiiviseen ennustamiseen. Identifioidut mallit sisältävät pääasiassa perusteltavia termejä ja mallinnustarkkuus on tyydyttävä. Barkhausen-kohina-mittaus on kuitenkin erittäin tapauskohtainen ja täten ristiriitoja kirjallisuuden kanssa voidaan joskus havaita. Näihin ristiriitoihin vaikuttavat myös ei-mitattavat muutokset materiaaliominaisuuksissa. Esitetyt tulokset osoittavat, että lineaariset mallit kykenevät ennustamaan suurimmat vuorovaikutukset materiaaliominaisuuksien ja Barkhausen-kohinan välillä. Tulokset kuitenkin viittaavat siihen, että neuroverkoilla päästäisiin vielä parempiin mallinnustuloksiin. Tulokset osoittavat myös, että geneettiset algoritmit toimivat piirteiden valinnassa paremmin kuin muut tutkitut menetelmät.

Abstract In recent years, facial expression recognition has become a useful scheme for computers to affectively understand the emotional state of human beings. Facial representation and facial expression recognition under unconstrained environments have been two critical issues for facial expression recognition systems. This thesis contributes to the research and development of facial expression recognition systems from two aspects: first, feature extraction for facial expression recognition, and second, applications to challenging conditions. Spatial and temporal feature extraction methods are introduced to provide effective and discriminative features for facial expression recognition. The thesis begins with a spatial feature extraction method. This descriptor exploits magnitude while it improves local quantized pattern using improved vector quantization. It also makes the statistical patterns domain-adaptive and compact. Then, the thesis discusses two spatiotemporal feature extraction methods. The first method uses monogenic signal analysis as a preprocessing stage and extracts spatiotemporal features using local binary pattern. The second method extracts sparse spatiotemporal features using sparse cuboids and spatiotemporal local binary pattern. Both methods increase the discriminative capability of local binary pattern in the temporal domain. Based on feature extraction methods, three practical conditions, including illumination variations, facial occlusion and pose changes, are studied for the applications of facial expression recognition. First, with near-infrared imaging technique, a discriminative component-based single feature descriptor is proposed to achieve a high degree of robustness and stability to illumination variations. Second, occlusion detection is proposed to dynamically detect the occluded face regions. A novel system is further designed for handling effectively facial occlusion. Lastly, multi-view discriminative neighbor preserving embedding is developed to deal with pose change, which formulates multi-view facial expression recognition as a generalized eigenvalue problem. Experimental results on publicly available databases show that the effectiveness of the proposed approaches for the applications of facial expression recognition. / Tiivistelmä Kasvonilmeiden tunnistamisesta on viime vuosina tullut tietokoneille hyödyllinen tapa ymmärtää affektiivisesti ihmisen tunnetilaa. Kasvojen esittäminen ja kasvonilmeiden tunnistaminen rajoittamattomissa ympäristöissä ovat olleet kaksi kriittistä ongelmaa kasvonilmeitä tunnistavien järjestelmien kannalta. Tämä väitöskirjatutkimus myötävaikuttaa kasvonilmeitä tunnistavien järjestelmien tutkimukseen ja kehittymiseen kahdesta näkökulmasta: piirteiden irrottamisesta kasvonilmeiden tunnistamista varten ja kasvonilmeiden tunnistamisesta haastavissa olosuhteissa. Työssä esitellään spatiaalisia ja temporaalisia piirteenirrotusmenetelmiä, jotka tuottavat tehokkaita ja erottelukykyisiä piirteitä kasvonilmeiden tunnistamiseen. Ensimmäisenä työssä esitellään spatiaalinen piirteenirrotusmenetelmä, joka parantaa paikallisia kvantisoituja piirteitä käyttämällä parannettua vektorikvantisointia. Menetelmä tekee myös tilastollisista malleista monikäyttöisiä ja tiiviitä. Seuraavaksi työssä esitellään kaksi spatiotemporaalista piirteenirrotusmenetelmää. Ensimmäinen näistä käyttää esikäsittelynä monogeenistä signaalianalyysiä ja irrottaa spatiotemporaaliset piirteet paikallisia binäärikuvioita käyttäen. Toinen menetelmä irrottaa harvoja spatiotemporaalisia piirteitä käyttäen harvoja kuusitahokkaita ja spatiotemporaalisia paikallisia binäärikuvioita. Molemmat menetelmät parantavat paikallisten binärikuvioiden erottelukykyä ajallisessa ulottuvuudessa. Piirteenirrotusmenetelmien pohjalta työssä tutkitaan kasvonilmeiden tunnistusta kolmessa käytännön olosuhteessa, joissa esiintyy vaihtelua valaistuksessa, okkluusiossa ja pään asennossa. Ensiksi ehdotetaan lähi-infrapuna kuvantamista hyödyntävää diskriminatiivistä komponenttipohjaista yhden piirteen kuvausta, jolla saavutetaan korkea suoritusvarmuus valaistuksen vaihtelun suhteen. Toiseksi ehdotetaan menetelmä okkluusion havainnointiin, jolla dynaamisesti havaitaan peittyneet kasvon alueet. Uudenlainen menetelmä on kehitetty käsittelemään kasvojen okkluusio tehokkaasti. Viimeiseksi työssä on kehitetty moninäkymäinen diskriminatiivisen naapuruston säilyttävään upottamiseen pohjautuva menetelmä käsittelemään pään asennon vaihtelut. Menetelmä kuvaa moninäkymäisen kasvonilmeiden tunnistamisen yleistettynä ominaisarvohajotelmana. Kokeelliset tulokset julkisilla tietokannoilla osoittavat tässä työssä ehdotetut menetelmät suorituskykyisiksi kasvonilmeiden tunnistamisessa.

Abstract Image description plays an important role in representing inherent properties of entities and scenes in static images. Within the last few decades, it has become a fundamental issue of many practical vision tasks, such as texture classification, face recognition, material categorization, and medical image processing. The study of static image analysis can also be extended to video analysis, such as dynamic texture recognition, classification and synthesis. This thesis contributes to the research and development of image and video analysis from two aspects. In the first part of this work, two image description methods are presented to provide discriminative representations for image classification. They are designed in unsupervised (i.e., class labels of texture images are not available) and supervised (i.e., class labels of texture images are available) manner, respectively. First, a supervised model is developed to learn discriminative local patterns, which formulates the image description as an integrated three-layered model to estimate an optimal pattern subset of interest by simultaneously considering the robustness, discriminative power and representation capability of features. Second, in the case that class labels of training images are unavailable, a linear configuration model is presented to describe microscopic image structures in an unsupervised manner, which is subsequently combined together with a local descriptor: local binary pattern (LBP). This description is theoretically verified to be rotation invariant and is able to provide a discriminative complement to the conventional LBPs. In the second part of the thesis, based on static image description and deformable image registration, video analysis is studied for the applications of dynamic texture description, synthesis and recognition. First, a dynamic texture synthesis model is proposed to create a continuous and infinitely varying stream of images given a finite input video, which stitches video clips in the time domain by selecting proper matching frames and organizing them into a logical order. Second, a method for the application of facial expression recognition, which formulates the dynamic facial expression recognition problem as the construction of longitudinal atlases and groupwise image registration problem, is proposed. / Tiivistelmä Kuvan deskriptiolla on tärkeä rooli staattisissa kuvissa esiintyvien luontaisten kokonaisuuksien ja näkymien kuvaamisessa. Viime vuosikymmeninä se on tullut perustavaa laatua olevaksi ongelmaksi monissa käytännön konenäön tehtävissä, kuten tekstuurien luokittelu, kasvojen tunnistaminen, materiaalien luokittelu ja lääketieteellisten kuvien analysointi. Staattisen kuva-analyysin tutkimusala voidaan myös laajentaa videoanalyysiin, kuten dynaamisten tekstuurien tunnistukseen, luokitteluun ja synteesiin. Tämä väitöskirjatutkimus myötävaikuttaa kuva- ja videoanalyysin tutkimukseen ja kehittymiseen kahdesta näkökulmasta. Työn ensimmäisessä osassa esitetään kaksi kuvan deskriptiomenetelmää erottelukykyisten esitystapojen luomiseksi kuvien luokitteluun. Ne suunnitellaan ohjaamattomiksi (eli tekstuurikuvien luokkien leimoja ei ole käytettävissä) tai ohjatuiksi (eli luokkien leimat ovat saatavilla). Aluksi kehitetään ohjattu malli oppimaan erottelukykyisiä paikallisia kuvioita, mikä formuloi kuvan deskriptiomenetelmän integroituna kolmikerroksisena mallina - tavoitteena estimoida optimaalinen kiinnostavien kuvioiden alijoukko ottamalla samanaikaisesti huomioon piirteiden robustisuus, erottelukyky ja esityskapasiteetti. Seuraavaksi, sellaisia tapauksia varten, joissa luokkaleimoja ei ole saatavilla, esitetään työssä lineaarinen konfiguraatiomalli kuvaamaan kuvan mikroskooppisia rakenteita ohjaamattomalla tavalla. Tätä käytetään sitten yhdessä paikallisen kuvaajan, eli local binary pattern (LBP) –operaattorin kanssa. Teoreettisella tarkastelulla osoitetaan kehitetyn kuvaajan olevan rotaatioinvariantti ja kykenevän tuottamaan erottelukykyistä, täydentävää informaatiota perinteiselle LBP-menetelmälle. Työn toisessa osassa tutkitaan videoanalyysiä, perustuen staattisen kuvan deskriptioon ja deformoituvaan kuvien rekisteröintiin – sovellusaloina dynaamisten tekstuurien kuvaaminen, synteesi ja tunnistaminen. Aluksi ehdotetaan sellainen malli dynaamisten tekstuurien synteesiin, joka luo jatkuvan ja äärettömän kuvien virran annetusta äärellisen mittaisesta videosta. Menetelmä liittää yhteen videon pätkiä aika-avaruudessa valitsemalla keskenään yhteensopivia kuvakehyksiä videosta ja järjestämällä ne loogiseen järjestykseen. Seuraavaksi työssä esitetään sellainen uusi menetelmä kasvojen ilmeiden tunnistukseen, joka formuloi dynaamisen kasvojen ilmeiden tunnistusongelman pitkittäissuuntaisten kartastojen rakentamisen ja ryhmäkohtaisen kuvien rekisteröinnin ongelmana.