Abstract Within the last few decades, electroencephalogram (EEG) has become a widely used tool for the automatic assessment of depth of anesthesia. The EEG-based depth of anesthesia measurement has been associated with several advantages, such as a decreased incidence of intraoperative awareness and recall, faster recovery, and reduced consumption of anesthetics. However, the measurement is challenged by simultaneous administration of different types of anesthetics, which is the common practice in the operating rooms today. Especially, the assessment of depth of anesthesia induced by supplementing the primary anesthetic drug, i.e. the hypnotic agent, with an opioid has been raised as one of the major problems in the field. In this thesis, the EEG-based depth of anesthesia measurement during multidrug infusion with propofol (hypnotic agent) and remifentanil (opioid) is addressed. The problem is approached by first giving a quantitative description for the EEG changes occurring during propofol infusion. Two different methods, both utilizing the spectral properties of EEG, for this are presented. Next, the effects of remifentanil on the clinical signs and EEG changes during propofol infusion are investigated by applying the first one of the presented methods. Coadministration of opioid is shown to significantly modify the mutual relations of the EEG changes and the clinical signs of the patient. Furthermore, remifentanil is found to significantly affect the EEG itself, more specifically, the power spectrum and derived quantitative parameters during propofol infusion. This effect is strongly dependent on the level of anesthesia. Finally, by utilizing the results on the effects of remifentanil, a technology is developed for the assessment of depth of propofol-remifentanil anesthesia. The technology is based on improving the determination of the anesthetic state of the patient by EEG-based separation of the effects of propofol and remifentanil. The thesis provides a framework for the depth of anesthesia measurement during multidrug administration with propofol and remifentanil. Due to the similar mechanisms of action, the results are likely to be generalizable to other hypnotic-opioid drug combinations. The study thus offers potential for the development of more advanced systems for automatic monitoring of depth of anesthesia. / Tiivistelmä Viime vuosikymmeninä elektroenkefalogrammista (EEG) on tullut suosittu apuväline anestesian syvyyden automaattisessa seurannassa. EEG-pohjaisella anestesian syvyyden mittauksella on saavutettu useita hyötyjä: sillä on pystytty esimerkiksi vähentämään leikkauksen aikaista hereillä oloa, pienentämään anesteettien kulutusta sekä nopeuttamaan anestesiasta palautumista. Mittaus on kuitenkin haasteellista yhdistelmäanestesiassa, jossa useampaa erityyppistä anesteettia käytetään samanaikaisesti. Erityisesti nykyisin yleisesti käytössä oleva tapa täydentää pääasiallista anesteettia eli hypnoottia opioidilla on nostettu yhdeksi merkittävimmistä haasteista automaattisessa anestesian syvyyden mittauksessa. Väitöskirja käsittelee EEG-pohjaista anestesian syvyyden mittausta käytettäessä propofolin (hypnootti) ja remifentaniilin (opioidi) yhdistelmää. Ongelmaa lähestytään antamalla aluksi kvantitatiivinen kuvaus propofoli-induktion aikana ilmeneville EEG-muutoksille. Tähän tarkoitukseen esitetään kaksi menetelmää, joista molemmat hyödyntävät EEG:n taajuussisältöä. Seuraavaksi remifentaniilin vaikutusta potilaan kliinisiin merkkeihin sekä EEG-muutoksiin propofoli-infuusion aikana tutkitaan soveltamalla ensimmäistä esitetyistä menetelmistä. Opioidin osoitetaan vaikuttavan merkittävästi EEG-muutosten ja kliinisten merkkien väliseen yhteyteen. Lisäksi remifentaniilin todetaan vaikuttavan merkittävästi myös propofoli-infuusion aikana ilmeneviin EEG-muutoksiin. Vaikutus heijastuu signaalin tehotiheysspektriin sekä siitä johdettuihin kvantitatiivisiin parametreihin ja on vahvasti riippuvainen anestesian syvyydestä. Lopuksi, hyödyntämällä tuloksia remifentaniilin vaikutuksista, esitetään teknologia propofoli-remifentanilli-yhdistelmäanestesian syvyyden mittaukseen. Teknologia perustuu propofolin ja remifentaniilin vaikutusten EEG-pohjaiseen erotteluun ja tätä hyödyntäen potilaan anestesian syvyyden tarkempaan määrittämiseen. Väitöskirja tarjoaa tarvittavan tutkimustiedon sekä teknologian propofoli-remifentanilli-yhdistelmäanestesian syvyyden mittaukseen. Samankaltaisten vaikutusmekanismien vuoksi tulokset on mahdollista yleistää myös muille hypnootti-opioidi-lääkeyhdistelmille. Tutkimus avaa näin uusia mahdollisuuksia kehittää edistyneempiä anestesian syvyyttä automaattisesti seuraavia järjestelmiä.

Abstract Humans are capable of narrowing their focus on the highlights of visual information in a fraction of time in order to handle enormous mass of data. Akin to human, computers should deal with a tremendous amount of visual information. To replicate such a focusing mechanism, computer vision relies on techniques that filter out redundant information. Consequently, saliency has recently been a popular subject of discussion in the computer vision community, though it is an old subject matter in the disciplines of cognitive sciences rather than computer science. The reputation of saliency techniques – particularly in the computer vision domain – is greatly due to their inexpensive and fast computation which facilitates their use in many computer vision applications, e.g., image/video compression, object recognition, tracking, etc. This study investigates visual saliency modeling, which is the transformation of an image into a salience map such that the identified conspicuousness agrees with the statistics of human eye movements. It explores the extent of image and video processing to develop saliency techniques suitable for computer vision, e.g., it adopts sparse sampling scheme and kernel density estimation to introduce a saliency measure for images. Also, it studies the role of eye movement in salience modeling. To this end, it introduces a particle filter based framework of saccade generation incorporated into a salience model. Moreover, eye movements and salience are exploited in several applications. The contributions of this study lie on the proposal of a number of salience models for image and video stimuli, a framework to incorporate a model of eye movement generation in salience modeling, and the investigation of the application of salience models and eye movements in tracking, background subtraction, scene recognition, and valence recognition. / Tiivistelmä Ihmiset kykenevät kohdistamaan katseensa hetkessä näkymän keskeisiin asioihin, mikä vaatii näköjärjestelmältä valtavan suurten tietomäärien käsittelyä. Kuten ihmisen myös tietokoneen pitäisi pystyä käsittelemään vastaavasti suurta määrää visuaalista informaatiota. Tällaisen mekanismin toteuttaminen tietokonenäöllä edellyttää menetelmiä, joilla redundanttista tietoa voidaan suodattaa. Tämän vuoksi salienssista eli silmiinpistävyydestä on muodostunut viime aikoina suosittu tutkimusaihe tietotekniikassa ja erityisesti tietokonenäön tutkimusyhteisössä, vaikka sitä sinänsä on jo pitkään tutkittu kognitiivisissa tieteissä. Salienssimenetelmien tunnettavuus erityisesti tietokonenäössä johtuu pääasiassa niiden laskennallisesta tehokkuudesta, mikä taas mahdollistaa menetelmien käytön monissa tietokonenäön sovelluksissa kuten kuvan ja videon pakkaamisessa, objektin tunnistuksessa, seurannassa, etc. Tässä väitöskirjassa tutkitaan visuaalisen salienssin mallintamista, millä tarkoitetaan muunnosta kuvasta salienssikartaksi siten, että laskennallinen silmiinpistävyys vastaa ihmisen silmänliikkeistä muodostettavaa statistiikkaa. Työssä tarkastellaan keinoja, miten kuvan- ja videonkäsittelyä voidaan käyttää kehittämään salienssimenetelmiä tietokonenäön tarpeisiin. Työssä esitellään esimerkiksi harvaa näytteistystä ja ydinestimointia hyödyntävä kuvien salienssimitta. Työssä tutkitaan myös silmänliikkeiden merkitystä salienssin mallintamisen kannalta. Tätä varten esitellään partikkelisuodatusta hyödyntävä lähestymistapa sakkadien generointiin, joka voidaan liittää salienssimalliin. Lisäksi silmänliikkeitä ja salienssia hyödynnetään useissa sovelluksissa. Suoritetun tutkimuksen tieteellisiin kontribuutioihin sisältyvät useat esitetyt salienssimallit kuvasta ja videosta saatavalle herätteelle, lähestymistapa silmänliikkeiden laskennalliseen mallintamiseen ja generointiin osana salienssimallia sekä salienssimallien ja silmänliikkeiden sovellettavuuden tutkiminen visuaalisessa seurannassa, taustanvähennyksessä, näkymäanalyysissa ja valenssin tunnistuksessa.

Abstract Inertial sensors are devices that measure movement, and therefore, when they are attached to a body, they can be used to measure human movements. In this thesis, data from these sensors are studied to recognize human activities user-independently. This is possible if the following two hypotheses are valid: firstly, as human movements are dissimilar between activities, also inertial sensor data between activities is so different that this data can be used to recognize activities. Secondly, while movements and inertial data are dissimilar between activities, they are so similar when different persons are performing the same activity that they can be recognized as the same activity. In this thesis, pattern recognition -based solutions are applied to inertial data to find these dissimilarities and similarities, and therefore, to build models to recognize activities user-independently. Activity recognition within this thesis is studied in two contexts: daily activity recognition using mobile phones, and activity recognition in industrial context. Both of these contexts have special requirements and these are considered in the presented solutions. Mobile phones are optimal devices to measure daily activity: they include a wide range of useful sensors to detect activities, and people carry them with them most of the time. On the other hand, the usage of mobile phones in active recognition includes several challenges; for instance, a person can carry a phone in any orientation, and there are hundreds of smartphone models, and each of them have specific hardware and software. Moreover, as battery life is always as issue with smartphones, techniques to lighten the classification process are proposed. Industrial context is different from daily activity context: when daily activities are recognized, occasional misclassifications may disturb the user, but they do not cause any other type of harm. This is not the case when activities are recognized in industrial context and the purpose is to recognize if the assembly line worker has performed tasks correctly. In this case, false classifications may be much more harmful. Solutions to these challenges are presented in this thesis. The solutions introduced in this thesis are applied to activity recognition data sets. However, as the basic idea of the activity recognition problem is the same as in many other pattern recognition procedures, most of the solutions can be applied to any pattern recognition problem, especially to ones where time series data is studied. / Tiivistelmä Liikettä mittaavista antureista, kuten kiihtyvyysantureista, saatavaa tietoa voidaan käyttää ihmisten liikkeiden mittaamiseen kiinnittämällä ne johonkin kohtaan ihmisen kehoa. Väitöskirjassani tavoitteena on opettaa tähän tietoon perustuvia käyttäjäriippumattomia malleja, joiden avulla voidaan tunnistaa ihmisten toimia, kuten käveleminen ja juokseminen. Näiden mallien toimivuus perustuu seuraavaan kahteen oletukseen: (1) koska henkilöiden liikkeet eri toimissa ovat erilaisia, myös niistä mitattava anturitieto on erilaista, (2) useamman henkilön liikkeet samassa toimessa ovat niin samanlaisia, että liikkeistä mitatun anturitiedon perusteella nämä liikkeet voidaan päätellä kuvaavan samaa toimea. Tässä väitöskirjassa käyttäjäriippumaton ihmisten toimien tunnistus perustuu hahmontunnistusmenetelmiin ja tunnistusta on sovellettu kahteen eri asiayhteyteen: arkitoimien tunnistamiseen älypuhelimella sekä toimintojen tunnistamiseen teollisessa ympäristössä. Molemmilla sovellusalueilla on omat erityisvaatimuksensa ja -haasteensa. Älypuhelimien liikettä mittaavien antureihin perustuva tunnistus on haastavaa esimerkiksi siksi, että puhelimen asento ja paikka voivat vaihdella. Se voi olla esimerkiksi laukussa tai taskussa, lisäksi se voi olla missä tahansa asennossa. Myös puhelimen akun rajallinen kesto luo omat haasteensa. Tämän vuoksi tunnistus tulisi tehdä mahdollisimman kevyesti ja vähän virtaa kuluttavalla tavalla. Teollisessa ympäristössä haasteet ovat toisenlaisia. Kun tarkoituksena on tunnistaa esimerkiksi työvaiheiden oikea suoritusjärjestys kokoamislinjastolla, yksikin virheellinen tunnistus voi aiheuttaa suuren vahingon. Teollisessa ympäristössä tavoitteena onkin tunnistaa toimet mahdollisimman tarkasti välittämättä siitä kuinka paljon virtaa ja tehoa tunnistus vaatii. Väitöskirjassani kerrotaan kuinka nämä erityisvaatimukset ja -haasteet voidaan ottaa huomioon suunniteltaessa malleja ihmisten toimien tunnistamiseen. Väitöskirjassani esiteltyjä uusia menetelmiä on sovellettu ihmisten toimien tunnistamiseen. Samoja menetelmiä voidaan kuitenkin käyttää monissa muissa hahmontunnistukseen liittyvissä ongelmissa, erityisesti sellaisissa, joissa analysoitava tieto on aikasarjamuotoista.

Abstract In this work, statistical machine learning and pattern recognition methods were developed and applied to sensor-based human context recognition. More precisely, we concentrated on an effective discriminative learning framework, where input-output mapping is learned directly from a labeled dataset. Non-parametric discriminative classification and regression models based on kernel methods were applied. They include support vector machines (SVM) and Gaussian processes (GP), which play a central role in modern statistical machine learning. Based on these established models, we propose various extensions for handling structured data that usually arise from real-life applications, for example, in a field of context-aware computing. We applied both SVM and GP techniques to handle data with multiple classes in a structured multi-sensor domain. Moreover, a framework for combining data from several sources in this setting was developed using multiple classifiers and fusion rules, where kernel methods are used as base classifiers. We developed two novel methods for handling sequential input and output data. For sequential time-series data, a novel kernel based on graphical presentation, called a weighted walk-based graph kernel (WWGK), is introduced. For sequential output labels, discriminative temporal smoothing (DTS) is proposed. Again, the proposed algorithms are modular, so different kernel classifiers can be used as base models. Finally, we propose a group of techniques based on Gaussian process regression (GPR) and particle filtering (PF) to learn to track multiple targets. We applied the proposed methodology to three different human-motion-based context recognition applications: person identification, person tracking, and activity recognition, where floor (pressure-sensitive and binary switch) and wearable acceleration sensors are used to measure human motion and gait during walking and other activities. Furthermore, we extracted a useful set of specific high-level features from raw sensor measurements based on time, frequency, and spatial domains for each application. As a result, we developed practical extensions to kernel-based discriminative learning to handle many kinds of structured data applied to human context recognition. / Tiivistelmä Tässä työssä kehitettiin ja sovellettiin tilastollisen koneoppimisen ja hahmontunnistuksen menetelmiä anturipohjaiseen ihmiseen liittyvän tilannetiedon tunnistamiseen. Esitetyt menetelmät kuuluvat erottelevan oppimisen viitekehykseen, jossa ennustemalli sisääntulomuuttujien ja vastemuuttujan välille voidaan oppia suoraan tunnetuilla vastemuuttujilla nimetystä aineistosta. Parametrittomien erottelevien mallien oppimiseen käytettiin ydinmenetelmiä kuten tukivektorikoneita (SVM) ja Gaussin prosesseja (GP), joita voidaan pitää yhtenä modernin tilastollisen koneoppimisen tärkeimmistä menetelmistä. Työssä kehitettiin näihin menetelmiin liittyviä laajennuksia, joiden avulla rakenteellista aineistoa voidaan mallittaa paremmin reaalimaailman sovelluksissa, esimerkiksi tilannetietoisen laskennan sovellusalueella. Tutkimuksessa sovellettiin SVM- ja GP-menetelmiä moniluokkaisiin luokitteluongelmiin rakenteellisen monianturitiedon mallituksessa. Useiden tietolähteiden käsittelyyn esitetään menettely, joka yhdistää useat opetetut luokittelijat päätöstason säännöillä lopulliseksi malliksi. Tämän lisäksi aikasarjatiedon käsittelyyn kehitettiin uusi graafiesitykseen perustuva ydinfunktio sekä menettely sekventiaalisten luokkavastemuuttujien käsittelyyn. Nämä voidaan liittää modulaarisesti ydinmenetelmiin perustuviin erotteleviin luokittelijoihin. Lopuksi esitetään tekniikoita usean liikkuvan kohteen seuraamiseen. Menetelmät perustuvat anturitiedosta oppivaan GP-regressiomalliin ja partikkelisuodattimeen. Työssä esitettyjä menetelmiä sovellettiin kolmessa ihmisen liikkeisiin liittyvässä tilannetiedon tunnistussovelluksessa: henkilön biometrinen tunnistaminen, henkilöiden seuraaminen sekä aktiviteettien tunnistaminen. Näissä sovelluksissa henkilön asentoa, liikkeitä ja astuntaa kävelyn ja muiden aktiviteettien aikana mitattiin kahdella erilaisella paineherkällä lattia-anturilla sekä puettavilla kiihtyvyysantureilla. Tunnistusmenetelmien laajennuksien lisäksi jokaisessa sovelluksessa kehitettiin menetelmiä signaalin segmentointiin ja kuvaavien piirteiden irroittamiseen matalantason anturitiedosta. Tutkimuksen tuloksena saatiin parannuksia erottelevien mallien oppimiseen rakenteellisesta anturitiedosta sekä erityisesti uusia menettelyjä tilannetiedon tunnistamiseen.

Abstract The use of 3D imaging of craniofacial soft tissue has increased in medical science, and imaging technology has been developed greatly in recent years. 3D models are quite accurate and with imaging devices based on stereophotogrammetry, capturing the data is a quick and easy operation for the subject. However, analyzing 3D models of the face or head can be challenging and there is a growing need for efficient quantitative methods. In this thesis, new mathematical methods and tools for measuring craniofacial structures are developed. The thesis is divided into three parts. In the first part, facial 3D data of Lithuanian twins are used for the determination of zygosity. Statistical pattern recognition methodology is used for classification and the results are compared with DNA testing. In the second part of the thesis, the distribution of surface normal vector directions of a 3D infant head model is used to analyze skull deformation. The level of flatness and asymmetry are quantified by functionals of the kernel density estimate of the normal vector directions. Using 3D models from infants at the age of three months and clinical ratings made by experts, this novel method is compared with some previously suggested approaches. The method is also applied to clinical longitudinal research in which 3D images from three different time points are analyzed to find the course of positional cranial deformation and associated risk factors. The final part of the thesis introduces a novel statistical scale space method, SphereSiZer, for exploring the structures of a probability density function defined on the unit sphere. The tools developed in the second part are used for the implementation of SphereSiZer. In SphereSiZer, the scale-dependent features of the density are visualized by projecting the statistically significant gradients onto a planar contour plot of the density function. The method is tested by analyzing samples of surface unit normal vector data of an infant head as well as data from generated simulated spherical densities. The results and examples of the study show that the proposed novel methods perform well. The methods can be extended and developed in further studies. Cranial and facial 3D models will offer many opportunities for the development of new and sophisticated analytical methods in the future. / Tiivistelmä Pään ja kasvojen pehmytkudoksen 3D-kuvantaminen on yleistynyt lääketieteessä, ja siihen tarvittava teknologia on kehittynyt huomattavasti viime vuosina. 3D-mallit ovat melko tarkkoja, ja kuvaus stereofotogrammetriaan perustuvalla laitteella on nopea ja helppo tilanne kuvattavalle. Kasvojen ja pään 3D-mallien analysointi voi kuitenkin olla haastavaa, ja tarve tehokkaille kvantitatiivisille menetelmille on kasvanut. Tässä väitöskirjassa kehitetään uusia matemaattisia kraniofakiaalisten rakenteiden mittausmenetelmiä ja -työkaluja. Työ on jaettu kolmeen osaan. Ensimmäisessä osassa pyritään määrittämään liettualaisten kaksosten tsygositeetti kasvojen 3D-datan perusteella. Luokituksessa hyödynnetään tilastollista hahmontunnistusta, ja tuloksia verrataan DNA-testituloksiin. Toisessa osassa analysoidaan pään epämuodostumia imeväisikäisten päiden 3D-kuvista laskettujen pintanormaalivektorien suuntiin perustuvan jakauman avulla. Tasaisuuden ja epäsymmetrian määrää mitataan normaalivektorien suuntakulmien ydinestimaatin funktionaalien avulla. Kehitettyä menetelmää verrataan joihinkin aiemmin ehdotettuihin lähestymistapoihin mittaamalla kolmen kuukauden ikäisten imeväisten 3D-malleja ja tarkastelemalla asiantuntijoiden tekemiä kliinisiä pisteytyksiä. Menetelmää sovelletaan myös kliiniseen pitkittäistutkimukseen, jossa tutkitaan pään epämuodostumien ja niihin liittyvien riskitekijöiden kehitystä kolmena eri ajankohtana otettujen 3D-kuvien perusteella. Viimeisessä osassa esitellään uusi tilastollinen skaala-avaruusmenetelmä SphereSiZer, jolla tutkitaan yksikköpallon tiheysfunktion rakenteita. Toisessa osassa kehitettyjä työkaluja sovelletaan SphereSiZerin toteutukseen. SphereSiZer-menetelmässä tiheysfunktion eri skaalojen piirteet visualisoidaan projisoimalla tilastollisesti merkitsevät gradientit tiheysfunktiota kuvaavalle isoviivakartalle. Menetelmää sovelletaan imeväisikäisen pään pintanormaalivektoridataan ja simuloituihin, pallotiheysfunktioihin perustuviin otoksiin. Tulosten ja esimerkkien perusteella väitöskirjassa esitetyt uudet menetelmät toimivat hyvin. Menetelmiä voidaan myös kehittää edelleen ja laajentaa jatkotutkimuksissa. Pään ja kasvojen 3D-mallit tarjoavat paljon mahdollisuuksia uusien ja laadukkaiden analyysityökalujen kehitykseen myöhemmissä tutkimuksissa.