Abstract The development of wireless networks has provided the necessary conditions for several new applications. The emergence of the virtual and augmented reality and the Internet of things and during the era of social media and streaming services, various demands related to functionality and performance have been set for mobile and wearable devices. Meeting these demands is complicated due to minimal energy budgets, which are characteristic of embedded devices. Lately, the energy efficiency of devices has been addressed by increasing parallelism and the use of application-specific hardware resources. This has been hindered by hardware development as well as software development because the conventional development methods are based on the use of low-level abstractions and sequential programming paradigms. On the other hand, deployment of high-level design methods is slowed down because of final solutions that are too much compromised when energy efficiency and performance are considered. This doctoral thesis introduces a model-driven framework for the development of signal processing systems that facilitates hardware and software co-design. The design flow exploits an easily customizable, re-programmable and energy-efficient processor template. The proposed design flow enables tailoring of multiple heterogeneous processing elements and the connections between them to the demands of an application. Application software is described by using high-level dataflow models, which enable the automatic synthesis of parallel applications for different multicore hardware platforms and speed up design space exploration. Suitability of the proposed design flow is demonstrated by using three different applications from different signal processing domains. The experiments showed that raising the level of abstraction has only a minor impact on performance. Video processing algorithms are selected to be the main application area in this thesis. The thesis proposes tailored and reprogrammable energy-efficient processing elements for video coding algorithms. The solutions are based on the use of multiple processing elements by exploiting the pipeline parallelism of the application, which is characteristic of many signal processing algorithms. Performance, power and area metrics for the designed solutions have been obtained using post-layout simulation models. In terms of energy efficiency, the proposed programmable processors form a new compromise solution between fixed hardware accelerators and conventional embedded processors for video coding. / Tiivistelmä Langattomien verkkojen kehittyminen on luonut edellytykset useille uusille sovelluksille. Muiden muassa sosiaalisen media, suoratoistopalvelut, virtuaalitodellisuus ja esineiden internet asettavat kannettaville ja puettaville laitteille moninaisia toimintoihin, suorituskykyyn, energiankulutukseen ja fyysiseen muotoon liittyviä vaatimuksia. Yksi isoimmista haasteista on sulautettujen laitteiden energiankulutus. Laitteiden energiatehokkuutta on pyritty parantamaan rinnakkaislaskentaa ja räätälöityjä laskentaresursseja hyödyntämällä. Tämä puolestaan on vaikeuttanut niin laite- kuin sovelluskehitystä, koska laajassa käytössä olevat kehitystyökalut perustuvat matalan tason abstraktioihin ja hyödyntävät alun perin yksi ydinprosessoreille suunniteltuja ohjelmointikieliä. Korkean tason ja automatisoitujen kehitysmenetelmien käyttöönottoa on hidastanut aikaansaatujen järjestelmien puutteellinen suorituskyky ja laiteresurssien tehoton hyödyntäminen. Väitöskirja esittelee datavuopohjaiseen suunnitteluun perustuvan työkaluketjun, joka on tarkoitettu energiatehokkaiden signaalikäsittelyjärjestelmien toteuttamiseen. Työssä esiteltävä suunnitteluvuo pohjautuu laitteistoratkaisuissa räätälöitävään ja ohjelmoitavaan siirtoliipaistavaan prosessoritemplaattiin. Ehdotettu suunnitteluvuo mahdollistaa useiden heterogeenisten prosessoriytimien ja niiden välisten kytkentöjen räätälöimisen sovelluksien tarpeiden vaatimalla tavalla. Suunnitteluvuossa ohjelmistot kuvataan korkean tason datavuomallien avulla. Tämä mahdollistaa erityisesti rinnakkaista laskentaa sisältävän ohjelmiston automaattisen sovittamisen erilaisiin moniprosessorijärjestelmiin ja nopeuttaa erilaisten järjestelmätason ratkaisujen kartoittamista. Suunnitteluvuon käyttökelpoisuus osoitetaan käyttäen esimerkkinä kolmea eri signaalinkäsittelysovellusta. Tulokset osoittavat, että suunnittelumenetelmien abstraktiotasoa on mahdollista nostaa ilman merkittävää suorituskyvyn heikkenemistä. Väitöskirjan keskeinen sovellusalue on videonkoodaus. Työ esittelee videonkoodaukseen suunniteltuja energiatehokkaita ja uudelleenohjelmoitavia prosessoriytimiä. Ratkaisut perustuvat usean prosessoriytimen käyttämiseen hyödyntäen erityisesti videonkäsittelyalgoritmeille ominaista liukuhihnarinnakkaisuutta. Prosessorien virrankulutus, suorituskyky ja pinta-ala on analysoitu käyttämällä simulointimalleja, jotka huomioivat logiikkasolujen sijoittelun ja johdotuksen. Ehdotetut sovelluskohtaiset prosessoriratkaisut tarjoavat uuden energiatehokkaan kompromissiratkaisun tavanomaisten ohjelmoitavien prosessoreiden ja kiinteästi johdotettujen video-kiihdyttimien välille.

Abstract Emotion recognition, a key step of affective computing, is the process of decoding an embedded emotional message from human communication signals, e.g. visual, audio, and/or other physiological cues. It is well-known that speech is the main channel for human communication and thus vital in the signalling of emotion and semantic cues for the correct interpretation of contexts. In the verbal channel, the emotional content is largely conveyed as constant paralinguistic information signals, from which prosody is the most important component. The lack of evaluation of affect and emotional states in human machine interaction is, however, currently limiting the potential behaviour and user experience of technological devices. In this thesis, speech prosody and related acoustic features of speech are used for the recognition of emotion from spoken Finnish. More specifically, methods for emotion recognition from speech relying on long-term global prosodic parameters are developed. An information fusion method is developed for short segment emotion recognition using local prosodic features and vocal source features. A framework for emotional speech data visualisation is presented for prosodic features. Emotion recognition in Finnish comparable to the human reference is demonstrated using a small set of basic emotional categories (neutral, sad, happy, and angry). A recognition rate for Finnish was found comparable with those reported in the western language groups. Increased emotion recognition is shown for short segment emotion recognition using fusion techniques. Visualisation of emotional data congruent with the dimensional models of emotion is demonstrated utilising supervised nonlinear manifold modelling techniques. The low dimensional visualisation of emotion is shown to retain the topological structure of the emotional categories, as well as the emotional intensity of speech samples. The thesis provides pattern recognition methods and technology for the recognition of emotion from speech using long speech samples, as well as short stressed words. The framework for the visualisation and classification of emotional speech data developed here can also be used to represent speech data from other semantic viewpoints by using alternative semantic labellings if available. / Tiivistelmä Emootiontunnistus on affektiivisen laskennan keskeinen osa-alue. Siinä pyritään ihmisen kommunikaatioon sisältyvien emotionaalisten viestien selvittämiseen, esim. visuaalisten, auditiivisten ja/tai fysiologisten vihjeiden avulla. Puhe on ihmisten tärkein tapa kommunikoida ja on siten ensiarvoisen tärkeässä roolissa viestinnän oikean semanttisen ja emotionaalisen tulkinnan kannalta. Emotionaalinen tieto välittyy puheessa paljolti jatkuvana paralingvistisenä viestintänä, jonka tärkein komponentti on prosodia. Tämän affektiivisen ja emotionaalisen tulkinnan vajaavaisuus ihminen-kone – interaktioissa rajoittaa kuitenkin vielä nykyisellään teknologisten laitteiden toimintaa ja niiden käyttökokemusta. Tässä väitöstyössä on käytetty puheen prosodisia ja akustisia piirteitä puhutun suomen emotionaalisen sisällön tunnistamiseksi. Työssä on kehitetty pitkien puhenäytteiden prosodisiin piirteisiin perustuvia emootiontunnistusmenetelmiä. Lyhyiden puheenpätkien emotionaalisen sisällön tunnistamiseksi on taas kehitetty informaatiofuusioon perustuva menetelmä käyttäen prosodian sekä äänilähteen laadullisten piirteiden yhdistelmää. Lisäksi on kehitetty teknologinen viitekehys emotionaalisen puheen visualisoimiseksi prosodisten piirteiden avulla. Tutkimuksessa saavutettiin ihmisten tunnistuskykyyn verrattava automaattisen emootiontunnistuksen taso käytettäessä suppeaa perusemootioiden joukkoa (neutraali, surullinen, iloinen ja vihainen). Emootiontunnistuksen suorituskyky puhutulle suomelle havaittiin olevan verrannollinen länsieurooppalaisten kielten kanssa. Lyhyiden puheenpätkien emotionaalisen sisällön tunnistamisessa saavutettiin taas parempi suorituskyky käytettäessä fuusiomenetelmää. Emotionaalisen puheen visualisoimiseksi kehitetyllä opetettavalla epälineaarisella manifoldimallinnustekniikalla pystyttiin tuottamaan aineistolle emootion dimensionaalisen mallin kaltainen visuaalinen rakenne. Mataladimensionaalisen kuvauksen voitiin edelleen osoittaa säilyttävän sekä tutkimusaineiston emotionaalisten luokkien että emotionaalisen intensiteetin topologisia rakenteita. Tässä väitöksessä kehitettiin hahmontunnistusmenetelmiin perustuvaa teknologiaa emotionaalisen puheen tunnistamiseksi käytettäessä sekä pitkiä että lyhyitä puhenäytteitä. Emotionaalisen aineiston visualisointiin ja luokitteluun kehitettyä teknologista kehysmenetelmää käyttäen voidaan myös esittää puheaineistoa muidenkin semanttisten rakenteiden mukaisesti.

Abstract The current Internet of Things solutions for simple measurement and monitoring tasks are evolving into ubiquitous sensor networks that are constantly observing both our well being and the conditions of our living environment. The oncoming omnipresent wireless infrastructure is expected to feature artificial intelligence capabilities that can interpret human actions, gestures and even needs. All of this will require processing power on a par with and energy efficiency far beyond that of the current mobile devices. The current Internet of Things devices rely mostly on commercial low power off-the-shelf micro-controllers. Optimized solely for low power, while paying little attention to computing performance, the present solutions are far from achieving the energy efficiency, let alone, the compute capability requirements of the future Internet of Things solutions. Since this domain is application specific by nature, the use of general purpose processors for signal processing tasks is counterintuitive. Instead, dedicated accelerator based solutions are more likely to be able to meet these strict demands. This thesis proposes one potential solution for achieving the necessary low energy, as well as the flexibility and performance requirements of the Internet of Things domain in a cost effective manner using reconfigurable heterogeneous processing solutions. A novel graphics processing unit-style accelerator for the Internet of Things application domain is presented. Since the accelerator can be reconfigured, it can be used for most applications of the Internet of Things domain, as well as other application domains. The solution is assessed using two computer vision applications, and is demonstrated to achieve an excellent combination of performance and energy efficiency. The accelerator is designed using an efficient and rapid co-design flow of software and hardware, featuring ease of development characteristics close to commercial off-the-shelf solutions, which also enables cost-efficient design flow. / Tiivistelmä Esineiden internet tulee muuttamaan tulevaisuudessa elinympäristömme täysin. Se tulee mahdollistamaan interaktiiviset ympäristöt nykyisten passiivisten ympäristöjen sijaan. Lisäksi elinympäristömme tulee reagoimaan tekoihimme ja puheeseemme sekä myös tunteisiimme. Tämä kaikkialla läsnä olevan langaton infrastruktuuri tulee vaatimaan ennennäkemätöntä laskentatehokkuutta yhdistettynä äärimmäiseen energiatehokkuuteen. Nykyiset esineiden internet ratkaisut nojaavat lähes täysin kaupallisiin "suoraan hyllyltä" saataviin yleiskäyttöisiin mikrokontrollereihin. Ne ovat kuitenkin optimoituja pelkästään matalan tehonkulutuksen näkökulmasta, eivätkä niinkään energiatehokkuuden, saati tulevaisuuden esineiden internetin vaatiman laskentatehon suhteen. Kuitenkin esineiden internet on lähtökohtaisesti sovelluskohtaista laskentaa vaativa, joten yleiskäyttöisten prosessoreiden käyttö signaalinkäsittelytehtäviin on epäloogista. Sen sijaan sovelluskohtaisten kiihdyttimien käyttö laskentaan, todennäköisesti mahdollistaisi tavoitellun vaatimustason saavuttamisen. Tämä väitöskirja esittelee yhden mahdollisen ratkaisun matalan energian kulutuksen, korkean suorituskyvyn ja joustavuuden yhdenaikaiseen saavuttamiseen kustannustehokkaalla tavalla, käyttäen uudelleenkonfiguroitavia heterogeenisiä prosessoriratkaisuja. Työssä esitellään uusi grafiikkaprosessori-tyylinen uudelleen konfiguroitava kiihdytin esineiden internet sovellusalueelle, jota pystytään hyödyntämään useimpien laskentatehoa vaativien sovellusten kanssa. Ehdotetun kiihdyttimen ominaisuuksia arvioidaan kahta konenäkösovellusta esimerkkinä käyttäen ja osoitetaan sen saavuttavan loistavan yhdistelmän energia tehokkuutta ja suorituskykyä. Kiihdytin suunnitellaan käyttäen tehokasta ja nopeaa ohjelmiston ja laitteiston yhteissuunnitteluketjua, jolla voidaan saavuttaa lähestulkoon kaupallisten "suoraan hyllyltä" saatavien prosessoreiden kehitystyön helppous, joka puolestaan mahdollistaa kustannustehokkaan kehitys- ja suunnittelutyön.

Abstract Communication networks are experiencing a significant growth of data traffic posing new challenges to the overall systems that should become more reactive and adaptive towards dynamically changing traffic, connections and network conditions. This thesis examines adaptive traffic management solutions within heterogeneous communication networks, which can be utilized to improve network performance, provide Quality of Service (QoS) for traffic paths and share resources in a fair way. The developed adaptive methods include solutions for fuzzy flow scheduling (AWFQ, FWQ) and regressive admission control (REAC) to provide stable network performance and efficient resource control. Such techniques for adaptive traffic management continuously balance and control traffic usage and recover from network faults and attacks. The results utilize traffic monitoring for estimating the overall network conditions, applying cognition to learn from previous actions, and adapting to the current traffic conditions for resource optimization. The thesis researches how to distribute these computing mechanisms towards network edges closer to the actual application users for more efficient resource usage, and to provide better performance for delay-sensitive applications. The methods developed have been applied to vehicular communications to assess and improve the messaging between vehicles and vulnerable road users (VRUs). These mechanisms are able to react faster to data traffic changes and guarantee better quality for prioritized traffic and users while at the same time they preserve fairness to other flows compared to traditional control and scheduling methods without adaptive characteristics. The overall system reacts to changes in the network QoS by determining decision-making procedures on possible flow rejection, marking, or allowed bandwidth weight assignment, thus bringing cognition to the network path. / Tiivistelmä Merkittävä liikennemäärien kasvu aiheuttaa tietoverkoille uusia haasteita, minkä vuoksi niiden täytyy tukea reaktiivisuutta ja adaptiivisuutta vastatakseen muuttuviin liikenne- sekä verkko-olosuhteisiin että yhteyksiin. Väitöskirjassa kehitetään heterogeenisten tietoverkkojen adaptiivisia liikenteenhallintaratkaisuja, joita voidaan hyödyntää verkon suorituskyvyn parantamiseen, tarjoamaan liikenteen palvelunlaatua (QoS) sekä tasapuolista resurssien jakoa. Kehitetyt adaptiiviset menetelmät sisältävät ratkaisuja sumeaan logiikkaan perustuvaan skedulointiin sekä regressiiviseen verkon pääsynhallintaan pohjautuen, jotka takaavat vakaamman verkon suorituskyvyn ja resurssien hallinnan. Nämä menetelmät tasapainottavat ja kontrolloivat liikennettä sekä pyrkivät palautumaan verkon häiriöistä ja hyökkäyksistä. Tulokset hyödyntävät liikenteen monitorointia verkon tilan arviointiin, soveltavat kognitiivisuutta oppiakseen aiemmista toiminnoista sekä adaptoituvat nykytilanteeseen resurssien optimoimiseksi. Väitöskirja tutkii, miten kyseisiä laskentamenetelmiä voidaan hajauttaa verkon reunoille lähemmäksi sovellusten käyttäjiä resurssien käytön tehostamiseksi sekä tarjoamaan parempaa suorituskykyä viiveherkille sovelluksille. Kehitettyjä menetelmiä sovelletaan autoverkkoihin autojen sekä suojattomien tienkäyttäjien viestinnän määrittämiseen sekä parantamiseen. Nämä menetelmät reagoivat nopeammin dataliikenteen muutoksiin, takaavat paremman laadun priorisoidulle liikenteelle sekä samalla tasapuolisuutta muulle liikenteelle verrattuna perinteisiin kontrollointi- ja skedulointimenetelmiin. Kehitetty järjestelmä reagoi verkon palvelunlaadun muutoksiin määrittelemällä päätöksentekomalleja mahdolliseen tietovuon hylkäämiseen, merkitsemiseen tai kaistankäytön painokertoimen määrittämiseen, täten luoden kognitiivisuutta verkon reitille.

Abstract Achieving the objective of a decarbonised economy by 2050 will require massive efforts in the energy sector. Emissions from residential houses will have to be almost completely cut, by around 90% by 2050. Home automation is a potential tool for achieving this goal. However, the environmental and economic benefits of automation technologies first need to be assessed. This thesis evaluates the impact of home automation for electricity management in the residential sector using environmental and economic indicators. To this end, a life cycle assessment was performed to evaluate the impacts of the manufacturing, use and disposal phases. The influences of end-user behaviour, household size and multiple levels of technological deployment were also investigated. A Markov chain simulation tool, built on the MatLab platform, was developed to assess all possible combinations of impacting factors. Dynamic environmental indicators were developed based on the ReCiPe method for aggregating the impacts of processes. All these indicators were then combined to form a single index based on multi-criteria acceptability analysis. The results suggest that home automation can decrease peak load, but that overall electricity consumption may increase due to electricity use by the actual automation system. The effect of home automation was more noticeable in larger households than in one-person households. In addition, use of dynamic environmental indicators proved more relevant than fixed indicators to represent the environmental impact of home automation. Within the life cycle of automation technology, the manufacturing phase had the highest impact, but most of the CO2 emissions originated from the use phase. In conclusion, the most important environmental benefit of home automation is reducing CO2 emissions during peak time by load shifting. / Tiivistelmä Vähähiilisen talouden saavuttaminen vuoteen 2050 mennessä edellyttää valtavia ponnisteluja energia-alalla. Rakennuksista aiheutuvia päästöjä on vähennettävä radikaalisti, jopa 90 % vuoteen 2050 mennessä. Rakennusten energiatehokkuutta edistävä automaatiotekniikka on yksi keino tämän päämäärän saavuttamiseen. Kotiautomaation kautta voidaan sekä vähentää energian kokonaiskulutusta että tasoittaa energiankäyttöprofiilia. On kuitenkin tutkittava myös, mitkä ovat automaatiotekniikan ympäristö- ja taloudelliset vaikutukset. Tässä työssä käsitellään kotiautomaation vaikutusta sähkön kulutuksen hallintaan asuinrakennuksissa käyttämällä ympäristö- ja talousindikaattoreita. Tätä varten suoritettiin kotiautomaation elinkaariarviointi selvittämällä laitteiden valmistus-, käyttö- ja hävittämisvaiheiden ympäristövaikutukset. Työssä tarkasteltiin myös asukkaiden käyttäytymisen, kotitalouden koon ja eri teknologiavaihtoehtojen vaikutuksia ympäristö- ja talousvaikutuksiin. Arviointi suoritettiin Markovin ketjun simulointityökalulla, joka rakennettiin Matlab-alustalle. Dynaamisia ympäristömittareita kehitettiin ReCiPe-menetelmää käyttäen. Indikaattorit on edelleen yhdistetty yhdeksi indeksiksi käyttäen monikriteeriarviointia. Tulokset viittaavat siihen, että huippukuormitusta voidaan vähentää käyttämällä kotiautomaatiota, mutta sähkön kokonaiskulutus voi kasvaa automaatiojärjestelmän sähkönkulutuksen takia. Kotiautomaation vaikutukset ovat eniten havaittavissa suurissa kotitalouksissa. Lisäksi, dynaamiset indikaattorit edustavat paremmin kotiautomaation vaikutusta ympäristöön kuin staattiset indikaattorit. Automaatioteknologian elinkaaressa suurimmat ympäristövaikutukset ovat valmistusvaiheessa, mutta CO2-päästöjä syntyy eniten käyttövaiheessa. Lopuksi voidaan todeta, että kotiautomaation merkittävin ympäristöhyöty on CO2-päästöjen vähentäminen huippukulutuksen aikana siirtämällä kuormitusta toiseen ajankohtaan.