Abstract The development of mobile and ubiquitous computing has recently been rapid. One of the most promising research and development fields has been location-aware services. These services are challenging as they require a lot of resources for generating maps from spatial data and for visualizing temporary data gathered from the environment. Applying location-awareness and ubiquitous computing in the industry is currently under intensive research and development activities especially because of signs of promising new business opportunities. This thesis studies the development and evaluation of a location-aware system platform called Locawe designed for indoor and outdoor conditions. This decentralized middleware-based platform has been developed at CENTRIA Research and Development, Ylivieska. The main objectives of this research have been primarily to study and develop new ubiquitous features for the Locawe platform with various software and hardware combinations. In addition, during these studies gathered experiences have been used in order to design new versions of the Locawe architecture. These ubiquitous features, covering the use of GPS, RFID and WSAN technologies, have been tested in five field experiments, one laboratory experiment and several industrial pilots. In these evaluations, the author has considered what software and hardware alternatives are feasible and appropriate for improving the newly developed features in the Locawe platform. These features have been evaluated from usability, visualization and communication techniques perspective. As a result the author presents in this thesis main characteristics in location-aware system development from system layers, ubiquitous computing, mobility, and restrictions perspective. The author also suggests that the architeture presented in this thesis enables location-aware system development in indoor and outdoor conditions. With respect of state-of-the-art platforms, the Locawe platform is, at the moment, in some sense unique, although only as a research prototype. This platform combines two approaches, namely research on location platforms, and research on geosensor networks or smart environments. In addition, this platform gives one answer how RFID or WSAN technologies could be integrated under one framework together with mobile devices. Finally, the author also proposes that the research and development approach presented in this thesis can be applied successfully in research and development organizations specialized in applied research. / Tiivistelmä Mobiilin ja sulautetun tietotekniikan kehitys on ollut viime aikoina nopeaa. Yksi lupaavimmista tutkimus- ja kehityskohteista on ollut paikkatietoiset palvelut. Näiden palveluiden kehittäminen on varsin haasteellista, koska kehittämistyö vaatii runsaasti resursseja sekä karttojen generoimisessa paikkatietoaineistoista että ympäristöstä kerättävän väliaikaisen tiedon visualisoinnissa. Paikkatietoisten sovellusten ja sulautetun tietotekniikan soveltaminen teollisuudessa on aktiivisen tutkimus- ja kehittämistoiminnan keskiössä, koska näköpiirissä on selvästi uusia lupaavia liiketoimintamahdollisuuksia. Tässä väitöskirjassa keskitytään Locawe-nimisen paikkatietoisen ohjelmistoalustan kehittämisen ja arvioinnin raportointiin. Locawe-alusta on suunniteltu sekä sisä- että ulko-olosuhteisiin. Tämä hajautettu väliohjelmistopohjainen alusta on kehitetty CENTRIA Tutkimus ja kehityksen Ylivieskan yksikössä. Väitöskirjan tavoitteena on ollut ensisijaisesti tutkia ja kehittää uusia, sulautettua tietotekniikkaa hyödyntäviä ominaisuuksia Locawe-alustaan hyödyntäen erilaisia ohjelmisto- ja laitteistokombinaatioita. Väitöskirjaan liittyvän tutkimustyön aikana käyttäjiltä on useaan otteeseen kerätty käyttökokemuksia. Kokemuksia on hyödynnetty Locawe-arkkitehtuurin seuraavien versioiden suunnittelussa. Uusia, sulautettua tietotekniikkaa hyödyntäviä ominaisuuksia on testattu kaikkiaan viidessä kenttätestissä, yhdessä laboratoriotestissä sekä useissa teollisissa piloteissa. Ominaisuuksien toteuttamisessa käytettiin GPS-, RFID- ja WSAN-teknologioita. Testeissä kirjoittaja arvioi, minkälaiset ohjelmisto- ja laitteistovaihtoehdot ovat toteuttamiskelpoisimpia ja soveliaimpia uusien ominaisuuksien kehittämiseksi Locawe-alustaan. Ominaisuuksia on arvioitu käytettävyyden, visualisoinnin ja viestintätekniikoiden näkökulmista. Tutkimustyön tuloksena kirjoittaja esittelee väitöskirjassa paikkatietoisten järjestelmien kehittämiseen liittyviä ominaispiirteitä järjestelmätasojen, sulautetun tietotekniikan, mobiliteetin ja rajoitteiden näkökulmista. Lisäksi kirjoittaja esittää väitöskirjassa arkkitehtuurin, joka mahdollistaa paikkatietoisen järjestelmän kehittämisen soveltuen niin sisä- kuin ulko-olosuhteisiin. Huomioiden paikkatietoisten alustojen tason maailmanlaajuisesti väitöskirjassa kuvattu Locawe-alusta on tutkimusprototyyppinäkin tällä hetkellä tietyssä määrin ainutlaatuinen. Alustan tutkimisessa on nimittäin keskitytty sekä paikkatietoisten alustojen että geosensoriverkkojen ja älykkäiden ympäristöjen tutkimiseen. Lisäksi Locawe-alusta tarjoaa yhden ratkaisun RFID ja WSAN teknologioiden integrointiin yhdeksi kehykseksi yhdessä mobiililaitteiden kanssa. Lopuksi kirjoittaja esittää, että väitöskirjassa esitetty tutkimus- ja kehittämistoiminnan lähestymistapaa voidaan soveltaa vastaavissa tutkimusorganisaatioissa kuin CENTRIA.

Abstract This thesis presents a mobile instrumentation middleware, AWARE, aimed at facilitating our understanding of human behavior. We demonstrate how to use AWARE to build context-aware applications, collect data, and study human behavior. Mobile phones are resource-constrained and several considerations need to be taken into account to create a research tool that ensures problem-free data collection. AWARE can mitigate researchers’ effort when building mobile data-logging tools and context-aware applications. By encapsulating implementation details of sensor data retrieval and exposing the sensed data as higher-level abstractions, researchers spend less time developing software and save more time for doing research and analyzing the collected data, both quantitative and qualitative. This thesis demonstrates AWARE’s use in a number of case studies. These vary in the research methods we have used: prototype-building; large-scale deployment; surveys; interviews; cognitive walkthroughs; heuristic evaluation; laboratory & field studies data logs; Day Reconstruction Method (DRM); and Experience Sampling Method (ESM). Together with these methods, we demonstrate how AWARE helps study human behavior in different research scenarios, such as: enabling human-smartphone awareness, understanding concerns on battery life, modeling the proximity of users to their smartphones, and capturing location sharing concerns. The thesis’ contributions are: the design, implementation and evaluation of a novel mobile instrumentation middleware to facilitate an understanding of human behavior. / Tiivistelmä Tämä väitöskirja esittelee mobiililaitteiden välikerrosohjelmisto AWAREn, jonka tarkoituksena on helpottaa ihmisen käyttäytymisen ymmärtämistä. Esitämme, kuinka AWAREa voidaan käyttää apuvälineenä kontekstitietoisten sovellusten kehittämisessä, aineiston keräyksessä ja ihmisen käyttäytymisen tutkimisessa. Mobiililaitteiden rajallisista resursseista johtuen ongelmattoman aineiston keräämisen mahdollistavan tutkimustyökalun kehityksessä tulee huomioida useita seikkoja. AWARE voi helpottaa mobiilien aineistonkeräystyökalujen ja kontekstitietoisten sovellusten kehittämistä tiivistämällä anturitiedon hankintaan liittyviä yksityiskohtia ja esittämällä anturitiedon korkeamman tason abstraktioina. Näin tutkijat voivat käyttää vähemmän aikaa ohjelmistojen kehitykseen ja enemmän aikaa itse tutkimukseen ja kerätyn aineiston sekä kvantitatiiviseen että kvalitatiiviseen analysointiin. Tässä työssä havainnollistamme AWAREn käyttöä useissa tutkimuksissa, joissa on sovellettu erilaisia tutkimusmenetelmiä: prototyyppien kehittäminen, suuren kokoluokan tutkimukset, kyselytutkimukset, haastattelut, kognitiiviset läpikäynnit, heuristiset arvioinnit, aineiston kerääminen laboratorio- ja kenttätutkimuksista, päivärekonstruktiomenetelmä (Day Reconstruction Method, DRM) ja kokemusotosmenetelmä (Experience Sampling Method, ESM). Näiden menetelmien avulla osoitamme, kuinka AWARE helpottaa ihmisen käyttäytymisen tutkimusta erilaisissa tutkimusskenaarioissa, kuten ihmisen älypuhelintietoisuuden mahdollistaminen, akun kestoon vaikuttavien tekijöiden ymmärtäminen, älypuhelimen ja käyttäjän etäisyyden mallinnus sekä paikkatiedon jakamiseen kohdistuvien asenteiden selvittäminen. Tämän väitöskirjan kontribuutiot ovat: uudenlaisen, ihmisen käyttäytymisen ymmärtämistä helpottavan mobiililaitteiden instrumentointiohjelmiston (AWARE) suunnittelu, toteutus ja arviointi.

Abstract This thesis describes the development of a personal machine-to-machine (M2M) healthcare system that is both flexible and scalable. Based on the IPv6 protocol, the system can be used over a low-power wireless personal area network (6LoWPAN). Since a hierarchical network structure offers excellent accessibility, the system is applicable both to local and international healthcare services. To further enhance scalability and reliability, the proposed system combines 6LoWPAN with mobile techniques, depending on whether the sensor is located inside or outside the range of a wireless sensor network (WSN). Employing wearable low-power sensors, the system measures health parameters dynamically. For wireless transmission, these sensors are connected to an M2M node either through the internet or through an external IPv4/IPv6-enabled network. The applicability of the IEEE 802.15.4 and 6LoWPAN protocols to wide area networks were verified in practical tests using an M2M gateway. To assess the physical health of an individual, the system uses heart rate variability analysis in time and frequency domains. Acquired data are first stored on a server for analysis. Results of the analysis are then automatically sent to Android-based mobile devices carried by the individual or appointed healthcare providers. In this way, mobile techniques are used to support remote health monitoring services. This personal M2M healthcare system has the capacity to accurately process a large amount of biomedical signals. Moreover, due to its ability to use mobile technology, the system allows patients to conveniently monitor their own health status, regardless of location. / Tiivistelmä Tutkimuksessa kehitetään henkilökohtainen mobiililaitteden välillä toimiva (M2M) terveydenhoitojärjestelmä, joka mahdollistaa joustavan ja skaalautuvan potilaan terveyden monitoroinnin. Perustuen IPv6-protokollaan, sovellusta voidaan käyttää matalatehoisen langattoman 6LowPAN-verkon yli. Koska hierarkkinen verkkorakenne tarjoaa erinomaisen saavutettavuuden, järjestelmän kapasiteetti riittää paitsi kaupungin sisäisten myös kansainvälisten terveyspalvelujen järjestämiseen. Skaalattavuuden ja luotettavuuden vuoksi ehdotettu järjestelmä yhdistelee 6LowPAN-tekniikkaa mobiiliteknologiaan riippuen siitä onko sensori langattoman sensoriverkon kuuluvuusalueella vai sen ulkopuolella. Puettavia matalatehoisia sensoreita käyttävä järjestelmä kykenee mittaamaan terveysparametreja dynaamisesti. Langatonta siirtoa varten nämä sensorit on kytketty M2M-solmuun joko internetin tai ulkoisen IPv4/IPv6-verkon kautta. Käytännön testeissä IEEE802.15.4- ja 6LowPAN-protokollien soveltaminen laajaverkossa mahdollistettiin tähän soveltuvalla M2M-yhdyskäytävällä. Yksilöiden fyysisen terveyden arvioinnissa järjestelmä käyttää sydämen sykevaihtelun analysointia aika- ja taajuustasossa. Data tallennetaan palvelimelle analysointia varten. Analyysin tulokset lähetetään automaattisesti henkilöiden omiin tai heidän lääkäriensä mobiililaitteisiin. Näin mobiiliteknologiaa käytetään tukemaan terveyden etämonitorointipalveluja. Tämä henkilökohtainen M2M-kommunikointiin perustuva terveydenhoitojärjestelmä kykenee käsittelemään tarkkaan suuriakin määriä 6LowPAN-verkon ja internetin kautta tulevia biolääketieteellisiä signaaleja. Lisäksi kyky käyttää mobiiliteknologiaa tekee järjestelmästä potilaille miellyttävän tavan monitoroida omaa terveydentilaansa sijaintipaikasta riippumatta.

Abstract The last decade was marked by a set of harmful events ranging from economical crises to organized crime, acts of terror and natural catastrophes. This has led to a paradigm transformation concerning security. Millions of surveillance cameras have been deployed, which led to new challenges, as the systems and operations behind those cameras could not cope with the rapid growth in number of video cameras and systems. Looking at today’s control rooms, often hundreds or even thousands of cameras are displayed, overloading security officers with irrelevant information. The purpose of this research was the creation of a novel video surveillance system with automated analysis mechanisms which enable security authorities and their operators to cope with this information flood. By automating the process, video surveillance was transformed into a proactive information system. The progress in technology as well as the ever increasing demand in security have proven to be an enormous driver for security technology research, such as this study. This work shall contribute to the protection of our personal freedom, our lives, our property and our society by aiding the prevention of crime and terrorist attacks that diminish our personal freedom. In this study, design science research methodology was utilized in order to ensure scientific rigor while constructing and evaluating artifacts. The requirements for this research were sought in close cooperation with high-level security authorities and prior research was studied in detail. The created construct, the “Intelligent Video Surveillance System”, is a distributed, highly-scalable software framework, that can function as a basis for any kind of high-performance video surveillance system, from installations focusing on high-availability to flexible cloud-based installation that scale across multiple locations and tens of thousands of cameras. First, in order to provide a strong foundation, a modular, distributed system architecture was created, which was then augmented by a multi-sensor analysis process. Thus, the analysis of data from multiple sources, combining video and other sensors in order to automatically detect critical events, was enabled. Further, an intelligent mobile client, the video surveillance local control, which addressed remote access applications, was created. Finally, a wireless self-contained surveillance system was introduced, a novel smart camera concept that enabled ad hoc and mobile surveillance. The value of the created artifacts was proven by evaluation at two real-world sites: An international airport, which has a large-scale installation with high-security requirements, and a security service provider, offering a multitude of video-based services by operating a video control center with thousands of cameras connected. / Tiivistelmä Viime vuosikymmen tunnetaan vahingollisista tapahtumista alkaen talouskriiseistä ja ulottuen järjestelmälliseen rikollisuuteen, terrori-iskuihin ja luonnonkatastrofeihin. Tämä tilanne on muuttanut suhtautumista turvallisuuteen. Miljoonia valvontakameroita on otettu käyttöön, mikä on johtanut uusiin haasteisiin, koska kameroihin liittyvät järjestelmät ja toiminnot eivät pysty toimimaan yhdessä lukuisien uusien videokameroiden ja järjestelmien kanssa. Nykyajan valvontahuoneissa voidaan nähdä satojen tai tuhansien kameroiden tuottavan kuvaa ja samalla runsaasti tarpeetonta informaatiota turvallisuusvirkailijoiden katsottavaksi. Tämän tutkimuksen tarkoitus oli luoda uusi videovalvontajärjestelmä, jossa on automaattiset analyysimekanismit, jotka mahdollistavat turva-alan toimijoiden ja niiden operaattoreiden suoriutuvan informaatiotulvasta. Automaattisen videovalvontaprosessin avulla videovalvonta muokattiin proaktiiviseksi tietojärjestelmäksi. Teknologian kehitys ja kasvanut turvallisuusvaatimus osoittautuivat olevan merkittävä ajuri turvallisuusteknologian tutkimukselle, kuten tämä tutkimus oli. Tämä tutkimus hyödyttää yksittäisen ihmisen henkilökohtaista vapautta, elämää ja omaisuutta sekä yhteisöä estämällä rikoksia ja terroristihyökkäyksiä. Tässä tutkimuksessa suunnittelutiedettä sovellettiin varmistamaan tieteellinen kurinalaisuus, kun artefakteja luotiin ja arvioitiin. Tutkimuksen vaatimukset perustuivat läheiseen yhteistyöhön korkeatasoisten turva-alan viranomaisten kanssa, ja lisäksi aiempi tutkimus analysoitiin yksityiskohtaisesti. Luotu artefakti - ’älykäs videovalvontajärjestelmä’ - on hajautettu, skaalautuva ohjelmistoviitekehys, joka voi toimia perustana monenlaiselle huipputehokkaalle videovalvontajärjestelmälle alkaen toteutuksista, jotka keskittyvät saatavuuteen, ja päättyen joustaviin pilviperustaisiin toteutuksiin, jotka skaalautuvat useisiin sijainteihin ja kymmeniin tuhansiin kameroihin. Järjestelmän tukevaksi perustaksi luotiin hajautettu järjestelmäarkkitehtuuri, jota laajennettiin monisensorianalyysiprosessilla. Siten mahdollistettiin monista lähteistä peräisin olevan datan analysointi, videokuvan ja muiden sensorien datan yhdistäminen ja automaattinen kriittisten tapahtumien tunnistaminen. Lisäksi tässä työssä luotiin älykäs kännykkäsovellus, videovalvonnan paikallinen kontrolloija, joka ohjaa sovelluksen etäkäyttöä. Viimeksi tuotettiin langaton itsenäinen valvontajärjestelmä – uudenlainen älykäs kamerakonsepti – joka mahdollistaa ad hoc -tyyppisen ja mobiilin valvonnan. Luotujen artefaktien arvo voitiin todentaa arvioimalla ne kahdessa reaalimaailman ympäristössä: kansainvälinen lentokenttä, jonka laajamittaisessa toteutuksessa on korkeat turvavaatimukset, ja turvallisuuspalveluntuottaja, joka tarjoaa moninaisia videopohjaisia palveluja videovalvontakeskuksen avulla käyttäen tuhansia kameroita.