Abstract This dissertation seeks to identify and discuss challenges related to the engagement process of multipurpose public displays (MPD) in urban spaces. MPD is a public display concept based on the current emergence of passive public displays, which again is part of the growth of digital signage as a medium for commercial and non-commercial content. MPDs are separated from contemporary public displays by two traits: interactivity and new use cases. Due to these traits, a better understanding of the potential of the MPD concept is needed, and this, in its turn, necessitates both a systematic and a multidisciplinary approach. The investigation on the MPD concept and its related engagement process carried out in this thesis is divided into two phases. First, the theoretical phase is based on an extensive and analytical literature review and results in a theoretical framework based on two contributions: a layered design space for capturing the challenges related to design of MPDs in a systematic way, as well as formulation of a three-phase engagement process to model the engaging of MPDs in practice. These two formalizations facilitate reasoning on different aspects of MPD design, and thus scaffold future designs and deployments. Second, the empirical phase is based on a collection of case studies each of which investigates selected sections of the overall theoretical framework along with serving to illustrate how the sections under investigation operationalize in practice. The overall contribution of this dissertation is thus both to lay out a framework for a wider research area, as well as to raise selected findings as part of the framework through the case studies. The findings derived on the basis of the design space, as well as the engagement process indicate the complexity of the design process for MPDs, even in cases where only the aspects of human-computer interaction (HCI) are considered. They also serve to raise the importance of non-functional issues in real-world MPD deployments, most notably, the mental models embodied by current public displays that citizens implicitly transfer over to MPDs as well. For future designs, careful leveraging of existing practices and mental models is crucial to facilitate the adoption of MPDs and to fully realize their potential as flexible urban computing tools. / Tiivistelmä Tämä väitöskirja pyrkii tunnistamaan ja analysoimaan monikäyttöisten julkisten näyttöjen (multipurpose public display, MPD) käyttöön liittyviä haasteita. MPD on uusi kaupunkitiloissa olevien julkisten näyttöjen konsepti, joka perustuu nykyisten passiivisten julkisten näyttöjen sekä niissä esitettävän digitaalisen kyltityksen (digital signage) pohjalle. MPD eroaa konseptitasolla nykyisistä julkisista näytöistä pääasiassa kahdella tavalla: interaktiivisuudella sekä uusilla käyttötarkoituksilla. Näistä eroavaisuuksista sekä kaupunkitilojen yleisemmästä luonteesta johtuen MPD-konseptin parempi ymmärrys ja sitä kautta hyödyntäminen tulevaisuudessa edellyttää sekä järjestelmällistä että tieteidenvälistä tutkimusotetta. Tässä työssä tehty tutkimus jakaantuu ylimmällä tasollaan kahteen vaiheeseen. Ensimmäinen teoreettinen vaihe pohjautuu laajaan kirjallisuuskatsaukseen ja kulminoituu teoreettiseen viitekehykseen, joka koostuu kahdesta osasta. Ensimmäinen osa on kerroksittainen suunnitteluavaruus (design space), jossa pyritään MPD-konseptiin liittyvien haasteiden ja mahdollisuuksien kartoittamiseen tutkimuksen nykytila huomioonottaen. Toinen osa on teorisoitu esitys MPD-konseptin käyttöprosessista (engagement process) kaupunkilaisten näkökulmasta koostuen kolmesta osittain limittyvästä vaiheesta. Nämä kaksi teoreettista osaa tarjoavat pohjaa MDP-konseptiin pohjautuvalle suunnittelulle tulevaisuudessa. Toinen empiirinen vaihe rakentuu kolmen tapaustutkimuksen kokoelmasta, jossa jokainen yksittäinen tapaustutkimus pohjautuu tiettyihin esitetyn teorian osa-alueisiin ja näin ollen myös esittelee, miten suunitteluavaruus sekä käyttöprosessin malli voivat realisoitua käytännössä. Työn kontribuutio koostuu siis laajemman teoreettisen kehyksen muodostamisesta sekä tämän kehyksen määrittämässä fokuksessa tehdyistä tapaustutkimuksista. Työssä saavutetut tulokset auttavat hahmottamaan MPD-konseptiin liittyvän suunnittelun kompleksisuutta tilanteissa, joissa on keskitytty pääasiassa ihminen-kone vuorovaikutuksen (human-computer interaction, HCI) tutkimiseen. Tapaustukimukset nostavat esille myös ns. non-funktionaalisten tekijöiden roolin autenttisissa kaupunkitiloissa tapahtuvassa empiirisessä ja konstruktiivisessa tutkimuksessa. Tässä tärkeään rooliin nousevat etenkin niin kutsutut mentaalimallit, joiden kautta kaupunkilaiset hahmottavat MPD-konseptia. Työn tulosten perusteella voidaan todeta, että MPD-konseptiin pohjautuvassa suunnittelussa tulee korostaa olemassa olevien urbaanien sosiokulttuuristen käytäntöjen roolia. Näin MPD-konseptin käytöstä voidaan tulevaisuudessa saada sujuvampaa ja luontevampaa, ja MPD-konsepti voisi tulevaisuudessa olla keskeisempi osa urbaania sosiokulttuurista rakennetta.

Abstract This thesis presents a mobile instrumentation middleware, AWARE, aimed at facilitating our understanding of human behavior. We demonstrate how to use AWARE to build context-aware applications, collect data, and study human behavior. Mobile phones are resource-constrained and several considerations need to be taken into account to create a research tool that ensures problem-free data collection. AWARE can mitigate researchers’ effort when building mobile data-logging tools and context-aware applications. By encapsulating implementation details of sensor data retrieval and exposing the sensed data as higher-level abstractions, researchers spend less time developing software and save more time for doing research and analyzing the collected data, both quantitative and qualitative. This thesis demonstrates AWARE’s use in a number of case studies. These vary in the research methods we have used: prototype-building; large-scale deployment; surveys; interviews; cognitive walkthroughs; heuristic evaluation; laboratory & field studies data logs; Day Reconstruction Method (DRM); and Experience Sampling Method (ESM). Together with these methods, we demonstrate how AWARE helps study human behavior in different research scenarios, such as: enabling human-smartphone awareness, understanding concerns on battery life, modeling the proximity of users to their smartphones, and capturing location sharing concerns. The thesis’ contributions are: the design, implementation and evaluation of a novel mobile instrumentation middleware to facilitate an understanding of human behavior. / Tiivistelmä Tämä väitöskirja esittelee mobiililaitteiden välikerrosohjelmisto AWAREn, jonka tarkoituksena on helpottaa ihmisen käyttäytymisen ymmärtämistä. Esitämme, kuinka AWAREa voidaan käyttää apuvälineenä kontekstitietoisten sovellusten kehittämisessä, aineiston keräyksessä ja ihmisen käyttäytymisen tutkimisessa. Mobiililaitteiden rajallisista resursseista johtuen ongelmattoman aineiston keräämisen mahdollistavan tutkimustyökalun kehityksessä tulee huomioida useita seikkoja. AWARE voi helpottaa mobiilien aineistonkeräystyökalujen ja kontekstitietoisten sovellusten kehittämistä tiivistämällä anturitiedon hankintaan liittyviä yksityiskohtia ja esittämällä anturitiedon korkeamman tason abstraktioina. Näin tutkijat voivat käyttää vähemmän aikaa ohjelmistojen kehitykseen ja enemmän aikaa itse tutkimukseen ja kerätyn aineiston sekä kvantitatiiviseen että kvalitatiiviseen analysointiin. Tässä työssä havainnollistamme AWAREn käyttöä useissa tutkimuksissa, joissa on sovellettu erilaisia tutkimusmenetelmiä: prototyyppien kehittäminen, suuren kokoluokan tutkimukset, kyselytutkimukset, haastattelut, kognitiiviset läpikäynnit, heuristiset arvioinnit, aineiston kerääminen laboratorio- ja kenttätutkimuksista, päivärekonstruktiomenetelmä (Day Reconstruction Method, DRM) ja kokemusotosmenetelmä (Experience Sampling Method, ESM). Näiden menetelmien avulla osoitamme, kuinka AWARE helpottaa ihmisen käyttäytymisen tutkimusta erilaisissa tutkimusskenaarioissa, kuten ihmisen älypuhelintietoisuuden mahdollistaminen, akun kestoon vaikuttavien tekijöiden ymmärtäminen, älypuhelimen ja käyttäjän etäisyyden mallinnus sekä paikkatiedon jakamiseen kohdistuvien asenteiden selvittäminen. Tämän väitöskirjan kontribuutiot ovat: uudenlaisen, ihmisen käyttäytymisen ymmärtämistä helpottavan mobiililaitteiden instrumentointiohjelmiston (AWARE) suunnittelu, toteutus ja arviointi.

Abstract Human-computer interaction (HCI) is an integral part of modern society. Since the number of technical devices around us is increasing, the way of interacting is changing as well. The systems of the future should be proactive, so that they can adapt and adjust to people’s movements and actions without requiring any conscious control. Visual information plays a vital role in this kind of implicit human-computer interaction due to its expressiveness. It is therefore obvious that cameras equipped with computing power and computer vision techniques provide an unobtrusive way of analyzing human intentions. Despite its many advantages, use of computer vision is not always straightforward. Typically, every application sets specific requirements for the methods that can be applied. Given these motivations, this thesis aims to develop new vision-based methods and systems that can be utilized in proactive applications. As a case study, the thesis covers two different proactive computer vision applications. Firstly, an automated system that takes care of both the selection and switching of the video source in a distance education situation is presented. The system is further extended with a pan-tilt-zoom camera system that is designed to track the teacher when s/he walks at the front of the classroom. The second proactive application is targeted at mobile devices. The system presented recognizes landscape scenes which can be utilized in automatic shooting mode selection. Distributed smart cameras have been an active area of research in recent years, and they play an important role in many applications. Most of the research has focused on either the computer vision algorithms or on a specific implementation. There has been less activity on building generic frameworks which allow different algorithms, sensors and distribution methods to be used. In this field, the thesis presents an open and expendable framework for development of distributed sensor networks with an emphasis on peer-to-peer networking. From the methodological point of view, the thesis makes its contribution to the field of multi-object tracking. The method presented utilizes soft assignment to associate the measurements to the objects tracked. In addition, the thesis also presents two different ways of extracting location measurements from images. As a result, the method proposed provides location and trajectories of multiple objects which can be utilized in proactive applications. / Tiivistelmä Ihmisen ja eri laitteiden välisellä vuorovaikutuksella on keskeinen osa nyky-yhteiskunnassa. Teknisten laitteiden lisääntymisen myötä vuorovaikutustavat ovat myös muuttumassa. Tulevaisuuden järjestelmien tulisi olla proaktiivisia, jotta ne voisivat sopeutua ihmisten liikkeisiin ja toimintoihin ilman tietoista ohjausta. Ilmaisuvoimansa ansiosta visuaalisella tiedolla on keskeinen rooli tällaisessa epäsuorassa ihminen-tietokone –vuorovaikutuksessa. Tämän vuoksi on selvää, että kamerat yhdessä laskentaresurssien ja konenäkömenetelmien kanssa tarjoavat huomaamattoman tavan ihmisten toiminnan analysointiin. Lukuisista eduistaan huolimatta konenäön soveltaminen ei ole aina suoraviivaista. Yleensä jokainen sovellus asettaa erikoisvaatimuksia käytettäville menetelmille. Tästä syystä väitöskirjassa on päämääränä kehittää uusia kuvatietoon perustuvia menetelmiä ja järjestelmiä, joita voidaan hyödyntää proaktiivisissa sovelluksissa. Tässä väitöskirjassa esitellään kaksi proaktiivista sovellusta, jotka molemmat hyödyntävät tietokonenäköä. Ensimmäinen sovellus on etäopetusjärjestelmä, joka valitsee ja vaihtaa kuvalähteen automaattisesti. Järjestelmään esitellään myös ohjattavaan kameraan perustava laajennus, jonka avulla opettajaa voidaan seurata hänen liikkuessaan eri puolilla luokkahuonetta. Toinen proaktiivisen tekniikan sovellus on tarkoitettu mobiililaitteisiin. Kehitetty järjestelmä kykenee tunnistamaan maisemakuvat, jolloin kameran kuvaustila voidaan asettaa automaattisesti. Monissa sovelluksissa on tarpeen käyttää useampia kameroita. Tämän seurauksena eri puolille ympäristöä sijoitettavat älykkäät kamerat ovat olleet viime vuosina erityisen kiinnostuksen kohteena. Suurin osa kehityksestä on kuitenkin keskittynyt lähinnä eri konenäköalgoritmeihin tai yksittäisiin sovelluksiin. Sen sijaan panostukset yleisiin ja helposti laajennettaviin ratkaisuihin, jotka mahdollistavat erilaisten menetelmien, sensoreiden ja tiedonvälityskanavien käyttämisen, ovat olleet vähäisempiä. Tilanteen parantamiseksi väitöskirjassa esitellään hajautettujen sensoriverkkojen kehitykseen tarkoitettu avoin ja laajennettavissa oleva ohjelmistorunko. Menetelmien osalta tässä väitöskirjassa keskitytään useiden kohteiden seurantaan. Kehitetty seurantamenetelmä yhdistää saadut paikkamittaukset seurattaviin kohteisiin siten, että jokaiselle mittaukselle lasketaan todennäköisyys, jolla se kuuluu jokaiseen yksittäiseen seurattavaan kohteeseen. Seurantaongelman lisäksi työssä esitellään kaksi erilaista tapaa, joilla kohteiden paikka kuvassa voidaan määrittää. Esiteltyä kokonaisuutta voidaan hyödyntää proaktiivisissa sovelluksissa, jotka tarvitsevat usean kohteen paikkatiedon tai kohteiden kulkeman reitin.