Abstract Telehealth adoption is a complex and challenging process that often ends in failure. In Finland, telehealth in the form of videoconferencing is used relatively little in patient care, despite the relatively long geographical distances. The aim of this study was to describe telehealth adoption within one Finnish telehealth project. The aim was also to investigate why some telehealth applications remained in permanent use after the experimental phase while others did not. This was a qualitative study in which the material was gathered using theme interviews. Document material was also used to complement the interview data. Employees working in health care centres and specialised health care (n=41) took part in the study in 2007–2009. Some of the staff members were interviewed twice, which is why the material comprised a total of 55 interviews. The material was analysed using inductive, deductive and theory-driven content analysis. Successful adoption of telehealth applications is influenced by a variety of factors. The key factor is telehealth compatibility, which must be looked at from the perspectives of individuals (staff and patients), processes and the organisation. In terms of adoption success, factors associated with the organisation and how the project was organised were particularly emphasised, such as the need for adoption and arrangement of teleconsultations as regular processes with permanent staff and due attention to technology access and functionality. As a whole, health care staff were positive towards telehealth adoption; however, a negative attitude is not a definite obstacle to adoption. Health care staff perceived telehealth as having a number of benefits for patients, employees and society as a whole. Telehealth must be suited for patients and employees, clinical healthcare processes and the organisation. Suitability can be impacted by organisation and technology. The study has generated information about the adoption of telehealth in the Finnish health care system. This information can be made use of when planning new telehealth projects. / Tiivistelmä Etäterveydenhuollon käyttöönotto on monimutkainen ja haasteellinen prosessi, jossa epäonnistutaan usein. Suomessa videoneuvottelutekniikan avulla toteutettua etäterveydenhuoltoa käytetään potilastyössä melko vähän, vaikka meillä maantieteelliset välimatkat ovat pitkiä. Tämän tutkimuksen tarkoituksena oli kuvata etäterveydenhuollon käyttöönottoa yhdessä suomalaisessa etäterveydenhuoltohankkeessa. Tarkoituksena oli myös selvittää, miksi osa etäterveydenhuollon sovelluksista jäi pysyvään käyttöön ja osa loppui kokeiluvaiheen jälkeen. Tutkimusmetodina oli laadullinen tutkimus, jossa aineisto kerättiin teemahaastatteluilla. Lisäksi dokumenttiaineistoa käytettiin täydentämään haastatteluaineistoa. Haastatteluihin osallistui terveyskeskusten ja erikoissairaanhoidon työntekijöitä (n =  41) vuosina 2007–09. Osa työntekijöistä haastateltiin kahteen kertaan, joten kokonaisuutena tutkimusaineisto käsitti 55 haastattelua. Tutkimusaineisto analysoitiin aineistolähtöisellä, teorialähtöisellä ja teoriaohjaavalla sisällönanalyysillä. Etäterveydenhuollon sovellusten käyttöönoton onnistumiseen vaikuttavat monet eri tekijät. Keskeisin tekijä on etäterveydenhuollon soveltuvuus, jota pitää tarkastella yksilön (työntekijöiden ja potilaiden), prosessien ja organisaation näkökulmista. Käyttöönoton onnistumisessa painottuvat etenkin organisaatioon ja hankkeen organisoimiseen liittyvät tekijät, kuten tarve käyttöönotolle ja etäkonsultaatioiden järjestäminen säännöllisiksi prosesseiksi, joissa on pysyvät työntekijät ja joissa teknologian saatavuudesta sekä toimivuudesta on huolehdittu. Terveyskeskustyöntekijät suhtautuvat pääasiassa myönteisesti etäterveydenhuollon käyttöönottoon, eikä kielteinen asenne ole ehdoton este käyttöönotolle. Terveyskeskustyöntekijät kokevat etäterveydenhuollosta olevan monenlaista hyötyä potilaille, työntekijöille ja yhteiskunnalle. Etäterveydenhuollon täytyy soveltua potilaille ja työntekijöille, terveydenhuollon kliinisiin prosesseihin ja organisaatiolle. Organisoinnilla ja teknologialla voidaan vaikuttaa soveltuvuuteen. Tutkimus on tuottanut tietoa etäterveydenhuollon käyttöönotosta suomalaisessa terveydenhuoltojärjestelmässä. Tätä tietoa voidaan hyödyntää suunniteltaessa uusia etäterveydenhuoltohankkeita.

Abstract This thesis explores whether usability cost-benefit analysis is helpful when applied to commercial and open source software (OSS) development contexts. First, the thesis examines the differences and commonalities among the existing usability cost-benefit analysis models. The results indicate that there are considerable variations in the usability cost-benefit analysis literature in how the different categories of usability costs and benefits are identified and documented. Second, the thesis examines how well the existing usability cost-benefit considerations fit into practice in closed source software development. The results indicate that there are considerable risks of failure when using usability cost-benefit considerations in the commercial development context, when the inherent costs of usability activities become apparent, concrete, and measurable. Conversely, the potential benefits of better usability remain vague, uncertain, and unconvincing to the management. In order to build better usability cost-benefit models and minimize the potential that the models have unforeseen inherent risks, as outlined in this thesis, researchers should focus strongly on bringing forward the possible benefits of usability instead of focusing on the costs of designing and implementing user interfaces that would be realized in any case, regardless of the usability activities. Third, the thesis identifies the parallels and differences between open source software development and closed source software development in order to identify how usability costs and benefits fit into OSS development. The usability costs and benefits specific to OSS development are reflected in the experiences of bringing usability into the OSS development context. The results indicate that it is possible to fit usability cost-benefit considerations into the OSS development context, even though there are no apparent financial or resource factors to be considered. Furthermore, to fit usability cost-benefit considerations into the OSS development context, the philosophy, principles, hierarchical structure, community structure, and characteristics of OSS development must be considered. Usability cost-benefit considerations that fit into the OSS development context might help convince core developers that usability activities are important and should be integrated into the project roadmap. / Tiivistelmä Väitöskirjassa tutkitaan käytettävyyden kustannus-hyöty -analyysin soveltamista kaupalliseen ja avoimen lähdekoodin ohjelmistojen (OSS) ohjelmistokehitykseen. Tutkimuksessa tarkastellaan ensin käytettävyyden kustannus-hyöty -analyysimallien eroja ja yhteisiä piirteitä. Tulokset osoittavat käytettävyyden kustannus-hyöty -analyysimalleissa olevan huomattavia eroja siinä, miten eri käytettävyyden kustannuksia ja hyötyjä on tunnistettu. Toiseksi tutkimuksessa tarkastellaan miten hyvin nykyiset käytettävyyden kustannus-hyöty -analyysimallit sopivat käytännössä kaupallisten ohjelmistojen kehittämisessä. Tulokset osoittavat, että on olemassa huomattavia epäonnistumisen riskejä käytettäessä käytettävyyden kustannus-hyötynäkökohtia käytettävyystoimien oikeuttamiseen. Käytettävyyden kustannukset voivat tulla yrityksen johdon näkökulmasta konkreettisiksi ja mitattaviksi, kun taas mahdolliset paremman käytettävyyden hyödyt voivat jäädä epämääräisiksi, epävarmoiksi ja epäuskottaviksi. Parempien käytettävyyden kustannus-hyöty –mallien kehittämiseksi ja odottamattomien riskien minimoimiseksi mallien suunnittelussa tulisi keskittyä erityisesti paremman käytettävyyden tuomiin mahdollisiin etuihin, koska osa kustannuksista toteutuisi joka tapauksessa käytettävyystoimista riippumatta. Kolmanneksi tutkimuksessa tarkastellaan eroja ja yhtäläisyyksiä avoimen lähdekoodin ohjelmistojen kehittämisessä ja kaupallisessa suljetun lähdekoodin ohjelmistojen kehittämisessä, sekä miten käytettävyyden kustannukset ja hyödyt soveltuvat OSS kehityksessä käytettävyystoimien oikeuttamiseen. Käytettävyyden kustannuksia ja hyötyjä OSS -kehityksessä heijastetaan suhteessa kokemuksiin käytettävyystoimista OSS -projekteissa. Tulokset osoittavat, että on mahdollista soveltaa käytettävyyden kustannus-hyöty -näkökulmia OSS kehityksessä, vaikka OSS kehityksessä ei olekaan ilmeisiä huomioitavia taloudellisia tai resurssitekijöitä. Käytettävyyden kustannus-hyöty -näkökulmien soveltaminen OSS kehityksessä edellyttää OSS kehityksen filosofian, periaatteiden, hierarkkisen rakenteen, yhteisön rakenteen sekä OSS kehityksen ominaispiirteiden ottamista huomioon. OSS -kehitykseen paremmin soveltuvien käytettävyyden kustannus-hyöty –näkökulmien avulla voidaan vakuuttaa OSS -projektin pääkehittäjiä ja yhteisöä käytettävyystoimien tärkeydestä ja nämä toimet voidaan saada osaksi projektin ohjelmistokehitystä.

Abstract Pressures to cut public expenditure and to maximize value-adding use of scarce governmental resources are evident across the globe. Decision support tools for pinpointing when the activity is net beneficial are lacking, i.e. accountability is urgently called for but the process for recognizing and validating the best choices in direction and control are yet in their development. The objective of this research is to provide the science in general, and national administrations’ management and overseeing bodies in particular, a new understanding of how well the tasks and missions of the administration are fulfilled in terms of enhanced socio-economic well-being and adding to the value of different functions of society. This study approaches public performance management from the view-point of impact evaluation of a service oriented public product portfolio. The adopted research approach combines both qualitative and quantitative research methods. The research presents a process for evaluating a public organization’s overall benefit to cost ratio, with a case study within transport safety administration. The key findings of this research are that the socio-economic efficiency of a public entity can be quantified and that an operation of a public agency can be socio-economically net beneficial. Practical implications include re-allocation of resources to other more beneficial fields of responsibility, redesign of performance agreements and their indicators and initiating discussion in joint design of sustainable and balanced operational and strategic targets across government. Further research can exploit the methods presented in this study, as it has overcome some of the hurdles in socio-economic evaluation of public entities. With a clearer understanding of performance, government is able to better achieve its mission and its task of ensuring that agencies and other public bodies are functioning efficiently and properly. / Tiivistelmä Paineet julkisten menojen leikkaamiseksi tai hallitsemiseksi sekä julkisten resurssien tehokkaimman mahdollisen käytön varmistamiseksi kasvavat maailmanlaajuisesti. Julkisen toiminnan tulosohjausta tukevat päätöksenteko-työkalut ovat vielä puutteellisia ja varhaisessa kehitysvaiheessa, samalla kun toiminnan kustannusvastaavuutta ja tehokkuutta vaaditaan. Tämän tutkimuksen päätavoite on tuottaa uuttaa tietoa tieteelle ja myös julkishallinnolle siitä, kuinka hyvin viranomaisille asetetut tavoitteet ja tehtävät toteutuvat yhteiskuntataloudelle tuotettavan lisäarvon kannalta, sekä siitä miten lisäarvoa kyetään mittaamaan. Tämä tutkimus lähestyy tulosohjauksen tutkimusta ja kehittämistä palvelukeskeisen julkisorganisaation sekä sen palveluvalikoiman yhteiskunta-taloudellisen vaikuttavuuden arvioinnin keinoin. Valittu lähestymistapa yhdistelee laadullisia ja määrällisiä tutkimusmenetelmiä. Tutkimuksessa esitetään prosessi ja menetelmävalikoima julkisviranomaisen kustannushyötysuhteen määrittelemiseksi Liikenteen turvallisuusvirastoa käsittelevän tapausesimerkin avulla. Tutkimuksen keskeiset löydökset osoittavat, että julkisorganisaation yhteiskuntataloudellinen tehokkuus voidaan määrällistää ja että julkistoimijan toiminta voi olla yhteiskuntataloudellisesti kannattavaa. Käytännön suosituksiin sisältyy resurssien uudelleenohjaaminen tehokkaammin toimiville vastuualueille, tulossopimusten ja erityisesti niihin valittavien mittareiden uudelleensuunnittelu, sekä koko hallinnon kattavan keskustelun ja yhteissuunnittelun aloittaminen kestävän ja tasapainoisen tulosohjauksen aikaansaamiseksi strategisella ja operatiivisella tasolla. Jatkotutkimus ja hallinto voi hyödyntää tässä esitettyjä menetelmiä, nyt kun julkistoimijoiden yhteiskuntataloudellisen vaikuttavuuden arvioimisen haasteita on ratkaistu. Tuloksellisuuden vaatimusten selkeämpi ymmärtäminen mahdollistaa hallinnolle tehokkaamman tulosohjauksen ja siten tukee hallintoa sen pyrkimyksissä varmistaa julkistoimijoiden tehokas ja asianmukainen toiminta.