Abstract The role of higher education as an essential component of the productive economy has been emphasized in the 21stcentury, resulting in a constant need to demonstrate compliance and excellence to various stakeholders. To achieve this, a large variety of internal and external evaluation processes have been developed. However, to connect these evaluations with continuous improvement has often proved challenging due to factors arising from organizational complexity. This compilation dissertation examines how various quality evaluations in higher education could be integrated in a meaningful and synergistic manner. Integration is analyzed both horizontally across the three missions of the university, as well as vertically ranging from external evaluations to self-assessment. The four research articles each support this whole from a different viewpoint. The results of the articles are complemented by a literature review of chosen relevant topics on quality management and evaluation in higher education. The results of this work suggest that a planned process of evaluations starting from the institution level could help evaluations build upon each other and to drive continuous improvement. A holistic view on evaluation and evaluation criteria could be of use in avoiding sub-optimization and ensuring that issues such as stakeholder engagement and societal impact are included in evaluations. The integration of evaluations would constitute a part of integrating an institution’s management system and advance unity of effort. The ubiquitous concept of excellence can be seen as linking factor in integration, and an excellence award model was used as an example of a holistic evaluation framework. The theoretical contribution of this study contributes in the discussion regarding quality evaluation, excellence and the integration of management activities in higher education. For practitioners this dissertation work provides both practical tools arising from the results of the research articles, as well as a synthesis of theoretical and practical issues that should be accounted for when developing quality evaluation approaches in institutions of higher education. / Tiivistelmä Korkeakoulujen rooli tuottavan talouden olennaisena osana on korostunut uudella vuosituhannella. Tästä on seurannut jatkuva tarve osoittaa vaatimustenmukaisuutta ja erinomaisuutta eri sidosryhmille. Tämän seurauksena on kehitetty suuri määrä erilaisia sisäisiä ja ulkoisia arviointiprosesseja. Kuitenkin näiden prosessien yhdistäminen toiminnan jatkuvan kehittämiseen on usein osoittautunut haastavaksi johtuen organisatorisesta monimutkaisuudesta. Tässä kokoomaväitöskirjassa tarkastellaan, kuinka erityyppisiä laadunarviointeja korkeakoulutuksessa voitaisiin integroida mielekkäällä ja synergistisellä tavalla. Integraatiota tarkastellaan niin horisontaalisesti yliopiston kolmen tehtävän läpi, kuin myös vertikaalisesti ulkoisista arvioinneista itsearviointiin. Väitöskirjaan liittyvät tutkimusartikkelit tukevat tätä tutkimusongelmaa eri näkökulmista. Kirjallisuuskatsaus tukee artikkelien tuloksia valittujen laatujohtamisen ja arvioinnin aiheiden tarkastelun kautta. Tämän työn tuloksien mukaan suunnitelmallinen arviointikokonaisuus lähtien korkeakoulutasolta voisi tukea arviointien tulosten kumuloitumista ja edistää jatkuvaa kehittämistä. Holistinen näkökulma arviointiin ja arviointikriteereihin voisi ehkäistä osaoptimointia ja varmistaa, että seikkoihin kuten sidosryhmien osallistuminen ja yhteiskunnallinen vaikuttavuus huomioidaan arvioinneissa. Arviointien integrointi tukisi osaltaan korkeakoulun johtamisjärjestelmän integrointia ja edistäisi yhteisiin tavoitteisiin pyrkimistä. Erinomaisuuden yleistynyttä käsitettä voidaan pitää yhdistävänä tekijänä integraation toteutumisessa, ja siihen perustuvaa laatupalkintomallia käytettiin työssä esimerkkinä holistisesta arviointimallista. Väitöskirjatyön teoreettinen kontribuutio liittyy korkeakoulujen laadunarvioinnin, erinomaisuuden ja johtamistoimien integroinnin tieteelliseen keskusteluun. Käytännön työn kannalta tutkimustulokset tarjoavat käytännön työkaluja artikkelien tulosten kautta, sekä yhdistelmän teoreettisista ja käytännön seikoista jotka tulisi huomioida korkeakoulun laadunarviointia kehitettäessä.

Abstract Resting-state (RS) measurements during functional magnetic resonance imaging (fMRI) have become an established approach for studying spontaneous brain activity. RS-fMRI results are often obtained using explorative approaches like spatial independent component analysis (sICA). These approaches and their software implementations are rarely evaluated extensively or specifically concerning RS-fMRI. Trust is placed in the software that they will work according to the published method descriptions. Many methods and parameters are used despite the lack of test data, and the validity of the underlying models remains an open question. A substantially greater number of evaluations would be needed to ensure the quality of exploratory RS-fMRI analyses. This thesis investigates the applicability of sICA methodology and software in the RS-fMRI context. The experiences were used to formulate general guidelines to facilitate future method evaluations. Additionally, a novel multiple comparison correction (MCC) method, Maxmad, was devised for adjusting evaluation results statistically. With regard to software considerations, the source code of FSL Melodic, popular sICA software, was analyzed against its published method descriptions. Unreported and unevaluated details were found, which implies that one should not automatically assume a correspondence between the literature and the software implementations. The method implementations should rather be subjected to independent reviews. An experimental contribution of this thesis is that the credibility of the emerging sliding window sICAs has been improved by the validation of sICA related preprocessing procedures. In addition to that, the estimation accuracy regarding the results in existing RS-fMRI sICA literature was also shown not to suffer even though repeatability tools like Icasso have not been used in their computation. Furthermore, the evidence against conventional sICA model suggests the consideration of different approaches to analysis of RS-fMRI. The guidelines developed for facilitation of evaluations include adoption of 1) open software development (improved error detection), 2) modular software designs (easier evaluations), 3) data specific evaluations (increased validity), and 4) extensive coverage of parameter space (improved credibility). The proposed Maxmad MCC addresses a statistical problem arising from broad evaluations. Large scale cooperation efforts are proposed concerning evaluations in order to improve the credibility of exploratory RS-fMRI methods. / Tiivistelmä Aivoista toiminnallisella magneettikuvantamisella (engl. functional magnetic resonance imaging, fMRI) lepotilassa tehdyt mittaukset ovat saaneet vakiintuneen aseman spontaanin aivotoiminnan tutkimuksessa. Lepotilan fMRI:n tulokset saadaan usein käyttämällä exploratiivisia menetelmiä, kuten spatiaalista itsenäisten komponenttien analyysia (engl. spatial independent component analysis, sICA). Näitä menetelmiä ja niiden ohjelmistototeutuksia evaluoidaan harvoin kattavasti tai erityisesti lepotilan fMRI:n kannalta. Ohjelmistojen luotetaan toimivan menetelmäkuvausten mukaisesti. Monia menetelmiä ja parametreja käytetään testidatan puuttumisesta huolimatta, ja myös menetelmien taustalla olevien mallien pätevyys on edelleen epäselvä asia. Eksploratiivisten lepotilan fMRI-datan analyysien laadun varmistamiseksi tarvittaisiin huomattavasti nykyistä suurempi määrä evaluaatioita. Tämä väitöskirja tutki sICA-menetelmien ja -ohjelmistojen soveltuvuutta lepotilan fMRI-tutkimuksiin. Kokemuksien perusteella luotiin yleisiä ohjenuoria helpottamaan tulevaisuuden menetelmäevaluaatioita. Lisäksi väitöskirjassa kehitettiin uusi monivertailukorjausmenetelmä, Maxmad, evaluaatiotulosten tilastolliseen korjaukseen. Tunnetun sICA-ohjelmiston, FSL Melodicin, lähdekoodi analysoitiin suhteessa julkaistuihin menetelmäkuvauksiin. Analyysissa ilmeni aiemmin raportoimattomia ja evaluoimattomia menetelmäyksityiskohtia, mikä tarkoittaa, ettei kirjallisuudessa olevien menetelmäkuvausten ja niiden ohjelmistototeutusten välille pitäisi automaattisesti olettaa vastaavuutta. Menetelmätoteutukset pitäisi katselmoida riippumattomasti. Väitöskirjan kokeellisena panoksena parannettiin liukuvassa ikkunassa suoritettavan sICA:n uskottavuutta varmistamalla sICA:n esikäsittelyjen oikeellisuus. Lisäksi väitöskirjassa näytettiin, että aiempien sICA-tulosten tarkkuus ei ole kärsinyt, vaikka niiden estimoinnissa ei ole käytetty toistettavuustyökaluja, kuten Icasso-ohjelmistoa. Väitöskirjan tulokset kyseenalaistavat myös perinteisen sICA-mallin, minkä vuoksi tulisi harkita siitä poikkeavia lähtökohtia lepotilan fMRI-datan analyysiin. Evaluaatioiden helpottamiseksi kehitetyt ohjeet sisältävät seuraavat periaatteet: 1) avoin ohjelmistokehitys (parantunut virheiden havaitseminen), 2) modulaarinen ohjelmistosuunnittelu (nykyistä helpommin toteutettavat evaluaatiot), 3) datatyyppikohtaiset evaluaatiot (parantunut validiteetti) ja 4) parametriavaruuden laaja kattavuus evaluaatioissa (parantunut uskottavuus). Ehdotettu Maxmad-monivertailukorjaus tarjoaa ratkaisuvaihtoehdon laajojen evaluaatioiden tilastollisiin haasteisiin. Jotta lepotilan fMRI:ssä käytettävien exploratiivisten menetelmien uskottavuus paranisi, väitöskirjassa ehdotetaan laaja-alaista yhteistyötä menetelmien evaluoimiseksi.