Abstract Resting-state (RS) measurements during functional magnetic resonance imaging (fMRI) have become an established approach for studying spontaneous brain activity. RS-fMRI results are often obtained using explorative approaches like spatial independent component analysis (sICA). These approaches and their software implementations are rarely evaluated extensively or specifically concerning RS-fMRI. Trust is placed in the software that they will work according to the published method descriptions. Many methods and parameters are used despite the lack of test data, and the validity of the underlying models remains an open question. A substantially greater number of evaluations would be needed to ensure the quality of exploratory RS-fMRI analyses. This thesis investigates the applicability of sICA methodology and software in the RS-fMRI context. The experiences were used to formulate general guidelines to facilitate future method evaluations. Additionally, a novel multiple comparison correction (MCC) method, Maxmad, was devised for adjusting evaluation results statistically. With regard to software considerations, the source code of FSL Melodic, popular sICA software, was analyzed against its published method descriptions. Unreported and unevaluated details were found, which implies that one should not automatically assume a correspondence between the literature and the software implementations. The method implementations should rather be subjected to independent reviews. An experimental contribution of this thesis is that the credibility of the emerging sliding window sICAs has been improved by the validation of sICA related preprocessing procedures. In addition to that, the estimation accuracy regarding the results in existing RS-fMRI sICA literature was also shown not to suffer even though repeatability tools like Icasso have not been used in their computation. Furthermore, the evidence against conventional sICA model suggests the consideration of different approaches to analysis of RS-fMRI. The guidelines developed for facilitation of evaluations include adoption of 1) open software development (improved error detection), 2) modular software designs (easier evaluations), 3) data specific evaluations (increased validity), and 4) extensive coverage of parameter space (improved credibility). The proposed Maxmad MCC addresses a statistical problem arising from broad evaluations. Large scale cooperation efforts are proposed concerning evaluations in order to improve the credibility of exploratory RS-fMRI methods. / Tiivistelmä Aivoista toiminnallisella magneettikuvantamisella (engl. functional magnetic resonance imaging, fMRI) lepotilassa tehdyt mittaukset ovat saaneet vakiintuneen aseman spontaanin aivotoiminnan tutkimuksessa. Lepotilan fMRI:n tulokset saadaan usein käyttämällä exploratiivisia menetelmiä, kuten spatiaalista itsenäisten komponenttien analyysia (engl. spatial independent component analysis, sICA). Näitä menetelmiä ja niiden ohjelmistototeutuksia evaluoidaan harvoin kattavasti tai erityisesti lepotilan fMRI:n kannalta. Ohjelmistojen luotetaan toimivan menetelmäkuvausten mukaisesti. Monia menetelmiä ja parametreja käytetään testidatan puuttumisesta huolimatta, ja myös menetelmien taustalla olevien mallien pätevyys on edelleen epäselvä asia. Eksploratiivisten lepotilan fMRI-datan analyysien laadun varmistamiseksi tarvittaisiin huomattavasti nykyistä suurempi määrä evaluaatioita. Tämä väitöskirja tutki sICA-menetelmien ja -ohjelmistojen soveltuvuutta lepotilan fMRI-tutkimuksiin. Kokemuksien perusteella luotiin yleisiä ohjenuoria helpottamaan tulevaisuuden menetelmäevaluaatioita. Lisäksi väitöskirjassa kehitettiin uusi monivertailukorjausmenetelmä, Maxmad, evaluaatiotulosten tilastolliseen korjaukseen. Tunnetun sICA-ohjelmiston, FSL Melodicin, lähdekoodi analysoitiin suhteessa julkaistuihin menetelmäkuvauksiin. Analyysissa ilmeni aiemmin raportoimattomia ja evaluoimattomia menetelmäyksityiskohtia, mikä tarkoittaa, ettei kirjallisuudessa olevien menetelmäkuvausten ja niiden ohjelmistototeutusten välille pitäisi automaattisesti olettaa vastaavuutta. Menetelmätoteutukset pitäisi katselmoida riippumattomasti. Väitöskirjan kokeellisena panoksena parannettiin liukuvassa ikkunassa suoritettavan sICA:n uskottavuutta varmistamalla sICA:n esikäsittelyjen oikeellisuus. Lisäksi väitöskirjassa näytettiin, että aiempien sICA-tulosten tarkkuus ei ole kärsinyt, vaikka niiden estimoinnissa ei ole käytetty toistettavuustyökaluja, kuten Icasso-ohjelmistoa. Väitöskirjan tulokset kyseenalaistavat myös perinteisen sICA-mallin, minkä vuoksi tulisi harkita siitä poikkeavia lähtökohtia lepotilan fMRI-datan analyysiin. Evaluaatioiden helpottamiseksi kehitetyt ohjeet sisältävät seuraavat periaatteet: 1) avoin ohjelmistokehitys (parantunut virheiden havaitseminen), 2) modulaarinen ohjelmistosuunnittelu (nykyistä helpommin toteutettavat evaluaatiot), 3) datatyyppikohtaiset evaluaatiot (parantunut validiteetti) ja 4) parametriavaruuden laaja kattavuus evaluaatioissa (parantunut uskottavuus). Ehdotettu Maxmad-monivertailukorjaus tarjoaa ratkaisuvaihtoehdon laajojen evaluaatioiden tilastollisiin haasteisiin. Jotta lepotilan fMRI:ssä käytettävien exploratiivisten menetelmien uskottavuus paranisi, väitöskirjassa ehdotetaan laaja-alaista yhteistyötä menetelmien evaluoimiseksi.