Abstract Knowledge discovery (KD) technology is used to extract knowledge from large quantities of digital data in an automated fashion. The established process model represents the KD process in a linear and technology-centered manner, as a sequence of transformations that refine raw data into more and more abstract and distilled representations. Any actual KD process, however, has aspects that are not adequately covered by this model. In particular, some of the most important actors in the process are not technological but human, and the operations associated with these actors are interactive rather than sequential in nature. This thesis proposes an augmentation of the established model that addresses this neglected dimension of the KD process. The proposed process model is composed of three sub-models: a data model, a workflow model, and an architectural model. Each sub-model views the KD process from a different angle: the data model examines the process from the perspective of different states of data and transformations that convert data from one state to another, the workflow model describes the actors of the process and the interactions between them, and the architectural model guides the design of software for the execution of the process. For each of the sub-models, the thesis first defines a set of requirements, then presents the solution designed to satisfy the requirements, and finally, re-examines the requirements to show how they are accounted for by the solution. The principal contribution of the thesis is a broader perspective on the KD process than what is currently the mainstream view. The augmented KD process model proposed by the thesis makes use of the established model, but expands it by gathering data management and knowledge representation, KD workflow and software architecture under a single unified model. Furthermore, the proposed model considers issues that are usually either overlooked or treated as separate from the KD process, such as the philosophical aspect of KD. The thesis also discusses a number of technical solutions to individual sub-problems of the KD process, including two software frameworks and four case-study applications that serve as concrete implementations and illustrations of several key features of the proposed process model. / Tiivistelmä Tiedonlouhintateknologialla etsitään automoidusti tietoa suurista määristä digitaalista dataa. Vakiintunut prosessimalli kuvaa tiedonlouhintaprosessia lineaarisesti ja teknologiakeskeisesti sarjana muunnoksia, jotka jalostavat raakadataa yhä abstraktimpiin ja tiivistetympiin esitysmuotoihin. Todellisissa tiedonlouhintaprosesseissa on kuitenkin aina osa-alueita, joita tällainen malli ei kata riittävän hyvin. Erityisesti on huomattava, että eräät prosessin tärkeimmistä toimijoista ovat ihmisiä, eivät teknologiaa, ja että heidän toimintansa prosessissa on luonteeltaan vuorovaikutteista eikä sarjallista. Tässä väitöskirjassa ehdotetaan vakiintuneen mallin täydentämistä siten, että tämä tiedonlouhintaprosessin laiminlyöty ulottuvuus otetaan huomioon. Ehdotettu prosessimalli koostuu kolmesta osamallista, jotka ovat tietomalli, työnkulkumalli ja arkkitehtuurimalli. Kukin osamalli tarkastelee tiedonlouhintaprosessia eri näkökulmasta: tietomallin näkökulma käsittää tiedon eri olomuodot sekä muunnokset olomuotojen välillä, työnkulkumalli kuvaa prosessin toimijat sekä niiden väliset vuorovaikutukset, ja arkkitehtuurimalli ohjaa prosessin suorittamista tukevien ohjelmistojen suunnittelua. Väitöskirjassa määritellään aluksi kullekin osamallille joukko vaatimuksia, minkä jälkeen esitetään vaatimusten täyttämiseksi suunniteltu ratkaisu. Lopuksi palataan tarkastelemaan vaatimuksia ja osoitetaan, kuinka ne on otettu ratkaisussa huomioon. Väitöskirjan pääasiallinen kontribuutio on se, että se avaa tiedonlouhintaprosessiin valtavirran käsityksiä laajemman tarkastelukulman. Väitöskirjan sisältämä täydennetty prosessimalli hyödyntää vakiintunutta mallia, mutta laajentaa sitä kokoamalla tiedonhallinnan ja tietämyksen esittämisen, tiedon louhinnan työnkulun sekä ohjelmistoarkkitehtuurin osatekijöiksi yhdistettyyn malliin. Lisäksi malli kattaa aiheita, joita tavallisesti ei oteta huomioon tai joiden ei katsota kuuluvan osaksi tiedonlouhintaprosessia; tällaisia ovat esimerkiksi tiedon louhintaan liittyvät filosofiset kysymykset. Väitöskirjassa käsitellään myös kahta ohjelmistokehystä ja neljää tapaustutkimuksena esiteltävää sovellusta, jotka edustavat teknisiä ratkaisuja eräisiin yksittäisiin tiedonlouhintaprosessin osaongelmiin. Kehykset ja sovellukset toteuttavat ja havainnollistavat useita ehdotetun prosessimallin merkittävimpiä ominaisuuksia.

Abstract Software process assessment and improvement came under the spotlight in the discussion of software engineering when the Software Engineering Institute published the maturity model for software process capability determination in 1987. Since then, several new approaches and standards have been developed. This thesis introduces a European software process assessment and improvement methodology called BOOTSTRAP, which was initially developed in an ESPRIT project starting from lean and kaizen philosophy. The focus is on the evolution of methodology and how it was developed, using an experimental research approach. The work covers also enhancements to the methodology investigated in the SPICE, PROFES and TAPISTRY projects. The enhancements expand the original methodology into new specific application areas, keep it compliant with new quality standards and certification, improve the efficiency of the assessment method, enhance the focus from process to product and strengthen improvement monitoring and support. To address these areas, the new BOOTSTRAP methodology releases offer tailored and enhanced assessment reference models and enhanced assessment and improvement methods. The new features also facilitate more frequent and even continuous assessments with software measurement-based indicators. The thesis explains the origin and features of BOOTSTRAP software process assessment and improvement methodology and how it was developed for professional use. The discussion starts with the evolution of the methodology. Then the new trends and demands are introduced and new features of the BOOTSTRAP methodology described. The conclusion discusses how the methodology developed to be able successfully to support professional software process assessment, to align it with the evolution of software engineering, to adopt the features and requirements of the underlying standards in order to conform to the requirements set by ISO 15504 standard and to become validated in practice. / Tiivistelmä Ohjelmistoprosessin arvioinnista ja parantamisesta tuli ohjelmistotekniikan keskeinen kiinnostuksen kohde kun Carnegie-Mellon yliopiston ohjelmistotekniikan instituutti SEI julkaisi kypsyysmallinsa ohjelmistoprosessin kyvykkyyden arviointiin vuonna 1987. Siitä lähtien maailmalla on syntynyt lukuisa määrä uusia malleja ja standardeja tälle alueelle. Tässä väitöskirjassa esitellään eurooppalainen ohjelmistoprosessin arviointi- ja parantamismenetelmä BOOTSTRAP, joka kehitettiin alun perin Euroopan unionin ESPRIT tutkimusohjelman rahoittamassa projektissa lähtien japanilaisesta ohut-ajattelusta (Lean) ja sen jatkuvan parantamisen periaatteesta (Kaizen). Esitys keskittyy menetelmän kehittymiseen ja siihen miten menetelmä käytännössä kehitettiin käyttäen kokeellista tutkimustapaa teollisessa ympäristössä. Työ kattaa myös alkuperäiseen menetelmään tehdyt laajennukset, jotka syntyivät yhteistyössä SPICE, PROFES ja TAPISTRY projekteissa tehdyn tutkimuksen tuloksena. Tehdyt laajennukset mahdollistavat menetelmän käytön uusilla sovellusalueilla, takaavat menetelmän yhteensopivuuden alan laatu- ja sertifiointistandardien kanssa, parantavat menetelmän tehokkuutta, laajentavat menetelmän käyttöaluetta prosessin arvioinnista sisältämään myös tuotteen kehittämisen arvioinnin ja vahvistavat parantamisen seurantaa ja tukemista. Toteuttaakseen näiden uusien ominaisuuksien vaatimukset uudet BOOTSTRAP menetelmän julkistukset tarjoavat räätälöityjä ja laajennettuja mallikuvauksia arviointien tekemiseksi sekä entistä täydellisempiä lähestymistapoja arviointien suorittamiselle ja parantamiselle. Menetelmän uudet ominaisuudet mahdollistavat myös usein toistuvien arviointien suorittamisen ja jopa jatkuvan arvioinnin ohjelmisto-mittauksia hyödyntäen. Väitöskirjassa kuvataan yksityiskohtaisesti BOOTSTRAP menetelmän lähtö-kohdat ja ominaisuudet ja se kuinka menetelmä onnistuttiin kehittämään ammattimaiseen ohjelmistoprosessin arviointiin ja parantamiseen sopivaksi. Ensin kuvataan menetelmän kehittyminen ja sitten edetään alan uusien kehitystrendien ja vaatimusten esittelyyn siihen kuinka BOOTSTRAP menetelmä uudet ominaisuudet vastaavat näihin vaatimuksiin. Yhteenvedossa osoitetaan kuinka kehittämisessä onnistuttiin saamaan aikaan uusi menetelmä, joka sopii ammattimaiseen ohjelmistoprosessin arviointiin, vastaa kaikilta osin alan kehittymisen vaatimuksia, sisältää alan standardien vaatimukset täyttävät käytännössä koestetut ominaisuudet, jotka takaavat menetelmän vastaavuuden ISO 15504 standardin vaatimuksiin.