Abstract A stakeholder analysis is commonly a part of the requirements engineering process in the development of software systems. It contributes to identifying, analysing, negotiating and validating requirements from multiple stakeholder viewpoints that do not necessary share the same views on a system under development and do not necessary express themselves using a similar language. Stakeholder analysis is often integrated into a used development method or practice and doesn’t necessarily appear as a separate process. The increase in software size, availability and use in different appliances, however, requires more from the stakeholder analysis than has been recognized in Software Engineering literature. The increasing scale of software systems and connections to other systems increase the number of involved stakeholders complicating the stakeholder analysis. In addition, how the actual stakeholder analysis should be implemented in large scale software development and how it supports the development effort is problematic in practice. The purpose of this thesis is to study the role and purpose of a stakeholder analysis in a large-scale software-intensive systems development. In this thesis, an empirical approach is taken to study the large-scale software-intensive systems development as phenomena in order to observe it as a whole. This approach allows this thesis to analyse the phenomena from different perspectives in order to identify and describe the nature and purpose of a stakeholder analysis in large-scale software-intensive systems development. The contribution of this thesis is the following. First, the thesis contributes to both the practical and scientific community by describing the role of stakeholder analysis in the software-intensive systems development process. Secondly, it demonstrates how a stakeholder analysis can be implemented in a large-scale software-intensive systems development process. / Tiivistelmä Sidosryhmäanalyysi on yleensä osa vaatimusmäärittelyprosessia ohjelmistojärjestelmien kehityksessä. Se edesauttaa vaatimusten tunnistamista, analysointia, sopimista ja vahvistamista useiden eri sidosryhmien näkökulmasta tilanteissa, missä eri sidosryhmät eivät välttämättä jaa samaa näkökulmaa kehitettävään järjestelmään ja eivät välttämättä käytä samaa kieltä ilmaistakseen itseään. Sidosryhmäanalyysi on usein integroitu suoraan käytettyyn kehitysmenetelmään tai käytäntöön ja ei välttämättä ilmene erillisenä prosessina. Ohjelmiston koon kasvaessa ja yhteyksien lisääntyminen yhä useampiin laitteisiin on johtanut tilanteeseen, missä sidosryhmäanalyysilta vaaditaan yhä enemmän kuin kirjallisuudessa on aiemmin tunnistettu. Ohjelmistojärjestelmien alati kasvava koko ja yhteyksien lisääntyminen muihin järjestelmiin kasvattaa sidosryhmien määrää vaikeuttaen sidosryhmäanalyysin tekemistä. Lisäksi on ongelmallista, että miten sidosryhmäanalyysin tulisi tukea suuren mittakaavan ohjelmistotuotantoa ja miten se käytännössä toteutetaan tällaisessa ympäristössä. Tämän väitöskirjan tavoitteena on tutkia sidosryhmän roolia ja tarkoitusta suuren mittakaavan ohjelmistointensiivisten järjestelmien tuotannossa. Tutkimus on toteutettu empiirisellä lähestymistavalla tarkkailemalla suuren mittakaavan ohjelmistointensiivisten järjestelmien tuotantoa kokonaisuutena. Tämä lähestymistapa mahdollistaa kokonaisuuden analysoinnin eri näkökulmista, jotta sidosryhmäanalyysin luonne ja tarkoitus voidaan tunnistaa ja kuvata suuren mittakaavan ohjelmistointensiivisten järjestelmien tuotannossa. Väitöskirjan tulosten kontribuutio jakautuu kahteen osaan. Ensimmäiseksi väitöskirjan tulokset auttavat sekä tiedeyhteisöä ja käytännön työtä tekeviä kuvaamalla sidosryhmäanalyysin suuren mittakaavan ohjelmistointensiivisten järjestelmien tuotannossa. Toiseksi tulokset havainnollistavat miten sidosryhmäanalyysi voidaan toteuttaa suuren mittakaavan ohjelmistointensiivisten järjestelmien tuotekehitysprosessissa.

Abstract The development of embedded systems is becoming increasingly challenging; it is intellectually demanding knowledge work that requires collaboration among a wide range of skills. Software development is a largely cognitive activity, based on the worker’s internal mental processes rather than on physical labour. Developers face several individual and team cognition-related challenges in their work, including complex decision-making and problem-solving processes. Therefore, it is suggested that the software development process should be modelled as a set of problem-solving activities. This thesis proposes that supporting the cognitive work of collaborative development requires addressing the entire system’s life cycle with practical solutions. In this work, the above-mentioned challenges are addressed in terms of communication and collaboration practices, knowledge management and coordination, and transparent tools and processes. Moreover, these solutions are integrated into a workflow that structures and supports the development process. Finally, a development process is outlined that addresses the decision-oriented nature of software development in such a manner that the necessary data is provided for decision points that guide and coordinate the development efforts. A qualitative research approach has been chosen, and the work is based on interviewing industrial experts. Several cases were set up to define the state of the practice in industrial organisations developing embedded systems for different domains. Current challenges were identified and solutions were developed and validated in case companies. The main result of the dissertation is a set of solutions integrated into the organisational workflow to support collaborative development. The main principles are that the necessary information must be provided and work and its objectives must be justified and put into the correct context. The industrial cases indicate that utilising the suggested solutions can improve collaboration among organisations and teams by helping disseminate and use the required information. Mitigating the cognitive burden speeds up the development work and reduces the effort required from developers and decision makers. In this manner, organisations may achieve better results, primarily because the produced data and results will fulfil their purposes better and provide less waste. / Tiivistelmä Ohjelmistotuotanto nykymaailmassa muuttuu koko ajan haastavammaksi, kehitysprojektit ovat monimutkaisia ja hajautettuja sekä vaativat monialaista osaamista. Tiukat aikataulupaineet puolestaan tuovat mukaan oman problematiikkansa. Ohjelmistokehitys on suurelta osin kognitiivista työtä, jossa tarvitaan erilaisia taitoja ja eri alojen asiantuntijoita. Kognitiivinen työ tarkoittaa abstraktin tiedon käsittelyä ennemmin kuin fyysistä työtä. Ohjelmistojen kehittäjät törmäävät useisiin henkilökohtaiseen sekä ryhmätyöhön liittyviin haasteisiin, näistä esimerkkeinä monitahoinen tiedon käsittely, päätöksenteko ja ongelmanratkaisu. Onkin ehdotettu, että ohjelmistonkehitysprosessit ymmärrettäisiin ongelmanratkaisu- ja päätöspainotteisina prosesseina. Tässä työssä ehdotetaan, että tukeakseen ohjelmistonkehitysprosessia koko tuotteen tekemisen elinkaari on otettava huomioon ja työntekijöiden roolit ja vastuut on linkitettävä kehitysprosesseihin sekä kehitysprosessin eri vaiheisiin. Havaittuihin kognitiivisiin ongelmiin ja tarpeisiin vastataan yhteistyö- ja kommunikaatiokäytännöin, tiedonhallinnan, läpinäkyvyyden, työnkulun, ja päätöspainotteisten prosessien kautta. Tulokset kerättiin käyttäen menetelmänä laadullista tapaustutkimusta, ja työ perustuu useiden teollisten asiantuntijoiden haastatteluihin. Tutkimus toteutettiin useassa eri teollisuuden organisaatiossa. Aluksi määritettiin lähtötilanne organisaatioissa sekä kirjallisuuden perusteella, kartoitettiin ongelmat, jonka jälkeen kehitettiin tärkeimmiksi havaittuihin ongelmiin ratkaisuja. Työn tuloksena esitetään joukko ratkaisuja, jotka yhdistetään organisaation työnkulkuun. Lisäksi esitellään päätöksentekoon painottuva kehitysprosessi, jonka lähtökohtana on havainto, että vaadittavien tehtävien sekä työn tulosten on vastattava oikeaan tarpeeseen – työlle ja halutuille työn tuloksille on annettava riittävät tiedot, perustelut, päämäärä sekä oikea konteksti. Tapaustutkimukset osoittavat, että työn tulokset parantavat organisaatioiden välistä yhteistyötä helpottamalla oikean tiedon keräämistä, saamista ja käyttöä. Lisäksi ylimääräisen kognitiivisen taakan vähentäminen nopeuttaa kehitystyötä ja keventää kehittäjien ja päätöksentekijöiden työkuormaa. Täten organisaatiot voivat saavuttaa parempia työn tuloksia lähinnä siksi, että tuotettu tieto ja tulokset vastaavat paremmin tarpeisiin.

Abstract Continuous software engineering (CSE) has instigated academic debate regarding the rapid, parallel cycles of releasing software and customer experimentation. This approach, originating from Web 2.0 and the software-as-a-service domain, is widely recognised among software-intensive companies today. Earlier studies have indicated some challenges in the use of CSE, especially in the context of business-to-business and product-oriented, embedded systems development. Consequently, research must address more explicit definitions and theoretical models for analysing the prerequisites and organisational capabilities related to the use of CSE. This dissertation investigates various approaches to conducting empirical evaluations related to CSE. The study aims to improve existing models of CSE and to empirically validate them in the context of software companies. The study also aims to accumulate knowledge regarding the use of CSE, as well as its impacts. The case study method is applied for the collection and analysis of empirical data. Twenty-seven interviews are conducted at five companies. In addition, a systematic literature review is used to synthesise the empirical research on agile release engineering practices. Design science research is used to portray the model design and the evaluation process of this dissertation. Three approaches for evaluating CSE are constructed: (1) LESAT for software focuses on enterprise transformation using an organisational self-assessment approach, (2) STH+ extends the “Stairway to Heaven” model and evaluates company practices with respect to evolutionary steps towards continuous experimentation-driven development, and (3) CRUSOE defines 7 key areas and 14 diagnostic questions related to the product-intensive software development ecosystem, strategy, architecture, and organisation, as well as their continuous interdependencies. This dissertation states the relevance of CSE in the context of product-intensive software development. However, more adaptations are anticipated in practices that involve business and product development stakeholders, as well as company external stakeholders. / Tiivistelmä Jatkuva ohjelmistotuotanto on herättänyt keskustelua nopeasta, samanaikaisesta ohjelmistojulkaisemisesta ja asiakaskokeiluista. Toimintatapa on peräisin Web 2.0 ja software-as-a-service yhteydestä, mutta se tunnetaan nykyään yleisesti ohjelmistoja kehittävissä yrityksissä. Aiemmat tutkimukset ovat osoittaneet haasteita jatkuvan ohjelmistotuotannon käytössä. Erityisesti haasteita on havaittu yritykseltä yritykselle liiketoiminnassa ja tuotepainotteisten sulautettujen järjestelmien yhteydessä. Näin ollen on havaittu tarve tutkimuksen avulla kehittää täsmällisempiä määritelmiä ja teoreettisia malleja, joilla voidaan analysoida jatkuvan ohjelmistotuotannon käyttöön liittyviä edellytyksiä ja organisaatioiden kyvykkyyksiä. Tässä väitöskirjassa tutkitaan malleja, joilla voidaan empiirisesti arvioida jatkuvaa ohjelmistotuotantoa. Tutkimuksella pyritään parantamaan nykyisiä malleja ja arvioimaan niiden käyttöä ohjelmistoyrityksissä. Lisäksi tutkimuksella pyritään kasvattamaan tietoa jatkuvasta ohjelmistotuotannosta ja sen vaikutuksista. Tiedon keräämiseen ja analysointiin käytettiin tapaustutkimus menetelmää. Kaksikymmentäseitsemän haastattelua tehtiin viidessä yrityksessä. Lisäksi tehtiin ketterään ohjelmistojulkaisuun keskittyvä systemaattinen kirjallisuuskatsaus. Väitöskirjassa käytetään Design Science Research menetelmää kuvaamaan tutkimuksen eri vaiheita, joissa malleja suunniteltiin ja arvioitiin. Tutkimuksessa rakennettiin kolme tapaa jatkuvan ohjelmistotuotannon arvioimista varten: (1) LESAT for Software keskittyy organisaation muutoskyvykkyyden arviointiin käyttäen itsearviointimenetelmää, (2) STH+, laajentaa ”Stairway to Heaven” mallia ja arvioi yrityksen käytäntöjä eri evoluutioaskelmilla matkalla kohti kokeilupainotteista tuotekehitystä, (3) CRUSOE määrittelee seitsemän pääaluetta ja 14 kysymystä liittyen tuotekehityksen ekosysteemiin, strategiaan, arkkitehtuuriin, organisointiin sekä näiden välisiin jatkuviin riippuvuuksiin. Väitöskirja osoittaa jatkuvan ohjelmistokehityksen olevan merkityksellinen myös tuotepainotteisessa ohjelmistokehityksessä. Nähtävissä kuitenkin on, että useita nykykäytäntöjä on tarvetta muokata. Erityisesti muokkaustarvetta on tuotekehityksen ja liiketoiminnan sidosryhmiin ja yrityksen ulkoisiin sidosryhmiin liittyvissä käytännöissä.

Abstract Software and ICT companies fail due less to technological factors than socioorganizational factors, among which the most common is unrealistic goals and objectives. The socioorganizational factors are present in companies and organizations of all sizes. Organizations need to know whether their goals and strategies are working and whether the strategies are effectively providing a reasonable return on investment for the effort that is being applied, i.e. to understand how valuable they are for the organization. In addition, organizations need to recognize what the risks are in achieving those goals and evaluate their probability. And, when goals are set properly then they have directive and energizing functions, they tend to utilize available resources better and serve as activators of cognitive processes and knowledge sharing cycles. In this dissertation the GQM+Strategies approach was used. The approach was designed to help organizations to align goal-driven measurement schemes, i.e. GQM, with organizational goal hierarchy. The extensions developed in this dissertation (i.e., the solution proposed here) evolve the GQM+Strategies approach by providing an organization with capabilities to: (1) apply the work of value-based software engineering to directly address the return on investment (ROI) of their goals and strategies via evaluation of the costs and benefits of the goals and strategies chosen, (2) calculate a set of earned value metrics that allows organizations to effectively monitor the implementation of the organizational goals and strategies, (3) identify the risks associated with not achieving various sub-goals in a grid by analyzing goal risk exposures and acceptable risk levels, and (4) assess the threats of risky goals on other goals in the grid via evaluation of goal dependencies using the formal goal-strategies-goals models. The GQM+Strategies approach was piloted in four different organizations involving more than 60 participants. The feedback from the participants was used to identify the research questions posed in this dissertation. The research approach (solution development process) adopted the design science framework and utilized analytical and empirical paradigms in different phases of the solution development. The analytical paradigms were used for solution development and evaluation, while empirical paradigms where used for evaluating certain aspects of the solution. / Tiivistelmä Ohjelmisto- ja tietotekniikkayritysten epäonnistumiset johtuvat useimmin sosio-organisationaalisista tekijöistä kuin teknologisista tekijöistä. Näistä sosio-organisationaalisista tekijöistä yleisin on epärealististen tavoitteiden asettaminen. Sosio-organisatoriset tekijät ovat läsnä kaiken kokoisissa yrityksissä ja organisaatioissa. Organisaatioiden tulee tietää ovatko heidän tavoitteensa ja strategiansa toimivia ja tarjoavatko heidän strategiansa kohtuullisen tuoton suhteessa käytettyihin investointeihin. Toisin sanoen, organisaatioiden tulee ymmärtää kuinka arvokkaita heidän strategiansa ovat. Tämän lisäksi organisaatioiden täytyy kyetä tunnistamaan riskit asetettujen tavoitteiden saavuttamisessa sekä arvioimaan näiden riskien todennäköisyys. Kun tavoitteet on asetettu asianmukaisesti niillä on ohjaava ja energisoiva vaikutus. Ne sekä ohjaavat hyödyntämään tehokkaammin käytettävissä olevia rerursseja että toimivat kognitiivisten prosessien ja tiedonjakosyklien aktivaattoreina. Tässä väitöskirjassa käytettiin GQM+Strategies lähestymistapaa. Tämä lähestymistapa on suunniteltu auttamaan organisaatiota linjaamaan tavoitelähtöisiä mittausmenetelmiä, kuten GQM, organisaation tavoitehierarkian suhteen. Tässä väitöskirjassa esitetty laajennus kehittää GQM+Strategies lähestymistapaa tarjoamalla organisaatioille kyvykkyyksiä: (1) soveltaa arvoperustaisen ohjelmistotuotannon menetelmiä tavoitteiden ja strategioiden investoinnin tuottojen tarkasteluihin arvioimalla valittujen tavoitteiden ja strategioiden kustannuksia ja hyötyjä, (2) laskea joukko saavutetun arvon mittareita jotka mahdollistavat organisaatioille toteutettujen organisationaalisten tavoitteiden ja strategioiden tehokkaan seurannan, (3) identifioida riskejä jotka liittyvät eri alitavoitteiden saavuttamattomuuteen analysoimalla tavoiteriskeihin altistumista ja hyväksyttäviä riskitasoja ja (4) arvioida riskejä sisältävien tavoitteiden uhkia suhteessa muihin tavoitteisiin arvioimalla tavoitteiden riippuvuuksia käyttäen formaaleja tavoite-strategiat-tavoite -malleja. GQM+Strategies lähestymistapaa pilotoitiin neljässä organisaatiossa yhteensä yli 60 osallistujan kanssa. Tutkimuksen osallistujilta saatua palautetta käytettiin väitöskirjan tutkimuskysymysten identifiointiin. Tutkimuksen lähestymistavassa (ratkaisun kehittämisprosessi) sovellettiin design science -kehikkoa ja ratkaisun kehittämisen eri vaiheissa hyödynnettiin analyyttisiä ja empiirisiä paradigmoja. Analyyttisiä paradigmoja käytettiin ratkaisun kehittämisessä ja arvioinnissa ja empiirisiä paradigmoja ratkaisujen määrättyjen aspektien arvioinnissa.

Abstract Requirements engineering (RE) is an important process in systems development. This research was carried out in the context of Very Large-Scale Requirements Engineering (VLSRE) within the scope of a requirement screening (RS) process. The RS process is defined as a front-end process for screening incoming requests, which are received in a constant flow. The goal of the RS process is to efficiently identify the most promising requests for further analysis, development and implementation while filtering out non-valuable ones as early as possible. The objective of this study was to understand the challenges related to the RS process and develop solutions to address those challenges. A qualitative research approach was utilised to achieve the research goals. The overall research process follows an action research method, in which each action research cycle includes at least one individually defined and executed case study. Action research and case studies are research methods that are well suited to studying real-life phenomena in their natural settings. This research was carried out in two case companies in the information and communication technology domain. Data from 45 interviews were analysed for preparing publications I–V, which are included in this thesis. In addition, during the longitudinal action research study described in this thesis, data from 26 interviews and 132 workshops were utilised to develop solutions for the RS process, which is an industrial implementation of the VLSRE process. The conducted action research contributes to the field of software engineering, in which such research efforts are currently lacking. This research has identified a number of significant challenges that different stakeholders face related to requirements processing and decision making in the VLSRE context. Examples of these challenges are the great number of incoming requirements, the lack of information for decision making and the feasibility of utilised tools. To address the identified challenges, a requirements architecting method was developed. The method includes a dynamic requirement template, which gathers structured information content for eliciting requests, documenting and communicating requirements and forming features while considering the needs of different stakeholders. The method was piloted, validated and deployed in industry. / Tiivistelmä Tutkimus toteutettiin laajamittaisen vaatimusmäärittelyprosessin kontekstissa keskittyen vaatimusten seulontaprosessiin. Vaatimusten seulontaprosessi määritellään tuotekehityksen alkuvaiheen prosessiksi, jossa käsitellään jatkuvana vuona tulevia kehityspyyntöjä. Vaatimusten seulontaprosessissa pyritään tunnistamaan tehokkaasti lupaavimmat pyynnöt jatkoanalyysiä, tuotekehitystä ja toteutusta ajatellen sekä suodattamaan pois niin aikaisessa vaiheessa, kun mahdollista ne pyynnöt, joilla ei ole arvontuotto-odotuksia. Tutkimuksen tavoite oli ymmärtää haasteita, jotka liittyvät vaatimusten seulontaprosessiin sekä kehittää ratkaisuja näihin haasteisiin. Tutkimuksessa käytettiin laadullisen tutkimuksen menetelmiä. Kokonaisuutena tutkimusprosessi noudattaa toimintatutkimuksen periaatteita siten, että jokainen sykli tai sen vaihe sisältää yhden tai useamman itsenäisesti määritellyn tapaustutkimuksen suunnittelun ja läpiviennin. Valitut tutkimusmenetelmät soveltuvat hyvin tilanteisiin, joissa tutkimuskohteina ovat reaalimaailman ilmiöt niiden luonnollisissa ympäristöissä havainnoituina. Tutkimusaineisto kerättiin kahdesta informaatio- ja kommunikaatioteknologia-alan kohdeorganisaatiosta. Väitöskirjaan sisällytettyihin julkaisuihin I-V on analysoitu 45 haastattelun aineisto. Näiden lisäksi väitöskirjassa kuvatun pitkäkestoisen toimintatutkimuksen aikana hyödynnettiin 26 haastattelun ja 132 työpajan aineistoa kehitettäessä ratkaisuja vaatimusten seulontaprosessin haasteisiin. Vaatimusten seulontaprosessi on laajamittaisen vaatimusmäärittelyprosessin teollinen toteutus. Tutkimuksessa tunnistettiin useita merkittäviä haasteta, joita eri sidosryhmillä on liittyen vaatimusten seulontaprosessiin ja päätöksentekoon laajamittaisessa vaatimusmäärittelyprosessissa. Vaatimusten suuri määrä, päätöksentekoon tarvittavan tiedon puute ja käytössä olevien työkalujen soveltumattomuus ovat esimerkkejä tunnistetuista haasteista. Ratkaisuna haasteisiin kehitettiin vaatimusten seulonta- ja analyysimenetelmä. Kehitetty menetelmä sisältää dynaamisen vaatimusdokumentin, jonka avulla voidaan kerätä kehityspyyntöjen tietosisältö jäsennellysti, dokumentoida ja kommunikoida vaatimukset sekä muodostaa niistä tuotteisiin toteutettavia ominaisuuksia ottaen huomioon eri sidosryhmien tarpeet. Kehitetty menetelmä on koestettu, validoitu ja soveltuvin osin otettu käyttöön teollisuudessa.

Abstract There is a broad consensus in the software engineering (SE) research community that understanding system desiderata and design creativity is critical for the success of software projects. This has motivated a plethora of research in SE to improve requirements engineering (RE) processes. However, little research has investigated the relationship between the way desiderata are presented (i.e., framed) and creative design performance. This dissertation, therefore, examines the effects of more formal presentations of desiderata on design creativity. The research was conducted in three phases. The first consisted of summarizing the available literature on cognitive biases in SE to build a comprehensive body of knowledge, understand the current state of research, and identify the relevant literature to position and delineate subsequent investigations involving the framing effect and fixation. This research phase also investigated how creativity is conceptualized (i.e., understood, assessed and improved) in SE by exploring the perceptual differences and similarities between SE researchers and practitioners. In the second phase, two controlled experiments were conducted to investigate the impact of framing desiderata first as requirements (in general) and then as prioritized requirements on design creativity (i.e., the originality and practicality of a design). The third phase involved a protocol study to explore the underlying cognitive mechanisms that may explain why framing desiderata as formal requirements affects creativity. The empirical evidence from the second and third phases was interpreted together to propose a theoretical framework that explains the effect of specification formality on design creativity. While the results of the experiments show that specification formality is negatively related to design creativity (i.e., desiderata framed as requirements or prioritized requirements result in designs that are less creative), the findings from the protocol study indicate that the negative relationship between specification formality and design creativity is mediated by fixation (i.e., more formal presentation of desiderata induces fixation and hinders critical thinking). Overall, the results of this dissertation suggest that more formal and structured presentations of desiderata cause requirements fixation—the tendency to attribute undue confidence and importance to desiderata presented as formal requirements statements—that affects design creativity, and thus undermines software engineering success. / Tiivistelmä Ohjelmistotuotannon tutkijoiden keskuudessa on laaja yksimielisyys järjestelmän tarpeiden ja suunnittelun luovuuden ymmärtämisen kriittisyydestä ohjelmistoprojektien menestyksessä. Tämä on motivoinut monia ohjelmistotuotannon vaatimusmäärittelyprosessien parantamiseen liittyviä tutkimuksia. Harvassa on tarkasteltu tarpeiden esitystavan (eli muotoilun) ja luovan suunnittelun lopputuloksen välistä yhteyttä. Tässä väitöskirjassa tarkastellaan tarpeiden muodollisempien esitystapojen vaikutuksia suunnittelun luovuuteen. Tutkimus oli kolmivaiheinen. Ensin referoitiin ohjelmistotuotannossa kognitiivisiin harhoihin liittyvä kirjallisuus kartoittamaan nykytutkimuksen tila ja merkityksellinen kirjallisuus myöhempien, kehysvaikutuksen ja fiksaation sisältävien tutkimusten sijoittamiseen ja rajaamiseen. Lisäksi tarkasteltiin luovuuden käsitteellistämistä (eli ymmärrettävyyttä, arviointia ja parantamista) tutkimalla katsannollisia eroja ja yhtäläisyyksiä tutkijoiden ja ammattilaisten välillä. Toisessa vaiheessa tehtiin kaksi kontrolloitua koetta tarpeiden muotoilun vaikutuksien tutkimiseksi, ensin vaatimuksina (yleisesti) ja sitten tärkeysjärjestykseen laitettuina vaatimuksina suhteessa suunnittelun luovuuteen (eli omaperäisyyteen ja käytännöllisyyteen). Lopuksi, protokollatutkimuksella selvitettiin taustalla olevia kognitiivisia mekanismeja selittämään syitä muodollisina vaatimuksina esitettyjen tarpeiden vaikutuksista luovuuteen. Toisesta ja kolmannesta vaiheesta saatujen empiiristen aineistojen tulkittiin yhdessä muodostavan teoreettisen viitekehyksen, joka selittää määrittelyn muodollisuuden vaikutusta suunnittelun luovuuteen. Vaikka kokeiden tulokset osoittavat määrittelyjen muodollisuuden vaikuttavan negatiivisesti suunnittelun luovuuteen (eli tarpeiden muotoilu vaatimuksina tai priorisoituina vaatimuksina vähentää suunnitelmien luovuutta), protokollatutkimuksen tulokset viittaavat fiksaation vaikuttavan negatiiviseen yhteyteen määrittelyjen muodollisuuden ja suunnittelun luovuuden välillä (eli tarpeiden muodollisempi esitystapa aiheuttaa fiksaatiota ja vaikeuttaa kriittistä ajattelua). Kaiken kaikkiaan, väitöskirjan tulokset esittävät muodollisempien ja strukturoidumpien tarpeiden esitystapojen aiheuttavan vaatimusten fiksaatiota, taipumusta pitää luottamusta ja tärkeyttä tarpeiden muodollisten vaatimusten ilmaisun ansioina, joka vaikuttaa suunnittelun luovuuteen heikentäen ohjelmistotuotannon menestymisen mahdollisuutta.