Abstract In the last decade, the software industry has been marked by a growing trend of software companies’ ability to deploy new software features fast and frequently in short release cycle times. The companies’ software release cycles have been shortened to hours and minutes rather than months. To enable the transformation towards short release cycle times, companies have adopted several different strategies, including the DevOps approach. DevOps in the software industry emerged to represent a professional movement emphasising the collaboration between software development and operations. In practice, DevOps affects the company culture, processes, products, associated technologies and organisational structures used in software development and operations processes. The multifaceted nature of DevOps makes the concept ambiguous and difficult for software companies to adopt as there are many different paths to its adoption. The purpose of the thesis is to provide detailed description of the adoption and implementation of DevOps in software development comprehending the DevOps concept definition, and its practices, benefits and challenges. The research was performed by systematically reviewing the literature, multi-vocal documents and making qualitative inquiries among software practitioners; and based on that the consolidated body of knowledge of DevOps was constructed. The key finding of the research is that the DevOps approach includes an automated software deployment mechanism focusing on the rapid and repeatable release of software changes and automated management of operational infrastructure. The adoption and implementation of DevOps practices are prominent in software companies that use cloud computing technology, while its adoption is challenging in the embedded system domain. DevOps is not a silver bullet; challenges pertaining to the management of infrastructures due to legacy technologies still persist. The key lesson learned in the adoption and implementation of DevOps is that the software operational infrastructure is no longer considered separate from the development of software features; and this is achieved by having software development and operations teams jointly working together. / Tiivistelmä Viimeisen vuosikymmenen aikana ohjelmistoteollisuudessa on ollut kasvavana trendinä ohjelmistotalojen lisääntyvä kyky toimittaa ohjelmistomuutoksia nopeasti ja usein toistuvina päivityksinä. Yritysten ohjelmistotoimitus- ja päivitysjaksot ovat lyhentyneet kuukausista tunneiksi ja jopa minuuteiksi. Yritykset ovat ottaneet käyttöön useita erilaisia toimintatapoja kyetäkseen muuttamaan toimintaansa lyhyen aikavälin ohjelmistopäivityksiin kykeneväksi, joista yksi viimeisimmistä on DevOps (saumaton ohjelmiston kehittäminen ja käyttö). Ohjelmistotuotannossa DevOps syntyi ohjelmistoteollisuudessa ammattilaisten alkaessa painottaa ohjelmistojen kehittämisen ja käytön yhteistyön tärkeyttä. Käytännössä DevOpsilla on vaikutusta ohjelmisto-organisaation toimintakulttuuriin, prosesseihin, tuotteisiin, sekä teknologioihin ja organisaatiorakenteisiin, joita käytetään ohjelmistokehityksessä ja käyttöönottoprosessissa. DevOpsin käsitteen moniulotteisuudesta johtuen käsitteen sisältö jää usein epäselväksi ja samalla sen mukainen toiminta vaikeasti käyttöön otettavaksi ohjelmistoyrityksissä, koska toteutus on mahdollista tehdä monella eri tavalla. Tämän väitöksen tarkoituksena on antaa selkeä kuvaus DevOpsista ja sen toteutuksesta ohjelmistokehityksessä niin, että sen käsite, ja käytännöt, sekä sen tarjoamat edut ja haasteet tulevat ymmärretyiksi. Tutkimuksessa suoritettiin systemaattinen kirjallisuuskatsaus tieteellisiin julkaisuihin ja muihin lähinnä käytännön kokemuksiin pohjautuviin lähteisiin, suoritettiin kvalitatiiviset kyselytutkimukset, joiden kohteena olivat ohjelmistoammattilaiset, sekä muodostettiin näiden pohjalta saumattoman ohjelmistokehityksen ja käytön yhtenäinen tietämyskanta. Tutkimuksen keskeinen tulos on, että DevOps-lähestymistapa sisältää automaattisen ohjelmiston käyttöönottomekanismin, joka keskittyy nopeiden ja toistettavien ohjelmistomuutosten käyttöönottoon ja sitä tukevan operatiivisen infrastruktuurin hallintaan. DevOpsin omaksuminen ja käyttöönotto ovat näkyvästi esillä pilvipalvelinteknologiaa käyttävissä ohjelmistoyrityksissä, kun taas sen käyttöönotto on haastavaa sulautettujen järjestelmien alueella. DevOps ei ole mikään ’hopealuoti’, vaan sisältää erityisesti infrastruktuurien hallintaan liittyviä haasteita, jotka johtuvat edelleen käytössä olevista vanhoista tekniikoista. Keskeisin oppima DevOpsin omaksumisesta ja soveltamisesta käytäntöön on, että ohjelmistojen käyttöinfrastruktuuria ei enää tarkastella erillään ohjelmistojen kehittämisestä, vaan ne toimivat saumattomassa yhteistyössä keskenään.

Abstract The adoption of agile methods in software projects has been fast. The majority of new software projects utilises agile methods, and they have radically changed the internal dynamics of software development projects. This has created a need for adjustments in the management of software projects. The current literature rarely discusses the early phases of agile projects: contracting and organising agile projects. The literature also lacks investigations on the project management practices of agile projects. This dissertation focuses on flexibility as it occurs in agile software projects. The main objective of this research is to explore the nature of flexibility in agile software projects and study the challenges of project contracting and management in leveraging agile development methods. The research was conducted as a mixed methods research. The research findings contribute to the emerging literature on agile project management. Secondarily, the results contribute to proactive contracting literature. The results indicate that agile methods can be used to increase flexibility and efficiency in software projects, but flexibility needs to be planned by projects parties. This planning activity already starts in the negotiation phase, and it is optimally summarised in the project contract. Thus, it is also important that lawyers contributing to project contracts are aware and informed of the business contexts. The traditional project management approach needs adjustments in adopting agile practices. This research reports several categories of challenges faced in adopting agile practices and increasing flexibility in projects. The results also indicate that projects delegate part of the decision-making authority to implementation teams in order to increase flexibility. By taking some of the decisions closer to project implementation, flexibility can be used to manage uncertainties caused by a complex environment. / Tiivistelmä Ketterien kehitysmenetelmien käyttö ohjelmistoprojekteissa on yleistynyt nopeasti. Suurin osa alkavista ohjelmistoprojekteista käyttää jo ketteriä menetelmiä ja niiden soveltaminen on muuttanut radikaalisti kehitysprojektien sisäistä dynamiikkaa. Tämän vuoksi on syntynyt tarve tarkastella tarkemmin ketterien projektien johtamista. Kirjallisuudessa on harvoin tarkasteltu ketterien projektien alkuvaiheita, sopimuskäytäntöjä ja organisoitumista. Kirjallisuudessa ei myöskään vielä käsitellä ketterien projektien projektinhallinnan käytänteitä. Tämä väitöskirjatutkimus tarkastelee joustavuutta, joka ilmenee ketterissä ohjelmistoprojekteissa. Työn päätavoite on tarkastella joustavuuden luonnetta ketterissä ohjelmistoprojekteissa ja tutkia mitä haasteita ketterien menetelmien käyttö aiheuttaa projektin sopimusprosesseissa ja projektinhallinnassa. Väitöskirjatutkimus on toteutettu monimetelmätutkimuksena. Tutkimustulokset kohdistetaan tuoreeseen tieteelliseen projektitutkimuksen keskusteluun ketteristä projektinhallintamenetelmistä. Toisekseen, väitöskirja osallistuu ennakoivaa sopimista käsittelevään oikeustieteellisen tutkimusalan keskusteluun. Tutkimustulokset osoittavat, että ketteriä menetelmiä voidaan käyttää lisäämään joustavuutta ja tehokkuutta ohjelmistoprojekteissa, mutta joustavuus tulee olla suunniteltua, jotta siitä voidaan hyötyä. Joustavuuden käytön suunnittelu alkaa jo projektin neuvotteluvaiheessa ja kirjaukset joustavuuden hyödyntämisestä on optimaalisesti kirjattu jo projektisopimukseen. Tämän vuoksi on tärkeää, että sopimuksen muotoiluun osallistuvat juristit ovat hyvin perillä liiketoiminta-alasta ja ovat tietoisia, että sopimus tulee sisältämään joustavuusnäkökohtia tarkoituksellisesti. Perinteinen projektinhallinta kaipaa myös muutoksia ketterien projektien johtamiseen. Tutkimus osoittaa seitsemän pääkategoriaa haasteita, joita yritykset kohtaavat siirtyessään käyttämään ketteriä menetelmiä. Tutkimus osoittaa myös, että ketterissä projekteissa päätöksenteko on joustavuuden lisäämiseksi hajautettu itseohjautuville tiimeille. Kun päätöksentekovaltaa siirretään lähemmäs varsinaista kehitystyötä, voidaan joustavuuden avulla hallita epävarmuutta kompleksissa ympäristössä.

Abstract Digitalization is a megatrend that also drives public sector reforms toward improved citizen service processes by adopting digital technologies. The digitalization of the public sector, also referred to as e-government transformation, is a strenuous institutional change process that starts with strategy and policy formation and is eventually carried out through individual information and communication (ICT) development projects and programs. ICT projects in the public sector still struggle due to challenges and complexities such as technological uncertainty. These project-level struggles impair e-government efforts that are already facing strategic and regulative difficulties, which, again, affect ICT project performance. How a temporary project is connected and contributes to the strategic objectives of a more permanent structure is the focus of project governance. In e-government context it can be applied to describe and elaborate on the ICT project alignment and control practices in and between different organizations within the e-government transformation. The underlying academic motivation for this research is to improve the current understanding of project governance in e-government: how ICT project governance can be applied to enact the institutional change of public sector digitalization. The dissertation study follows a constructive research approach, using multiple qualitative methods on empirical data from the Finnish central government. By synthesizing the results from four individual research publications, this dissertation explores the ICT project governance practices and tensions that take place in different levels within the e-government transformation. The study contributes to the literature by elaborating how project governance is perceived in and affected by the e-government transformation and by providing new information on how flexible and collaborative project models, namely agile models and project alliances, are applied in the context. The dissertation proceeds to construct a multi-level model that indicates how the perceived challenges and tensions could be remedied, thus enabling managers and practitioners in the field to conduct the right ICT projects properly and, hence, support the e-government transformation. / Tiivistelmä Digitalisaatio on yksi megatrendeistä, joka vaikuttaa myös julkisen sektorin reformaatioihin, joilla tavoitellaan tehokkaampia asiakaspalveluprosesseja hyödyntämällä digitaalisia teknologioita. Julkisen sektorin digitalisoituminen, tai e-hallinnon muutos, on vaativa institutionaalinen muutosprosessi, joka alkaa strategisten ja poliittisten linjausten määrittelyllä ja toteutetaan lopulta yksittäisten informaatio- ja kommunikaatioteknologia (ICT) projektien ja ohjelmien kautta. Julkisen sektorin ICT projekteja haastaa edelleen muun muassa tekniset epävarmuustekijät. Nämä projektitason haasteet vaikuttavat myös e-hallintoon, johon liittyy jo valmiiksi strategisia ja hallinnollisia vaikeuksia. Tämä taas vastavuoroisesti vaikeuttaa yksittäisten projektien toimintaa. Projektihallintoa käytetään kuvaamaan, miten kertaluontoinen projekti liittyy ja vaikuttaa pysyvämpiin rakenteisiin ja niiden strategisten tavoitteiden toteutumiseen. E-hallinnon digitaalisen muutoksen yhteydessä projektihallinnon kautta voidaan esittää ICT projektien ohjaus- ja kontrollointikäytäntöjä eri organisaatiotasoilla. Tämä tutkimuksen akateeminen motivaatio on parantaa nykyistä tietämystä projektihallinnosta e-hallinnon kontekstissa tarkastelemalla, miten ICT projektihallintoa voidaan käyttää julkisen sektorin digitalisoitumisen toteuttamiseen. Tämä väitöstyö noudattaa konstruktiivista tutkimusotetta, käyttäen useita laadullisia menetelmiä Suomen valtionhallinnosta kerätyn empiirisen datan analysointiin. Syntetisoimalla neljän osajulkaisun tulokset tämä väitös perehtyy ICT projektihallinnon käytänteisiin ja jänniteisiin eri organisaatiotasoilla digitalisoitumisen yhteydessä. Tämä väitös tuottaa uuttaa tietoa esittämällä, miten projektihallinto näyttäytyy ja vaikuttaa e-hallinnon muutoksessa, sekä kuvaamalla miten joustavia projektimalleja, kuten ketterä ja projektiallianssi, voidaan käyttää tässä kontekstissa. Väitöstutkimus luo lisäksi monitasoisen mallin, jonka avulla havaittuja haasteita ja jännitteitä voidaan lieventää. Täten tutkimus auttaa käytännössä alan asiantuntijoita johtamaan oikeita ICT projekteja oikealla tavalla ja siten edesauttaa julkisen sektorin digitalisointia.

Abstract Continuous software engineering (CSE) has instigated academic debate regarding the rapid, parallel cycles of releasing software and customer experimentation. This approach, originating from Web 2.0 and the software-as-a-service domain, is widely recognised among software-intensive companies today. Earlier studies have indicated some challenges in the use of CSE, especially in the context of business-to-business and product-oriented, embedded systems development. Consequently, research must address more explicit definitions and theoretical models for analysing the prerequisites and organisational capabilities related to the use of CSE. This dissertation investigates various approaches to conducting empirical evaluations related to CSE. The study aims to improve existing models of CSE and to empirically validate them in the context of software companies. The study also aims to accumulate knowledge regarding the use of CSE, as well as its impacts. The case study method is applied for the collection and analysis of empirical data. Twenty-seven interviews are conducted at five companies. In addition, a systematic literature review is used to synthesise the empirical research on agile release engineering practices. Design science research is used to portray the model design and the evaluation process of this dissertation. Three approaches for evaluating CSE are constructed: (1) LESAT for software focuses on enterprise transformation using an organisational self-assessment approach, (2) STH+ extends the “Stairway to Heaven” model and evaluates company practices with respect to evolutionary steps towards continuous experimentation-driven development, and (3) CRUSOE defines 7 key areas and 14 diagnostic questions related to the product-intensive software development ecosystem, strategy, architecture, and organisation, as well as their continuous interdependencies. This dissertation states the relevance of CSE in the context of product-intensive software development. However, more adaptations are anticipated in practices that involve business and product development stakeholders, as well as company external stakeholders. / Tiivistelmä Jatkuva ohjelmistotuotanto on herättänyt keskustelua nopeasta, samanaikaisesta ohjelmistojulkaisemisesta ja asiakaskokeiluista. Toimintatapa on peräisin Web 2.0 ja software-as-a-service yhteydestä, mutta se tunnetaan nykyään yleisesti ohjelmistoja kehittävissä yrityksissä. Aiemmat tutkimukset ovat osoittaneet haasteita jatkuvan ohjelmistotuotannon käytössä. Erityisesti haasteita on havaittu yritykseltä yritykselle liiketoiminnassa ja tuotepainotteisten sulautettujen järjestelmien yhteydessä. Näin ollen on havaittu tarve tutkimuksen avulla kehittää täsmällisempiä määritelmiä ja teoreettisia malleja, joilla voidaan analysoida jatkuvan ohjelmistotuotannon käyttöön liittyviä edellytyksiä ja organisaatioiden kyvykkyyksiä. Tässä väitöskirjassa tutkitaan malleja, joilla voidaan empiirisesti arvioida jatkuvaa ohjelmistotuotantoa. Tutkimuksella pyritään parantamaan nykyisiä malleja ja arvioimaan niiden käyttöä ohjelmistoyrityksissä. Lisäksi tutkimuksella pyritään kasvattamaan tietoa jatkuvasta ohjelmistotuotannosta ja sen vaikutuksista. Tiedon keräämiseen ja analysointiin käytettiin tapaustutkimus menetelmää. Kaksikymmentäseitsemän haastattelua tehtiin viidessä yrityksessä. Lisäksi tehtiin ketterään ohjelmistojulkaisuun keskittyvä systemaattinen kirjallisuuskatsaus. Väitöskirjassa käytetään Design Science Research menetelmää kuvaamaan tutkimuksen eri vaiheita, joissa malleja suunniteltiin ja arvioitiin. Tutkimuksessa rakennettiin kolme tapaa jatkuvan ohjelmistotuotannon arvioimista varten: (1) LESAT for Software keskittyy organisaation muutoskyvykkyyden arviointiin käyttäen itsearviointimenetelmää, (2) STH+, laajentaa ”Stairway to Heaven” mallia ja arvioi yrityksen käytäntöjä eri evoluutioaskelmilla matkalla kohti kokeilupainotteista tuotekehitystä, (3) CRUSOE määrittelee seitsemän pääaluetta ja 14 kysymystä liittyen tuotekehityksen ekosysteemiin, strategiaan, arkkitehtuuriin, organisointiin sekä näiden välisiin jatkuviin riippuvuuksiin. Väitöskirja osoittaa jatkuvan ohjelmistokehityksen olevan merkityksellinen myös tuotepainotteisessa ohjelmistokehityksessä. Nähtävissä kuitenkin on, että useita nykykäytäntöjä on tarvetta muokata. Erityisesti muokkaustarvetta on tuotekehityksen ja liiketoiminnan sidosryhmiin ja yrityksen ulkoisiin sidosryhmiin liittyvissä käytännöissä.

Abstract Management of product development activities has become increasingly important, as cycle times of product development have shortened. Smaller product development projects are often conducted rapidly at companies based on customer or sales requests to answer the need for faster cycle times. However, this is often done without fully realizing the impact of the new projects on the larger project portfolio or organizational effectiveness. The main objective of this dissertation is to increase knowledge on the use of agile development methods in small, rapid product development projects, and on the implementation of a rapid product development model. The dissertation is formulated as a qualitative, inductive study based on the research results of four original publications and a summary combining the results. The results of the dissertation show that it is beneficial to separate a rapid product development process for certain types of customer- or sales-initiated projects. A new rapid development model with principles and guidelines is introduced to help organizations facilitate this separation. The implementation of the model can be supported with agile development practices, of which self-managing teams are studied in more detail. There is significant overlap between case companies’ perceived success factors for rapid development and self-management. The results imply that a functional rapid development model can be utilized as a strategic asset at companies. The results also provide empirical evidence that agile development practices can be utilized in product development. In addition to providing empirical evidence in scientific discussion about combining product development and agile software development practices, the results can be used to create better definitions of product development processes in general. / Tiivistelmä Tuotekehityksen johtamisesta ja hallinnasta on tullut entistä haastavampaa ja tärkeämpää, kun tuotekehitysprojektien läpimenoajat ovat lyhentyneet. Yritykset tekevät kasvamassa määrin lyhyitä tuotekehitysprojekteja asiakaspyyntöjen tai myynnin aloitteesta vastatakseen markkinoiden vaatimuksiin nopeasta kehityksestä. Tällaisten nopeiden tuotekehitysprojektien käynnistäminen ja toteutus tehdään usein ymmärtämättä yksittäisen projektin vaikutusta koko projektiportfolioon tai organisaation tehokkuuteen. Tämän väitöskirjan päätavoitteena on tutkia ohjelmistokehityksestä tunnettujen ketterien kehitysmenetelmien käyttöä nopeissa tuotekehitysprojekteissa ja uudenlaisen nopean tuotekehityksen mallin käyttöönotossa. Tutkimus on tehty laadullisena ja induktiivisena tutkimuksena perustuen neljään itsenäiseen tutkimusartikkeliin ja näiden tulokset kokoavaan kokoelmaosaan. Tutkimus osoittaa, että yrityksille on hyödyllistä erottaa erillinen prosessi tietyntyyppisille nopeille tuotekehitysprojekteille. Tutkimuksen tuloksena esitellään malli, joka tukee tätä erottamista periaatteiden ja ohjeiden avulla. Tätä mallia pystytään tukemaan ketterillä kehitysmenetelmillä, joihin liittyen on erityisesti tutkittu itseohjautuvia kehitystiimejä. Case-yritysten havainnoimilla nopean tuotekehityksen menestystekijöillä ja itseohjautuvien tiimien ominaisuuksilla on havaittavissa suurta päällekkäisyyttä. Tulokset osoittavat, että hyvin käytetty ja määritetty nopean tuotekehityksen malli voi olla strateginen kilpailuetu yrityksille. Tulokset lisäävät myös empiiristä tietoa ketterien menetelmien käytöstä tuotekehityksessä ja hyödyntävät siten ajankohtaista tieteellistä keskustelua. Tuloksia voidaan myös hyödyntää muiden tuotekehitysprosessien käyttötarkoituksen tarkempaan määrittämiseen.

Abstract Modern software development must adapt to demanding schedules while keeping the software at a high level of quality. Agile software development has been adopted in recent years to meet such a need. Test-driven development (TDD) is one practice that has arisen within the agile software development movement that leverages unit tests to develop software in incremental cycles. TDD supporters claim that the practice increases the productivity of the practitioners who employ it, as well as the internal and external quality of the software they develop. In order to validate or refute such claims, the software engineering research community has studied TDD for the last decade; the results of the empirical studies on the effects of TDD have been mostly inconclusive. This dissertation has studied two factors that may impact the manifestation of the claimed effects of TDD on software’s external quality and developers’ productivity: the developers’ conformance to the process (i.e., their ability to follow TDD) and their skills. The research was performed in four phases. In the first phase, the literature was reviewed to identify a set of factors that have been considered to affect TDD. In the second phase, two experiments were executed within academia. A total of 77 students at the University of Oulu, took part in the studies. These experiments investigated the quality of the software, as well as the subject’s productivity with respect to their programming and testing skills. A follow-up study, using data collected during the second experiment, explored the relation between the quality, productivity and the subjects’ process conformance. In the third phase, four industrial experiments, involving 30 professional, were performed. Process conformance and skills were investigated in relation to the TDD’s effects on external quality and productivity. The fourth phase synthesized the evidence gathered in the two previous phases. The results show that TDD is not associated with improvements in external quality, or developers’ productivity. Further, improvements in both external quality and productivity are associated with skills, rather than with the process, at least in the case of professional developers. Hence, process conformance has a negligible impact. The productivity of novice developers, on the other hand, can benefit from the test-first approach promoted by TDD. / Tiivistelmä Modernin ohjelmistokehityksen täytyy mukautua haastaviin aikatauluihin säilyttäen ohjelmistojen korkea laatu. Ketterä ohjelmistokehitys on viime vuosina omaksuttu tähän tarpeeseen ja suuntauksessa on saanut alkunsa testivetoisen kehityksen käytäntö, joka hyödyntää yksikkötestausta ohjelmiston inkrementaalisessa, syklisessä kehityksessä. Testivetoisen kehityksen puolestapuhujat väittävät tämän käytännön lisäävän ohjelmistokehittäjien tuottavuutta sekä ohjelmiston sisäistä ja ulkoista laatua. Ohjelmistotuotannon tutkimusyhteisö on tutkinut testivetoista kehitystä viimeisen vuosikymmenen aikana vahvistaakseen tai kumotakseen nämä väitteet. Empiiriset tutkimukset testivetoisen kehityksen vaikutuksista ohjelmistotuotantoon ovat suurelta osin tuloksettomia. Tämä väitöstyö tutkii kahta tekijää, jotka voivat vaikuttaa testivetoisen kehityksen väitettyjen vaikutusten ilmentymiseen ohjelmiston ulkoisena laatuna ja ohjelmistokehittäjien tuottavuutena: ohjelmistokehittäjien taitoja ja prosessin mukaista toimintaa. Tutkimus toteutettiin neljässä vaiheessa. Ensimmäisessä vaiheessa tehtiin kirjallisuuskatsaus, jolla selvitettiin tekijöitä, joiden on katsottu vaikuttavan testivetoiseen kehitykseen. Toisessa vaiheessa tehtiin Oulun yliopistolla kaksi koetta, joihin osallistui kaikkiaan 77 opiskelijaa. Kokeissa tutkittiin ohjelmiston laadun ja osallistujien tuottavuuden suhdetta heidän ohjelmointi- ja testaustaitoihinsa. Toisen kokeen aikana kerättyä aineistoa hyödynnettiin jatkotutkimuksessa, jossa tarkasteltiin laadun, tuottavuuden ja prosessin mukaisen toiminnan suhdetta. Kolmannessa vaiheessa tehtiin neljä koetta, joihin osallistui 30 ohjelmistoalan ammattilaista. Prosessin mukaista toimintaa ja taitoja tutkittiin suhteessa testivetoisen kehityksen vaikutuksiin ohjelmiston ulkoiseen laatuun ja tuottavuuteen. Neljännessä vaiheessa syntetisoitiin kahden edellisen vaiheen löydökset. Tulokset osoittavat, ettei testivetoinen kehitys liity ulkoisen laadun parantumiseen eikä ohjelmistokehittäjien tuottavuuteen. Parannukset laadussa ja tuottavuudessa liittyvät ennemmin taitoihin kuin prosessiin, ainakin ohjelmistokehityksen ammattilaisten kohdalla. Näin ollen prosessin mukaisella toiminnalla on vähäpätöinen vaikutus. Toisaalta testivetoisen kehityksen suosiman test-first-menettelytavan hyödyntäminen voi edistää aloittelevien ohjelmistokehittäjien tuottavuutta.