Context: Software testing is a crucial area in software development. It has been found that there is little evidence on how testing is performed in software automotive domain. Challenges in this domain have not yet been fully evaluated. Furthermore, interactions between test procedures, and other activities of software development are left unexposed. Assessment of test process is an important part of improvement initiatives. Objectives: In this study we perform an in-depth investigation to identify challenges which lead to wastes in test process in the context of automotive software domain. To this end, we also identified strengths that add value in test process. Methods: We performed a Case study at a Sweden based large automotive organization. To this end, we conducted semi-structured interviews and used Grounded Theory method for interview data analysis. We used Value Stream Mapping (VSM), a Lean methodology tool for test process assessment. Furthermore, we conducted Systematic Literature Reviews to look for evidence of similar problems and solutions offered in peer-reviewed literature. Results: We grouped the identified challenges and strengths into 10 and 4 categories respectively. We also identified 7 kinds of waste and 4 kinds of values based using VSM. Based on systematic literature reviews, we proposed 7 solution proposals, an agile process model with practices. Conclusions: We conclude that VSM is an efficient tool in eliciting improvement potentials in software testing context using qualitative data. In regard to solution proposals, we propose further empirical work to evaluate the solution proposals themselves and tailor to company needs. However, the results obtained through this study can be compared to test processes at other companies in automotive domain. / kasoju.abhinaya@gmail.com

Continuous Integration (CI) techniques are widely adopted in web and application development but have received limited attention in the embedded software domain. This thesis investigates the application of CI techniques in embedded software development through a case study at Cobolt AB, a company specializing in optoelectronics. The study aims to identify suitable CI techniques, assess implementation efforts, and evaluate the impact of CI adoption in this domain. A CI service is implemented using Jenkins as the automation server, following an iterative development and deployment process. The service incorporates multi-target compilation, automated unit testing, test reporting, visual CI feedback, and trunk-based development. These techniques prove effective for embedded software with a modular firmware architecture. However, automated system testing encounters limitations due to the need for manual interaction with hardware targets. Challenges encountered during implementation, such as learning CI tools, managing build tool dependencies, and addressing manual input requirements for system testing, are overcome through iterative implementation, distributed build architecture, and selective test automation. Developers’ resistance to CI adoption diminishes as they experience the positive impact of the CI service. CI adoption in the embedded domain brings benefits such as fast bug detection, increased developer motivation, higher confidence in code quality, and encouragement for standardization n. No noticeable negative impacts are observed. Future research should focus on integrating hardware-in-the-loop simulation systems for comprehensive automated system testing, exploring validation on multiple hardware targets, and studying the vertical scaling capabilities of distributed build architectures with Jenkins. / Kontinuerlig integration (CI) tekniker används i stor utsträckning inom webboch applikationsutveckling, men har fått begränsad uppmärksamhet inom inbyggd programvarudomän. Denna avhandling undersöker tillämpningen av CI-tekniker inom inbyggd programvaruutveckling genom en fallstudie vid Cobolt AB, ett företag specialiserat på optoelektronik. Studien syftar till att identifiera lämpliga CI-tekniker, bedöma implementeringsinsatser och utvärdera effekten av CI-användning inom detta område. En CI-tjänst implementeras med Jenkins som automatiseringsserver, efter en iterativ utvecklings- och distribueringsprocess. Tjänsten inkluderar kompilering för flera målenheter, automatiserad enhetstestning, testrapportering, visuell CI-återkoppling och utveckling baserad på huvudgrenen. Dessa tekniker visar sig vara effektiva för inbyggd programvara med en modulär firmware-arkitektur. Dock begränsas automatiserad systemtestning av behovet av manuell interaktion med hårdvarumål. Utmaningar som uppstår under implementeringen, såsom att lära sig CIverktyg, hantera byggverktygsberoenden och hantera manuella indatakrav för systemtestning, övervinner genom iterativ implementering, distribuerade byggarkitekturer och selektiv testautomatisering. Utvecklarnas motstånd mot CI-användning minskar när de upplever de positiva effekterna av CI-tjänsten. CI-användning inom inbyggd programvaruutveckling medför fördelar som snabb upptäckt av fel, ökad utvecklar motivation, högre förtroende för kodkvalitet och främjande av standardisering. Inga märkbara negativa effekter observeras. Framtida forskning bör fokusera på att integrera hårdvaru-i-loop simulering för omfattande automatiserad systemtestning, utforska validering på flera hårdvarumål och studera de vertikala skalningsmöjligheterna hos distribuerade byggarkitekturer med Jenkins.

Abstract Choreography modelling, as a service-oriented architecture specific technique, is increasingly present in embedded systems development domain. This technique specifies a flow of interactions between participants' services from the global or neutral point of view while the specified models represent an integral part of the overall software architecture. Choreography modelling languages that are currently used in embedded systems domain, however, are not expressive enough to capture the choreography-relevant information in this domain. For this reason, choreography specifications are often lacking information or include ambiguous information. This allows misinterpretation of the specified choreography models and leads to difficulties in communication among stakeholders that use those models. The objective of this research is to advance the design of choreography modelling languages by identifying the information content that is relevant in embedded systems domain and by designing a choreography modelling language that supports that information content. To achieve this objective, this research adopted the design science research framework and five individual studies were conducted within this framework. These studies used methods such as the interviews with practitioners, company specific documents and open standards to understand the challenges in industry, systematic literature review to collect the existing scientific knowledge about the utilization of choreography in embedded systems and the focus groups to evaluate the designed language. Based on these study results, the information content that is relevant for choreography modelling in embedded systems domain was identified and then supported with the design of choreography modelling language. The design of the choreography modelling language is evaluated in academic and industry context. The evaluation in academic context is realized by language implementation while the evaluation in industry is realized with industry experts. Language evaluation showed increased expressiveness of the designed language and indicated on possible benefits from its use in testing and protocol development area. These benefits include the reduction of development time and errors in the testing phase while the reduction of maintenance burden and performance improvement can be expected in the protocol development area. / Tiivistelmä Koreografinen mallintaminen on enenevässä määrin käytetty tekniikka sulautettujen järjestelmien palvelukeskeisten arkkitehtuurien määrittelyssä. Tämän mallintamisen avulla pystytään määrittämään palveluiden ja osallistujien välisten vuorovaikutusten virtaa globaalilla tasolla kun taas määritellyt mallit kuvaavat ohjelmistoarkkitehtuurin keskeisiä osakokonaisuuksia. Tällä hetkellä sulautettujen järjestelmien koreografiseen mallintamiseen käytetyt kielet eivät ole tarpeeksi ilmaisuvoimaisia kattaakseen alalla tarvittavien mallien oleelliset tietosisällöt. Tästä syystä koreografiamalleista puuttuu usein oleellisia tietoja tai tietosisällöt eivät ole yksiselitteisiä. Tämä johtaa koreografiamallien tietosisältöjen virheelliseen tulkintaan, joka taas aiheuttaa haasteita malleja hyödyntävien sidosryhmien välisessä vuorovaikutuksessa. Tämän tutkimuksen tavoitteena on edistää koreografiamallinnuksessa käytettävien kielten suunnittelua tunnistamalla ne tietosisällöt, jotka ovat oleellisia sulautetuille järjestelmille sekä suunnitella kieli, joka tukee oleellisia tietosisältöjä. Tavoitteen saavuttamiseksi sovellettiin "design science" (suunnittelun tutkimus) tutkimusmenetelmää, jolla toteutettiin viisi tapaustutkimusta. Näissä tutkimuksissa hyödynnettiin teollisuuden asiantuntijoiden haastatteluita, yrityskohtaisia dokumentteja ja avoimia standardeja, joiden avulla pystyttiin ymmärtämään teollisuuden kohtaamia haasteita tutkimusalueella. Systemaattisen kirjallisuuskatsauksen avulla kerättiin yhteen olemassa oleva tieteellinen tietämys koreografian käytöstä sulautetuissa järjestelmissä. Kehitetyn kielen sopivuutta teolliseen tuotekehitykseen arvioitiin asiantuntiaryhmille järjestetyissä työpajoissa. Saatujen tutkimustulosten valossa koreografiamallinnuksessa tarvittavat oleelliset tietosisällöt sulautettujen järjestelmien alueella pystyttiin määrittämään sekä kehittämään tietosisältöä tukeva koreografian mallinnuskieli. Kehitetty mallinnuskieli on arvioitu akateemisessa kontekstissa toteuttamalla koreografian mallinnuskieli. Teollisessa ympäristössä arvioinnin ovat suorittaneet teollisuuden asiantuntijat. Arviointien tuloksena voidaan todeta, että kehitetyllä mallinnuskielellä on parempi ilmaisuvoima kuin aiemmin käytössä olleilla kielillä. Lisäksi saatiin viitteitä kielen soveltuvuudesta testauksessa ja protokollien kehityksessä. Kieltä soveltamalla saavutettiin lyhempi kehitysaika ja vähennettiin virheitä testausvaiheessa. Lisäksi protokollan kehityksen osuudessa oletetaan ylläpidon kuormittavuuden vähenevän ja suorituskyvyn paranevan.