We live in a society where automatization is becoming more common, whether it be cars or artificial intelligence. Software needs to be updated using patches, however, these patches have the possibility of breaking components. This study takes such a patch in the context of Ericsson, identifies what needs to be tested, investigates whether the tests can be automated and assesses how maintainable they are. Interviews were used for the identification of system and software parts in need of testing. Then tests were implemented in an automated test suite to test functionality of either a system or software. The goal was to reduce time of troubleshooting for employees without interrupting sessions for users as well as set up a working test suite. When the automated testing is completed and implemented in the test suite, the study is concluded by measuring the maintainability of the scripts using both metrics and human assessment through interviews. The result showed the testing suite proved maintainable, both from the metric point of view and from human assessment.

Software developers write tests to ensure that their application behaves as intended. However, the behaviour of an application in production may deviate from the behaviours that are tested. This difference between test and field executions is rarely assessed in practice. Yet, it can be useful in identifying opportunities for the improvement of the test suite. In this thesis, we propose a technique for monitoring the test and field executions of video games. We derive three models to represent the observed behaviours. The first model is method coverage, which enumerates the methods invoked by the test suite, as well as those triggered as a result of player interactions in production. The second model, temporal call chains, identifies the sequences of method calls, in the order of invocation, that arise from test and field executions. The third model, stack call chains, gives additional context into the distinct ways in which each method is triggered by the test suite and in the field. We implement our technique for observing test and field executions of video games in a tool called Ailinea. Ailinea is a video game mod that injects custom instrumentation into methods within C# games, in order to monitor their invocation. We use Ailinea with two popular, real-world video games: Demeo which is developed by Resolution Games, and Osu!, which is open-source. We monitor the execution of Demeo and Osu! with Ailinea in both test and field environments. We successfully derive the three models from the field and test behaviours of the two games, captured by Ailinea. Moreover, all three models identify untested software behaviours, that represent opportunities for improvement of the test suite of each game. In total, we find 139 untested methods, as well as 5, 108 temporal chains and 371 stack chains that occur in the field but are not exercised by the test suites of the two games. Furthermore, in order to automatically propose new test scenarios for Demeo, we extend Ailinea to capture game events in the field, in addition to the stack call chains. Our interview with three Demeo developers indicates that the information contained in these test scenarios can facilitate test suite improvement. The use of mods for runtime observability of video games can have applications such as automated test generation and detection of invalid video game states, paving the way for further work in this direction. / Mjukvaruutvecklare skriver tester för att säkerställa att deras applikation fungerar som avsett. En applikations beteende i fjältet kan dock avvika från de beteenden som testas. Denna skillnad mellan test- och fältutföranden bedöms sällan i praktiken. Ändå kan det vara användbart för att identifiera möjligheter för förbättringar av testsviten. I det här examensarbetet föreslår vi en teknik för att övervaka tester och fältutföranden av videospel. Vi härleder tre modeller för att representera de observerade beteenden. Den första modellen är metodtäckning, som räknar upp de metoder som åberopas av testsviten, såväl som de som utlöses som ett resultat av spelarinteraktioner i produktionen. Den andra modellen, temporala anropskedjor, identifierar sekvenserna av metodanrop, i anropsordning, som uppstår från test- och fältutföranden. Den tredje modellen, stack anropskedjor, ger ytterligare kontext till de distinkta sätt på vilka varje metod utlöses av testsviten och i fält. Vi implementerar vår teknik för att observera test- och fältutföranden av videospel i ett verktyg som heter Ailinea. Ailinea är en videospelsmod som injicerar anpassad instrumentering i metoder inom C#-spel, för att övervaka deras anrop. Vi använder Ailinea med två populära, verkliga videospel: Demeo som är utvecklat av Resolution Games och Osu!, som är öppen källkod. Vi övervakar utförandet av Demeo och Osu! med Ailinea i både test- och fältmiljöer. Vi härleder framgångsrikt de tre modellerna från fältet och testar beteenden för de två spelen, fångad av Ailinea. Dessutom identifierar alla tre modellerna oprövade mjukvarubeteenden, som representerar möjligheter till förbättringar av testsviten för varje spel. Totalt hittar vi 139 oprövade metoder, såväl som 5, 108 temporala kedjor och 371 stackkedjor som förekommer på fältet men som inte utövas av testsviterna i de två spelen. Dessutom, för att automatiskt föreslå nya testscenarier för Demeo, utökar vi Ailinea för att fånga spelhändelser i fält, förutom stackanropskedjorna. Vår intervju med tre Demeo-utvecklare indikerar att informationen i dessa testscenarier kan underlätta förbättring av testsviten. Användningen av mods för körtidsobservation av videospel kan ha applikationer som automatisk testgenerering och upptäckt av ogiltiga videospelsstater, vilket banar väg för ytterligare arbete i denna riktning.

This thesis presents an in-depth exploration of regression testing metrics and their relationship with software quality, based on a qualitative case study within a global technology organization. By applying a thematic analysis to empirical data collected through interviews and a survey with the organisations Quality and Assurance team, this study identifies three primary themes: foundation of credibility, organic test maintenance, and defect management. The research highlights key metrics underlying each theme, including requirement coverage, code coverage, historical pass-rate, test flakiness, and code complexity. These metrics, especially when implemented in the early stages of a project, emerged as indicative of the overall software quality and stability. Through this research, a deeper understanding of regression testing metrics and their critical role in increasing the software quality is achieved. However, it is apparent that further research is necessary, including broader case studies, investigation into the application of machine learning algorithms, and exploration of additional metrics, to fully understand their universal applicability. The insights in the findings from this thesis are aimed at contributing to the field of software quality assurance academically and also provide actionable insights to industry professionals in the field of software quality. / Denna avhandling presenterar en djupgående utforskning av regressionstestnings metriker och deras relation till programvarukvalitet, baserat på en kvalitativ fallstudie hos en global organisation aktiv inom teknologi. Genom att tillämpa en tematisk analys på empirisk data insamlad genom intervjuer och en enkätundersökning, identifierar denna studie tre huvudteman: testtillförlitlighet, testunderhåll och testprestanda. Forskningen lyfter fram nyckelmetriker som ligger till grund för varje tema. Dessa inkluderar ”Requirement coverage”, ”Code coverage, ”Historic pass-rate” , ”Test flakiness” och ”Code complexity”. Dessa metriker, särskilt när de implementeras i de tidiga stadierna av ett projekt, framträdde som indikativa för den övergripande programvarukvaliteten och programvarustabiliteten. Genom denna forskning uppnås en djupare förståelse för regressionstestningens metriker och deras kritiska roll i en ökad programvarukvalitet. Det är dock uppenbart att ytterligare forskning behövs, inklusive bredare fallstudier, undersökning av tillämpningen av maskininlärningsalgoritmer och utforskning av ytterligare metriker, för att fullt ut förstå deras universella användningsområden. Insikterna i resultaten från denna avhandling syftar till att bidra till fältet för regressionstestning akademiskt och även ge praktiska insikter till yrkesverksamma inom programvarukvalitet.

Integration testing in software refers to a type of tests where system components are tested as a group for the purpose of verifying their interfaces. It is an important phase in system testing which aims at verifying the compliance of the system with specified functional requirements and the elimination of errors in the interaction of system components. Often integration testing is performed on complex systems with additional requirements for the testing approaches wherein the hardware limitations and time delays need to be taken into account. The testing of such systems is commonly performed through hardware-in-the-loop (HIL) tests. Despite the advances in both integration testing and HIL testing, combining the two for complex systems is still a challenging issue requiring a new set of potential solutions. In this thesis work we propose a new solution approach for HIL integration testing of Supervisory Control and Data Acquisition (SCADA) systems which does not require any simulation of the system under test. The solution presented in this thesis is based on the utilization of probes which are deployed to select component interfaces and through which real-time, inter-component communication can be observed without interference. The feasibility of the proposed approach is evaluated by applying it to a proof-of-concept test of the SCADA control system for a wave-energy converter in development by the thesis host company CorPower Ocean. In the results chapter we further discuss the architectural solution of the probing-based approach and provide further implementation details. Our conclusion is that the proposed approach corresponds to a promising, light-weight, and modular testing solution that can be used to perform live software integration tests of a fully connected system with little to no interference on its operation. / Inom mjukvarubranschen är integrationstester en typ av testning där grupper av systemkomponenter testas tillsammans för att säkerställa funktionaliteten av deras gränssnitt. Det är en viktig fas inom systemtestning som försäkrar att systemet som helhet uppfyller designkraven samt som minimerar felrisken i interaktioner mellan delkomponenter. Integrationstester utförs ofta på komplexa system där testningen i sig har ytterligare krav som inskränker metodvalet, till exempel då hänsyn behöver tas till hårdvarubegränsningar eller timing. Ofta genomförs testningen av sådana system med så kallade hardware-in-the-loop-tester (HIL). Trots modern utveckling inom både integrations- och HIL-testning är det fortfarande mycket utmanande att kombinera båda metoderna för komplexa system och nya lösningar behöver utvecklas och utvärderas. I denna avhandling föreslås en ny sådan lösning för HIL-testning av Supervisory Control and Data Acquisition (SCADA) -kontrollsystem som inte kräver att någon del av systemet simuleras under testernas utförande. Lösningen är baseras på användandet av mjukvarusonder som sätts in vid utvalda komponentgränssnitt och som i realtid kan observera interkomponentkommunikation utan störningspåverkan på komponenterna i sig. Den beskrivna lösningen utvärderades genom att utföra en praktisk konceptvalidering mot SCADAkontrollsystemet för avhandlingens värdbolag CorPower Oceans vågenergigenerator. I avhandlingen beskrivs även den arkitekturella lösning som krävdes för att genomföra sonderingsbaserad testning på ett reellt system samt implementationsdetaljer för konceptvalideringen. Slutsatsen är att den föreslagna lösningen beskriver en lovande och modulär testningsmetodik som kan användas för att genomföra mjukvaruintegrationstester av komplexa, sammankopplade system i realtid, utan simuleringar och utan betydande störningspåverkan på systemets operation