S vývojem informací, komunikací a technologií se moderní průmyslové řídicí systémy (ICS) potýkají čím dál více s otázkami automatického testováni pro zabezpečení stability a bezpečnosti systému. Z tohoto důvodu se testování stalo jednou z nejdůležitějších částí životního cyklu všech softwarů. V této diplomové práci budu zvažovat možnost využití stávajících zkušebních metod a nástrojů pro získání dostatečné jakosti a bezpečnosti softwaru v kontinuálních integračních systémech.

Large and complex software that is frequently changed leads to testing challenges. It is well established that the later a fault is detected in software development, the more it costs to fix. This thesis aims to research and develop a method of generating relevant and non-redundant test cases for a regression test suite, to catch bugs as early in the development process as possible. The research was executed at Axis Communications AB with their products and systems in mind. The approach utilizes user data to dynamically generate a Markov chain model and with a Markov chain Monte Carlo method, strengthen that model. The model generates test case proposals, detects test gaps, and identifies redundant test cases based on the user data and data from a test suite. The sampling in the Markov chain Monte Carlo method can be modified to bias the model for test coverage or relevancy. The model is generated generically and can therefore be implemented in other API-driven systems. The model was designed with scalability in mind and further implementations can be made to increase the complexity and further specialize the model for individual needs.

I många år har testning varit ett sätt att öka kvalitén på utvecklad programkod. I och med teknikens framsteg har testautomatisering blivit ett hett ämne inom programutveckling för att effektivisera den manuella testprocessen. Detta examensarbete har undersökt möjligheterna att införa automatiska tester hos en avdelning på Handelsbanken, främst integrations- och regressionstester. Utifrån förutsättningarna hos avdelningen togs en prototyp fram för att demonstrera hur detta skulle kunna fungera på deras Microsoft-plattform. Prototypen bestod av en Jenkins-server som utförde tester skrivna i C# med hjälp av MSTest.exe. Testerna använde diverse proprietär och open-source ramverk, där tjänster och filer testades med dessa ramverk. Prototypen bevisade att automatisk testning kunde införas på avdelningen, men underhåll och en tydlig samt omfattande testprocess krävdes. / For several years, testing has been a way to increase the quality of developed program code. As technology advances, automated testing has emerged as a hot topic in system development and has been proclaimed to streamline the previous manual testing process. The purpose of this bachelor thesis was to study the possibilities of implementing automated testing at a department of Handelsbanken, focusing on integration and regression testing. Based on the prerequisites of the department, a prototype focusing on their Microsoft platform was developed to demonstrate a possible solution. The prototype consisted of a Jenkins server executing tests written in C# with the help of MSTest.exe. The tests used both proprietary and open-source frameworks. Services and files were tested using said frameworks. The prototype proved that automatic testing could be implemented at the department, but maintenance and a clear and comprehensive testing procedure was required.

The Cloud Radio Access Network (RAN) is a technology used in the telecommunications industry. It provides a flexible, scalable, and costeffective solution for managing and delivering seamless wireless network services. However, the testing of Cloud RAN applications poses formidable challenges due to its complex nature, resulting in potential delays in product delivery and amplified costs. Using the power of test automation is an approach to tackling these challenges. By automating the testing process, we can reduce manual efforts, enhance the accuracy and efficiency of testing procedures, and ultimately expedite the delivery of high-quality products. In this era of cutting-edge advancements, artificial intelligence (AI) and machine learning (ML) can be used to aid Cloud RAN testing. These technologies empower us to swiftly identify and address complex issues. The goal of this thesis is to have a data-driven approach toward Cloud RAN test automation. Machine learning along with natural language processing techniques are used to automatically predict test cases from test instructions. The test instructions are analyzed and keywords are extracted from them using natural language processing techniques. The performance of two keyword extraction techniques is compared. SpaCy was the best-performing keyword extractor. Test script prediction from these keywords is done using two approaches; using test script names and using test script contents. Random Forest was the best performing model for both these approaches when the data were oversampled and when it was undersampled as well. / Cloud Radio Access Network (RAN) är en revolutionerande teknik som används inom telekommunikationsindustrin. Det ger en flexibel, skalbar och kostnadseffektiv lösning för att hantera och leverera sömlösa trådlösa nätverkstjänster. Testningen av Cloud RAN-applikationer innebär dock enorma utmaningar på grund av dess komplexa natur, vilket resulterar i potentiella förseningar i produktleverans och förstärkta kostnader. Att använda kraften i testautomatisering är en avgörande metod för att tackla dessa utmaningar. Genom att automatisera testprocessen kan vi dramatiskt minska manuella ansträngningar, avsevärt förbättra noggrannheten och effektiviteten i testprocedurerna och i slutändan påskynda leveransen av högkvalitativa produkter. I denna era av banbrytande framsteg kan artificiell intelligens (AI) och maskininlärning (ML) användas för att revolutionera Cloud RAN-testning. Dessa banbrytande teknologier ger oss möjlighet att snabbt identifiera och ta itu med komplexa problem. Målet med detta examensarbete är att ha ett datadrivet förhållningssätt till Cloud RAN-testautomatisering. Maskininlärning tillsammans med naturliga språkbehandlingstekniker används för att automatiskt generera testfall från testinstruktioner. Testinstruktionerna analyseras och nyckelord extraheras från dem med hjälp av naturliga språkbehandlingstekniker. Resultatet av två sökordsextraktionstekniker jämförs. SpaCy var den bäst presterande sökordsextraktorn. Förutsägelse av testskript från dessa nyckelord görs med två metoder; använda testskriptnamn och använda testskriptinnehåll. Random forests var den bäst presterande modellen för båda dessa tillvägagångssätt när data överstämplades och även undersamplades.

To ensure that the web applications we use in our daily life work as intended, thorough testing is essential. Testing of the Graphical User Interface (GUI) is one of the more challenging parts of software testing and is often a manual process. There are several ways to automate GUI testing. Robotic Process Automation (RPA), a recent technology where a software robot mimics the actions of a human operator, has been suggested as a method of improving automated GUI testing. This thesis study investigates the viability of using an RPA-based approach for automated GUI testing of web applications by evaluating how well it compares to a dedicated software tool developed specifically for automated GUI testing in terms of performance and user experience. This thesis study presents an RPA-based approach using UiPath for testing the GUI of web applications and compares it with an approach using Selenium IDE. To compare the two approaches, a web application provided by Sellpy is used as the application under test. A set of test cases is created based on a user-flow analysis. The test cases are implemented using each approach and performance in terms of execution time, number of flaky tests, and code footprint is evaluated for each approach. In addition, a user study is conducted to evaluate and compare the user experience when using each approach. The results show that an RPA-based approach can be used for automated GUI testing of web applications. The RPA-based approach managed to achieve the same amount of testing coverage. In terms of performance, the results in this study show that the approach using Selenium IDE outperforms the RPA- based approach in both execution time and code footprint. On the other hand, the RPA-based approach had fewer number of flaky tests. The test subjects preferred the RPA-based approach, but the study showed that the difference was not statistically significant. Based on the results, we draw the conclusion that an RPA-based approach using UiPath can be used in automated GUI testing of web applications. However, we suggest more research aimed at investigating long-term usage. / För att säkerställa att de webbapplikationer vi använder i vårt dagliga liv fungerar som planerat är ordentlig testning nödvändig. Testning av det grafiska användargränssnittet (GUI) är en av de mer utmanande delarna inom mjukvarutestning och är ofta en manuell process. Det finns dock sätt att automatisera denna process. Robotic Process Automation (RPA) är en ny teknik där en mjukvarurobot härmar mänskligt beteende och har föreslagits som en metod att förbättra automatiserad GUI-testning. Denna studie undersöker hur väl ett RPA-baserat tillvägagångssätt kan användas för automatiserad GUI-testning av webbapplikationer genom att jämföra den med ett programvaruverktyg som utvecklats specifikt för automatiserad GUI-testning. Jämförelsen sker genom att undersöka exekveringstid, antal odeterministiska tester och storleken av testfilerna. Denna studie redogör ett RPA-baserat tillvägagångssätt där UiPath används och jämför den med ett tillvägagångssätt där Selenium IDE används. För att jämföra det två tillvägagångssätten används en webbapplikation som tillhandahålls av Sellpy och används som applikation-under-test (AUT). En användarflödesanalys utförs och resultatet används för att skapa en uppsättning testfall. Testfallen implementeras med de båda tillvägagångssätten och en prestandaanalys genomförs, där exekveringstid, antal odeterministiska tester och filstorlek undersöks. Dessutom genomförs en användarstudie för att undersöka och jämföra tillvägagångssättens användarupplevelse. Resultaten visar att ett RPA-baserat tillvägagångssätt kan användas för automatiserad GUI-testning av webbapplikationer. Den RPA-baserade metoden lyckades uppnå samma testtäckning. Vad gäller prestanda så visar resultaten i denna studie att Selenium IDE presterar bättre än UiPath både när det gäller exekveringstid och filstorlek. Däremot hade UiPath färre odeterministiska tester. Användarstudien visade ingen signifikant skillnad mellan de två tillvägagångssätten, men testpersonerna föredrog det RPA-baserade tillvägagångssättet. Baserat på resultaten från denna studie drar vi slutsatsen att ett RPA-baserat tillvägagångssätt med UiPath kan användas som ett alternativ vid automatiserad GUI-testning av webbapplikationer. Vi föreslår dock mer forskning där långsiktig användning undersöks.

Detta examensarbete har utförts på uppdrag av Stegia AB. Stegias linjärmotorerprovas i en testbänk innan motorerna skickas till den slutliga kunden. Idag finns ettbehov av en testbänk som skall samla in data från utförda tester, minska risken atttesterna utförs fel, samt att testbänken skall vara lättare att använda för produktionspersonalen.Idag innehåller linjärmotortestet många manuella arbetsmoment,vilket innebär en hög risk för felaktiga resultat utan möjlighet till spårbarhet i testresultatet.Målet med detta arbete är att förenkla det slutliga testet av linjärmotorerför produktionspersonal, samt att minska risken för felaktigt utförda tester genomtestautomatisering. Resultatet presenteras i form av en prototyp som har konstruerats,vars syfte är att förbättra test av linjärmotorerna genom att uppfylla målet atträtt utförda tester görs på motorerna. Resultatet säkerställs genom validering ochutvärdering och analys av den framtagna prototypen. / This diploma work has been carried out on behalf of Stegia AB. Stegia manufacturesand sells linear motors that are tested in a test bench before shipped to thecustomer. Today there is a need for a test bench that collects test results from theperformed tests. The company would like to lower the risk of falsely made tests,and to make the test bench easier for the production staff to use. At this moment,the test of the linear motors is made up of several manual tasks before the test iscompleted. This increases the risk of wrong results because of incorrectly madetests, with no traceability of the results. The goal with this diploma work is to lowerthe risk of incorrect test result by automating the testing process for the productionstaff. The result is presented as a prototype, that should increase the reliability ofthe test result of the motors. The result is then validated and analyzed in this report.

Die Dissertationsschrift diskutiert die Machbarkeit einer modularen, portierbaren Middleware für die automatisierte Ausführung und Dokumentation von Software-Tests mit einer durchgehenden Nachverfolgbarkeit von der Anforderungsspezifikation bis hin zur Dokumentation der Testergebnisse. Es werden die Eigenschaften und Probleme bestehender Testautomatisierungslösungen analysiert und dargelegt. Unter Berücksichtigung dieser Probleme werden neuartige Lösungsansätze entwickelt. Die Neuheiten dieser Arbeit sind der modulare Aufbau der Middleware mit einer unproblematischen Portierbarkeit auf neue Testsysteme in Verbindung mit dem neu erarbeiteten Speicherformat für die Testergebnisse. Es wird die Möglichkeit aufgezeigt, Testfälle sowohl mit graphischer als auch textueller Eingabe zu bearbeiten. Neben den typischen Einsatzbereichen, wie zum Beispiel Hardware In The Loop-Tests (HIL), werden auch weitere Felder, vom Modul-Test bis zum Bandende-Test, abgedeckt. Das Speicherformat der Testergebnisse ermöglicht die Ablage aller wichtigen Informationen zu den Tests, ist flexibel erweiterbar und erlaubt die Generierung von Testreports in unterschiedlichen Zielformaten. Ein weiterer zentraler Punkt ist der automatisierte Austausch von Informationen und Testergebnissen mit verschiedenen Requirementsmanagement-Systemen sowie eine nahtlose Integration in vorhandene Versionsmanagement-Systeme. Basierend auf den theoretischen Ausarbeitungen wurde eine modulare, portierbare Middleware in Form des modularen aufgebauten Testautomatisierungs-Frameworks (modTF) umgesetzt. Anhand der dabei gesammelten Erfahrungen und der Ergebnisse der praktischen Erprobung werden die Vorteile des Frameworks gezeigt. / These PhD discusses the feasibility of a modular, portable middleware for automated execution and documentation of software tests with a continuous traceability from the requirements to the test results. The properties and the problems of existing test automation solutions are analyzed and presented. Based on the problems novel solutions are developed. The novelties of this PhD are the modular structure of the middleware with the easy portability to new test systems in cooperation with the novel storage format for the test results. The possibility for a graphical and textual description of the test cases is shown. Beside the typical applications like Hardware In The Loop tests (HIL) also applications from the module test to the line end test are include. The storage format for the results allows the storage of all needed information according to the test cases in one file. The format is flexible and extendable. The generation of test reports in different target formats is possible. Another imported point is the automated exchange of information and test results with different requirements management systems and the seamless integration in existing version management systems. By means of the collected experiences and the results of the practical proving the advantages of the framework are shown.

Test av mjukvara görs i syfte att se ifall systemet uppfyller specificerade krav samt för att hitta fel. Det är en viktig del i systemutveckling och involverar bland annat regressionstestning. Regressionstester utförs för att säkerställa att en ändring i systemet inte medför att andra delar i systemet påverkas negativt. Dokumenthanteringssystem hanterar ofta känslig data hos organisationer vilket ställer höga krav på säkerheten. Behörigheter i system måste därför testas noggrant för att säkerställa att data inte hamnar i fel händer. Dokumenthanteringssystem gör det möjligt för flera organisationer att samla sina resurser och kunskaper för att nå gemensamma mål. Gemensamma arbetsprocesser stöds med hjälp av arbetsflöden som innehåller ett antal olika tillstånd. Vid dessa olika tillstånd gäller olika behörigheter. När en behörighet ändras krävs regressionstester för att försäkra att ändringen inte har gjort inverkan på andra behörigheter. Denna studie har utförts som en kvalitativ fallstudie vars syfte var att beskriva utmaningar med regressionstestning av roller och behörigheter i arbetsflöden för dokument i dokumenthanteringssystem. Genom intervjuer och en observation så framkom det att stora utmaningar med dessa tester är att arbetsflödens tillstånd följer en förutbestämd sekvens. För att fullfölja denna sekvens så involveras en enorm mängd behörigheter som måste testas. Det ger ett mycket omfattande testarbete avseende bland annat tid och kostnad. Studien har riktat sig mot dokumenthanteringssystemet ProjectWise som förvaltas av Trafikverket. Beslutsunderlag togs fram för en teknisk lösning för automatiserad regressionstestning av roller och behörigheter i arbetsflöden åt ProjectWise. Utifrån en kravinsamling tillhandahölls beslutsunderlag som involverade Team Foundation Server (TFS), Coded UI och en nyckelordsdriven testmetod som en teknisk lösning. Slutligen jämfördes vilka skillnader den tekniska lösningen kan utgöra mot manuell testning. Utifrån litteratur, dokumentstudie och förstahandserfarenheter visade sig testautomatisering kunna utgöra skillnader inom ett antal identifierade problemområden, bland annat tid och kostnad. / Software testing is done in order to see whether the system meets specified requirements and to find bugs. It is an important part of system development and involves, among other things, regression testing. Regression tests are performed to ensure that a change in the system does not affect other parts of the system adversely. Document management systems often deals with sensitive data for organizations, which place high demands on safety. Permissions in the system has to be tested thoroughly to ensure that data does not fall into the wrong hands. Document management systems make it possible for organizations to pool their resources and knowledge together to achieve common goals. Common work processes are supported through workflows that contains a variety of states. These different permissions apply to different states. When a permission changes regression tests are required to ensure that the changes has not made an impact on other permissions. This study was conducted as a qualitative case study whose purpose was to describe the challenges of regression testing of roles and permissions in document workflows in a document management system. Through interviews and an observation it emerged that the major challenges of these tests is that workflow states follow a predetermined sequence. To complete this sequence, a huge amount of permissions must be tested. This provides a very extensive test work that is time consuming and costly. The study was directed toward the document management system ProjectWise, managed by Trafikverket. Supporting documentation for decision making was produced for a technical solution for automated regression testing of roles and permissions in workflows for ProjectWise. Based on a requirement gathering decision-making was provided that involved the Team Foundation Server (TFS), Coded UI and a keyword-driven test method for a technical solution. Finally, a comparison was made of differences in the technical solution versus today's manual testing. Based on literature, document studies and first hand experiences, test automation provides differences in a number of problem areas, including time and cost.

For many companies today, it is highly valuable to collect and analyse data in order to support decision making and functions of various sorts. However, this kind of data-driven approach is seldomly applied to software testing and there is often a lack of verification that the testing performed is relevant to how the system under test is used. Therefore, the aim of this thesis is to investigate the possibility of introducing a data-driven approach to test automation by extracting user behaviour data and curating it to form input for testing. A prestudy was initially conducted in order to collect and assess different data sources for augmenting the testing. After suitable data sources were identified, the required data, including data about user activity in the system, was extracted. This data was then processed and three prototypes where built on top of this data. The first prototype augments the model-based testing by automatically creating models of the most common user behaviour by utilising data mining algorithms. The second prototype tests the most frequent occurring client actions. The last prototype visualises which features of the system are not covered by automated regression testing. The data extracted and analysed in this thesis facilitates the understanding of the behaviour of the users in the system under test. The three prototypes implemented with this data as their foundation can be used to assist other testing methods by visualising test coverage and executing regression tests.

This diploma thesis is focused on introduction of advanced possibilities of working with testing Selenium WebDriver framework. Basics of software testing and Selenium framework are described in first part of the text. Second chapter contains overview of available tools and applications which enhance Selenium WebDriver. These include frameworks using WebDriver API, software containers, automatization tools, continuous integration tools and services which enable to run tests remotely. Last chapter contains case study which describes implementation of automated testing in BellaDati company. The attachment contains user guide for Geb framework which was used in the case study.