In recent years, companies and organizations have increasingly integrated software security testing into the software development life cycle using DevOps practices. The current integration approach introduces multiple challenges in an information technology environment that consists of a large number of software development projects and multiple software security testing tools. This thesis aims to address these challenges by proposing a microservice-based framework to unify application security testing. The thesis first identifies the challenges, then proposes a design for a framework based on relevant literature and common characteristics of application security testing tools. The main components of the proposed framework are implemented and evaluated. The evaluation result shows that the framework offers many benefits: more secure credential management process, reduced execution time for Continuous Integration (CI) pipelines, and more efficient project onboarding and management. Furthermore, the integration of the proposed framework does not introduce major security threats to the current environment. / Under de senaste åren har företag och organisationer i allt högre grad integrerat testning av programvarusäkerhet i livscykeln för programvaruutveckling med hjälp av DevOps-metoder. Den nuvarande integrationsmetoden medför flera utmaningar i en informationsteknisk miljö som består av ett stort antal programvaruutvecklingsprojekt och flera verktyg för testning av programvarusäkerhet. Detta examensarbete syftar till att ta itu med dessa utmaningar genom att föreslå en mikrotjänstbaserat ramverk för enhetlig testning av programsäkerhet. I arbetet identifieras först utmaningarna och därefter föreslås en konstruktion baserad på relevant litteratur och gemensamma egenskaper hos verktyg för testning av applikationssäkerhet. De viktigaste komponenterna i det föreslagna ramverket implementeras och utvärderas. Utvärderingsresultatet visar att ramverket erbjuder många fördelar: säkrare process för hantering av autentiseringsuppgifter, kortare genomförandetid för Continuous Integration (CI)-pipelines och effektivare projektstart och -hantering. Dessutom medför integrationen av det föreslagna ramverket inga större säkerhetshot i den nuvarande miljön.

Many software projects include an extensive suite of example-based unit tests. The examples in the test suite can be used as an implicit specification of the behavior of the software. Inferring invariants from these examples may aid in the creation of property-based tests. However, the existing research on this topic is scarce and there is none conducted using the inference of invariants. In this thesis, we examine software projects with existing test suites. The Daikon invariant detector is used to infer invariants from test executions. The resulting invariants are then used to formalize properties to be used in property-based tests. The success of the process depends on a few variables. First, the tests have to be descriptive enough to allow any generalization to take place. Second, the Daikon invariant detector needs to be able to create an abstraction from the examples that are not too restrictive nor too lenient. Third, the format of the invariants needs to match available value generator constraints in property-based testing frameworks. Fourth, the resulting tests need to provide some benefit to the test suite. In all experiments, at least one of these requirements is not met. The conclusion is that inferred invariants are likely not useable in the creation of property-based tests. Furthermore, in instances where properties can be derived from invariants, the resulting tests do not practically improve the test suite. For the test suite to be improved, the abstraction of examples needs to describe properties of the software not contained in the existing tests. / Många mjukvaruprojekt använder sig av automatiserade enhetstester. Dessa är ofta baserade på flertalet enskilda exempel. Dessa kan ses som en implicit specifikation. Detta skulle kunna förenkla processen att skapa egenskapsbaserade tester. Tidigare forskning inom detta område är sällsynt och inga tidigare studier använder invarianter för att skapa egenskapsbaserade tester. Invariantdetektionsprogrammet Daikon används för att dynamisk utläsning av invarianter från exekvering av tester. Dessa användas sedan för att formalisera programegenskaper till egenskapsbaserade tester. Denna tekniks framgång är beroende av flera variabler. Befintliga tester måste vara tillräckligt deskriptiva för att kunna abstraheras till generalla egenskaper. Daikon behöver kunna utläsa invarianter from testexekveringen som varken är för generella eller för specifika. Invarianternas format behöver likna generatorfunktioner i egenskapsbaserade testramverk. De skapade egenskapsbaserade testerna behöver bidra positivt till programmets testsvit. I alla experiment fanns brister i åtminstone ett av dessa steg. Således är slutsatsen att automatiskt utlästa invarianter sannolikt inte är ett effektivt sätt att skapa egenskapsbaserade tester. Dessutom, i de fall då egenskapsbaserade tester skapats bidrar de inte till en förbättring av testsviten. För att förbättra testsviten måste de nya testerna beskriva egenskaper som inte redan testas av de befintliga testerna.

Test benches are commonly used to simulate events to an embedded system for validation purposes. Microcontrollers can be used for making test benches and can be programmed with a bare-metal style, i.e. without an Operating System (OS), for simple cases. If the test bench would be too complex for a microcontroller, then a Real-Time Operating System (RTOS) could be used instead of a more complex hardware. A RTOS has limited functionalities to guarantee high predictability. A General-Purpose Operating System (GPOS) has a vast number of functionalities but has low predictability. The literature study looks therefore into approaches to improve the real-time predictability of Linux. The result of the literature study finds an approach called Xenomai Cobalt to be the optimal solution, considering the target usecase and project resources. The Xenomai Cobalt approach was evaluated on a Raspberry Pi (RPi) 3 using its General-Purpose Input/Output (GPIO) pins and a latency test. An application was written using Xenomai's Application Programming Interface (API). The application used the GPIO pins to read from a function generator and to write to an oscilloscope. The measurements from the oscilloscope were then compared to the measurements done by the application. The result showed the measured dierences between the RPi 3 and the oscilloscope. The result of the measurements showed that reading varied 66:20 μs, and writing varied 56:20 μs. The latency test was executed with a stress test and the worst measured latency was 82 μs. The resulting measured dierences were too high for the project requirements. However, the majority of the measurements were much smaller than the worstcases with 23:52 μs for reading and 34:05 μs for writing. This means the system could be used better as a rm real-time system instead of a hard real-time system. / Testbänkar används ofta för att simulera händelser till ett inbyggt system för validering. Till simpla testbänkar kan mikrokontroller användas. För mer avancerade testbänkar kan RTOS användas på mer komplex hårdvara. RTOS har begränsad funktionalitet för att garantera en hög förutsägbarhet. GPOS har stora mängder funktionaliteter men har istället en låg förutsägbarhet.Litteraturstudien undersökte därför möjligheterna till att få Linux att hantera realtid. Resultatet av litteraturstudien fann ett tillvägagångssätt vid namn Xenomai Cobalt att vara den optimala lösningen för att få Linux till Real-Time Linux.Xenomai Cobalt utvärderades på en RPi 3 med hjälp av dess GPIO-pinnar och ett fördröjningstest. En applikation skrevs med Xenomai’s API. Applikationen använde GPIO-pinnarna till att läsa från en funktionsgenerator och till att skriva till ett oskilloskop. Mätningarna från oskilloskopet jämfördes sen med applikationens mätningar.Resultatet visade mätskillnaderna mellan RPi 3 och oskilloskopet med systemet i viloläge. Resultatet av mätningarna visade att läsningen varierade med 66.20 µs och skrivandet med 56.20 µs. Fördröjningstestet utfördes medstresstestning och visade den värsta uppmätta fördröjningen, resultatet blev82 µs.De resulterande mätskillnaderna blev dock för höga för projektets krav. Majoriteten av mätningarna var mycket mindre än de värsta fallen med 23.52 µs för läsning och 34.05 µs för skrivning. Detta innebar att systemet kan användas med bättre precision som ett fast realtidssystem istället för ett hårt realtidssystem.

The MIST(MIniature Student saTellite) project is a 3U CubeSat developed by student teams at KTH Royal Institute of Technology in Stockholm. One of the fundamental systems of the satellite is the Attitude Determination and Control System (ADCS), re sponsible for estimating and correcting the satellite’s orientation using magnetic fields and sun sensors. This final degree work belongs to the MIST functional test team. It focuses on building a test environment that verifies that all ADCS components will be have as expected once the satellite is in orbit. This thesis focuses on creating a test framework that can be used to verify the operation of the ADCS. This test framework is composed of several hardware and software components developed to be reliable and flexible, so it can be adapted to verify the behavior of other systems on the satel lite by other teams in the future. The value of this test framework is demonstrated by setting up a HardwareIntheLoop (HIL) simulation of the ADCS in which real flight hardware is used along with other hardware and software components to create a test scenario as close as possible to the orbit. / MIST­projektet (MIniature Student saTellite) är en 3U CubeSat som utvecklats av studentgrupper vid Kungliga tekniska högskolan (KTH) i Stockholm. Ett av satellitens grundläggande system är Attitude Determination and Control System (ADCS), som ansvarar för att uppskatta och korrigera satellitens orientering med hjälp av magnetfält och solsensorer. Det här examensarbetet hör till MIST:s funktionstestgrupp. Det fokuserar på att bygga en testmiljö som verifierar att alla ADCS-­komponenter kommer att bete sig som förväntat när satelliten väl är i omloppsbana. Det här examensarbetet fokuserar på att skapa en testram som kan användas för att verifiera ADCS:s funktion. Testramen består av flera hardware och software komponenter som utvecklats för att vara tillförlitliga och flexibla, så att den kan anpassas för att verifiera beteendet hos andra system på satelliten av andra team i framtiden. Värdet av denna testram demonstreras genom att man sätter upp en HIL­simulering (Hardware­In­the­Loop) av ADCS där riktig flygmaskinvara används tillsammans med andra hardware och software komponenter för att skapa ett testscenario som ligger så nära omloppsbanan som möjligt.

Model-based testing (MBT) is a promising testing method with advantages like exhaustive exploration and high maintainability. However, one notable downside is that the generated tests usually contain much unnecessary noise. This noise can present itself as superfluous actions that bear no effect on test outcome — worsening comprehensibility and inflating test size. Generalpurpose minimization techniques like delta debugging have been successful in minimizing similar input before. The process involves removing elements that are redundant for satisfying given criteria, e.g., that a test still identifies a specific fault. In this thesis, we formulate the modmin algorithm which makes use of a hierarchical delta debugging approach to minimize sequences generated with Modbat — an open source MBT tool based on the extended finite-state machine (EFSM). One after the other, the algorithm attacks three common sub-structures found within the generated tests: model instances, loops, and transitions. To evaluate the work, we extended Modbat with modmin and applied it to tests generated from a set of ten models of varying complexity. The results show that modmin is very proficient at minimizing the tests generated from our model set and that it does so at a negligible cost. / Modellbaserad testning är en lovande teknik med fördelar som uttömande sökning och hög underhållbarhet. En nackdel är däremot att de genererade testfallen tenderar att innehålla onödig information. Ett testfall ska, med fördel, vara så kort och koncist som möjligt, och överflödiga instruktioner förvärrar både testbegriplighet och teststorlek. Minimeringsstrategier som delta debugging har med goda resultat används för att minimera liknande datastrukturer tidigare. Processen innebär vanligtvis att man plockar bort element som inte är nödvändiga för att särskilda kriterier ska vara uppfyllda. Exempelvis att ett test fortfarande identifierar samma fel som innan. I det här verket formulerar vi och implementerar modmin-algoritmen, en algoritm som bygger på hierarkisk delta debugging för att minimera testfall generade med det modellbaserade testningsverktyget Modbat. En efter en attackerar vår algoritm tre vanliga delstrukturer som vi har identifierat i Modbats testfall: modellinstanser, slingor, och individuella övergångar. Vi utvärderade arbetet genom att utöka Modbats öppna källkod med modmin och sen minimera testfall genererade från tio olika modeller av varierande komplexitet. Resultaten visar att modmin klarar av att minimera testfall generade från alla våra modeller och att det bara tillför en försumbar kostnad vad gäller systemresurser eller körtid.

Wind propulsion is a traditional way to propel ships over the oceans. In the recent development towards more sustainable shipping, sailing is considered in the industry again with high momentum. For a modern merchant ship, the aerodynamic forces generated on the particular rigging are unusual. Tailored research and experiments are required to understand their influence on the ship’s sailing behaviour. This work concerns the aerodynamic interactions on a model-sized car carrier with four 360° rotatable, symmetric, rigid wings aligned along the centreline on deck. Differential pressures on the wings are measured to capture the generated normal forces. In a comprehensive post-processing, data recorded in systematic experiments at two apparent wind angles were evaluated. A comparison for the different wing positions on board the model shows stronger interactions in upwind sailing conditions than when reaching. The two-dimensional data prove a significant influence of the hull in the normal force profiles over the wing span. The results of this work indicate that the aerodynamic conditions while sailing have to be attentively considered for efficient wing trimming. / Under en lång tid användes främst vindkraft för framdrivningen av fartyg. Det är först på senare år att seglingskonceptet har fått ett nytt uppsving inom marinindustrin med tanke på dess hållbarhet. För fraktfartyg är de aerodynamiska krafterna vid segling ovanliga. Därför behövs särskild forskning och experimentella metoder för att förstå hur de påverkar fartygens seglingsbeteende. I detta arbete undersöks aerodynamiska interaktioner på en modell av ett biltransportfartyg med fyra symmetriska, 360° roterbara vingsegel på däck längs midskeppslinjen. I systematiska experiment på två kurser mot vinden mättes differenstryck över vingprofilen för att undersöka de genererade normalkrafterna. En jämförelse av data från de fyra olika vingpositionerna och båda kurserna mot vinden visar att de aerodynamiska interaktionerna är starkare på kryss än vid halvvind. De upmätta profilerna av tvådimensionella normalkraftkoefficienter över vingspannet visar på betydande aerodynamiska interaktioner med fartygets skrov. Resultaten av detta arbete visar hur viktigt det är med en grundlig undersökning av strömningsförhållandena för en effektiv segeltrim.

Dagens samhälle präglas av en exponentiell tillväxt av data, med förväntningar på en ökning från dagens 33 Zettabytes till 175 Zettabytes år 2025. Denna utveckling medför både fördelar och utmaningar för de individer och organisationer som arbetar med analys av denna massiva datamängd. För att underlätta granskning och analys av data i text- eller bildform kan ett OCR- verktyg användas. OCR-verktyg, byggda på AI-teknik, kan underlätta och automatisera granskningen av data. Det finns i dagsläget en mängd olika OCR-verktyg som presterar mer eller mindre bra.  Denna studie genomfördes på uppdrag av Etteplan som i dagsläget upplever en hög tid- och resursåtgång för granskning av elnätsritningar. Syftet med denna studie var att undersöka och jämföra OCR-verktygen PyTesseract, EasyOCR och PaddleOCR utifrån ett antal prestandakriterier. De kriterium som jämfördes i denna studie var exekveringstid, precision, Levenshtein-avstånd, antal tecken per millisekund, CPU-, RAM- och GPU-användning. Studien var ämnad att kunna ge en rekommendation på vilket OCR-verktyg som presterar bäst till Etteplan.  Tre likvärdiga testapplikationer skapades för de olika OCR-verktygen med hjälp av Python. Dessa testapplikationers uppgift var att läsa in textdata från bilder innehållande tabeller, för att sedan jämföra resultatet av inläsningen mot en lista innehållande den faktiska texten. Denna funktionalitet gjorde det möjligt för författaren av denna studie att mäta de olika prestandakriterierna och sedan ställa dem mot varandra.  Resultatet av denna studie visar att PaddleOCR är det verktyg som presterar bäst när det kommer till precision, Levenshtein-avstånd och exekveringstid. Men detta på bekostnad av högre resursanvändning.

Software testing is a crucial development technique to capture defects and slow code. When testing 3D graphics, it is hard to create automatic tests that detect errors or slow performance. Finding performance issues in game maps is a complex task that requires much manual work. Gaming companies such as EA DICE could benefit from automating the process of finding these performance issues in their game maps. This thesis tries to solve the problem by creating automatic tests where the camera is placed in a top-down perspective and flies over the in-game map, recording the time it takes to create render and client simulation frames for each map segment. The resulting trace is then visualised as a heatmap, where the mean frame creation times are rendered with pseudo colouring techniques to help pinpoint possible issues for the test engineers. The key findings of this thesis are that a heatmap visualisation of frame creation times saves much time for the developers trying to find these issues; it also lowers the amount of knowledge needed to find performance issues. This tool automates a process that formerly needed considerable manual work to get the same result. Now, artists with low coding experience can find performance issues without the technical knowledge of a Quality Assurance engineer. The thesis also highlights the drawbacks of a top-down perspective of camera trace since this is not how EA DICE games are usually rendered for the player in runtime. With this thesis as a base, other tests could be made with other ways of moving the camera and visualising the trace. / Mjukvarutestning är en viktig programvaruutvecklings teknik för att fånga felaktig eller långsam kod. Det är svårt att skapa automatiska tester för 3D grafik som hittar fel eller dålig prestanda i koden. Att hitta prestandaproblem i spelkartor är en komplex uppgift som kräver mycket manuellt arbete. Spelföretag såsom EA DICE skulle dra fördel av att automatisera processen att hitta dessa prestandaproblem i spelkartor. Denna uppsats försöker lösa detta genom att skapa automatiska tester där kameran placeras i ett uppifrån-och-ned-perspektiv och sedan flyger genom banan i spelet samtidigt som den samlar in data på hur lång tid det tar för renderings-bildrutor och klient-simulerings-bildrutor att skapas för varje ban-segment. Den resulterande datan är därefter visualiserade som ett färgdiagram, där medelvärdet på tiden för att skapa varje bildruta ritas upp med en psuedofärgningsteknik för att markera möjliga problemområden för testingenjörerna. Nyckelupptäckter för denna uppsats är att färgdiagramsvisualiseringen av bildruta-skapande-tider sparar mycket tid för utvecklare som försöker hitta prestandaproblem. Det minskar också kunskapströskeln som behövs för att lokalisera prestandaproblem. Detta verktyg automatiserar en process som tidigare krävde omfattande manuellt arbete för att få samma resultat. Numera kan game artists med låg koderfarenhet hitta dessa prestandaproblem utan den tekniska kunskapen hos en kvalitetskontroll-ingenjör. Den här uppsatsen visar också nackdelar med ett uppifrån-och-ned-perspektiv för kameran då det inte är så EA DICE spel normalt renderas för spelarna. Den här uppsatsen kan användas som utgångspunkt för andra som vill utveckla testverktyg och med fördel ta i beaktning de utvecklingspunkter denna uppsats belyser.

To ensure that the web applications we use in our daily life work as intended, thorough testing is essential. Testing of the Graphical User Interface (GUI) is one of the more challenging parts of software testing and is often a manual process. There are several ways to automate GUI testing. Robotic Process Automation (RPA), a recent technology where a software robot mimics the actions of a human operator, has been suggested as a method of improving automated GUI testing. This thesis study investigates the viability of using an RPA-based approach for automated GUI testing of web applications by evaluating how well it compares to a dedicated software tool developed specifically for automated GUI testing in terms of performance and user experience. This thesis study presents an RPA-based approach using UiPath for testing the GUI of web applications and compares it with an approach using Selenium IDE. To compare the two approaches, a web application provided by Sellpy is used as the application under test. A set of test cases is created based on a user-flow analysis. The test cases are implemented using each approach and performance in terms of execution time, number of flaky tests, and code footprint is evaluated for each approach. In addition, a user study is conducted to evaluate and compare the user experience when using each approach. The results show that an RPA-based approach can be used for automated GUI testing of web applications. The RPA-based approach managed to achieve the same amount of testing coverage. In terms of performance, the results in this study show that the approach using Selenium IDE outperforms the RPA- based approach in both execution time and code footprint. On the other hand, the RPA-based approach had fewer number of flaky tests. The test subjects preferred the RPA-based approach, but the study showed that the difference was not statistically significant. Based on the results, we draw the conclusion that an RPA-based approach using UiPath can be used in automated GUI testing of web applications. However, we suggest more research aimed at investigating long-term usage. / För att säkerställa att de webbapplikationer vi använder i vårt dagliga liv fungerar som planerat är ordentlig testning nödvändig. Testning av det grafiska användargränssnittet (GUI) är en av de mer utmanande delarna inom mjukvarutestning och är ofta en manuell process. Det finns dock sätt att automatisera denna process. Robotic Process Automation (RPA) är en ny teknik där en mjukvarurobot härmar mänskligt beteende och har föreslagits som en metod att förbättra automatiserad GUI-testning. Denna studie undersöker hur väl ett RPA-baserat tillvägagångssätt kan användas för automatiserad GUI-testning av webbapplikationer genom att jämföra den med ett programvaruverktyg som utvecklats specifikt för automatiserad GUI-testning. Jämförelsen sker genom att undersöka exekveringstid, antal odeterministiska tester och storleken av testfilerna. Denna studie redogör ett RPA-baserat tillvägagångssätt där UiPath används och jämför den med ett tillvägagångssätt där Selenium IDE används. För att jämföra det två tillvägagångssätten används en webbapplikation som tillhandahålls av Sellpy och används som applikation-under-test (AUT). En användarflödesanalys utförs och resultatet används för att skapa en uppsättning testfall. Testfallen implementeras med de båda tillvägagångssätten och en prestandaanalys genomförs, där exekveringstid, antal odeterministiska tester och filstorlek undersöks. Dessutom genomförs en användarstudie för att undersöka och jämföra tillvägagångssättens användarupplevelse. Resultaten visar att ett RPA-baserat tillvägagångssätt kan användas för automatiserad GUI-testning av webbapplikationer. Den RPA-baserade metoden lyckades uppnå samma testtäckning. Vad gäller prestanda så visar resultaten i denna studie att Selenium IDE presterar bättre än UiPath både när det gäller exekveringstid och filstorlek. Däremot hade UiPath färre odeterministiska tester. Användarstudien visade ingen signifikant skillnad mellan de två tillvägagångssätten, men testpersonerna föredrog det RPA-baserade tillvägagångssättet. Baserat på resultaten från denna studie drar vi slutsatsen att ett RPA-baserat tillvägagångssätt med UiPath kan användas som ett alternativ vid automatiserad GUI-testning av webbapplikationer. Vi föreslår dock mer forskning där långsiktig användning undersöks.

The requirements for software products have increased in recent years. This is both due to more complex technology as well as more requirements from the customers. An approach to solve this issue is by using a software product line (SPL) where reusable assets are developed to produce more tailor-made products with reduced time to market. When creating reusable assets, one also wants to reuse the tests for them. In order to do that, it is important to understand what to test, and where to test. A good test strategy is thereby crucial in order to avoid testing becoming a bottleneck for efficient software development. The purpose of this thesis was to investigate how to create a good testing strategy for products in an SPL. This was done by collecting information about the current testing process in order to understand which requirements that exist and how they are addressed. The core foundation of an SPL is to utilize variation to create new products. To understand the existing variation of the product and the test cases a feature modeling and similarity analysis was done. The result from them made it possible to create a test strategy and categorization of test cases that can be used to ease the reuse of test cases for new variants of the product. The resulting test strategy presented proposes feature modeling as the basis of test creation and categorization as a tool to enable easier reuse of test cases. The results of the study indicate that using SPL theory in testing can introduce a better test strategy and test case creation process which is beneficial for the whole development process. / Kraven på mjukvaruprodukter har ökat de senaste åren. Detta beror delvis på mer komplicerad teknologi, men även på att kunderna ställer högre krav på de produkter de använder. Ett tillvägagångssätt för att lösa detta är att använda en software product line. I en software product line utvecklas återanvändningsbara delar som sedan kan kombineras och därmed skapa skräddarsydda produkter på ett mer effektivt sätt. När man skapar återanvändningsbara mjukvarudelar vill man också återanvända testerna för dem. För att göra det är det viktigt att förstå vad som ska testas och varför. En bra teststrategi är därmed avgörande för att undvika att testning blir en flaskhals för effektiv mjukvaruutveckling. Syftet med detta arbete var att undersöka hur man skapar en bra teststrategi för produkter i en software product line. Detta gjordes genom att samla in information om den nuvarande testprocessen för att förstå vilka krav som finns och hur de hanteras. En huvudaspekt i software product lineteori är att använda variation för att skapa nya produkter. För att förstå variationen i produkten och dess testfall gjordes en funktionsmodellering och likhetsanalys. Resultaten från dem gjorde det möjligt att skapa en teststrategi och en kategorisering av testfall som kan användas för att underlätta återanvändningen av testfall för nya varianter av produkten. Den resulterande teststrategin som presenteras föreslår funktionsmodellering som grund för testskapande och kategorisering som ett verktyg för att möjliggöra enklare återanvändning av testfall. Resultaten av studien tyder på att användning av software product lineteori vid testning kan resultera i en bättre teststrategi och enklare process för skapandet av nya testfall.