Tato diplomová práce popisuje testování REST API rozhraní aplikací. Výsledkem práce je aplikace Restty, založená na použití nástroje Swagger, která umožňuje testovat jednotlivé části API aplikací, i vytvářet a spouštět komplexní testovací scénáře nad daným rozhraním. Teoretická část práce vysvětluje principy webových služeb, vzdálených rozhraní a představuje nástroj Swagger i technologie použité k implementaci. V následující kapitole jsou v práci prezentovány designové návrhy aplikace, na které plynule navazuje kapitola o implementaci a testování, pro které je zvoleno rozhraní nástroje Red Hat JBoss BPM Suite. V závěru práce jsou vyhodnoceny přínosy aplikace Restty a navrženy případné budoucí rozšíření.

The complexity associated with development of networked video games creates a need for tools for verifying a consistent player experience. Some networked games achieve consistency through the lockstep protocol, which requires identical execution of sent commands for players to stay synchronised. In this project a method for testing networked multiplayer lockstep games for synchronisation problems related to nondeterministic behaviour is formulated and evaluated. An integrated fuzzing AI is constructed which tries to cause desynchronisation in the tested game and generate data for analysis using log files. Scripts are used for performing semi-automated test runs and parsing the data. The results show that the test system has potential for finding synchronisation problems if the fuzzing AI is used in conjunction with the regular AI in the tested game, but not for finding the origins of said problems. / Komplexiteten förenad med utveckling av nätverksuppkopplade dataspel skapar ett behov av verktyg för att verifiera en konsistent spelarupplevelse. Vissa nätverksspel hålls konsistenta med hjälp av lockstep-protokollet, vilket kräver identisk exekvering av skickade kommandon för att spelarna ska hållas synkroniserade. I detta projekt formuleras och evalueras en metod för att testa om nätverksuppkopplade flerspelarspel lider av synkroniseringsproblem relaterade till ickedeterministiskt beteende. En integrerad fuzzing-AI konstrueras som försöka orsaka desynkronisering i det testade spelet och generera data för analys med hjälp av loggfiler. Skript används för att utföra halvautomatiserade testkörningar och tolka data. Resultaten visar att testsystemet har potential för att hitta synkroniseringsproblem om fuzzing-AI:n används tillsammans med den vanliga AI:n i det testade spelet, men inte för att hitta de bakomliggande orsakerna till dessa problem.

All developers understand the benefits of testing their code to ensure its functionality. Today’s market is moving further towards design principles where testing is a central or driving force during development. This puts a certain pressure on academia to supply these skills to their students.Recently the course II1302 Projects and project methods at the Royal Institute of Technology in Kista made a concerted effort to introduce the students of the course to these modern concepts. This thesis investigates how areas of testing can effectively be introduced to the students in the course, utilizing a tailored example that takes the area of testing into particular consideration and how to automate it via DevOps-tools provided by a cloud-based service. Further, it also makes an attempt to provide additional material to be used for teaching testing in conjunction with the example provided.The case study covers the development of an example application, meant to mirror a typical student project. It also covers how this was used for teaching the students about the testing areas considered. The covered testing areas include unit testing, integration testing and UI testing. With these given testing areas, the application and an associated learning module was developed for each area in question. Relevant standards, strategies and approaches was also identified for each of these areas.The thesis also presents important properties to take into consideration when developing similar examples in the future, based on the experiences obtained during the study. These include needs such as understandable by inexperienced students, applicability outside the course, adherence to established standards, tools that are simple to use and an architectural structure that allows for testing.Some improvements are also recommended: the students would benefit from learning software testing from an early stage of their studies. The content of the learning modules should also be brought to the students earlier in the course, so it can be applied in their projects at an early stage as well.Further research is also recommended to evaluate the suitability of using other cloud-based environments instead, and to evaluate the applicability of the learning modules for students of varying disabilities. / Alla utvecklare förstår fördelarna med att testa kod för att garantera dess funktionalitet. Dagens industri går i en riktning där testning spelar en central del av design under utveckling av mjukvara. Denna tendens lägger en viss press på högskolan att lära ut dessa erfarenheter till dess studenter.På senare tid har kursen II1302 Projekt och projektmetoder på Kungliga Tekniska Högskolan i Kista tagit en stor ansats för att introducera sina studenter inför dessa moderna koncept. Denna uppsats undersöker hur testningsområdet effektivt kan introduceras till studenterna inom denna kurs, genom att utnyttja ett egengjort exempel som har området i fokus, samt att automatisera detta via DevOps-verktyg tillhandahållna av molnbaserade tjänster. Dessutom görs även en ansats för att tilldela ytterligare material som kan användas för att lära ut testning av mjukvara i samband med det givna exemplet.Fallstudien omfattar utvecklingen av en exempelapplikation, som var avsedd att likna ett typiskt studentprojekt. Den täcker även hur denna användes för att lära ut de betraktade testningsområdena till studenterna. De täckta områdena av testning inkluderar enhetstestning, integrationstestning och testning av användargränssnitt. Med dessa givna testningsområden utvecklades både applikationen och dess associerade lärmoduler för vardera testningområde i fråga. Relevanta standarder, strategier och metoder var också identifierade för vardera av dessa områden.Denna uppsats presenterar även ett antal viktiga egenskaper att hålla i åtanke vid utveckling av liknande exempel i framtiden, baserat på erfarenheterna från studien. Detta inkluderar behov som tillgänglighet för mindre erfarna studenter, applicerbarhet utanför själva kursen, tillämpning av etablerade standarder, utnyttjande av lättanvända verktyg och en arkitektur som tillåter testning.Några förbättringar föreslås även: studenterna skulle gynnas av att lära sig om mjukvarutestning i ett tidigt skede av sina studier. Innehållet i lärmodulerna bör även presenteras för studenterna tidigare i kursen för att kunna appliceras i deras projekt.Ytterligare forskning rekommenderas även för att utvärdera andra lämpliga molnbaserade miljöer, samt för att utvärdera tillämpbarheten av lärmodulerna hos studenter med inlärningssvårigheter.

Learning-based testing is a testing paradigm that combines model-based testing with machine learning algorithms to automate the modeling of the SUT, test case generation, test case execution and verdict construction. A tool that implements LBT been developed at the CSC school at KTH called LBTest. LBTest utilizes machine learning algorithms with off-the-shelf equivalence- and model-checkers, and the modeling of user requirements by propositional linear temporal logic. In this study, it is be investigated whether LBT may be suitable for testing a micro bus architecture within an embedded telecommunication device. Furthermore ideas to further automate the testing process by designing a data model to automate user requirement generation are explored. / Inlärningsbaserad testning är en testningsparadigm som kombinerar model-baserad testning med maskininlärningsalgoritmer för att automatisera systemmodellering, testfallsgenering, exekvering av tester och utfallsbedömning. Ett verktyg som är byggt på LBT är LBTest, utvecklat på CSC skolan på KTH. LBTest nyttjar maskininlärningsalgoritmer med färdiga ekvivalent- och model-checkers, och modellerar användarkrav med linjär temporal logik. I denna studie undersöks det om det är lämpat att använda LBT för att testa en mikrobus arkitektur inom inbyggda telekommunikationsenheter. Utöver det undersöks även hur testprocessen skulle kunna ytterligare automatiseras med hjälp av en data modell för att automatisera generering av användarkrav.

Passenger safety and comfort are important aspects in the process of vehicle development. The world is heading towards developing the safest possible vehicle on the road. Using vehicle motion control functions is one of the ways to enhance vehicle stability. These motion control functions need to be developed in an energy optimised way. By complementing some of the development process with virtual models, both the development time and cost could be minimised. Hence, a sustainable way of control function development could be achieved. In order to verify, validate and calibrate vehicle motion control functions, an accurate model of the virtual vehicle is required. Hence, a research question on how good the virtual model needs to be for the purpose has been addressed. This report suggests a framework in order to determine the capabilities of a virtual vehicle.In this report, a comparison study has been carried out by exciting the real car and virtual model of a Volvo XC90 with a focus of covering the six degrees of freedom (Yaw, pitch, roll, longitudinal, lateral and vertical). A semi automated framework that possesses the capability of automating the testing in a virtual platform has been established. From the test results, the virtual vehicle capabilities were determined. Further, in the second part of the report, an example use case has been considered by taking two calibration sets of Electronic stability control (ESC) system in order to verify the previously established framework.The analysis includes various levels of plant and controller complexity such as Model-in-loop, Software-in-loop and Hardware-in-loop and on two different road surfaces, low friction and high friction. From the observations, the virtual models considered correlates well for the purpose of verification and validation. However, for the purpose of calibration, the models need to be fine-tuned in the virtual platform. Furthermore, the correlation on low friction road surface could be improved by simulating the tests using an advanced tyre model. Overall, this study helps in choosing the correct complexity of various subsystems in a vehicle for the purpose of verification, validation and calibration of vehicle motion control functions. / Passagerarsäkerhet och komfort är viktiga aspekter i utvecklingen av ett fordon. Världen är på väg mot att utveckla säkraste möjliga fordon på vägen. Användning av fordonetse rörelsekontrollfunktioner är ett av sätten att förbättra fordonets stabilitet. Dessa rörelsekontrollfunktioner måste utvecklas på ett energioptimerat sätt. Genom att komplettera en del av utvecklingsprocessen med virtuella modeller kan både utvecklingstid och kostnad minimeras. Därför kan ett hållbart sätt att utveckla funktionerna för kontrollfunktioner uppnås. För att verifiera, validera och kalibrera fordonets rörelsekontrollfunktioner krävs en detaljerad modell av ett virtuellt fordon. Därför har en forskningsfråga om hur bra den virtuella modellen måste vara för ändamålet behandlats. Denna rapport föreslår ett ramverk för att bestämma funktionerna hos virtuella fordon.I denna rapport har en jämförelsestudie genomförts genom att excitera den verkliga bilen och den virtuella modellen av en Volvo XC90 med fokus på att täcka de sex frihetsgraderna (gir, nick, roll, längs, lateral, vertikal). Ett semi-automatiserat ramverk som har förmågan att automatisera testningen i en virtuell plattform har skapats. Från testresultaten bestämdes de virtuella fordonsfunktionerna. Vidare har i den andra delen av rapporten ett exempel på användningsfall beaktats genom att man tar två kalibreringsuppsättningar av ESC-system (Electronic Stability Control) för att verifiera det tidigare etablerade ramverket.Analysen innefattar olika nivåer av modell- och styrenhetskomplexitet såsom Model-in-loop, Software-in-loop och Hardware-in-loop och på två olika vägytor, låg friktion och hög friktion. Enligt observationerna är de virtuella modellerna väl korrelerade för verifiering och validering. För kalibreringen måste dock modellerna finjusteras på den virtuella plattformen. Dessutom kunde korrelationen på lågfriktionsvägytan förbättras genom att simulera testerna med hjälp av en avancerad däckmodell. Sammantaget hjälper den här studien att välja rätt komplexitet hos olika delsystem i ett fordon för verifiering, validering och kalibrering av fordonets rörelsekontrollfunktioner.

Die Dissertationsschrift diskutiert die Machbarkeit einer modularen, portierbaren Middleware für die automatisierte Ausführung und Dokumentation von Software-Tests mit einer durchgehenden Nachverfolgbarkeit von der Anforderungsspezifikation bis hin zur Dokumentation der Testergebnisse. Es werden die Eigenschaften und Probleme bestehender Testautomatisierungslösungen analysiert und dargelegt. Unter Berücksichtigung dieser Probleme werden neuartige Lösungsansätze entwickelt. Die Neuheiten dieser Arbeit sind der modulare Aufbau der Middleware mit einer unproblematischen Portierbarkeit auf neue Testsysteme in Verbindung mit dem neu erarbeiteten Speicherformat für die Testergebnisse. Es wird die Möglichkeit aufgezeigt, Testfälle sowohl mit graphischer als auch textueller Eingabe zu bearbeiten. Neben den typischen Einsatzbereichen, wie zum Beispiel Hardware In The Loop-Tests (HIL), werden auch weitere Felder, vom Modul-Test bis zum Bandende-Test, abgedeckt. Das Speicherformat der Testergebnisse ermöglicht die Ablage aller wichtigen Informationen zu den Tests, ist flexibel erweiterbar und erlaubt die Generierung von Testreports in unterschiedlichen Zielformaten. Ein weiterer zentraler Punkt ist der automatisierte Austausch von Informationen und Testergebnissen mit verschiedenen Requirementsmanagement-Systemen sowie eine nahtlose Integration in vorhandene Versionsmanagement-Systeme. Basierend auf den theoretischen Ausarbeitungen wurde eine modulare, portierbare Middleware in Form des modularen aufgebauten Testautomatisierungs-Frameworks (modTF) umgesetzt. Anhand der dabei gesammelten Erfahrungen und der Ergebnisse der praktischen Erprobung werden die Vorteile des Frameworks gezeigt. / These PhD discusses the feasibility of a modular, portable middleware for automated execution and documentation of software tests with a continuous traceability from the requirements to the test results. The properties and the problems of existing test automation solutions are analyzed and presented. Based on the problems novel solutions are developed. The novelties of this PhD are the modular structure of the middleware with the easy portability to new test systems in cooperation with the novel storage format for the test results. The possibility for a graphical and textual description of the test cases is shown. Beside the typical applications like Hardware In The Loop tests (HIL) also applications from the module test to the line end test are include. The storage format for the results allows the storage of all needed information according to the test cases in one file. The format is flexible and extendable. The generation of test reports in different target formats is possible. Another imported point is the automated exchange of information and test results with different requirements management systems and the seamless integration in existing version management systems. By means of the collected experiences and the results of the practical proving the advantages of the framework are shown.