The effectiveness of GUI-based automated tests is a topic that is often discussed in the testing community. As software systems and GUIs are getting more advanced, the testing of these systems may sometimes be both time-consuming and repetitive. Therefore, automated tests are used more frequently to create more agile working and to decrease the number of manual tests. There is an ongoing discussion about the benefits and shortcomings of implementing automated GUI test compared to performing manual GUI tests. Increasingly, companies today are implementing automated GUI tests, yet relatively few are analyzing enough when choosing their test strategy. The purpose of this thesis was to explore different test strategies in a system as complex as Nasdaq’s clearing system NRTC. The first strategy used manual GUI tests, while the second strategy used a test tool called Selenium WebDriver to automate the GUI tests. Hopefully, this research will contribute to the already accumulated knowledge about automated GUI tests and potentially help in choosing the right testing strategy. The findings of this research showed that the implementation time of manual tests was much faster, and that implementing automated test would be timeconsuming. The reason for this is that the GUI was not very testable, making it difficult to create the test scripts. In addition, the was a difference in runtime when using both strategies. The automated tests only took a couple of seconds to execute, compared to the manual tests that took a couple of minutes. After both strategies was investigated, an analysis was done by looking at the effectivity, maintainability, robustness, and the overall results to be able to find benefits and shortcomings. In conclusion, GUI automation cannot replace manual test completely. By not including the human capabilities, the testing process becomes very limited.

The validation approach for assuring quality of software does often include the conduction of tests. Software testing includes a wide range of methodology depending on the system level and the component under test. Graphical user interface (GUI) testing consists of high level tests that assert that functions and design element in user interfaces work as expected. The research conducted in this paper focused on GUI testing of web based applications and the movement towards automated testing within the software industry. The question which formed the basis for the study was the following: How should a generic test automation framework be designed in order to allow maintenance between developers and non-developers? The study was conducted on a Swedish consultant company that provides e-commerce web solutions. A work strategy approach for automated testing was identified and an automation framework prototype was produced. The framework was evaluated through a pilot study where testers participated through the creation of a test suite for a specific GUI testing area. Time estimations were collected as well as qualitative measurements through a follow up survey. This paper presents a work strategy proposal for automated tests together with description of the framework system design. The results are presented with a subsequent discussion about the benefits and complexity of creating and introducing automated tests within large scale systems. Future work suggestions are also addressed together with accountancy of the frameworks usefulness for other testing areas besides GUI testing.

In typical software projects, it is common that half of the development time and cost is spent on testing the software. Software Test Automation is an area that has been rapidly expanding in recent years because of its capacity to test features rapidly and efficiently, but in the Video Game industry, this concept is still in its infancy and common practices are still being developed. Having the Automated Tests be as close as possible to the user's experience is desirable to ensure a resilient and bug-free interactive experience. Having the ability to properly automate a test in such a way could potentially save manual Quality Assurance (QA) analysts and developers a lot of time in finding and reporting bugs early on, which in turn can help companies save both time and resources. This thesis explores the use of Input Simulation, e.g., simulating keyboard and mouse inputs, in the context of Video Game Test Automation. For the design and implementation of the Input Simulation framework, Agile Scrum and Human Centered Design Methodologies were followed. Exploratory interviews were conducted with 2 test automation engineers at Fatshark, desk research was used to explore existing tools and their benefits, and Proof of Concepts (POC) were created with tools selected from the Desk Research on two of the company’s games, Vermintide 2 and Darktide. From this, a new framework named TestifyInput, best fitting the needs of the company, was created and implemented as a part of Fatshark’s in-house test automation framework called Testify, on both the Engine and Gameplay side, written in C++ and Lua respectively. TestifyInput was then evaluated through an Automated Test that was implemented to test weapon interactions in the game, a User Observation with 5 QA testers completing 2 tasks, and a Questionnaire sent out to 7 QA testers. By using metrics such as defect detection, speed, and limitations, TestifyInput was evaluated in the existing Test Automation context and against its human counterparts. The evaluation results showed that Input Simulation allowed for better test coverage and allowed to test close to the actual User Experience. TestifyInput itself remains relatively easy to implement and to use, and the test case written with it remained stable, not needing any modification despite changing gameplay code. However, to fully compare the capabilities of a traditional test case with one employing Input Simulation, further research is needed. / I typiska programvaruprojekt är det vanligt att hälften av utvecklingstiden och kostnaden går åt till att testa programvaran. Automatisering av programvarutestning är ett område som har expanderat snabbt under de senaste åren på grund av dess förmåga att testa funktioner snabbt och effektivt, men inom spelindustrin är detta koncept fortfarande i sin linda och gemensamma metoder håller fortfarande på att utvecklas. Det är önskvärt att de automatiserade testerna ligger så nära användarens upplevelse som möjligt för att säkerställa en motståndskraftig och felfri interaktiv upplevelse. Att ha förmågan att korrekt automatisera ett test på ett sådant sätt kan potentiellt spara manuell kvalitetssäkring (QA) analytiker och utvecklare mycket tid när det gäller att hitta och rapportera buggar i ett tidigt skede, vilket i sin tur kan hjälpa företag att spara både tid och resurser. I den här avhandlingen undersöks användningen av inmatningssimulering, t.ex. simulering av tangentbords- och musinmatningar, i samband med automatisering av test av videospel. För utformning och genomförande av ramverket för inmatningssimulering följdes metoderna Agile Scrum och Human Centered Design. Utforskande intervjuer genomfördes med två testutomatiseringsingenjörer på Fatshark, skrivbordsforskning användes för att utforska befintliga verktyg och deras fördelar, och Proof of Concepts (POC) skapades med verktyg som valts ut från skrivbordsforskningen på två av företagets spel, Vermintide 2 och Darktide. Utifrån detta skapades ett nytt ramverk vid namn TestifyInput, som bäst passade företagets behov, och implementerades som en del av Fatsharks interna ramverk för testautomatisering vid namn Testify, både på motor- och spelsidan, skrivet respektivt i C++ och Lua. TestifyInput utvärderades sedan genom ett automatiserat test som implementerades för att testa vapeninteraktioner i spelet, en användarobservation med 5 QA-testare som utförde 2 uppgifter och ett frågeformulär som skickades ut till 7 QA-testare. Med hjälp av mätvärden som defektdetektering, hastighet och begränsningar utvärderades TestifyInput i det befintliga testutomatiseringssammanhanget och mot sina mänskliga motsvarigheter. Utvärderingsresultaten visade att inmatningssimulering gav bättre testtäckning och gjorde det möjligt att testa nära den faktiska användarupplevelsen. TestifyInput i sig är relativt lätt att implementera och använda, och det testfall som skrevs med det förblev stabilt och behövde inte ändras trots att spelkoden ändrades. För att fullt ut kunna jämföra kapaciteten hos ett traditionellt testfall med ett testfall som använder sig av input-simulering krävs dock ytterligare forskning.

The usage of a graphical user interface (GUI) in software often make up for a greatexperience for the user and is often not an issue, until the only way to run a programis through a GUI. Such a dependency will make development of a project very hardas the only way to perform tests is to execute them manually. This is the case for asimulator that the company Creone uses and it is where we will perform our work.Creone works with smart key management systems and cabinets that allow for a safeand convenient way to store and handle keys. Registered users can open the cabinetswith a pin code that is entered on the dial on the cabinet door. Keys are assigned tousers and what keys that a user can take from a cabinet is seen on the display abovethe dialpad. We are to create a new core implementation that will remove the GUIdependency and allow the simulator to perform automated tests to some extent.

This diploma thesis deals with automated testing of web applications. First of all, it introduces automated testing and compares it with manual testing, then classifies currently available testing tools and describes Selenium testing tools. In further chapter a methodology for automation of testing of web applications is described, providing a systematic manual, how to automate testing, which mistakes to avoid, and also tasks and responsibilities of involved roles. Appendix of this thesis consists of a user manual for Selenium WebDriver, one of the most popular tools for automated functional testing of web application. This manual guides reader from the basics of using Selenium WebDriver tool to its advanced features and provides complete information set needed for writing automated tests. This thesis represents a complex material that can be used for carrying out a process of test automation using a particular testing tool.

Quality assurance is becoming increasingly important to implement in expanding development projects. The components being built must be tested regularly to ensure the functionality of the whole product. Leeroy applies scrum as a development method along with manual GUI tests that only are performed when all components belonging to each sprint are completed. This leads to shortage in time for a tester to apply the assigned test scenarios. Testers are therefore subjected to stress in their work as testing requires high accuracy and speed in order to effectively ensure that the components end up in a production environment. The purpose of this study is to streamline current test processes by replacing manual GUI tests with automated GUI regression tests using BDD principles. Specification of the requirements was carried out using data collection methods that were chosen for this study. The specifications were used both to evaluate the construction as well as the results obtained. The results show that it is important that both the tester and the rest of the agile team cooperate during each sprint, as the components are developed incrementally and tested regularly. The results show even the importance of prioritizing the test scenarios; this is done to ensure the efficiency of the workflow by first choosing the most important components to test. The tested aspects in this study have also proven that both frameworks Cucumber and Puppeteer have the potential to contribute to a smooth implementation of BDD in an agile development team. This is due partly to the reasonable results from the performance tests that measured the speed of feedbacks as an efficiency test, partly to a high degree of both usability and reusability. This study is limited to few test scenarios due to shortage of time given for this course and therefore the performance results doesn’t express all kind of testing scenarios. / Kvalitetssäkring blir allt viktigare att genomföra i växande utvecklingsprojekt. Komponenterna som byggs måste testas regelmässigt för att garantera funktionaliteten av produkten som utvecklas. Leeroy tillämpar idag Scrum som utvecklingsmetod med manuella tester som genomförs när alla komponenter är färdigbyggda vid slutet av varje sprint. Detta leder till att testaren har kortare tid på sig för att utföra testscenarierna. Testaren utsätts därför för stress i sitt arbete då uppdraget kräver en hög noggrannhet med snabbhet för att effektivt försäkra att komponenterna hamnar i en produktionsmiljö. Syftet med undersökningen är att effektivisera nuvarande testprocesser genom att ersätta de manuella GUI-tester med automatiserade GUI- regressionstester som tillämpar BDD principer. Specificering av kraven genomfördes med hjälp av datainsamlingsmetoder som valdes till denna undersökning. Kravspecifikationerna användes dels för utvärdering av konstruktionen och dels för utvärdering av de erhållna resultaten. Resultaten visar att det är viktigt att både testaren och resten av det agila teamet samarbetar under varje sprint, då komponenterna utvecklas inkrementellt och testas regelmässigt. Resultaten visar vikten av att prioritera testerna som kommer att utvecklas för att säkra effektiviteten i arbetsflödet och även säkra att de viktigaste funktionerna testas först. Undersökningen har visat att både Cucumber och Puppeteer kan bidra till en smidig implementation av BDD i ett agilt utvecklingsteam. Detta beror dels på de rimliga resultaten från prestandatesterna som mäter effektiviteten, dels en hög användbarhetsgrad vad gäller både läsbarhet och skrivbarhet i syntaxen och dels en hög återanvändbarhetsgrad. Denna studie avgränsades till få antal testscenarier på grund av brist på tid i undersökningen och därför visar resultaten från prestandatesterna inte alla slags testscenarier.

Abstract Testing is an important part of quality assurance, and the use of agile processes, continuous integration and DevOps is increasing the pressure for automating all aspects of testing. Testing through graphical user interfaces (GUIs) is commonly automated by scripts that are captured or manually created with a script editor, automating the execution of test cases. A major challenge with script-based GUI test automation is the manual effort required for maintaining the scripts when the GUI changes. Model-based testing (MBT) is an approach for automating also the design of test cases. Traditionally, models for MBT are designed manually with a modelling tool, and an MBT tool is used for generating abstract test cases from the model. Then, an adapter is implemented to translate the abstract test cases into concrete test cases that can be executed on system under test (SUT). When the GUI changes, the model has to be updated and the test cases can be generated from the updated model, reducing the maintenance effort. However, designing models and implementing adapters requires effort and specialized expertise. The main research questions of this thesis are 1) how to automatically extract state-based models of software systems with GUI, and 2) how to use the extracted models to automate testing. Our focus is on using dynamic analysis through the GUI during automated exploration of the system, and we concentrate on desktop applications. Our results show that extracting state models through GUI is possible and the models can be used to generate regression test cases, but a more promising approach is to use model comparison on extracted models of consequent system versions to automatically detect changes between the versions. / Tiivistelmä Testaaminen on tärkeä osa laadun varmistusta. Ketterät kehitysprosessit ja jatkuva integrointi lisäävät tarvetta automatisoida kaikki testauksen osa-alueet. Testaus graafisten käyttöliittymien kautta automatisoidaan yleensä skripteinä, jotka luodaan joko tallentamalla manuaalista testausta tai kirjoittamalla käyttäen skriptieditoria. Tällöin scriptit automatisoivat testitapausten suorittamista. Muutokset graafisessa käyttöliittymässä vaativat scriptien päivittämistä ja scriptien ylläpitoon kuluva työmäärä on iso ongelma. Mallipohjaisessa testauksessa automatisoidaan testien suorittamisen lisäksi myös testitapausten suunnittelu. Perinteisesti mallipohjaisessa testauksessa mallit suunnitellaan manuaalisesti käyttämällä mallinnustyökalua, ja mallista luodaan abstrakteja testitapauksia automaattisesti mallipohjaisen testauksen työkalun avulla. Sen jälkeen implementoidaan adapteri, joka muuttaa abstraktit testitapaukset konkreettisiksi, jotta ne voidaan suorittaa testattavassa järjestelmässä. Kun testattava graafinen käyttöliittymä muuttuu, vain mallia täytyy päivittää ja testitapaukset voidaan luoda automaattisesti uudelleen, vähentäen ylläpitoon käytettävää työmäärää. Mallien suunnittelu ja adapterien implementointi vaatii kuitenkin huomattavan työmäärän ja erikoisosaamista. Tämä väitöskirja tutkii 1) voidaanko tilamalleja luoda automaattisesti järjestelmistä, joissa on graafinen käyttöliittymä, ja 2) voidaanko automaattisesti luotuja tilamalleja käyttää testauksen automatisointiin. Tutkimus keskittyy työpöytäsovelluksiin ja dynaamisen analyysin käyttämiseen graafisen käyttöliittymän kautta järjestelmän automatisoidun läpikäynnin aikana. Tutkimustulokset osoittavat, että tilamallien automaattinen luominen graafisen käyttöliittymän kautta on mahdollista, ja malleja voidaan käyttää testitapausten generointiin regressiotestauksessa. Lupaavampi lähestymistapa on kuitenkin vertailla malleja, jotka on luotu järjestelmän peräkkäisistä versioista, ja havaita versioiden väliset muutokset automaattisesti.

<p>Todays’ systems for telecommunication are getting more and more complex. Automatic testing is required to guarantee quality of the systems produced. An actual example is the introduction of GPRS traffic in the GSM network nodes. This thesis investigates the need and demands for such an automatic testing of the traffic channels in the GSM system. A solution intended to be a part of the Ericsson TSS is proposed. One problem to be solved is that today’s tools for testing do not support testing of speech channels with the speech transcoder unit installed. As part of the investigation, a speech codec is implemented for execution on current hardware used in the test platform. The selected speech codec is the enhanced full rate codec, generating a bitstream of 12.2 kbit/s, and gives a good trade-off between compression and speech quality. The report covers the design of the test tool and the implementation of speech codec. Particularly performance problems in the implementation of the encoder will be addressed.</p>

Automated software test execution is a critical part of the modern software development process, where rapid feedback on the product quality is expected. It is of high importance that impediments related to test execution automation are prevented and removed as quickly as possible. An enabling factor for all types of improvement is to understand the nature of what is to be improved. The goal with this thesis is to further the knowledge about common problems encountered by software developers using test execution automation, in order to enable improvement of test execution automation in industrial software development. The research has been performed through industrial case studies and literature reviews. The analysis of the data have primarily been performed using qualitative methods, searching for patterns, themes, and concepts in the data.  Our main findings include: (a) a comprehensive list of potential impediments reported in the published body of knowledge on test execution automation, (b) an in-depth analysis of how such impediments may affect the performance of a development team, and (c) a proposal for a qualitative model of interactions between the main groups of phenomena that contribute to the formation of impediments in a test execution automation project. In addition to this, we contribute qualitative and quantitative empirical data from our industrial case studies.  Through our results, we find that test execution automation is a commonly under-estimated activity,  not only in terms of resources but also in terms of the complexity of the work. There is a clear tendency to perform the work ad hoc, down-prioritize the automation in favor of other activities,  and ignore the long-term effects in favor of short-term gains. This is both a technical and a cultural problem that need to be managed by awareness of the problems that may arise, and also have to be solved in the long term through education and information. We conclude by proposing a theoretical model of the socio-technical system that needs to be managed to be successful with test execution automation. / Syftet med denna avhandling är att utöka den vetenskapliga kunskapen om problem som kan uppstå under användning av automatiserad testning i industriell programvaruutveckling. Utveckling av programvara består principiellt av ett antal processteg: kravbehandling, detaljerad systemkonstruktion, implementation i form av programmering, och slutligen testning som säkerställer att kvaliteten på programvaran är tillräcklig för dess tilltänkta användare. Testning representerar en stor del av tiden och kostnaden för utveckling av programvaran, och detta gör att det är attraktivt att automatisera testningen. Automatiserade tester kan bidra med många positiva effekter. Testning som utförs om och om igen, för att säkerställa att gammal funktionalitet inte slutar att fungera när ändringar görs i programvaran, kan med fördel göras automatiserat. Detta frigör kvalificerad personal till kvalificerat arbete. Automatisering kan även minska ledtiden för testningen och därmed möjliggöra snabbare leveranser till kund. Ett annat mål med testautomatisering är att vara säker på att samma tester utförs på ett likartat sätt varje gång produkten testas, så att den håller en jämn och stabil kvalitetsnivå. Automatiserad testning är dock en mer komplex och kostsam verksamhet än vad man kan tro, och problem som uppstår under dess användning kan ha stora konsekvenser. Detta gäller i ännu större utsträckning i organisationer som använder moderna utvecklingsmetoder där automatisering är grundstenen för en effektiv kvalitetskontroll. För att kunna undvika så många problem som möjligt, är det därför mycket viktigt att förstå vad som händer när man använder testautomatisering i stor skala. Denna avhandling presenterar resultat från fallstudier i svensk industri, som, kombinerat med en systematisk genomgång av befintlig forskning inom området, har utförts för att söka djupare kunskap och möjligheter till generalisering. Arbetet har varit beskrivande, och förklarande, och bygger på empirisk forskningsmetodik.  I avhandlingen bidrar vi med (a) information om de problem relaterade till automatiserad testning som vi har identifierat i de empiriska fallstudierna, (b) en diskussion av dessa problem i relation till andra studier i området, (c) en systematisk litteraturstudie som ger en översikt över relevanta publikationer i området, (d) en analys av bevisen som insamlats genom litteraturstudien, samt (e) en modell av det organisatoriska och tekniska system som måste hanteras för att man skall nå framgång med ett testautomatiseringsprojekt. Resultaten tyder på att rent tekniska problem inte utgör huvuddelen av de problem som upplevs med testautomatisering. Istället handlar det till stora delar om organisationell dynamik: hantering av förändringen det innebär att införa automatisering, planering av automatisering och dess användning, samt vilka finansiella förväntningar man har på automatiseringen. / ITS-EASY Post Graduate School for Embedded Software and Systems

Information systems are used by most organisations today and are critical to the business. Many organisations got one or more legacy systems which have been used for a long period of time. Failures and disruption in these systems can lead to great consequences and it is important to test the systems to avoid them. Manual testing requires much resources. To automate the tests are a possibility and our partner in this study, Stora Enso Skog, wanted to look into the possibilities.The purpose of this study is to describe what challenges you meet when automating tests for legacy systems. The purpose is also to describe what factors you need to consider when implementing test automation. To do this we have used a case study and gathered data through interviews and study of documents. The interviews have been conducted with experienced experts within the testing area.Our conclusions shows that there are a number of challenges to consider when automating tests for legacy systems. The challenges include problems trying to automate some sort of tests for legacy systems due to the code being unstructured and not prepared for tests. There’s also a risk of spending too much resources in automating the tests instead of improving the systems.A number of factors to consider when implementing automated tests for legacy systems have also been found. Examples given are that automating tests can never fully compensate for a bad architecture and design. Focus should also be on the most important tests and start automating small parts. Also to improve the possibility to test in legacy systems instead of just adopting the testing tool to the system is to be considered.Finally we have noted that there are different types and levels of legacy systems and because of that challenges and factors to consider when automating tests may vary. Many challenges and factors presented in this study also applies to systems not considered legacy. / Informationssystem används idag av de flesta organisationer och är kritiska för att verksamheten skall fungera väl. Många organisationer har ett eller flera så kallade legacysystem som funnits i verksamheten en tid. Fel i systemen kan leda till stora konsekvenser och för att undvika detta är det viktigt att de testas. Att manuellt testa är resurskrävande. Möjligheter finns att automatisera tester i informationssystem vilket vår samarbetspartner Stora Enso Skog velat undersöka.Syftet med detta examensarbete är att beskriva vilka utmaningar som finns vid automatisering av tester för legacysystem. Syftet är vidare att beskriva vilka faktorer som behöver beaktas vid implementering. Arbetet har genomförts som en fallstudie och datainsamling har skett genom intervjuer och dokument. Intervjuer har genomförts med erfarna och kunniga inom testområdet.Slutsatserna är att det finns ett antal utmaningar vid automatisering av test av legacysystem. Exempel på utmaningar är att det kan vara svårt att automatisera vissa typer av test då koden i legacysystem ofta är ostrukturerad och inte förbered för test. Det finns också risk att man lägger för mycket resurser på automatiserade tester istället för att förbättra informationssystemet.Faktorer att beakta vid implementering är bland annat att automatisering av test aldrig kan kompensera för en dålig arkitektur och design. Man bör också fokusera på det viktigaste delarna och börja i mindre omfattning. Att utveckla testbarheten i legacysystem istället för att bara anpassa testverktyg efter systemet är en annan faktor.Vi har slutligen konstaterat att det finns olika typer eller nivåer av legacysystem och beroende på det kan utmaningar och faktorer vid automatisering av test variera. Många av de utmaningar och faktorer som presenteras i examensarbetet gäller även system som inte klassas som legacysystem.