Testing is a vital part of software development and test automation is an increasingly common practise. Performing automated testing on web-based applications is more complicated than desktop applications, which is particularly clear when it comes to testing a web based user interface as they are becoming more complex and dynamic. Depending on the goals and needed complexity of the testing, a variety of different frameworks/tools are available to help implementing it. This thesis investigates how automated testing of a web-based user interface can be implemented. Testing methods and a selection of relevant testing frameworks/tools are presented and evaluated based on given requirements. Out of the selected frameworks/tools, the Selenium WebDriver framework is chosen and used for implementation. The implementation results in automated test cases for regression testing of the functionality of a user interface created by Infor AB.

I dagens utveckling av webbapplikationer, vilka blir alltmer komplexa, är det viktigt att testa sina webbapplikationer grundligt. En kort exekveringstid av testerna är särskilt viktigt, då de komplexa webbapplikationerna tar allt längre tid att testa manuellt. Det är angeläget att använda automatiserade GUI tester, för att stödja Agila arbetssätt med korta tider för leverans av nya versioner. För att säkerställa att de kan användas vid varje hopslagning av grenar i utvecklingsspåren inför en leverans av den kommande versionen. Ett problem med automatiserade GUI tester är att det alltid har varit svårt att underhålla testfallen när webbapplikationen har ändrats. Därför är det viktigt att det är lätt att underhålla testfallen i testverktygen. I den här studien har två testverktyg för automatiserade GUI tester utvärderats avseende underhållbarhet och exekveringstid. Fördelar och utmaningar med att introducerade automatiserade GUI tester har även de lyfts fram och analyserats. För att undersöka vilka fördelar och utmaningar som finns med att introducera automatiserade GUI tester utfördes en litteraturstudie på tidigare studier. Ett antal fördelar och utmaningar med automatiserade GUI tester har lyfts fram. Den genomgående största utmaningen med automatiserade GUI tester är underhållbarheten av testfallen. När webbapplikationen vidareutvecklas och framförallt i ett tidigt stadium i dess livscykel när mycket ändrar sig är det kostsamt att underhålla testfallen. Det är även en utmaning att implementera testfallen på ett sådant sätt att det blir lätta att underhålla. Vad gäller fördelar är den absolut främsta tidsvinsten i exekveringstid av testfall samt ökad kvalitet genom att tester utförs oftare. Det första experimentet som har utförts var att jämföra exekveringstiden mellan Cypress och Selenium Webdriver. Ett antal testfall har skapats som återspeglar hur webbapplikationen används. Experimentet visar att Selenium Webdriver presterar bättre än Cypress när det exekveras på en utvecklingsdator. Ytterligare jämförelse av prestandan i en CI miljö bör utföras för att se hur Cypress presterar med parallell exekvering av testfall. Det andra experimentet som utförts jämför underhållbarhet mellan Cypress och Selenium Webdriver. Resultatet av det här experimentet har visat att det finns fördelar och nackdelar med båda testverktygen och hur testfallen är skrivna. Cypress är i det här fallet något mer robust när strukturen på sidan ändras. Cypress klarade av ändringen utan några uppdateringar i testkoden. Selenium Webdriver visades vara lite bättre på att hantera när texten på elementen ändras. Det här beror primärt på hur testfallen är skrivna. Experimentet ger ingen tydlig indikation på vilket testverktyg som är bäst. Det visar mest hur olika svårt det är att skriva testfallen och att komma igång med dem i de båda testverktygen. Problemet med underhållbarhet finns fortfarande kvar. Cypress som ett nytt testverktyg lyckas inte lösa det fullständigt. Resultatet av experimentet visar att det inte finns ett testverktyg som kan klassas som bäst. Däremot har Cypress en lovande framtid som ett testverktyg, det är lättare att komma igång med och har bra verktyg vilket underlättar arbetet som testare.

The aim of this project is to develop a component able to retrieve taxi providers in Sweden, based on input of coordinates and a search radius. The result should be available in a well-structured and accessible way through an RESTful web service. The study is conducted based on a customer inquiry stating that the component should be built using open-source tools and be developed in such a way that allows the component, or parts of the component, to be integrated in a larger system. Therefore, a preliminary study was conducted in order to find suitable open-source tools that are able to solve the specific customer requirements. The component uses an ad hoc company search engine to retrieve the taxi providers, contact information and coordinates. Additional information needed for determining the correctness of the taxi providers are retrieved from external resources and a filtering process is then performed before they are saved in persistent store. The project is successful in solving the main purpose and most of the customer requirements, while the RESTful service is unable too fully meet the requirement stating that the component should be able to handle multiple concurrent clients while still maintain responsiveness. This, is mainly due to the decision not to use an ad hoc framework in handling geospatial data structures and calculations and was a trade-off to ensure re-usability and integration of the component in a larger system. / Avsikten med denna studie är att bygga en komponent som kan returnera taxiföretag i Sverige baserat på koordinater och en sökradie. Resultatet skall presenteras för användare eller andra tjänster på ett välstrukturerat och tillgängligt sätt via en RESTbaserat webbtjänst. Projektet är ett resultat av en kundförfrågan i vilken det även specificeras att komponenten skall använda sig av data eller verktyg som är fritt tillgängliga och att den skall vara byggd på ett sådant sätt att det går att använda hela, eller delar av, komponenten i ett större system. En kortare förstudie genomfördes med syfte att hitta lämpliga verktyg som bygger på öppen källkod för att lösa de specifika krav kunden ställt på komponenten. Komponenten använder sig av en sökmotor för företag-sök där resultaten görs tillgängliga via ett RESTbaserat API. Varje företag genomgår sedan en filtreringsprocess innan de sparas i databas för att avgöra om det uppfyller de kriterier som är uppsatta. Denna filtrering baseras på information som inhämtats genom en automatiserad process. Denna studie har varit framgångsrik i avseendet att bygga en komponent som kan returnera företag inom ett visst område baserat på koordinater och en given sökradie. Den uppfyller även de allra flesta av de krav kunden har satt upp, med undantag för det krav som efterfrågar en responsiv hantering av många samtidiga användare. Detta beror främst på valet att inte använda sig av ett ramverk avsett för hantering av geospatial data. Detta var en avvägning som gjordes för att försäkra sig om att komponenten skulle vara återanvändbar i ett större system.

The effectiveness of GUI-based automated tests is a topic that is often discussed in the testing community. As software systems and GUIs are getting more advanced, the testing of these systems may sometimes be both time-consuming and repetitive. Therefore, automated tests are used more frequently to create more agile working and to decrease the number of manual tests. There is an ongoing discussion about the benefits and shortcomings of implementing automated GUI test compared to performing manual GUI tests. Increasingly, companies today are implementing automated GUI tests, yet relatively few are analyzing enough when choosing their test strategy. The purpose of this thesis was to explore different test strategies in a system as complex as Nasdaq’s clearing system NRTC. The first strategy used manual GUI tests, while the second strategy used a test tool called Selenium WebDriver to automate the GUI tests. Hopefully, this research will contribute to the already accumulated knowledge about automated GUI tests and potentially help in choosing the right testing strategy. The findings of this research showed that the implementation time of manual tests was much faster, and that implementing automated test would be timeconsuming. The reason for this is that the GUI was not very testable, making it difficult to create the test scripts. In addition, the was a difference in runtime when using both strategies. The automated tests only took a couple of seconds to execute, compared to the manual tests that took a couple of minutes. After both strategies was investigated, an analysis was done by looking at the effectivity, maintainability, robustness, and the overall results to be able to find benefits and shortcomings. In conclusion, GUI automation cannot replace manual test completely. By not including the human capabilities, the testing process becomes very limited.

This diploma thesis is focused on introduction of advanced possibilities of working with testing Selenium WebDriver framework. Basics of software testing and Selenium framework are described in first part of the text. Second chapter contains overview of available tools and applications which enhance Selenium WebDriver. These include frameworks using WebDriver API, software containers, automatization tools, continuous integration tools and services which enable to run tests remotely. Last chapter contains case study which describes implementation of automated testing in BellaDati company. The attachment contains user guide for Geb framework which was used in the case study.

Testning är en nödvändig men kostsam del av mjukvaruutveckling. Test utförs på olika abstraktionsnivåer och kan vara manuella eller automatiserade. På lägsta abstraktionsnivå, enhetsnivå, är automatiserad testning vanligt och relativt okomplicerat, medan systemtester är svårare att automatisera. I synnerhet gäller detta tester på ett grafiskt användargränssnitt (GUI) som kräver speciella verktyg.   Triona vill undersöka möjligheterna att automatisera regressionstester från GUI:t av sin produkt C-Load, en molnbaserad webbtjänst för avtalsbaserad transportbokning.    Det primära syftet med denna fallstudie är att med en anpassad urvalsprocess utvärdera ett möjligt verktyg i förhållande till C-Load-förvaltningens förväntningar på automatiserad GUI testning (AGT) och att utifrån resultatet föreslå hur C-Loadförvaltningen kan gå vidare med val av verktyg för AGT. För att uppfylla syftet användes litteraturstudier, intervjuer och observationer av praktiska test.    Verktyg för GUI-testning kan delas in i tre huvudkategorier: skriptbaserade, modellbaserade och skriptlösa. Baserat på tidigare forskning drogs slutsatsen att ett skriptbaserat verktyg där koden i testskripten skrivs manuell bäst passar C-Loadförvaltningens krav och förutsättningar. Det mest använda verktyget av denna typ, Selenium WebDriver, utvärderades kvalitativt gentemot identifierade krav.    Av tidigare forskning framgår att vanliga utmaningar med skriptbaserade GUI-tester är att arbetsinsatsen för att skapa och underhålla testskript är stor och att testen kan vara opålitliga. Dessa problem framkom också i studiens intervjuer och observationer.   Slutsatsen är att det vore möjligt att automatisera regressionstester av C-Load med hjälp av Selenium Webdriver, och att det på sikt skulle kunna frigöra tid. Initialt krävs dock en omfattande insats för att implementera automatiserade tester i förvaltningen och Selenium Webdriver uppfyller bara delvis C-Load-förvaltningens förväntningar på AGT. C-Load-förvaltningen rekommenderas att utvärdera fler verktyg innan beslut fattas. I en kommande urvalsprocess bör Triona beakta hur väl olika verktyg fungerar i förhållande till moderna webbramverk. / Testing is a necessary but costly part of software development. Tests are performed at different abstraction levels and can be either manual or automated. On the lowest level of abstraction, where unit testing is performed, automated testing is commonplace and relatively uncomplicated, whereas system testing is more difficult to automate. This is especially true for GUI-testing, which requires special tools.      Triona wished to investigate possibilities to automate regression testing of the GUI for its C-load product, which is a Cloud-based web-service for contract-based transport booking.      The purpose of this case study was to evaluate one tool for automated GUI-testing (AGT) against the C-Load team’s expectations on AGT, and based on the result recommend Triona how to proceed in the process of implementing AGT. Literature studies, observations and interviews were conducted to fulfil the purpose.      GUI-testing tools can be classified into three categories: script-based, model-based and scriptless. One conclusion was that a script-based tool, where test scripts are manually coded would best suit Triona’s needs. The most used tool in that category, Selenium WebDriver, was tested and evaluated against requirements.       Prior research shows that common challenges encountered when using script-based GUItests are the workload required to create and maintain test scripts and that the tests can deliver inconsistent or “flaky” results. These challenges were confirmed during our analysis.       Our conclusion is that it is possible to automate C-Load regression tests with Selenium WebDriver, and that it would eventually free up time. However, a considerable effort is initially required to implement automated testing. Selenium Webdriver only partly fulfills the C-Load team’s expectations on AGT. Before a decision is taken, the C-Load team should evaluate more tools. When evaluating tools for AGT, Triona should take note that Selenium Webdriver can be deficient when it comes to testing applications based on modern web frameworks.

This diploma thesis deals with automated testing of web applications. First of all, it introduces automated testing and compares it with manual testing, then classifies currently available testing tools and describes Selenium testing tools. In further chapter a methodology for automation of testing of web applications is described, providing a systematic manual, how to automate testing, which mistakes to avoid, and also tasks and responsibilities of involved roles. Appendix of this thesis consists of a user manual for Selenium WebDriver, one of the most popular tools for automated functional testing of web application. This manual guides reader from the basics of using Selenium WebDriver tool to its advanced features and provides complete information set needed for writing automated tests. This thesis represents a complex material that can be used for carrying out a process of test automation using a particular testing tool.

Diploma thesis deals with creating a Methodology for small software projects focused on automated testing of using Selenium WebDriver tool (abbreviated MMSP - Selenium). The created methodology is based on customized methodology MMSP, which aims to transform part for automated testing of using Selenium WebDriver tool through the best principles and practices of already completed studies. Firstly, there will be summarized the most important terms related to the diploma thesis. Then will follow implementation of the methodology MMSP - Selenium, which is complemented by its new roles, tasks, and work products. Personal benefit of the diploma thesis is also created guidelines for Selenium WebDriver testing tool. For great benefit is also considered the publication of the methodology using the Eclipse Process Framework Composer tool. In conclusion of the created methodology verifies the business use cases, aimed at testing the functionality of web application Manuscriptorium.