Skatteverket (The Swedish Tax Agency) offers more than 20 web ser- vices to individuals and even more to corporations. Skatteverket has a vital function in society and it’s important that their web site never goes down. A user may logon to one service with electronic legitimation and later change to another service. The purpose of this thesis is to learn how to monitor a web service from outside, to test a webpage and its functionality and how to a logon automatically with electronic legitima- tion. Monitoring of webpages is offered by many services and tools. WebDriver is an API and engine to navigate a web browser and sup- ports many of the biggest program languages. With support from this tool it is possible to test a webpage and its functionality. It is supported by most web browsers on the market. Examples of tools to automatical- ly test logon with electronic identification are Java Robot and Sikuli. The project resulted in several tools for logon and tests of elements in webpages. / Skatteverket erbjuder fler än 20 webbtjänster för privatpersoner och ännu fler för företag. För en organisation som har en sådan viktig funktion som Skatteverket så är det av största vikt att deras webbplats aldrig går ner eller att vissa delar slutar fungera. En användare loggar in på en tjänst med e-legitimation för att sedan byta till en annan tjänst. Syftet med den här rapporten är att ta reda på hur övervakning av en webbtjänst kan ske utifrån, testa funktionalitet automatiskt på en webbplats och automatisk inloggning med e-legitimation. För övervak- ning av en webbtjänst utifrån så finns många olika tjänster och verktyg. WebDriver är ett applikationsgränssnitt och en motor för att styra en webbläsare med flera olika programspråk. Med hjälp av detta verktyg går det att testa en webbsida och dess funktioner. Stöd finns för de flesta webbläsare på marknaden. Exempel på verktyg för att automatiskt testa inloggning är Java Robot och Sikuli. Arbetet resulterade i flera verktyg för såväl inloggning med e-legitimation som tester för att hitta element på webbsidor.

Testing is a vital part of software development and test automation is an increasingly common practise. Performing automated testing on web-based applications is more complicated than desktop applications, which is particularly clear when it comes to testing a web based user interface as they are becoming more complex and dynamic. Depending on the goals and needed complexity of the testing, a variety of different frameworks/tools are available to help implementing it. This thesis investigates how automated testing of a web-based user interface can be implemented. Testing methods and a selection of relevant testing frameworks/tools are presented and evaluated based on given requirements. Out of the selected frameworks/tools, the Selenium WebDriver framework is chosen and used for implementation. The implementation results in automated test cases for regression testing of the functionality of a user interface created by Infor AB.

Webbapplikationer blir allt mer komplexa och avancerade. Bara några år tillbaka var det största ändamålet med webbapplikationer att servera statiskt innehåll. Sedan dess har tillämpningen vuxit och lika så dess komplexitet. Det finns till och med projekt som försöker utnyttja webbläsare som operativsystem och i takt med att komplexiteten ökar, ökar även testningens betydelse. En annan anledning till att testning inom just webbutvecklingen är så pass viktig är för att stor del av koden exekveras hos klienten vilka kan använda olika typer av interpretatorer för tolkning av exempelvis Javascript och CSS. För att eliminera risker bör koden testas för dessa interpretatorer och renderingsmotorer innan koden når slutanvändaren. En vanlig metod för att minimera förekomsten av defekter är testning. En variant är automatiserad testning som bygger på att interaktion med applikationen eller delar av applikationen simuleras från en användares perspektiv utan mänsklig inblandning. Det är detta som denna rapport behandlar och utgår ifrån frågeställningen: vilka möjligheter finns det att automatisera testning av webbapplikationer? Genom litteraturstudier och egenutveckling har lösningar på olika problem arbetats fram och det har visat sig att en av de större tekniska svårigheterna är hur man kan få stor täckningsgrad bland webbläsare för de testningstyper som kräver en webbläsares inblandning, exempelvis enhetstestning av klient-Javascript, acceptanstestning och GUI-testning. Det har även visat sig att kommunikationen och möjligheten att ta gemensamma beslut mellan olika utvecklare/testare spelar en stor roll för att testningsprocessen skall kunna införas i en organisation med lyckat resultat. En missuppfattning kan vara att testning skall lösa alla problem och finna alla defekter, något som i praktiken inte är sant. Testning bör ses som ett moment för att ge en tryggare utvecklingsmiljö och ge högre kvalité på applikationen och framförallt källkoden. Kontentan är dock att det inte finns något ”rätt” sätt att utföra testning på utan organisationen måste själv hitta det sätt som passar bäst för dem. / Web-applications have recently become increasingly complex and more and more companies tend to shift from traditional desktop applications to web-based applications. The more complex an application tends to become, the more defects tend to occur. This applies not only during development but also during maintenance. A common method to minimize the number of defects is by testing, for instance by automated testing that simulate interactions with an application, or parts of an application, from a user's perspective without human intervention. The aim of this thesis is to review the difficulties with automated testing of web-applications. The report focuses on client-side Javascript and Python as server-side language. This thesis has shown that one of the major, technical, difficulty is how to execute test cases that require a web browser, such as unit testing of client-Javascript, acceptance testing and GUI testing, and how these test case can be executed in browsers on remote machines. It has also been found that the communication and the ability to make joint decisions between different developers/testers have a major impact if the testing process can be introduced in an organization successfully. A misconception may be that testing will solve all problems and find all defects – that is, unfortunately, not true. Testing should be seen as a tool to give developers more confidence and provide a higher quality of the application. The bottom line is that there is no "right" way to perform testing; organization must find the way that works best for them.

I dagens utveckling av webbapplikationer, vilka blir alltmer komplexa, är det viktigt att testa sina webbapplikationer grundligt. En kort exekveringstid av testerna är särskilt viktigt, då de komplexa webbapplikationerna tar allt längre tid att testa manuellt. Det är angeläget att använda automatiserade GUI tester, för att stödja Agila arbetssätt med korta tider för leverans av nya versioner. För att säkerställa att de kan användas vid varje hopslagning av grenar i utvecklingsspåren inför en leverans av den kommande versionen. Ett problem med automatiserade GUI tester är att det alltid har varit svårt att underhålla testfallen när webbapplikationen har ändrats. Därför är det viktigt att det är lätt att underhålla testfallen i testverktygen. I den här studien har två testverktyg för automatiserade GUI tester utvärderats avseende underhållbarhet och exekveringstid. Fördelar och utmaningar med att introducerade automatiserade GUI tester har även de lyfts fram och analyserats. För att undersöka vilka fördelar och utmaningar som finns med att introducera automatiserade GUI tester utfördes en litteraturstudie på tidigare studier. Ett antal fördelar och utmaningar med automatiserade GUI tester har lyfts fram. Den genomgående största utmaningen med automatiserade GUI tester är underhållbarheten av testfallen. När webbapplikationen vidareutvecklas och framförallt i ett tidigt stadium i dess livscykel när mycket ändrar sig är det kostsamt att underhålla testfallen. Det är även en utmaning att implementera testfallen på ett sådant sätt att det blir lätta att underhålla. Vad gäller fördelar är den absolut främsta tidsvinsten i exekveringstid av testfall samt ökad kvalitet genom att tester utförs oftare. Det första experimentet som har utförts var att jämföra exekveringstiden mellan Cypress och Selenium Webdriver. Ett antal testfall har skapats som återspeglar hur webbapplikationen används. Experimentet visar att Selenium Webdriver presterar bättre än Cypress när det exekveras på en utvecklingsdator. Ytterligare jämförelse av prestandan i en CI miljö bör utföras för att se hur Cypress presterar med parallell exekvering av testfall. Det andra experimentet som utförts jämför underhållbarhet mellan Cypress och Selenium Webdriver. Resultatet av det här experimentet har visat att det finns fördelar och nackdelar med båda testverktygen och hur testfallen är skrivna. Cypress är i det här fallet något mer robust när strukturen på sidan ändras. Cypress klarade av ändringen utan några uppdateringar i testkoden. Selenium Webdriver visades vara lite bättre på att hantera när texten på elementen ändras. Det här beror primärt på hur testfallen är skrivna. Experimentet ger ingen tydlig indikation på vilket testverktyg som är bäst. Det visar mest hur olika svårt det är att skriva testfallen och att komma igång med dem i de båda testverktygen. Problemet med underhållbarhet finns fortfarande kvar. Cypress som ett nytt testverktyg lyckas inte lösa det fullständigt. Resultatet av experimentet visar att det inte finns ett testverktyg som kan klassas som bäst. Däremot har Cypress en lovande framtid som ett testverktyg, det är lättare att komma igång med och har bra verktyg vilket underlättar arbetet som testare.

This diploma thesis is focused on introduction of advanced possibilities of working with testing Selenium WebDriver framework. Basics of software testing and Selenium framework are described in first part of the text. Second chapter contains overview of available tools and applications which enhance Selenium WebDriver. These include frameworks using WebDriver API, software containers, automatization tools, continuous integration tools and services which enable to run tests remotely. Last chapter contains case study which describes implementation of automated testing in BellaDati company. The attachment contains user guide for Geb framework which was used in the case study.

The aim of this project is to develop a component able to retrieve taxi providers in Sweden, based on input of coordinates and a search radius. The result should be available in a well-structured and accessible way through an RESTful web service. The study is conducted based on a customer inquiry stating that the component should be built using open-source tools and be developed in such a way that allows the component, or parts of the component, to be integrated in a larger system. Therefore, a preliminary study was conducted in order to find suitable open-source tools that are able to solve the specific customer requirements. The component uses an ad hoc company search engine to retrieve the taxi providers, contact information and coordinates. Additional information needed for determining the correctness of the taxi providers are retrieved from external resources and a filtering process is then performed before they are saved in persistent store. The project is successful in solving the main purpose and most of the customer requirements, while the RESTful service is unable too fully meet the requirement stating that the component should be able to handle multiple concurrent clients while still maintain responsiveness. This, is mainly due to the decision not to use an ad hoc framework in handling geospatial data structures and calculations and was a trade-off to ensure re-usability and integration of the component in a larger system. / Avsikten med denna studie är att bygga en komponent som kan returnera taxiföretag i Sverige baserat på koordinater och en sökradie. Resultatet skall presenteras för användare eller andra tjänster på ett välstrukturerat och tillgängligt sätt via en RESTbaserat webbtjänst. Projektet är ett resultat av en kundförfrågan i vilken det även specificeras att komponenten skall använda sig av data eller verktyg som är fritt tillgängliga och att den skall vara byggd på ett sådant sätt att det går att använda hela, eller delar av, komponenten i ett större system. En kortare förstudie genomfördes med syfte att hitta lämpliga verktyg som bygger på öppen källkod för att lösa de specifika krav kunden ställt på komponenten. Komponenten använder sig av en sökmotor för företag-sök där resultaten görs tillgängliga via ett RESTbaserat API. Varje företag genomgår sedan en filtreringsprocess innan de sparas i databas för att avgöra om det uppfyller de kriterier som är uppsatta. Denna filtrering baseras på information som inhämtats genom en automatiserad process. Denna studie har varit framgångsrik i avseendet att bygga en komponent som kan returnera företag inom ett visst område baserat på koordinater och en given sökradie. Den uppfyller även de allra flesta av de krav kunden har satt upp, med undantag för det krav som efterfrågar en responsiv hantering av många samtidiga användare. Detta beror främst på valet att inte använda sig av ett ramverk avsett för hantering av geospatial data. Detta var en avvägning som gjordes för att försäkra sig om att komponenten skulle vara återanvändbar i ett större system.

This work deals with the automation of a web browser - the tools that allow programmatic control of the program for browsing the web pages. First, it discusses the existing solutions with focus on the tools from the Selenium Suite family and PhantomJS. Further, the internal representation of the web pages in the Gecko and WebKit browser engines is discussed. The work then focuses on the web browser application interface available for client-side scripting. The relevant standards are discussed as well. The core part of the thesis is dedicated to the design and implementation of a tool that allows to control a browser using the Selenium WebDriver tool and to extract data about the targert web page. The work presents an internal architecture, configuration files and the application interface of the designed tool. The topic of extracting detailed data about the page and its transformation to a unified structured description is covered as well. Finally, the performed unit tests and tests on real web pages are described.

This master's thesis is based on automated web applications testing with freeware instrument utilization developed under Google code project. It is called Selenium webdriver and become very popular during last years. Selenium webdriver is frequently used for web pages automation. Indisputable advantages of this solution are low entry cost, selenium is broadly used and also live community around that instrument with many useful informations. Main goal of this thesis is creation of automation framework created by Java programming language. This final framework will integrate Selenium webdriver and guarantee easy creation of testing scenarios. Because of this goal is placed mainly on separation of web page programmatic description and description of testing scenario.

The effectiveness of GUI-based automated tests is a topic that is often discussed in the testing community. As software systems and GUIs are getting more advanced, the testing of these systems may sometimes be both time-consuming and repetitive. Therefore, automated tests are used more frequently to create more agile working and to decrease the number of manual tests. There is an ongoing discussion about the benefits and shortcomings of implementing automated GUI test compared to performing manual GUI tests. Increasingly, companies today are implementing automated GUI tests, yet relatively few are analyzing enough when choosing their test strategy. The purpose of this thesis was to explore different test strategies in a system as complex as Nasdaq’s clearing system NRTC. The first strategy used manual GUI tests, while the second strategy used a test tool called Selenium WebDriver to automate the GUI tests. Hopefully, this research will contribute to the already accumulated knowledge about automated GUI tests and potentially help in choosing the right testing strategy. The findings of this research showed that the implementation time of manual tests was much faster, and that implementing automated test would be timeconsuming. The reason for this is that the GUI was not very testable, making it difficult to create the test scripts. In addition, the was a difference in runtime when using both strategies. The automated tests only took a couple of seconds to execute, compared to the manual tests that took a couple of minutes. After both strategies was investigated, an analysis was done by looking at the effectivity, maintainability, robustness, and the overall results to be able to find benefits and shortcomings. In conclusion, GUI automation cannot replace manual test completely. By not including the human capabilities, the testing process becomes very limited.

Testning är en nödvändig men kostsam del av mjukvaruutveckling. Test utförs på olika abstraktionsnivåer och kan vara manuella eller automatiserade. På lägsta abstraktionsnivå, enhetsnivå, är automatiserad testning vanligt och relativt okomplicerat, medan systemtester är svårare att automatisera. I synnerhet gäller detta tester på ett grafiskt användargränssnitt (GUI) som kräver speciella verktyg.   Triona vill undersöka möjligheterna att automatisera regressionstester från GUI:t av sin produkt C-Load, en molnbaserad webbtjänst för avtalsbaserad transportbokning.    Det primära syftet med denna fallstudie är att med en anpassad urvalsprocess utvärdera ett möjligt verktyg i förhållande till C-Load-förvaltningens förväntningar på automatiserad GUI testning (AGT) och att utifrån resultatet föreslå hur C-Loadförvaltningen kan gå vidare med val av verktyg för AGT. För att uppfylla syftet användes litteraturstudier, intervjuer och observationer av praktiska test.    Verktyg för GUI-testning kan delas in i tre huvudkategorier: skriptbaserade, modellbaserade och skriptlösa. Baserat på tidigare forskning drogs slutsatsen att ett skriptbaserat verktyg där koden i testskripten skrivs manuell bäst passar C-Loadförvaltningens krav och förutsättningar. Det mest använda verktyget av denna typ, Selenium WebDriver, utvärderades kvalitativt gentemot identifierade krav.    Av tidigare forskning framgår att vanliga utmaningar med skriptbaserade GUI-tester är att arbetsinsatsen för att skapa och underhålla testskript är stor och att testen kan vara opålitliga. Dessa problem framkom också i studiens intervjuer och observationer.   Slutsatsen är att det vore möjligt att automatisera regressionstester av C-Load med hjälp av Selenium Webdriver, och att det på sikt skulle kunna frigöra tid. Initialt krävs dock en omfattande insats för att implementera automatiserade tester i förvaltningen och Selenium Webdriver uppfyller bara delvis C-Load-förvaltningens förväntningar på AGT. C-Load-förvaltningen rekommenderas att utvärdera fler verktyg innan beslut fattas. I en kommande urvalsprocess bör Triona beakta hur väl olika verktyg fungerar i förhållande till moderna webbramverk. / Testing is a necessary but costly part of software development. Tests are performed at different abstraction levels and can be either manual or automated. On the lowest level of abstraction, where unit testing is performed, automated testing is commonplace and relatively uncomplicated, whereas system testing is more difficult to automate. This is especially true for GUI-testing, which requires special tools.      Triona wished to investigate possibilities to automate regression testing of the GUI for its C-load product, which is a Cloud-based web-service for contract-based transport booking.      The purpose of this case study was to evaluate one tool for automated GUI-testing (AGT) against the C-Load team’s expectations on AGT, and based on the result recommend Triona how to proceed in the process of implementing AGT. Literature studies, observations and interviews were conducted to fulfil the purpose.      GUI-testing tools can be classified into three categories: script-based, model-based and scriptless. One conclusion was that a script-based tool, where test scripts are manually coded would best suit Triona’s needs. The most used tool in that category, Selenium WebDriver, was tested and evaluated against requirements.       Prior research shows that common challenges encountered when using script-based GUItests are the workload required to create and maintain test scripts and that the tests can deliver inconsistent or “flaky” results. These challenges were confirmed during our analysis.       Our conclusion is that it is possible to automate C-Load regression tests with Selenium WebDriver, and that it would eventually free up time. However, a considerable effort is initially required to implement automated testing. Selenium Webdriver only partly fulfills the C-Load team’s expectations on AGT. Before a decision is taken, the C-Load team should evaluate more tools. When evaluating tools for AGT, Triona should take note that Selenium Webdriver can be deficient when it comes to testing applications based on modern web frameworks.