Grafiska användargränssnitt (GUI) utgör en viktig del hos många programvaror. En vanlig verifieringsteknik för programvara är testning, vilket ofta upptar mycket tid inom utvecklingsprojekt.  En ansats till en effektivare testning med högre kvalitet är testautomation. Att automatisera tester för GUI:n är ofta svårt men värdefullt. Ett vanligt problem är att verktyg med otillräcklig funktionalitet införskaffas för automatiseringen, vilket kan bero på bristfälliga utvärderingar. I den här rapporten presenteras kriterier som kan användas vid en utvärdering av automatiserade GUI-testningsverktyg, vilka kan öka chanserna för att rätt verktyg införskaffas. Dessa kriterier har identifierats genom en litteraturstudie och fallstudie. Kriterier för urval av verktyg för utvärdering, selektionskriterier, har kategoriserats enligt ISO/IEC 9126, och utvärderingskriterier utifrån testprocessen. Delar av kriterierna har utvärderats i en fallstudie för två Capture & Replay verktyg. Utifrån fallstudien går det att konstatera att åtminstone delar av kriterierna kan användas, och att de ger värdefull information vid en utvärdering.

Testning av programvara utgör i många fall en stor del av den totala utvecklingstiden. Då testning drar mycket resurser finns det en önskan om att testningen ska kunna utföras så effektivt som möjligt. Ett steg mot en effektivare testning är automatisering, då detta, om korrekt utfört, medför att fler fel kan identifieras på kortare tid. Det finns däremot risker och fallgropar på vägen mot automatiserad testning. I det här arbetet ges en översikt av 21 krav som forskning och litteratur ställer på en utvecklingsprocess för att automatiserad testning ska kunna genomföras lyckat. Därefter presenteras en metodik som tagits fram för hur översikten kan användas i en organisation för att få en lägesbild av möjligheterna till automatisering. Denna metodik har validerats i en fallstudie, som påvisat att kraven tillsammans med metodiken kan användas för att diskutera en organisations möjligheter till automatiserad testning.

Background. Testing of a software system is a critical part of the software development process, as the need for efficient and high-quality software systems is of great importance. By using so-called test environments, the testing process can be automated and more effective, which in turn contributes to lower time and development costs. Objectives. This thesis aims to investigate the degree of usage of a test environment by introducing a model that measures the degree of usage for a test environment group. This thesis also aims to introduce suggestions for new measuring points to monitor the degree of usage for test environments. This thesis also presents suggestions for improvement measures that can be taken to increase the degree of usage for a test environment. Methods. The method that has been applied to carry out this thesis is a case study. The study began with a literature review followed by observations and semistructured interviews to identify factors that affect the measurement of the degree of usage. Also, archive research in form of log analysis has been carried out to analyze and retrieve data from machine logs. The suggested model has been evaluated through a static evaluation and the research has been carried out in collaboration with Försäkringskassan IT. Results. The results of this thesis are presented through a model that which is based on Goal Question Metric (GQM) approach. The model measures the degree of usage in a test environment. The model is based on reading data from machine logs, where the data reading befalls both during the night and day. The data reading can then be visualized by two (2) curves that present both an average usage (approximately 30 days) and a daily usage. These curves help to create an overall picture of the usage of a test environment, but also when during a day mostly usage happens. The visualization can then present through predefined limits on what is considered as good usage (the limits are different for different types of tests). To increase the measurement of the degree of usage, the model can be supplemented with measurement data from, among other things, the number of logins in the test environment, incoming and outgoing network traffic. Based on the analysis, measures such as sharing integration testing environments, and prioritize teams/projects that are working towards the next release can be taken to increase the degree of usage of a test environment. Conclusions. The degree of usage of a test environment can be measured by reading data from machine logs. In combination with measurement data from CPU, memory, and network traffic, the usage of a test environment can be measured and monitored, which in turn contributes to a higher degree of usage and efficiency around the testing process. / Bakgrund. Testning av ett mjukvarusystem utgör en kritisk del i utvecklingsprocessen, då behovet av effektiva och högkvalitativa mjukvarusystem är av stor betydelse.Genom att använda så kallade testmiljöer kan testningsprocessen automatiseras ocheffektiviseras, vilket i sin tur bidrar till lägre tids- och utvecklingskostnader.  Syfte. Syftet med detta examensarbete är att undersöka och utreda nyttjandegraden i en testmiljögrupp genom att introducera en modell som mäter nyttjandegraden för denna testmiljögrupp. Arbetet syftar också till att introducera förslag på nya mätpunkter för att övervaka mätningsgraden. Detta examensarbete presenterar även förslag på förbättringsåtgärder som kan tas vid för att öka nyttjandegraden kring en testmiljögrupp. Metod. Den metod som har tillämpats för att genomföra detta examensarbete är en fallstudie. Undersökningen inleddes med en litteraturstudie följt av observationer och semistrukturerade intervjuer, för att identifiera faktorer som påverkar mätning av nyttjandegraden. Även arkivforskning i form av logganalys har genomförts för att analysera och hämta data ur maskinloggar. Den förslagna modellen har utvärderats genom en statisk utvärdering. Forskningen har genomförts i samarbete med Försäkringskassan IT. Resultat. Resultatet av detta examensarbete presenteras i en modell som baseras på Goal Question Metric (GQM) tillvägagångssätt. Modellen mäter nyttjandegrad i en testmiljö. Modellen bygger på att utläsa data ur maskinloggar, där inläsningen sker både under natt och dag. Inläsningen kan sedan visualiseras genom två (2) kurvor som presenterar en genomsnittlig användning (förslagsvis 30 dagar) respektive en dygnanvändning. Dessa kurvor skapar en helhetsbild över såväl nyttjandet av testmiljön som när testmiljön används mest under ett dygn. Visualiseringen kan sedan slås ut på fördefinierade gränser över vad som anses vara ett gott nyttjande av testmiljö (gränserna är olika för olika typer av tester). För att bredda mätningen av nyttjandegraden kan modellen kompletteras med mätdata från bland annat antalet inloggningar som sker i testmiljön samt ingående och utgående nätverkstrafik. Baserat på den genomförda analysen kan vissa åtgärder vidtas för att öka nyttjandegraden av testmiljöer. Exempel på dessa åtgärder är gemensamt utnyttjande av integrationstestmiljöer och prioritering av team och/eller projekt som arbetar mot närmast release. Slutsatser. Nyttjandegrad kring testmiljöer kan mätas genom att utläsa data ur maskinloggar. I kombination med mätdata från CPU, minne och nätverkstrafik kan användning av testmiljöer mätas och övervakas, vilket i sin tur bidrar till ökad nyttjandegrad och effektivitet kring testningsprocessen.

Software testing plays a fundamental role in software engineering as it ensures the quality of a software system. However, one of the major challenges of software testing is its costs since it is a time and resource-consuming process which according to academia and industry can take up to 50% of the total development cost. Today, one of the most common ways of generating testcases is through manual labor by analyzing specification documents to produce test scripts, which tends to be an expensive and error prone process. Therefore, optimizing software testing by automating the test case generation process can result in time and cost reductions and also lead to better quality of the end product. Currently, most of the state-of-the-art solutions for automatic test case generation require the usage of formal specifications. Such formal specifications are not always available during the testing process and if available, they require expert knowledge for writing and understanding them. One artifact that is often available in the testing domain is test case specifications written in natural language. In this thesis, an approach for generating integration test cases from natural language test case specifications is designed, applied and, evaluated. Machine learning and natural language processing techniques are used to implement the approach. The proposed approach is conducted and evaluated on an industrial testing project at Ericsson AB in Sweden. Additionally, the approach has been implemented as a tool with a graphical user interface for aiding testers in the process of test case generation. The approach involves performing natural language processing techniques for parsing and analyzing the test case specifications to generate feature vectors that are later mapped to label vectors containing existing C# test scripts filenames. The feature and label vectors are used as input and output, respectively, in a multi-label text classification process. The approach managed to produce test scripts for all test case specifications and obtained a best F1 score of 89% when using LinearSVC as the classifier and performing data augmentation on the training set. / Programvarutestning spelar en grundläggande roll i programvaruutveckling då den säkerställer kvaliteten på ett programvarusystem. En av de största utmaningarna med programvarutestning är dess kostnader eftersom den är en tids och resurskrävande process som enligt akademin och industrin kan ta upp till 50% av den totala utvecklingskostnaden. Ett av de vanligaste sätten att generera testfall idag är med manuellt arbete genom analys av testfallsspecifikationer, vilket tenderar att vara en dyr och felbenägen process. Därför kan optimering av programvarutestning genom automatisering av testfallsgenereringsprocessen resultera i tids- och kostnadsminimeringar och även leda till bättre kvalitet på slutprodukten. Nuförtiden kräver de flesta toppmoderna lösningarna för automatisk testfallsgenerering användning av formella specifikationer. Sådana specifikationer är inte alltid tillgängliga under testprocessen och om de är tillgängliga, så krävs det expertkunskap för att skriva och förstå dem. En artefakt som ofta finns i testdomänen är testfallspecifikationer skrivna på naturligt språk. I denna rapport utformas, tillämpas och utvärderas en metod för generering av integrationstestfall från testfallsspecifikationer skrivna på naturligt språk. Maskininlärnings- och naturlig språkbehandlingstekniker används för implementationen av metoden. Den föreslagna metoden genomförs och utvärderas vid ett industriellt testprojekt hos Ericsson AB i Sverige. Dessutom har metoden implementerats som ett verktyg med ett grafiskt användargränssnitt för att hjälpa testare i testfallsgenereringsprocessen. Metoden fungerar genom att utföra naturlig språkbehandlingstekniker på testfallsspecifikationer för att generera egenskapsvektorer som senare mappas till etikettsvektorer som innehåller befintliga C# testskriptfilnamn. Engenskaps och etikettsvektorerna används sedan som indata och utdata, respektive, för textklassificeringsprocessen. Metoden lyckades producera testskript för allatestfallsspecifikationer och fick en bästa F1 poäng på 89% när LinearSVC användes för klassificeringen och datautökning var utförd på träningsdatat.

It would be difficult to imagine the world we live in without the World Wide Web. We depend on it for communication, entertainment, transfer of capital, access to essential services, and many other things. Even though it feels like the Web is everywhere, its usage is still growing, and so is its importance. However, a significant portion of the world’s population is made up of people with disabilities, and if the Web and its content is not made accessible to them, they cannot participate in this integral part of modern society. Making sure that the resources we access through the Web are accessible to people with disabilities is a difficult task. Those who create applications for the internet need to test them to identify accessibility issues. Today, much of the content on the Web is divided into units called components. It would be advantageous if there was a method for automated accessibility testing of these components. The problem is that no such method exists. Components—in this context—refer to the parts that make up a webpage. When you are, for example, viewing a news article online, the heading could be a component, as could the comments section, and so on. A majority of the world’s webpages are constructed using this architecture, where a set of reusable components with different functionality make up the page you are visiting. The purpose of this thesis is to create a method for automated accessibility testing of these web application components. The goal is that the created method should be useful for web developers and testers in their work to create a Web that is more accessible for people with disabilities, and therefore contribute in some way to a more accessible society. The chosen research methodology was qualitative and exploratory, and followed the design science research-paradigm. The methodology consisted of four distinct phases, a literature study phase, a preliminary design phase, an evaluation of the preliminary design phase, and an improved design phase. The literature study phase laid the groundwork for creating a method proposal in the preliminary design stage. This method was then evaluated in the evaluation stage. This evaluation consisted of a partial implementation of the framework, together with interviews with respondents with relevant experience. Using this evaluation, an improved method was created in the improved design phase. The result of this thesis is the Automated Accessibility Testing of Web Application Components Method (AAT-WAC). The evaluations that were conducted proved that AAT-WAC method met all of the stipulated evaluation criteria, and that the method was useful when implemented in a real-world industrial context. The literature study proved that no other methods similar to the AAT-WAC method existed. / Det skulle vara svårt att föreställa sig världen vi lever i utan Webben. Vi använder den för kommunikation, underhållning, överföring av kapital, tillgång till livsviktiga tjänster och mycket mer. Även om det kan kännas som att Webben redan är överallt så växer fortfarande dess användning och betydelse. En ansenlig del av världens befolkning är personer med funktionsnedsättningar, och om Webben och dess innehåll inte är tillgängligt för dem kan de inte deltaga i denna oumbärliga del av det moderna samhället. Att säkerställa att de resurser vi tillgodogör oss genom Webben är tillgängliga för personer med funktionsnedsättningar är en utmanande uppgift. De som skapar applikationer för Webben behöver testa dem för att upptäcka tillgänglighetsproblem. Idag är mycket av innehållet på Webben indelad i enheter som kallas för komponenter. Det skulle vara fördelaktigt om det fanns en metod för automatisk tillgänglighetstestning av dessa komponenter. Problemet är att ingen sådan metod existerar. Komponenter, i den här kontexten, syftar på de enheter som tillsammans utgör en webbsida. När du exempelvis besöker en nyhetsartikel på Webben så kan en komponent utgöra rubriken, en annan kommentarsektion, och så vidare. En majoritet av världens webbsidor är konstruerade enligt denna arkitektur, kallad en komponent-baserad arkitektur, där en uppsättning återanvändbara komponenter med olika funktionalitet utgör webbsidan du besöker. Syftet med denna avhandling är att skapa en metod för automatiserad tillgänglighetstestning av webbapplikationskomponenter. Målet är att öka kunskapen om tillgänglighetstestning, och genom detta skapa ett mer tillgängligt samhälle. Forskningsmetodologin var kvalitativ och följde en Design Science-paradigm. Forskningsmetodologin bestod av fyra distinkta faser, en litteraturstudie-fas, en preliminär designfas, en utvärderings av preliminär design-fas och en förbättrad design-fas. Litteraturstudien lade grunden för att skapa en preliminär metod i preliminär design-fasen. Denna preliminära metod utvärderades sedan genom att implementera delar av metoden på en verklig webapplikation, samt genom intervjuer med personer med relevant expertis inom webbutveckling. Dessa utvärderingar användes sedan för att skapa den förbättrade metoden i förbättrad design-fasen. Resultatet av denna avhandling är metoden Automated Accessibility Testing of Web Application Components (AAT-WAC-metoden). Uvärderingarna av AAT-WAC-metoden påvisade att metoden uppfyllde alla utvärderingskriterier som stipulerats, samt att metoden var användbar när den implementerades i en verklig, industriell kontext. Litteraturstudien påvisade att inga metoder som liknar AAT-WAC-metoden existerade.