För att ett företag skall få en smidig arbetsmetod samt för att upptäcka eventuella flaskhalsar i de dagliga rutinerna, är det inte ovanligt att externa resurser hyrs in för att undersöka företaget. Vad som upplevs vara naturligt för en avdelnings personal kan ofta lättare observeras av en utomstående. Syftet med denna studie är att undersöka vilka utmaningar och eventuella problem som presenterar sig på ett utvalt företags mjukvarutest avdelning.   Datainsamling har utförts genom dokumentstudier och intervjuer med testpersonalen. Teorier inom metodiker samt mjukvarutestning har skapat det teoretiska ramverk. I och med detta har författarna av uppsatsen skapat sig en bild av hur verklighet ser ut, som sedan ligger till grund för diskussioner samt slutsatser. Undersökningen visar ett antal utmaningar för testpersonalen. I dagsläget råder det en viss kommunikationssvårighet mellan testpersonal, utvecklare samt kunder. Problemet härstammar i otillräckligt ifyllda specifikationer vilket skapar problem för testare att återskapa buggar/fel. Även det faktum att samma arbetsmetodik inte används över de olika avdelningarna skapar en brist på förståelse mellan personal. Underbemanning bland testpersonalen ligger även till grund för problem gällande kompetens allokering samt tidsbrister.   Likaså ligger ett komplext system med äldre kod till grund för utmaningar då en stor förståelse för systemet krävs för att lösningar i en del inte ska skapa problem i en annan del. / If a company wants to have a neat working method and identify any bottlenecks in their daily routine, it is not uncommon to hire external resources for an investigation of the company. Furthermore what might feel natural for staff members of the company can often be seen or even observed easier by someone external (not related to the comapny). The purpose of this study is to examine the challenges and potential problems that present themselves in a specific enterprise software testing department.   The gathering of data collection has been executed through  document studies and interviews with teststaff. Theories within metholodgy and software testing has created the theoretical framework. With this, the authors of the paper created a picture of how the reality looks like, which then later formed the basis of discussions and conclusions. The analysis show a number of challenges to the teststaff. In their current situation there is some communication difficulties between the teststaff, developers and customers. The problem originates in inadequately completed specifications, which creates problems for testers when reproducing bugs/errors in the system. The fact that the same methodology is not used across the different departmenst creates a lack of understanding among the staff. Furthermore being understaffed when it comes to the test department are also the basis for problems regarding competence allocation and deadline flaws.   Likewise there is a complex software system with an old code which base challenges for understanding of the system. It requires great knowledge so that the solution in one part would not harm or create problems in another part.

There are several ways of conducting software testing where some may include users and others may include personnel whose work task is to execute test on systems. Although most developers and project managers understand the point of testing the system, it is not always being done and the most common reason is that there is no time for it. However, this is a false assumption as it may instead cause some bugs in the system that would not have been there in the first place if tests had been there to prevent bugs in the code. My purpose for this thesis was to find suggestions for changes in the development process in an ongoing project used by Acino and Svenska Försäkringsfabriken in order to increase the quality of the system used. In this thesis, I have approached the purpose by pursuing a case study of the two companies through observation and interviews. By doing this I acquired the relevant information to make suggestions for change. In my case study, I have analysed the work process, which includes the types of testing and development conducted on the system. Through this I have found suggestions for changes that can generate better quality of both the system and work process. The changes that I've suggested are directed against both the code that the system consists of and the work processes used by the two companies. While the suggestions I have found is not entirely new for the companies it is something that’s not included in either the code or process, but my hope is that I have created an awareness which could ultimately generate a positive change.

A big part of software development is testing and quality assurance. At the department of service market, Scania R&D, the software Scania Diagnose and Programmer 3 (SDP3) is developed and tested. The quality assurance is conducted by internal and external testing. However, the external testing of SDP3 lacks guidelines for measuring the quality of a field test. The purpose of this project was to create and implement a framework for the field test process of SDP3. This framework is later used to determine the quality of a field test. To create the framework, literature study, interviews and workshops were conducted. The workshops laid the foundation of the framework, and the interviews were used to specify the parameters in the framework. For the implementation of the framework studies were done to analyse the available data, later the framework was implemented into the data base management system Splunk as a real time Dashboard. The results of this study describes a framework that can be used to determine the quality of a field test. Unfortunately the whole framework could not be implemented into Splunk since all data needed could not be accessed through Splunk, instead, recommendations were made.

Software is all around us in our lives in the industrialized world, and we as a society and individuals need it to function correctly. Software testing fills the role of performing behavior audits, to guide the correction of the software to its intended behavior. The consequences of faulty software can range to the late arrival of trains, to nuclear meltdowns. This places quality requirements on the software of various levels. Program based mutation testing provides a high level of faultfinding capability. It does this by injecting many synthetic faults into the code under test, as described by mutation operators. These faults are used to search for testcases that would identify such faults, and consequently find real faults that the synthetic faults mimic. However, mutation testing is costly on three accounts; each mutant of the original code is compiled, each mutant should ideally have an associated testcase to reveal that fault the mutant contains, finally the testcases are analyzed thoroughly by looking the output of the original and mutants to reveal the error in behavior. In order to reduce cost while maintaining a high level of faultfinding, selective mutation testing is investigated, it uses a subset of all the available mutation operators. The investigation found that using Absolute value-, and Relational operator-, mutation reduces cost of mutation testing by 80%, while uncovering 83% of the injected faults.

Inom dagens systemutvecklingsprojekt har testning en viktig roll för att ett företag ska kunna lyckas leverera en produkt. Testning har ofta nedprioriteras pågrund av att det största fokuset har legat på nyutveckling. Testrollen är väldigt viktig för att kunna försäkra om sin produkt är redo för marknaden.   Syftet med uppsatsen är att ta reda på utmaningar och problem med testautomatiseringens startprocess i en agil systemutvecklingsmiljö. Vad företag och undersökningsföretaget som startar med testautomatiseringen kan förbereda sig på för att kunna lyckas.   Undersökningen som uppsatsen bygger på har använt en induktiv ansats. Undersökningen har skett på ett undersökningsföretag som arbetar agilt inom systemutveckling. Målet är att undersöka verkligheten utan att söka svar och undersöka orsakssambanden. Syftet är att påståenden från teori och tidigare undersökningar ska jämföras med resultatet. Kvalitativ metod har använts för datainsamling i form av intervjuer.   Resultatet av undersökningen bevisar att testautomatiseringen är väldigt viktigt inom den agila systemutvecklingsmiljön och att det finns en många problem och utmaningar som behövs tänkas på när ett system ska börja med testautomatisering. Den agila utvecklingsmetoden har blivit vanligare inom utvecklingsbranschen och därför kommer också testautomatisering bli vanligare. Många av problemen och utmaningarna håller inte ihop, utan påverkas av olika konsekvenser. Resultatet av uppsatsen kom fram till utmaningar och problem med: testdata/testmiljö, förståelse, struktur, verktyg och kompetens.   Målet med uppsatsen är att bidra med nyttig information till ökad medvetenhet om vad som krävs för att starta igång testautomatisering. / Within today´s system development projects, testing have been an important role within company to be able to successfully deliver their product. Testing has often given a lower priority unfortunately, because focuses have been on new development. The test role is very important in order to insure their product is ready for the market.   The purpose of this paper is to find out the challenges and problems with test automation start-up process in an agile system environment. What companies that start with test automation could prepare in order to succeed.   For the survey on which the essay is based on an inductive approach has been used. The investigation has taken place at a research company that works with agile in system. The objective is to investigate reality without getting any answers. The aim is to claims from theory and previous information will be compared with the results. Qualitative methods were used for data collection in the in the form of interviews.   The survey results prove that test automation is very important in the agile system development environment and that there are a lot of problems and challenges that need arise when a system should start with test automation. The agile development methodology has become more prevalent in businesses and test automation will be development. Many of the problems or challenges do not hold together, without affected by different consequences. The results of the thesis came to the challenges and problems with: test data/test environment, understanding, structure, tools and skills.   The goal of this paper is to provide useful information to increase awareness of what is required to start running with test automation.

Software testing plays a vital role in the software development life cycle. Having a more accurate and cost-efficient testing process is still demanded in the industry. Thus, test optimization becomes an important topic in both state of the art and state of the practice. Software testing today can be performed manually, automatically or semi-automatically. A manual test procedure is still popular for testing for instance in safety critical systems. For testing a software product manually, we need to create a set of manual test case specifications. The number of required test cases for testing a product is dependent on the product size, complexity, the company policies, etc. Moreover, generating and executing test cases manually is a time and resource consuming process. Therefore, ranking the test cases for execution can help us reduce the testing cost and also release the product faster to the market. In order to rank test cases for execution, we need to distinguish test cases from each other. In other words, the properties of each test case should be detected in advance. Requirement coverage is detected as a critical criterion for test cases optimization. In this thesis we propose an approach based on a $p$-Laplacian Spectral Clustering for detecting the traceability matrix between manual test cases and the requirements, in order to find the requirement coverage for the test cases. However, the feasibility of the proposed approach is studied by an empirical evaluation which has been performed on a railway use-case at Bombardier Transportation in Sweden. Through the experiments performed using our proposed method it was able to achieve an $F_1$-score up to $4.4\%$. Although the proposed approach under-performed for this specific problem compared to previous studies, it was possible to get some insights on what limitations $p$-Laplacian Spectral Clustering have and how it could potentially be modified for similar kind of problems. / Mjukvarutestning har en viktig roll inom mjukvaruutveckling. Att ha en mer exakt och kostnadseffektiv testprocess är efterfrågad i industrin. Därför är testoptimering ett viktigt ämne inom forskning och i praktiken. Idag kan mjukvarutestning utföras manuellt, automatiskt eller halvautomatiskt. En manuell testprocess är fortfarande populär för att testa säkerhetskritiska system. För att testa en programvara manuellt så måste vi skapa en uppsättning specifikationer för testfall. Antalet testfall som behövs kan bero på bland annat produktens storlek, komplexitet, företagspolicys etc. Att generera och utföra testfall manuellt är ofta en tids- och resurskrävande process. För att minska testkostnader och för att potentiellt sett kunna släppa produkten till marknaden snabbare kan det därför vara av intresse att rangordna vilka test fall som borde utföras. För att göra rangordningen så måste testfallens särskiljas på något vis. Med andra ord så måste varje testfalls egenskaper upptäckas i förväg. En viktig egenskap att urskilja från testfallen är hur många krav testfallet omfattar. I det här projektet tar vi fram en metod baserad på $p$-Laplacian spektralklustring för att hitta en spårbarhetsmatris mellan manuella testfall och krav för att ta reda på vilka krav som omfattas av alla testfall. För att evaluera metodens lämplighet så jämförs den mot en tidigare empirisk studie av samma problem som gjordes på ett järnvägsbruk hos Bombardier Transportation i Sverige. Från de experiment som utfördes med vår framtagna metod så kunde ett $F_1$-Score på $4.4\%$ uppnås. Även om den metod som togs fram i detta projekt underpresterade för det här specifika problemet så kunde insikter om vilka begränsningar $p$-Laplacian spektralklustring har och hur de potentiellt sett kan behandlas för liknande problem.

An increasing amount of companies have changed development methodology in favor of test-driven development over the last couple of years. Test-driven development means that the developer starts with producing test cases, which fails. Then the functionality, for making the test cases, true is developed and finally the code is refactored. In theory, this work method minimizes the code, which fulfills the demands. A lot of studies have been conducted in order to decide pros and cons with test-driven development and compare it with other methods. However, no study has been completed with the aim of determining the prerequisites that are needed to conduct test-driven development. The aim of this study is to determine these prerequisites by performing a case study, on a large company from Sweden, in which interviews is the essential part, and a literature study. After the completion of the case study, a list of prerequisites was created based on a comparison between the result from the case study and the literature study. The main point of the list is that the company considers the implementation of test-driven development as an investment. Another important point was to only implement TDD for new projects or for already existing TDD projects. / Fler och fler företag har de senaste åren gått över till testdriven utveckling. Testdriven utveckling går ut på att utvecklare först producerar testfall som misslyckas, för att därefter skriva kod som gör att testfallet lyckas och slutligen städa upp samt radera duplicerad funktionalitet. Detta innebär i teorin att den kod som produceras för att klara kraven är minimerad. Många studier har gjorts för att bestämma för- och nackdelar med testdriven utveckling, samt jämföra det med andra tillvägagångssätt. Däremot har ingen studie undersökt vilka förutsättningar som faktiskt krävs för att man ska kunna bedriva testdriven utveckling. Genom att utföra en fallstudie, på ett större företag från Sverige, innehållandes intervjuer samt en litteraturstudie ämnar uppsatsen bringa klarhet i vilka dessa förutsättningar är. Efter genomförande av intervjuerna och jämförelse av intervjuresultat med litteraturstudien utkristalliserade sig en lista över de förutsättningar som behöver vara uppfyllda för att en organisation, som helhet, ska kunna bedriva testdriven utveckling. Listan viktigaste punkt är att organisationen betraktar en implementering av testdriven utveckling som en investering. En annan viktig punkt var att endast bedriva TDD vid nyutveckling eller vid förvaltning av kod som tidigare utvecklats med TDD.

Användningen av Artificiell Intelligens (AI) har ökat de senaste åren och blivit en del av vardagen, men när det kommer till automatiserade mjukvarutester har AI inte varit aktuellt. Produkten är den viktigaste tillgången för ett företag, av den anledningen bör de garantera att produkten är bra. För att göra detta används kvalitetssäkringar med hjälp av mjukvarutester. Denna process är tidskrävande, kostsam och det är omöjligt att testa produkten i helhet. Om AI kan komplettera automatiserade mjukvarutester kommer företag ha möjligheten att producera bättre och billigare produkter under en kortare tidsperiod. I denna studie undersöktes ämnet AI inom automatiserade mjukvarutester. Syftet med detta var att studera om AI kan förbättra automatiserade mjukvarutester inom svenska företag. För att undersöka detta utfördes intervjuer, denna information jämfördes sedan med den valda litteraturen. Informationen användes sedan för att besvara frågorna: kommer AI förbättra dagens mjukvarutester? Vilka hinder finns till implementering av AI? Vilka algoritmer är bäst anpassade för detta ändamål? Arbetet fördjupar sig i algoritmerna Genetic algorithm (GA), Natural Language Processing(NLP) samt Artificial Neural Network (ANN). Beslutet att använda dessa algoritmer togs för att de var prevalenta i litteraturen. Intervjuerna genomfördes med olika experter inom områdena AI och mjukvarutestning. Detta var för att skapa en kontrast och ge en större bild på användnings-/problemområden. Denna information jämfördes sedan med den tidigare forskningen för att se om några lösningar har tillkommit. I nuläget finns det problem med att införa AI inom mjukvarutestning och några av dessa problem är saknaden av ett optimalt test oracle, träningsdata och testmodeller. Alla algoritmer som undersöktes i detta arbete hade områden de excellerade i. Dock fanns det en algoritm som hade mer användningsområden och det är NLP. Den fungerar bäst i kombination med en djupinlärningsalgoritm som till exempel ANN.

Mjukvarutestning har, sedan introduktionen av datorer, varit föremål för forskning. Idag, när datorer och mikroprocessorer alltmer integreras i produkter som omger oss i vårt dagliga liv, så ökar vikten av effektiv och korrekt mjukvarutestning. Tidigare forskning visar att utforskande testning är en effektiv metod för att upptäcka programvarubuggar. Men, med tids- och resursaspekterna i åtanke finns det andra metoder som kan vara effektivare. En möjlig sådan metod är parvis testning. Litteraturen visar att även denna metod har bra potential för att kunna identifiera programvarubuggar. Det finns dock inte så mycket forskning om jämförelsen av dessa två metoder, vilket är anledningen till att denna studie genomfördes. Denna förklarande fallstudie utvärderar hur utforskande testning presterar jämfört med parvis testning. Aspekter som beaktades i utvärderingsprocessen var antalet upptäckta defekter, allvarlighetsgraden av de hittade defekterna och vilka typer av defekter som hittades. Data samlades in genom undersökningar, intervjuer, deltagande observationer och direkta observationer. Med all denna data som samlats in, drogs slutsatsen att svaret på denna rapports forskningsfrågor är tvetydiga. Det finns fördelar med båda teknikerna, och beroende på förutsättningarna för utforskande testning så kan parvis testning prestera likvärdigt. En sak märktes dock under studien som inte var en del av den ursprungliga omfattningen, och det var styrkan som utforskande testning har som ett läroverktyg. / Software testing has been a subject of research since the introduction of computers. Today, when computers and microprocessors are increasingly integrated into the products surrounding us in our daily lives, the importance of effective and accurate software testing increases. Previous research shows that exploratory testing is an effective method for detecting software bugs. Still, with the time and resource aspects considered, there are other potentially more time and resource-effective methods. One such possible method is the pairwise testing method. The literature also shows that this method is effective for finding software bugs. There is, however, not that much research about the comparison of these two methods, which is why this study was conducted. This explanatory case study evaluates how exploratory testing performs compared with pairwise testing. Aspects considered in the evaluation process were the number of detected defects, the severity distribution of the found defects, and what types of defects were found. The data was collected through surveys, interviews, participant observations, and direct observations. With the data collected, it was concluded that the answers to the research questions of this study are ambiguous. There are benefits with both of the techniques, and depending on the exploratory testing conditions, the pairwise technique can perform comparably as the exploratory testing. However, one thing noticed during the study that was not part of the original scope was the strength of exploratory testing as a learning tool. Lastly, some hypotheses were stated, supported by the collected data.

Mobile applications should work regardless of which type of wireless interface is used, and should be able to conceal unstable connections from the user to improve user experience. Therefore, network testing is important when developing mobile applications, but it is a challenge to reproduce network conditions when using real cellular networks since the test engineer has no control over the quality of the cellular network. Existing software tools can restrict bandwidth and add latency to the connection, but these tools do not accurately emulate cellular networks. This thesis proposes a system where it is possible to shape the network traffic for connected devices to mimic the network patterns of a real cellular connection when running on a WiFi connection. The design presented in this thesis is intended for testing mobile applications under diverse 3G connection parameters, such as latency, bandwidth and other characteristics. This thesis was conducted at Spotify, a company that provides a music streaming service which is a frequent user of network data traffic. The 3G emulator was evaluated using the Spotify Android application by measuring the correlation between packet traces from a real 3G connection and the 3G emulator. This correlation was compared to the correlation between packet traces from a real 3G connection and the current network emulator at Spotify. The evaluation shows that the proposed 3G emulator outperforms the current network emulator when performing tests on the Spotify application for Android. By using this emulator, we expect the network testing to become more effective as any 3G condition can be tested with repeatable results.