Testing has always been an important task in the scope of software quality. Though it has never been as much appreciated within the management of the organisations as the software development has. However testing is becoming more attractive within organisations because it becomes more evident how much money working systems saves in contrast to defect ones. A tester often use testing tools to simplify the work progress. There are a lot of tools nowadays but not many evaluating models which helps the tester to know which one to recommend. This essay tries to approach the problematic area of evaluating testing tools. It will process the testing area with an orientation to high level test and automation. This area is choosen because there is, so far, scarce research and scientific support for test tool evaluation and this problem needs to be attended to. A first step of an evaluating model is presented in this essay, which can evaluate todays testing tools. The model contains criterias from earlier research and praxis with a test tool, Microsoft Test Manager 2012. To get a deeper understanding about which assesment criteria the model should contain, software quality standard ISO/IEC 9126-1, the test process, and Microsoft Test Manager 2012 were used to define those criterias. We also found that some criterias were missing and needed to be added, so our model would fit todays evaluating of test tools.

<p>Syftet med den här rapporten är att undersöka om det finns något testverktyg som uppfyller kraven från Saab Underwater Systems. I rapporten presenteras även en sammanfattning av testningens grunder och metoder för att välja ut och utvärdera datorprogram. Arbetet med att välja ut och utvärdera testverktyg kan ses som en process. Först ska kraven sammanställas och sedan ska några verktyg väljas ut för utvärdering. Två av de tre verktyg som valdes ut utvärderades mer</p><p>ingående. De två testverktyg som utvärderades var LDRA Testbed och AdaTEST 95. LDRA Testbed har väldigt många olika statiska analyser vilket i många fall troligen inte kommer att utnyttjas. Enhetstestningen sker med hjälp av TBrun som är en del av verktygsserien som LDRA marknadsför. AdaTEST 95 har inte lika många funktioner som LDRA Testbed men har de nödvändiga statiska analyserna och enhetstestning presenterade i ett enklare gränssnitt. Båda</p><p>verktygen uppfyller de viktigaste kraven från Saab Underwater Systems, men inget av dem uppfyller alla krav. Båda verktygen skulle kunna underlätta testningen men AdaTEST 95 rekommenderas. AdaTEST 95 är framtaget för att underlätta för i första hand utvecklare och det är utvecklare som ska använda verktyget på Saab Underwater Systems.</p>

Syftet med den här rapporten är att undersöka om det finns något testverktyg som uppfyller kraven från Saab Underwater Systems. I rapporten presenteras även en sammanfattning av testningens grunder och metoder för att välja ut och utvärdera datorprogram. Arbetet med att välja ut och utvärdera testverktyg kan ses som en process. Först ska kraven sammanställas och sedan ska några verktyg väljas ut för utvärdering. Två av de tre verktyg som valdes ut utvärderades mer ingående. De två testverktyg som utvärderades var LDRA Testbed och AdaTEST 95. LDRA Testbed har väldigt många olika statiska analyser vilket i många fall troligen inte kommer att utnyttjas. Enhetstestningen sker med hjälp av TBrun som är en del av verktygsserien som LDRA marknadsför. AdaTEST 95 har inte lika många funktioner som LDRA Testbed men har de nödvändiga statiska analyserna och enhetstestning presenterade i ett enklare gränssnitt. Båda verktygen uppfyller de viktigaste kraven från Saab Underwater Systems, men inget av dem uppfyller alla krav. Båda verktygen skulle kunna underlätta testningen men AdaTEST 95 rekommenderas. AdaTEST 95 är framtaget för att underlätta för i första hand utvecklare och det är utvecklare som ska använda verktyget på Saab Underwater Systems.

Det finns många olika typer av tester som används i skolan för att upptäcka läs- och skrivsvårigheter hos elever. Dessa tester saknar vetenskaplig grund men används ändå i skolan. Detta arbete har därför undersökt två tester, ett screeningtest – Läskedjor-2, och ett kartläggningstest – Kartläggaren. Dessa tester valdes specifikt för att de används i Linköpings kommun. Det är två olika typer av tester som undersöks i den här uppsatsen, men en del av förmågorna som testas är desamma för testerna och därför jämförbara. Materialet har analyserats med hjälp av en kritisk hermeneutisk analysmetod. Metoden är baserad på Phillips &amp; Browns fem steg för kritisk hermeneutisk analys. Med hjälp av analysen blev många skillnader tydliga, men den största skiljelinjen mellan testerna är normeringen av testen och testernas höga respektive låga validitet och reliabilitet.

<p>Dagens biltillverkare tillverkar allt mer avancerade och komplexa elektroniska system i sina fordon. Det finns mellan 40 och 70 elektroniska styrenheter i en bil. Styrenheterna kontrollerar och reglerar allt från komplicerade bränslesystem till sätesuppvärmning. För att hitta elektroniska fel snabbt och säkert är funktionell och enkel diagnos- och testutrustning en bra investering för verkstäderna. Cabeco AB tillverkar och utvecklar diagnos- och testutrustningar. Genom att förnya designen och användarvänligheten och genom undersökning av mer miljövänliga material, utvecklades ett diagnosverktyg, Break-Out-Box. Med hjälp av etablerade produktutvecklingsmetoder togs fyra olika koncept fram. Två koncept valdes ut för fortsatt utveckling och endast ett av koncepten utvecklades fullständigt. En prototyp av den tillverkades. Resultatet av det nya konceptet visar att materialåtgången har minskats, monteringstiden blir betydligt kortare, verktygskostnaderna blir lägre, antalet monteringsoperationer blir färre, vilket sammantaget ger betydligt lägre tillverkningskostnader. Det har också lett till att de viktigaste kundkraven blev uppfyllda.</p>

Dagens biltillverkare tillverkar allt mer avancerade och komplexa elektroniska system i sina fordon. Det finns mellan 40 och 70 elektroniska styrenheter i en bil. Styrenheterna kontrollerar och reglerar allt från komplicerade bränslesystem till sätesuppvärmning. För att hitta elektroniska fel snabbt och säkert är funktionell och enkel diagnos- och testutrustning en bra investering för verkstäderna. Cabeco AB tillverkar och utvecklar diagnos- och testutrustningar. Genom att förnya designen och användarvänligheten och genom undersökning av mer miljövänliga material, utvecklades ett diagnosverktyg, Break-Out-Box. Med hjälp av etablerade produktutvecklingsmetoder togs fyra olika koncept fram. Två koncept valdes ut för fortsatt utveckling och endast ett av koncepten utvecklades fullständigt. En prototyp av den tillverkades. Resultatet av det nya konceptet visar att materialåtgången har minskats, monteringstiden blir betydligt kortare, verktygskostnaderna blir lägre, antalet monteringsoperationer blir färre, vilket sammantaget ger betydligt lägre tillverkningskostnader. Det har också lett till att de viktigaste kundkraven blev uppfyllda.

Software producing companies want to increase their quality and efficiency. They often look at automated test tools as a part of a solution. Not many company&apos;s use test tools, the time it takes to evaluate which test tool that suites the company best costs much in both money and time. The development process within the IT world is so fast, this makes it difficult for any enterprise to put money in a test tool that may be useless within a few years. For a test tool to be valuable for a company it must be used during at least a few years. An automated test takes a lot of time to implement and introduce in the company. To get the whole picture when to automate test we have looked at different test methodologies. Step-by Step Method uses tables and lists to create the test document. Product Life Cycle Method (CPU) describes implementing of software test in the product life cycle. Well-developed test methods can save a lot of time and make it possibly for developers to work effectively. We have also investigated some general information about automated test like cost and when to automate. ATLM (Automated Test Life-Cycle Methodology) is a methodology that is used in order to take the correct decisions such as when to automate or not, (ATLM) is a structured methodology aiming toward ensuring a successful implementation. We have also described some methods of automated tools. The Record/Playback Method is a feature that executes the test manually while the test tool sits in the background and remembers what has happened. It generates a script that can re-execute the test. The Functional Decomposition Method and The Key-Word Driven Method are a data-driven automated testing methodology. That allows developing automated test scripts that are more &quot;generic&quot;. It requires only that the input and the expected results have been updated. In this study we have examined automated test tools offered by Rational, Segue Software Inc and Mercury Interactive to survey the tools on the market. Segue Software Inc is aimed for e-business systems. Rational is a big company and has solutions for all parts in a software project. Mercury Interactive has several test solutions for testing and monitoring business- critical Web applications, and the WinRunner is most complex of the offered tools. / Mjukvaruutvecklande företag vill öka sin kvalité och effektivitet. De tittar ofta på automatiserade testverktyg som en del av lösningen. Inte så många företag använder testverktyg, tiden det tar att utvärdera vilket testverktyg som passar företaget bäst kostar mycket vad gäller både tid och pengar. Utvecklingen i IT världen är snabb, det gör det svårt för vilket företag som helst att lägga pengar på ett testverktyg som kan vara värdelöst om ett par år. För att ett testverktyg ska vara värdefullt för ett företag måste det användas under minst ett par år. Automatiserade testverktyg tar mycket tid att implementera och introducera i ett företag. För att få en helhetsbild när man ska automatisera tester har vi tittat på olika test metoder. Step-by Step metoden använder sig av listor för att skapa testdokument. Product Life Cycle Method (CPU) beskriver implementeringen av test i hela produktutvecklings cykeln. Väl utvecklade testmetoder kan spara mycket tid och gör det möjligt för utvecklarna att jobba mer effektivt. Vi har även undersökt lite mer allmän information om automatiserade test. som kostnaden och när man ska automatisera. ATLM (Automated Test Life-Cycle Methodology) är en metodik som används för att kunna ta de korrekta besluten som när man ska automatisera eller inte, ATLM är en strukturerad metodik som siktar mot att garantera en lyckad implementering. Vi har också beskrivit några metoder av automatiserade testverktyg. Record/Playback metoden är en metod som exekverar testen manuellt medan testverktyget spelar in vad som händer. Det genererar ett script som kan exekvera testet igen. Functional Decomposition metoden och The Key-Word Driven metoden är datadrivna automatiserade testmetodiker. Dessa tillåter automatiserade test script som är mer ?generiska?. De kräver bara ett indata och de förväntade resultaten har blivit uppdaterade. I denna uppsats har vi undersökt automatiserade testverktyg som erbjuds av Rational, Segue Software Inc och Mercury Interactive för att granska verktygen som finns på marknaden. Segue Software Inc siktar på e-handels system. Rational är ett stort företag som har lösningar för alla delar i ett mjukvaru projekt. Mercury Interactive har flera lösningar för testning och kontrollering av affärs kritiska web-applikationer, WinRunner är den mest komplexa av de erbjudna verktygen.

Grafiska användargränssnitt (GUI) utgör en viktig del hos många programvaror. En vanlig verifieringsteknik för programvara är testning, vilket ofta upptar mycket tid inom utvecklingsprojekt.  En ansats till en effektivare testning med högre kvalitet är testautomation. Att automatisera tester för GUI:n är ofta svårt men värdefullt. Ett vanligt problem är att verktyg med otillräcklig funktionalitet införskaffas för automatiseringen, vilket kan bero på bristfälliga utvärderingar. I den här rapporten presenteras kriterier som kan användas vid en utvärdering av automatiserade GUI-testningsverktyg, vilka kan öka chanserna för att rätt verktyg införskaffas. Dessa kriterier har identifierats genom en litteraturstudie och fallstudie. Kriterier för urval av verktyg för utvärdering, selektionskriterier, har kategoriserats enligt ISO/IEC 9126, och utvärderingskriterier utifrån testprocessen. Delar av kriterierna har utvärderats i en fallstudie för två Capture &amp; Replay verktyg. Utifrån fallstudien går det att konstatera att åtminstone delar av kriterierna kan användas, och att de ger värdefull information vid en utvärdering.

Regressionstester är en viktig del under ett utvecklingsprojekts gång. De används för att kontrollera att nya versioner av en befintlig programvara fungerar som förväntat och att inga plötsliga fel har uppstått. Syftet med detta arbete har varit att ta fram utvärderingskriterier för val av ett testverktyg som ska fungera att använda vid regressionstester av webbaserade systems grafiska användarsnitt. Arbetet utfördes genom att använda en kvalitativ metod där litteratur och intervjuer användes som stöd för utformandet av utvärderingskriterierna. De två testverktygen som analyserades i detta arbete var Ranorex och Sencha Test. Analys av resultatet av arbetet påvisar att enbart välja ett testverktyg kommer inte att uppfylla alla de önskemål och krav som finns, utan att det är relevant att kolla på integrerade verktyg som en helhet för att kunna få ut det maximala av testautomatiseringen. Att välja det verktyg som uppfyller flest kriterier är inte heller alltid det lämpligaste, utan de utvärderingskriterier som väger tyngst bör vara i fokus när ett val ska göras. Alla testverktyg har sina egna styrkor och svagheter, valet är beroende på vad som anses vara viktigast i sammanhanget.

Att skapa inkluderande webbupplevelser innebär att användare, oavsett förutsättningar, ska kunna uppfatta, förstå sig på, interagera med och kunna bidra till tjänster på webben. För att arbeta med webbtillgänglighet finns uppsatta standarder för att upptäcka och minimera begränsningar. Trots uppsatta standarder tillhandahåller flertalet myndigheter otillgängliga tjänster, vilket sägs bero på inkompetens och resursbrist. Studiens mål är därmed att bidra med kunskap om automatiserade tillgänglighetstestverktygs effektivitet. Verktygen är implementerade inom och för mjukvaruprocesser och har integrerats med ett End-To-End-testverktyg. Studiens mål uppnås med hjälp av en kvantitativ datainsamling inspirerad av Brajniks definition av effektivitet som mäter verktygens exekveringstid, fullständighet, specificitet och korrekthet. Utifrån mätningar på 4 av World Wide Web Consortiums demonstrationswebbsidor baserat på WCAG 2.1 enligt DIGGs tillsynsmanual visar studien att tillgänglighetstestverktygen Pa11y, QualWeb, IBM Equal Access och Google Lighthouse presterar bättre och sämre inom olika områden. Studien uppmärksammar att QualWeb i genomsnitt har kortast exekveringstid med ca 3933 millisekunder. QualWeb har även högst andel genomsnittlig fullständighet (80,94 %) och specificitet (58,26 %). Det verktyg med högst andel korrekthet är Google Lighthouse (99,02 %). Inget av verktygen anses perfekt eftersom samtliga verktyg gör felbedömningar. Studiens slutsats menar därmed att QualWeb är ett effektivare tillgänglighetstestverktyg som kräver komplettering av ytterligare testningsmetoder såsom manuella och användarcentrala tester. / Creating inclusive web experiences means that users, regardless of their circumstances, should be able to perceive, understand, interact with, and contribute to services on the web. To ensure web accessibility, there are established standards to detect and minimize limitations. However, despite these standards, most authorities provide inaccessible services, due to incompetence and resource constraints. The goal of the study is thus to contribute knowledge about automated accessibility testing tools effectiveness. These tools are implemented within and for software processes and are integrated with an End-To-End testing tool. The study achieves its goals through quantitative data collection inspired by Brajnik’s definition of efficiency, measuring the tools’ execution time, completeness, specificity, and correctness. Based on measurements taken from four of the World Wide Web Consortium’s demonstration websites, following WCAG 2.1 according to DIGG’s supervision manual, the study shows that the accessibility testing tools Pa11y, QualWeb, IBM Equal Access, and Google Lighthouse perform better and worse in different areas. The study highlights that QualWeb has the shortest average execution time at approximately 3933 milliseconds. QualWeb also has the highest average completeness (80.94%) and specificity (58.26%). The tool with the highest correctness rate is Google Lighthouse (99.02%). None of the tools are considered perfect, as all of them make mistakes. The study’s conclusion suggests that QualWeb is a more effective accessibility testing tool that requires additional testing methods such as manual, and user testing.