Today there are many system development projects that break both budget and time plan. Often this depends on defects in the information systems that could have been prevented. The cost of test can in some cases be as high as 50 % of the projects total cost and it's at the same time an important part of development. Test as such has moved its focus from the software it self and its faults to a wider perspective on whole infrastructures of information systems where assure a good quality is important. Sogeti in the Netherlands have developed a test method called TMap (Test Management approach) that can be used for structured testing of information systems. TMap haven't been used as much as desired in the office in Borlänge. Because Microsoft is releasing a new version of their platform Visual Studio Team System (VSTS 2010) some colleges at Sogeti in the Netherlands are about to develop a template that can support the use of TMap in VSTS 2010. When we write this the template is still in development. The goal for Sogeti was to find out the differences between the test functionality in VSTS 2008 and 2010. By using the purpose with this essay, which was to analyze the test process in VSTS 2008 with TMap against the test process in VSTS 2010 together with the template we got much help to achieve the goal. The analysis was done with four different aspects: The TPI and TMMi models, problem and strength analyses and a few question formulations. The TPI and TMMi models where used to analyses and evaluate the test process. The analysis showed that there were differences between the both test processes. VSTS 2010 together with the template gave a better support to use TMap and perform test. In VSTS 2010 the test tool Camano is connected to TFS and the tool is also to make the execution and logging of tests easier. This leads to a test process that is easier to handle and has a better support for TMap.

Att korrigera fel inom ett system är en kritisk punkt för företag. Om det levereras en produkt med brister och buggar som sänker produktens kvalitet får företaget missnöjda kunder och tuffare konkurrens. Att låta företag utgå ifrån en testmodell med en fungerande testprocess gör det möjligt för företag att hitta och korrigera svagheter inom testprocessen för att minska antalet fel inom systemet hos företagen. Denna studie fokuserar kring uppdragsgivaren MoreFlo AB’s testprocess. Syftet med denna kandidatuppsats inom informatik är att stödja företaget i att förbättra sin testprocess och strukturera sina tester på komponentnivå. Detta gjordes med hjälp av en enkätundersökning baserat på en utvärderingsmetod från en tidigare studie vilket ska prövas för denna studien. Resultatet av denna studie är en uppdaterad testprocess vilket ska korrigera de svagheter som upptäcktes inom uppdragsgivarens testprocess. Denna nya testprocess ger testarna en tydligare och strukturerad testmodell vilket kommer gynna företaget när det kommer till systemkorrigering.

SammanfattningCybercoms testcenter i Malmö testar Sony mobiler och utför Android CTS- och GTS-tester. Innan testningen av mobilerna måste testpersonalen konfigurera mobilerna för att testningen skall kunna utföras på ett korrekt sätt. Genomförandet av dessa konfigureringar är tidskrävande eftersom de görs manuellt. Denna rapport beskriver konstruktionen av en tidseffektiv testinställning för Sony mobiltelefoner avsett för internt bruk av företaget Cybercom.Testinställningen består huvudsakligen av en Android-applikation som installeras på mobilen som skall testas med hjälp av en NFC-tagg.Med applikationen kan testarna automatisera ungefär hälften av konfigureringarna sommåste göras. Resterande konfigureringar är fortfarande manuella, men betydligt lättare att utföra med applikationen. Genom testsystemet har tiden för konfigurering av mobilerna halverats. Enligt våra beräkningar sparas ungefär 1.5 min per enhet, vilket medför en ökning i produktiviteten för företaget. / AbstractCybercom’s testcenter in Malmö is testing Sony mobile devices and carry out Android CTS and GTS tests. The testers must configure the mobile handsets correctly before they start running the tests. The implementation of these configurations is time-consuming because they are being made manually. This report is about constructing an effective test setup for Sony mobile phones, intended for internal by the company Cybercom.The test setup will mainly consist of an Android application that will be installed on the smartphone to be tested, with the help of a NFC-tag.The application allows the testers to automate approximately half of the configurations carried out on the smartphone. The remaining configurations are still manual, but much easier to configure with our simplifications. With the help of the test setup, the time for configurations to be installed on the smartphones has decreased by half. According to our calculations the testers save about 1.5 min per unit, which results in an increase in productivity for the company.

Antal studenter som tar programmeringskurser på universitet och högskolor ökar kraftigt och kräver mycket resurser vilket gör kurserna nästintill omöjliga att bedriva utan att öka antalet lärare. Genom att introducera automatisering i dessa kurser, speciellt vid bedöm- ning, är det möjligt att upprätthålla kvalitén i dessa kurser. Därav är syftet med denna studie att konstruera, implementera och utvärdera ett bedömningssystem för att ta reda på för- och nackdelar med användningen av bedömningssystem i programmeringskurser. Resultatet från studien visar att fördelarna med ett bedömningssystem är direkt återkopp- ling, tillgänglighet och förmågan att verifiera korrektheten av studenters program bättre än vad en lärare kan. Resultatet visar att nackdelarna med ett bedömningssystem är att det innebär ökade krav på välutformade uppgifter och testfall samt svårighet att bedöma kvalitativa aspekter i studenters program. / Number of students that take programming courses at universities is increasing rapidly and requires a lot of resources which makes the courses almost impossible to conduct without increasing the number of teachers. By introducing automation in these courses, especially in the assessment part, it is possible to maintain the quality of these courses. Hence, the aim of this study is to design, implement and evaluate an assessment system to find out the benefits and drawbacks of the use of an assessment systems in programming courses. The results of the study shows that the benefits of an assessment system is direct feedback, its availability and its ability to verify the correctness of students programs better than a teacher. The result shows that the drawbacks of an assessment system is the required increased effort of designing well-designed tasks and test cases, as well as the systems inability to assess the qualitative aspects of the students programs.

At present, there are different Electronic Identity (eID) systems utilized in EU, resulting in difficulties to carry eID information and transfer eID data of e-learning systems from one EU country to another. A project entitled Secure idenTity acrOss boRders linKed (STORK) was launched to address this problem, by installing a Pan European Proxy Service (PEPS) server. Currently, Logica, a Swedish company, cooperates with Department of Computer and Systems Sciences (DSV) to implement the PEPS at DSV. This thesis aims to build various testing cases for the PEPS server installed at DSV. The PEPS is well-developed and separate packages working together with the Service Provider (SP) and Identity Provider (IDP) to implement its respective functionalities. The tests performed on PEPS are used to test the whole PEPS infrastructure: SP, PEPS and IDP, that is, the communication between these packages. The purpose of implementation of PEPS is to support the Ilearn@DSV to connect with STORK. Hence, the SP in this thesis is Ilearn@DSV system embedded with SP package. This thesis first introduces the background of eID, e-learning and the e-learning system Ilearn@DSV. Then, it describes the test hierarchy and test requirements, and completes data collection step. The details of various test cases are provided for the predetermined test items in test plans. Test plans and test cases must abide by the IEEE test format and meet the IEEE Standard 829-2008. Finally, test cases are validated against depth, breadth and effectiveness. / För närvarande finns det olika elektroniska identitetssystem (eID) som används inom EU, vilket resulterar i svårigheter att använda eID-information och överföra e-lärande systems eID-data från ett EU-land till annat. Projektet Secure idenTity acrOss boRders linKed (STORK) lanserades för att lösa detta problem, genom att installera en Pan European Proxy Service (PEPS)-server. Nu samarbetar Logica, ett svenskt företag, med Institutionen för data- och systemvetenskap (DSV) för att implementera PEPS på DSV. Detta examensarbete syftar till att bygga olika testfall för PEPS-servern installerad hos DSV. PEPS är välutvecklat och separata paket som arbetar tillsammans med Service Provider (SP) och Identity Provider (IDP) för att implementera respektiv funktioner. Testerna som utförs på PEPS används för att testa hela PEPS-infrastrukturen: SP, PEPS och IDP, det vill säga kommunikationen mellan dessa paket. Syftet med implementeringen av PEPS är att stödja Ilearn@DSV för att få kontakt med STORK. Därför är SP i detta examensarbete Ilearn@DSV-systemet inbyggt i SP-paket. Detta examensarbete först introducerar bakgrunden till eID, e-learning och e-learning-systemet Ilearn@DSV. Sedan beskriver den testhierarkin och testkraven och slutför datainsamlingssteget. Detaljerna för olika testfall tillhandahålls för de förutbestämda testobjekten i testplanerna. Testplaner och testfall får följa IEEE-testformatet och uppfylla IEEE Standard 829-2008. Slutligen valideras testfall mot djup, bredd och effektivitet.

Developing software without considering the potential changes it mighthave to undergo in the future can be a costly mistake. This is becauseits maintenance costs can become very expensive as they can consumeover 90% of the total life-cycle costs. Incorporating maintainability insoftware has for this reason become highly attractive since it can significantlyreduce the maintenance costs and therefore save companies andsoftware developers a fortune. This thesis presents a software tool thathas been developed to aid Bombardier in the verification of computerbasedinterlocking (CBI) systems. The tool automatically generates testcases which represent the different tests that verify the interlocking system.The paper is divided into two parts. The first part focuses on themaintainability of the tool while the second part investigates whetherthe tool can speed up the testing process of CBI-systems at Bombardier.The results show that the tool is highly maintainable and that tests onCBI-systems can be performed significantly faster with it. / Att utveckla mjukvara utan hänsyn till de eventuella förändringar somden måste genomgå i framtiden kan bli ett kostsamt misstag. Dettaberor på att dess underhållskostnader kan bli mycket dyra eftersom dekan konsumera över 90% av de totala kostnaderna. Det har därför blivitväldigt attraktivt att lägga fokus på underhållbarhet när man utvecklarmjukvara eftersom det kan avsevärt minska underhållskostnadernaoch därmed spara mjukvaruutvecklare och företag en förmögenhet. Idenna uppsats presenteras ett verktyg som har utvecklats för att hjälpaBombardier med verifiering av datorställverk. Verktyget automatisktgenererar testfall som representerar de olika testen som verifierar ställverket.Uppsatsen är uppdelad i två delar. Den första delen fokuserarpå verktygets underhållbarhet medan den andra delen undersöker omverktyget kan påskynda testprocessen för datorställverk på Bombardier.Resultaten visar att verktyget är väldigt underhållbart och att

Modern-day vehicles consist of numerous electronic computing devices with accompanying software. Since vehicles are generally classified as safety-critical systems, rigorous testing strategies have to be deployed to ensure correct operation of the embedded software. Testing in an active sense is understood to be the main testing method for software in general. The main characteristic of active testing is that test cases have complete control over the system under test, warranting sequential execution of test cases. To complement active testing a method called passive testing is being researched, where the main benefit compared to active testing is that the evaluation of test cases becomes parallelizable. As passive testing opens up for concurrency, the issue of not recognizing faulty behavior arises. This could be the case when simultaneously testing functions which share an output, and the incorrect behavior of a function is being masked by the correct behavior of another function. To avoid vacuous test results, the evaluation of dependent test cases can be separated. Previous work describes the process of extracting dependencies between test cases from requirement specifications. However, this approach is not suitable when test cases are derived from various artifacts. In this thesis we present a syntax-based approach for dependency discovery between test cases. The approach was evaluated through a case study using integration test cases developed for active hardware-in-the-loop testing at Scania CV. Dependencies between 946 test cases have been extracted and the test cases were grouped into three categories, with 286 test cases being identified as independent. The approach shows some potential for evaluating test cases written for active testing, but the results indicate that using test cases written specifically for passive testing may yield better results. The approach also proved to be useful for finding bugs and deviations in scripts. Thus, the method has proven useful for discovering dependencies from syntax, but the results are strongly dependent on the complexity and commonality of the scripts. / Moderna fordon innehåller åtskilliga elektroniska kontrollenheter med medföljande programvara. Eftersom fordon ofta anses vara säkerhetskritiska system krävs robusta teststrategier av den inbyggda mjukvaran för att säkerställa korrekt drift. Aktiv testning är för nuvarande den vanligaste metoden för att testa mjukvara. Den huvudsakliga egenskapen för aktiv testning är att testfall har total kontroll över systemet som är satt under test, vilket medför sekventiell utvärdering av testfall. För att komplettera aktiv testning undersöks en metod som kallas passiv testning, där den största fördelen gentemot aktiv testning är att utvärderingen av testfall kan ske parallellt. Att utvärdera testfall samtidigt medför dock att felaktigt beteende i mjukvaran potentiellt kan maskeras. Detta kan ske då flera funktioner delar utsignaler, och en funktions felaktiga beteende maskeras av en annan funktions korrekta beteende. För att undvika tomma sanningar som testresultat, kan utvärderingen av testfall som har ett beroende mellan dem separeras. Föregående arbeten inom området beskriver processen för att extrahera beroenden mellan testfall från kravspecifikationer. Denna metod är dock inte lämplig när testfall är baserade på flera olika artefakter. I detta examensarbete presenterar vi en syntaxbaserad metod för att hitta beroenden mellan testfall. Metoden utvärderades genom en fallstudie på Scania CV, där aktiva integrationstestfall för hardware-in-the-loop användes för analys. Beroenden mellan 946 testfall kunde extraheras och testfallen grupperades i tre olika kategorier, där 286 klassificerades som oberoende. Metoden visar potential för att analysera testfall skrivna för aktiv testning, men resultaten indikerar att testfall skrivna specifikt för passiv testning kan generera ett bättre resultat. Ett oväntat men positivt utfall är att metoden i viss grad kan användas för att hitta buggar och avvikelser i skript. Således har metoden visats användbar för att hitta beroenden från syntax, men resultatet beror starkt på skriptens komplexitet och gemensamhet.

Det mobila operativsystemet Android är idag ett ganska dominerande operativsystem på den mobila marknaden dels på grund av sin öppenhet men också på grund av att tillgängligheten är stor i och med både billiga och dyra telefoner finns att tillgå. Men idag har Android inget fördefinierat designmönster vilket leder till att varje utvecklare får bestämma själv vad som ska användas, vilket ibland kan leda till onödigt komplex kod i applikationerna som sen blir svårtestad och svårhanterlig. Detta arbete ämnar jämföra två designmönster, Passive Model View Controller (PMVC) och Model View View-Model (MVVM), för att se vilket designmönster som blir minst komplext med hjälp av att räkna fram mätvärden med hjälp av Cyclomatic Complexity Number (CCN). Studien är gjord utifrån arbetssättet Design & Creation och ämnar bidra med: kunskap om vilket mönster man bör välja, samt om CCN kan peka ut vilka delar i en applikation som kommer att ta mer eller mindre lång tid att testa. Under studiens gång tog vi även fram skillnader på om man anväder sig av den så kallade Single Responsibilyt Principle (SRP) eller inte. Detta för att se om separerade vyer gör någon skillnad i applikationernas komplexitet. I slutändan så visar studien på att komplexiteten i små applikationer är väldigt likvärdig, men att man även på små applikationer kan se skillnad på hur komplex koden är men också att kodkomplexitet på metodnivå kan ge riktlinjer för testfall. / Today the mobile operating system Android has a firm grip on the mobile market due to its open source code and the availability due to the variety of phones available, from very cheap models to the high-end exclusive ones. However, Android currently has no defined design pattern which causes a bit of a problem during the initial stages of development because the developer has to make that decision before the initial development starts. This sometimes causes excessive complexity in the finished application, which then becomes difficult to test and manage. In this report we compare the two design patterns Passive Model View Controller (PMVC) and Model View View-Model (MVVM) to decide which one is the least complex. For this we used so called metrics to show the complexity of the finished applications. The metrics were calculated using the existing library of functions called Cyclomatic Complexity Numbers (CCN). The study is based on the workflow Design & creation and aim to contribute with: knowledge that will make it easier to choose design pattern when developing an Android application, and if you can with CCN point out which areas in an application will take more or less time to conduct tests on. During the study we also analyzed how big of an impact the Single Responsibility Principle (SRP) had on the complexity. This was part of the study so that we could see the difference of separated views versus non-separated views. The study shows us that the complexity in small applications is very similar, no matter which design pattern you're using. However, it also shows that there are certain parts of the applications that are diverse in their complexity and that code complexity on method-level can give directions to test cases.

A modern truck contains a large number of functionalities implemented in its electronics system. Thus, testing all of these functions employs a considerable effort. The execution of tests against the system has been automated for a long time. Unfortunately, most of the test is still designed manually these days. This manual test design is sometimes not comprehensive enough to cover all possible scenarios within a complex system. At the moment, there is also a growing trend in the development process based on the model. Furthermore, model-based software can handle events and signal behaviour more robustly[1]. This thesis investigates the technique in model-based testing. The study evaluates the requirement modelling and automated abstract test generation of model-based testing over the existing testing method. A cause-effect graph is utilized for the modelling in Matlab Simulink tool with DesignVerifier feature. The case study is the truck dosing system in Scania. The results are the following. The temporal and static requirements modelling are capable of being modelled using the cause-effect graph in Matlab Simulink. Compared to the traditional method, the MBT method can achieve higher requirement coverage and more rigorous test with optimized test case generation. The MBT method also has a rapid test case generation time suitable for quick design iteration. However, the total test development time (including test case generation time) of using MBT is 12.5% higher than the manual method. Using a model-based platform like Matlab Simulink is recommended to assist the manual testing, not to replace the test flow entirely with the current research state. / En modern truck innehåller ett stort antal funktioner implementerade i dess elektroniksystem. Att testa alla dessa funktioner kräver därför en avsevärd ansträngning. Utförandet av tester mot systemet har varit automatiserat under lång tid. Tyvärr är det mesta av testet fortfarande utformat manuellt nu för tiden. Denna manuella testdesign är ibland inte tillräckligt omfattande för att täcka alla möjliga scenarier inom ett komplext system. För tillfället finns det också en växande trend i utvecklingsprocessen utifrån modellen. Dessutom kan modellbaserad programvara hantera händelser och signalbeteende mer robust[1]. Detta examensarbete undersöker tekniken i modellbaserad testning. Studien utvärderar kravmodellering och automatiserad abstrakt testgenerering av modellbaserad testning över den befintliga testmetoden. En cause-effect graph används för modelleringen i Matlab Simulink-verktyget med Design Verifier-funktionen. Fallstudien är lastbilens doseringssystem i Scania. Resultaten är följande. Den tidsmässiga och statiska kravmodelleringen kan modelleras med hjälp av cause-effect graph i Matlab Simulink. Jämfört med den traditionella metoden kan MBT-metoden uppnå högre kravtäckning och mer rigorösa test med optimerad testfallsgenerering. MBT-metoden har också en snabb genereringstid för testfall som är lämplig för snabb designiteration. Den totala testutvecklingstiden (inklusive genereringstid för testfall) för att använda MBT är 12,5% högre än den manuella metoden. Att använda en modellbaserad plattform som Matlab Simulink rekommenderas för att underlätta den manuella testningen, inte för att ersätta testflödet helt med det aktuella forskningsläget.