Alla kommer dagligen i kontakt med prestanda. Vare sig det är att köra bil eller att starta sin TV i hemmet så finns det prestanda i dessa av en viss mängd vilket resulterar i hur snabbt bilen accelererar och hur mycket den orkar med, eller hur snabbt TV:n startar och byter kanal. Detta är två olika scenarion där de flesta troligtvis bryr sig mer om bilscenariot. Detta kan dock förändras helt plötsligt när det tar tio sekunder att byta kanal på sin TV. Man kan då säga att prestanda inte prioriterats och att kunden då blir lidande. Utifrån dessa scenarion kan man se hur viktigt prestanda kan vara, även i vardagliga situationer som vi inte ens reflekterar över. Det är just detta som vi vill belysa och hjälpa till med i denna undersökning - att identifiera hur man kan säkerställa att sina applikationer uppfyller prestandakrav. I undersökningen har vi tillämpat aktionsforskning och utgått ifrån aktuella teorier inom testning genom en litteraturstudie av vetenskapliga artiklar inom ämnet såväl som facklitteratur. För att vidare verifiera detta så genomfördes även en intervjustudie hos Transportstyrelsen. Vi har i undersökningen identifierat att det finns ett tydligt behov i många applikationer av just prestandatester. Andra viktiga saker som framkommit är att det kan vara svårt att genomföra prestandatester på ett tillräckligt omfattande sätt och att det kräver tillgång till automatiserade verktyg för att underlätta testningen. Studien har resulterat i riktlinjer för vilka prestandatester som bör utföras, vem som bör utföra dessa, när de bör genomföras, vilket verktyg som kan användas och sist varför man bör göra just dessa. Genom att följa dessa riktlinjer så kan man motivera sin prestandatestning för projekten samt avgöra utifrån dessa om prestandatestning bör genomföras i ett specifikt projekt.

Background: A real-time system operates with time constraints, and its correctness depends upon the time on which results are generated. Different industries use different types of real-time systems such as telecommunication, air traffic control systems, generation of power, and spacecraft system. There is a category of real-time systems that are required to handle millions of users and operations at the same time; those systems are called large scale real-time systems. In the telecommunication sector, many real-time systems are large scale, as they need to handle millions of users and resources in parallel. Performance is an essential aspect of this type of system; unpredictable behavior queue cost millions of dollars for telecom operators in a matter of seconds. The problem is that existing models for performance analysis of these types of systems are not cost-effective and require lots of knowledge to deploy. In this context, we have developed a performance simulator tool that is based on the XgBoost, Random Forest, and Decision Tree modeling. Objectives: The thesis aims to develop a cost-effective approach to support the analysis of the performance of large-scale real-time telecommunication systems. The idea is to develop and implement a solution to simulate the telecommunication system using some of the most promising identified factors that affect the performance of the system. Methods: We have performed an improvement case study in Ericsson. The identification of performance factors is found through a dataset generated in a performance testing session, the investigation conducted on the same system, and unstructured interviews with the system experts. The approach was selected through a literature review. Validation of the Performance Simulator performed through static analysis and user feedback received from the questionnaire. Results: The results show that Performance Simulator could be helpful to performance analysis of large-scale real-time telecommunication systems. Performance Simulator ability to endorse performance analysis of other real-time systems is a collection of multiple opinions. Conclusions: The developed and validated approach demonstrates potential usefulness in performance analysis and can benefit significantly from further enhancements. The specific amount of data used for training might impact the generalization of the research on other real-time systems. In the future, this study can establish with more numbers of input on real-time systems on a large scale.

With the development of service digitalization and the increased adoption of web services, modern large-scale software systems often need to support a large volume of concurrent transactions. Therefore, performance testing focused on evaluating the performance of systems under workload has gained greater attention in current software development. Although there are many performance testing tools available for providing assistance in load generation, there is a lack of a systematic evaluation process to provide guidance and parameters for tool selection for a specific domain. Focusing on business operations as the specific domain and the Nasdaq Central Securities Depository (NCSD) system as an example of large-scale software systems, this thesis explores opportunities and challenges of existing open- source performance testing tools as measured by usability and feasibility metrics. The thesis presents an approach to evaluate performance testing tools concerning requirements from the business domain and the system under test. This approach consists of a user study conducted with four quality assurance experts discussing general performance metrics and specific analytical needs. The outcome of the user study provided the assessment metrics for a comparative experimental evaluation of three open-source performance testing tools (JMeter, Locust, and Gatling) with a realistic test scenario. These three tools were evaluated in terms of their affordance and limitations in presenting analytical details of performance metrics, efficiency of load generation, and ability to implement realistic load models. The research shows that the user study with potential tool users provided a clear direction when evaluating the usability of the three tools. Additionally, the realistic test case was sufficient to reveal each tool’s capability to achieve the same scale of performance as the Nasdaq’s in-house testing tool OMEXUS and provide additional value with realistic simulation of user population and user behavior during performance testing with regard to the specified requirements. / Med utvecklingen av tjänste-digitalisering och ökad användning av webbtjänster behöver moderna storskaliga mjukvarusystem ofta stödja en stor mängd samtidiga transaktioner. Prestandatestning med fokus på att utvärdera prestanda för system under arbetsbelastning har därför fått större uppmärksamhet i den aktuella programvaru utvecklingen. Även om det finns många verktyg för prestandatestning tillgängliga för att ge hjälp i belastnings generering, saknas det en systematisk utvärderingsprocess för att ge vägledning och parametrar för verktygsval för en viss domän. Med fokus på affärsverksamhet som den specifika domänen och Nasdaq Central Securities Depository (NCSD) -systemet, som ett exempel på storskaliga mjukvarusystem, utforskar denna avhandling möjligheter och utmaningar med befintliga verktyg för prestandatestning med öppen källkod mätt med användbarhets- och genomförbarhet mått. Avhandlingen presenterar ett tillvägagångssätt för att utvärdera prestandatestverktyg avseende krav från företagsdomänen och det system som testas. Detta tillvägagångssätt består av en användarstudie utförd med fyra kvalitetssäkringsexperter som diskuterar allmänna prestandamått och specifika analytiska behov. Resultatet av användarstudien gav bedömningsmåtten för en jämförande experimentell utvärdering av tre verktyg för prestandatestning med öppen källkod (JMeter, Locust och Gatling) med ett realistiskt testscenario. Dessa tre verktyg utvärderades i termer av deras överkomlighet och begränsningar när det gäller att presentera analytiska detaljer om prestandamått, effektiviteten i lastgenereringen och förmågan att implementera realistiska belastningsmodeller. Forskningen visar att användarstudien med potentiella verktygsanvändare gav en tydlig riktning vid utvärdering av användbarheten av de tre verktygen. Dessutom var det realistiska testfallet tillräckligt för att avslöja varje verktygs förmåga att uppnå samma skala av prestanda som Nasdaqs interna testverktyg OMEXUS och ge ytterligare värde med realistisk simulering av användarpopulation och användarbeteende under prestandatestning med avseende på de angivna kraven.