In this thesis a Markov chain model, which can be used for analysing students’ performance and their academic progress, is developed. Being able to evaluate students progress is useful for any educational system. It gives a better understanding of how students resonates and it can be used as support for important decisions and planning. Such a tool can be helpful for managers of the educational institution to establish a more optimal educational policy, which ensures better position in the educational market. To show that it is reasonable to use a Markov chain model for this purpose, a test for how well data fits such a model is created and used. The test shows that we cannot reject the hypothesis that the data can be fitted to a Markov chain model. / I detta examensarbete utvecklas en Markov-kedjemodell, som kan användas för att analysera studenters prestation och akademiska framsteg. Att kunna utvärdera studenters väg genom studierna är användbart för alla utbildningssystem. Det ger en bättre förståelse för hur studenter resonerar och det kan användas som stöd för viktiga beslut och planering. Ett sådant verktyg kan vara till hjälp för utbildningsinstitutionens chefer att upprätta en mer optimal utbildningspolitik, vilket säkerställer en bättre ställning på utbildningsmarknaden. För att visa att det är rimligt att använda en Markov-kedjemodell för detta ändamål skapas och används ett test för hur väl data passar en sådan modell. Testet visar att vi inte kan avvisa hypotesen att data kan passa en Markov-kedjemodell.

This thesis presents a study on efficient dispatching rules in ambulance dispatching. By efficient dispatching rules, we mean such dispatching rules that lower response times for priority 1 calls while keeping response times for priority 2 calls at an adequate level. A Markov process and a simulation model were developed in order to evaluate the performance of several existing and newly designed dispatching rules. On four different response areas, five different dispatching rules were tested and their performances were compared. Particular focus was put upon the dispatch rule currently used by the Swedish emergency service provider SOS Alarm; the Closest rule. Our findings indicate that the four priority-based dispatching rules all outperform the Closest rule in decreasing the mean response time for calls of priority degree 1. Furthermore, implementing restrictions on the travel time for priority 2 calls was proven an efficient way to control the trade-off between the mean response time of priority 1 and 2 calls. The conclusion was drawn that the possibilities for more efficient ambulance dispatching are many and that SOS Alarm should consider implementing priority-based dispatching rules, alike the ones presented in this thesis, in their dispatching process. A study of the ambulance operator and controller profession, and the operator’s and controller’s interplay with the decision support system used by SOS Alarm in the ambulance dispatching process, was conducted in parallel. The properties of the interaction dynamics between operator and automation and the dangers linked to it were mapped out, described and analyzed. / Denna kandidatexamensuppsats behandlar effektiva dirigeringsstrategier inom ambulansdirigering. Effektiva dirigeringsstrategier åsyftar dirigeringsstrategier som lyckas sänka svarstiden för inkommande prioritet 1-samtal, samtidigt som svarstiden för prioritet 2-samtal hålls på en tillfredsställande nivå. I syfte att utvärdera olika dirigeringsstrategier utvecklades både en Markovsk modell och en simuleringsmodell. På fyra olika geografiska områden testades och jämfördes. Fem olika dirigeringsstrategier, varav två existerande och tre nyutvecklade. Särskilt fokus riktades mot Closest rule, vilket är den dirigeringsstrategi som används i SOS Alarms verksamhet idag. Från resultaten kunde utläsas att de prioritets-baserade dirigeringsstrategierna resulterade i en lägre genomsnittlig svarstid för prioritet 1-fall än Closest rule. Dessutom konstaterades det att en begränsning av svarstiderna för prioritet 2-samtal var ett effektivt sätt att kontrollera balansen mellan de genomsnittliga svarstiderna för samtal av prioritet 1, respektive 2. Slutsatsen drogs att möjligheterna för att utveckla nya effektiva dirigeringsstrategier är många och att SOS Alarm bör överväga att implementera prioritetsbaserade dirigeringsstrategier likt dem som presenterats i denna uppsats. Parallellt studerades ambulansoperatörens och -dirigentens yrkeskunnande, samt operatörens och dirigentens samspel med det beslutsstödssystem som används i SOS Alarms dirigeringsverksamhet. Interaktionen mellan operatör och automatisering samt de relaterade riskerna kartlades, beskrevs och analyserades.

Emergency departments are fundamental for providing high-quality care, and their operations directly impact the logistics of the hospitals in their entirety. Poor emergency department performance leads to delays, prolonged hospitalization, and improper allocation of resources, reducing the quality of the provided care and increasing costs. Describing the variability embedded in real clinical data in a useful way is essential for improving the organization of hospitals in the near future. However, it is a challenging task due to clinical complexity and the lack of an established bridge between logistic systems and the clinical insights of the hospital. Therefore, this work aims to design and implement a simplified process model describing patient flow within an emergency department, which could allow the evaluation of the clinical impact of complex patient characteristics on the system's logistics. To achieve this, a novel nonlinear mixed-effects approach with hospital medical records was applied to design patient flow within the emergency department in the form of a multi-state Markov process. Four independent training data samples were extracted from the main dataset. For each of them, the set of covariates that could lead to the most significant improvement in the values of the employed likelihood indicators was selected. Through statistical tests, analysis of the outputs, and a validation process carried out on a fifth and independent dataset, it was possible to obtain a final model containing the most relevant and significant covariates for describing each of the modeled state transitions and confirming their clinical meaningfulness and relevance. The results achieved in this thesis can lead to future improvement of the healthcare logistics systems by extending the use of nonlinear mixed-effects approaches to the estimation of the covariate impact on emergency department flows. / Akutmottagningar är centrala för att tillhandahålla högkvalitativ vård. Deras verksamhet har en direkt inverkan på sjukhusens logistik i helhet. Undermålig prestation i en akutmottagning leder till förseningar, förlängd sjukhusvistelse för patienter och olämpliga resursfördelningar, som i sin tur försämrar kvaliteten på den erbjudna vården, samt ökar kostnader. Därför är det viktigt att beskriva den variabilitet som är inbäddad i kliniskt data för att kunna förbättra strukturen av sjukhus i den närmaste framtiden. Emellertid är det ett utmanande uppdrag på grund av den kliniska komplexiteten och bristen på en etablerad bro mellan logistiska system och insikter om den kliniska situationen på sjukhuset. Detta examensarbete ämnar därför designa och implementera en förenklad processmodel som beskriver patientflödet inom en akutmottagning, vilket skulle kunna tillåta evaluering av vad för klinisk inverkan patienters komplexa egenskaper har på systemets logistik. För att uppnå detta tillämpades ett nytt icke-linjärt tillvägagångssätt för blandade effekter med patientjournaler, med syfte att designa patientflöde inom akutmottagningen i form av en Markovprocess i flera tillstånd. Fyra oberoende urvalsgrupper med övningsdata extraherades från huvuddatasetet och för var och en av dem valdes den uppsättning kovariat som hade möjlighet att leda till den största förbättringen i de applicerade sannolikhetsindikatorerna. Genom statistiska test, analys av uteffekten och en valideringsprocess utförd på en femte oberoende urvalsgrupp, möjliggjordes framtagandet av en slutgiltig modell innehållande de mest relevanta och signifikanta kovariat för att beskriva var och en av de modellerade tillståndsövergångarna, och bekräfta dess kliniska betydelse och relevans. De resultat som uppnåddes i det här examensarbetet har potential att i framtiden leda till förbättring av sjukvårdens logistiksystem, genom att utvidga användningen av icke-linjära blandade effektmodeller för att uppskatta kovariatinverkan på akutmottagningsflöden.

Remote Electrical Tilt (RET) is a method for configuring antenna downtilt in base stations to optimize mobile network performance. Reinforcement Learning (RL) is an approach to automating the process by letting an agent learn an optimal control strategy and adapt to the dynamic environment. Applying RL in real world comes with challenges, for the RET problem there are performance requirements and partial observability of the system through exogenous factors inducing noise in observations. This thesis proposes a solution method through modeling the problem by a Partially Observable Markov Decision Process (POMDP). The set of hidden states are modeled as a high- level representation of situations requiring one of the possible actions uptilt, downtilt, no change. From this model, a Bayesian Neural Network (BNN) is trained to predict an observation model, relating observed Key Performance Indicators (KPIs) to the hidden states. The observation model is used for estimating belief state probabilities of each hidden state, from which decision of control action is made through a restrictive threshold policy. Experiments comparing the method to a baseline Deep Q- network (DQN) agent shows the method able to reach the same average performance increase as the baseline while outperforming the baseline in two metrics important for robust and safe control behaviour, the worst- case minimum reward increase and the average reward increase per number of tilt actions. / Fjärrstyrning av Elektrisk Lutning (FEL) är en metod för att reglera lutningen av antenner i basstationer för att optimera presentandan i ett mobilnätverk. Förstärkande Inlärning (FI) används som metod för att automatisera processen genom att låta en agent lära sig en optimal strategi för reglering och anpassa sig till den dynamiska miljön. Att tillämpa FI i ett verkligt scenario innebär utmaningar, för FEL specifikt finns det krav på en viss nivå av prestanda samt endast en delvis observerbarhet av systemet på grund av externa faktorer som orsakar brus i observationerna. I detta arbete föreslås en metod för att hantera detta genom att modellera problemet som en Delvis Observerbar Markovprocess (DOM). De dolda tillstånden modelleras för att representera situationer där var och en av de möjliga aktionerna behövs, det vill säga att luta antennen upp, ner eller inte ändra på lutningen. Utifrån denna modellering så tränas ett Bayesiskt Neuralt Nätverk (BNN) för att estimera en observationsmodel som kopplar observerade nyckeltal till de dolda tillstånden. Denna observationsmodel används för att estimera sannolikheten att vardera dolt tillstånd är det rätta. Utifrån dessa sannolikheter så görs valet av aktion genom ett tröskelvärde på sannolikheterna. Genom experiment som jämför metoden med en standardimplementering av en agent baserad på ett Djupt Qnätverk (DQN) visas att metoden har samma prestation när det kommer till en medelnivå på prestandaökning i nätverket. Metoden överträffar dock standardmetoden i två andra mätvärden som är viktiga ur aspekten säker och robust reglering, minimumvärdet på prestandaökningen samt medelökningen av prestandan per antal up- och nerlutningar som används.