There are several tools and models found in machine learning that can be used to forecast a certain time series; however, it is not always clear which model is appropriate for selection, as different models are suited for different types of data, and domain-specific transformations and considerations are usually required. This research aims to examine the issue by modeling four types of machine- and deep learning algorithms - support vector machine, random forest, feed-forward neural network, and a LSTM neural network - on a high-variance, multivariate time series to forecast trend changes one time step in the future, accounting for lag.The models were trained on clinical trial data of patients in an alcohol addiction treatment plan provided by a Uppsala-based company. The results showed moderate performance differences, with a concern that the models were performing a random walk or naive forecast. Further analysis was able to prove that at least one model, the feed-forward neural network, was not undergoing this and was able to make meaningful forecasts one time step into the future. In addition, the research also examined the effec tof optimization processes by comparing a grid search, a random search, and a Bayesian optimization process. In all cases, the grid search found the lowest minima, though its slow runtimes were consistently beaten by Bayesian optimization, which contained only slightly lower performances than the grid search. / Det finns flera verktyg och modeller inom maskininlärning som kan användas för att utföra tidsserieprognoser, men det är sällan tydligt vilken modell som är lämplig vid val, då olika modeller är anpassade för olika sorts data. Denna forskning har som mål att undersöka problemet genom att träna fyra modeller - support vector machine, random forest, ett neuralt nätverk, och ett LSTM-nätverk - på en flervariabelstidserie med hög varians för att förutse trendskillnader ett tidssteg framåt i tiden, kontrollerat för tidsfördröjning. Modellerna var tränade på klinisk prövningsdata från patienter som deltog i en alkoholberoendesbehandlingsplan av ett Uppsalabaserat företag. Resultatet visade vissa moderata prestandaskillnader, och en oro fanns att modellerna utförde en random walk-prognos. I analysen upptäcktes det dock att den ena neurala nätverksmodellen inte gjorde en sådan prognos, utan utförde istället meningsfulla prediktioner. Forskningen undersökte även effekten av optimiseringsprocesser genomatt jämföra en grid search, random search, och Bayesisk optimisering. I alla fall hittade grid search lägsta minimumpunkten, men dess långsamma körtider blev konsistent slagna av Bayesisk optimisering, som även presterade på nivå med grid search.

The building automation industry lacks an affordable, simple, solution for autonomous PID controller tuning when overhead variables fluctuate. In this project, requested by Jitea AB, a solution was developed, utilising step response process modelling, numerical integration of first order differential equations, and Ant Colony Optimization (ACO). The solution was applied to two control schemes; simulated outlet flow from a virtual water tank, and the physical air pressure in the ventilation system of a preschool in Sweden. An open-loop step response provided the transfer function in each case, which, after some manipulation, could be employed to predict the performance of any given set of PID parameters, based on a weighted cost function. This prediction model was used in ACO to find optimal settings. The program was constructed in both Structured Control Language and Structured Text and documented in an approachable way. The results showed that the program was, in both cases, able to eliminate overshoot and retain the settling time (with a slightly raised rise time) achieved with settings tuned per the current methods of Jitea AB. Noise and oscillations present in the physical system did not appear to have any major negative influence on the tuning process. The program performed above Jitea AB’s expectation, and will be tested in more scenarios, as it showed promise. Autonomous implementation could be of societal benefit through increased efficiency and sustainability in a range of processes. In future studies, focus should be on improving the prediction model, and further optimising the ACO variables. / Byggnadsautomationsbranschen saknar en kostnadseffektiv lösning för att autonomt trimma in PID-regulatorer när överordnade variabler fluktuerar. I detta (av Jitea AB beställda) arbete, utvecklades en lösning baserad på stegsvarsmodellering, numerisk integration av första gradens ordinära differentialekvationer och myrkolonisoptimering (ACO). Lösningen applicerades i två regleringsfall; en simulerad utloppsventil från en virtuell vattentank, och det fysiska lufttrycket i ventilationssystemet på en förskola i Sverige. Ett stegsvar med öppen slinga gav en överföringsfunktion i respektive fall, som efter viss manipulering kunde nyttjas för att förutspå prestandan för en uppsättning PID-parametrar baserat på en samlad, viktad kostnadsfunktion. Predikteringsmodellen implementerades i ACO för att finna optimala parametrar. Programmet konstruerades i Structured Control Language och Structured Text, och dokumenterades på ett pedagogiskt sätt. Resultaten visade att programmet (i båda fallen) klarade att eliminera översläng med bibehållen stabiliseringstid (och något förskjuten stigningstid) jämfört med Jitea AB:s existerande trimningsmetod. Signalbrus och oscillationer i det fysiska systemet verkade inte ha någon avsevärd negativ inverkan på trimningsprocessen. Programmet presterade över Jitea AB:s förväntan, och kommer (med tanke på de lovande resultaten) fortsatt att testas i fler scenarion. Implementation av en autonom version skulle kunna innebära flera samhälleliga förmåner i form av ökad verkningsgrad och hållbarhet i en rad processer. I framtida studier bör fokus läggas på att ytterligare förbättra prediktionsmodellen, samt att vidare utforska de optimala myrkolonisvariablerna.

Den här studien använder sig av TORCS (The Open Racing Car Simulator) som är ett intressant spel att skapa självkörande bilar i då det finns nitton olika typer av sensorer som beskriver omgivningen för agenten. Problemet för denna studie har varit att identifiera vilka av alla dessa sensorer som kan användas i en belöningsfunktion och hur denna sedan skall implementeras. Studien har anammat en kvantitativa experimentell studie där forskningsfrågan är: Hur kan en belöningsfunktion utformas så att agenten klarar av att manövrera i spelet TORCS utan att krocka och med ett konsekvent resultat Den kvantitativ experimentell studien valdes då författarna behövde designa, implementera, utföra experiment och utvärdera resultatet för respektive belöningsfunktion. Det har utförts totalt femton experiment över tolv olika belöningsfunktioner i spelet TORCS på två olika banor E-Track 5(E-5) och Aalborg. De tolv belöningsfunktionerna utförde varsitt experiment på E-5 där de tre som fick bäst resultat: Charlie, Foxtrot och Juliette utförde ett experiment på Aalborg, då denna är en svårare bana. Detta för att kunna styrka om den kan köra på mer än en bana och om belöningsfunktionen då är generell. Juliette är den belöningsfunktion som var ensam med att klara både E-5 och Aalborg utan att krocka. Genom de utförda experimenten drogs slutsatsen att Juliette uppfyller forskningsfrågan då den klarar bägge banorna utan att krocka och när den lyckas får den ett konsekvent resultat. Studien har därför lyckats designa och implementera en belöningsfunktion som uppfyller forskningsfrågan. / For this study TORCS (The Open Racing Car Simulator) have been used, since it is an interesting game to create self-driving cars in. This is due to the fact there is nineteen different sensors available that describes the environment for the agent. The problem for this study has been to identify what sensor can be used in a reward function and how should this reward function be implemented. The study have been utilizing a quantitative experimental method where the research questions have been: How can a reward function be designed so that an Agent can maneuver in TORCS without crashing and at the same time have a consistent result The quantitative experimental method was picked since the writer’s hade to design, implement, conduct experiment and evaluate the result for each reward function. Fifteen experiments have been conducted over twelve reward functions on two different maps: E-Track 5 (E-5) and Aalborg. Each of the twelve reward function conducted an experiment on E-5, where the three once with the best result: Charlie, Foxtrot and Juliette conducted an additional experiment on Aalborg. The test on Aalborg was conducted in order to prove if the reward function can maneuver on more than one map. Juliette was the only reward function that managed to complete a lap on both E-5 and Aalborg without crashing. Based on the conducted experiment the conclusion that Juliette fulfills the research question was made, due to it being capable of completing both maps without crashing and if it succeeded it gets a consistent result. Therefor this study has succeeded in answering the research question.

CoNLL 2015 featured a shared task on shallow discourse parsing. In 2016, the efforts continued with an increasing focus on sense classification. In the case of implicit sense classification, there was an interesting mix of traditional and modern machine learning classifiers using word representation models. In this thesis, we explore the performance of a number of these models, and investigate how they perform using a variety of word representation models. We show that there are large performance differences between word representation models for certain machine learning classifiers, while others are more robust to the choice of word representation model. We also show that with the right choice of word representation model, simple and traditional machine learning classifiers can reach competitive scores even when compared with modern neural network approaches.

Det har blivit mer och mer vanligt med ny, datoriserad teknik i hemmen. Fler människor har ett allt stressigare liv och inte längre samma tid att ta hand om det egna hemmet. Behovet av en hjälpande hand med hushållsarbete har blivit allt större. Tänk själv att komma hem från jobbet eller skolan och så har golvet blivit skinande rent utan att Ni knappt har behövt göra någonting! Det finns idag flera olika robotar på marknaden för detta ändamål. En av dessa är den autonoma dammsugaren, som är det vi inriktat vår uppsats på. I huvudsak är uppsatsen inriktad på mjukvaran, som kan användas i en autonom dammsugare. Vi har valt att titta närmare på två stycken sökalgoritmer, som kan användas av autonoma mobila robotar, exempelvis en autonom dammsugare, som har i uppdrag att täcka en hel obekant yta. Dessa algoritmer är Spanning Tree Covering (STC) och ”A Topological Coverage Algorithm”, också kallad ”Landmark-based World Model” (fritt översatt till Topologisk Täckande Algoritm, TTA). Vi har också undersökt hur ett av Sveriges största märken på marknaden för autonoma dammsugare, nämligen Electrolux Trilobite ZA1, klarar sig i test. Vi har även analyserat testet med Trilobiten och jämfört detta med antaget beteende hos Trilobiten ifall den hade varit implementerad med sökalgoritmerna STC eller TTA. Hur fungerar sökalgoritmerna? Hur kan en autonom dammsugare hitta på en hel obekant yta? Hur beter sig Electrolux Trilobite ZA1? Täcker de alla en obekant yta? Är de effektiva?

This paper examines the possibilities of faking human behavior with artificial intelligence in computer games, by using efficient methods that save valuable development time and also creates a more rich experience for the players of a game. The specific implementation of artificial intelligence created and discussed is a neural network controlling a finite-state machine. The objective was to mimic human behavior rather than simulating true intelligence. A 2D shooter game is developed and used for experiments performed with human and artificial intelligence controlled players. The game sessions played were recorded in order for other humans to replay. Both players and spectators of the game sessions left feedbacks and reports that could later be analyzed. The data collected from these experiments was then analyzed, and reflections were made on the entire project. Tips and ideas are proposed to developers of shooter games who are interested in making human-like artificial intelligence. Conclusions are made and extra information is provided in order to further iterate on this research. / Denna rapport undersöker möjligheterna att förfalska mänskligt beteende genom artificiell intelligens i datorspel, med hjälp av effektiva metoder som sparar värdefull utvecklingstid och som även skapar en rikare upplevelse för spelare. Den specifika implementationen av artificiell intelligens som utvecklas och diskuteras är ett neuralt nätverk som kontrollerar en finite-state machine. Målet var att efterlikna mänskligt beteende snarare än att simulera verklig intelligens. Ett 2D shooter-spel utvecklas och används för utförda experiment med mänskliga och artificiell intelligens-kontrollerade spelare. De sessioner som spelades under experimenten spelades in, för att sedan låta andra människor titta på inspelningarna. Både spelare och åskådare av spelsessionerna lämnade återkoppling och rapporter för senare analysering. Datan som samlats in från experimenten analyserades, och reflektioner utfördes på hela projektet. Tips och idéer presenteras till utvecklare av shooter-spel som är intresserade av en mer människolik artificiell intelligens. Slutsatser läggs fram och extra information presenteras för att kunna fortsätta iterera vidare på denna undersökning.

Liver segmentation is a cumbersome task when done manually, often consuming quality time of radiologists. Use of automation in such clinical task is fundamental and the subject of most modern research. Various computer aided methods have been incorporated for this task, but it has not given optimal results due to the various challenges faced as low-contrast in the images, abnormalities in the tissues, etc. As of present, there has been significant progress in machine learning and artificial intelligence (AI) in the field of medical image processing. Though challenges exist, like image sensitivity due to different scanners used to acquire images, difference in imaging methods used, just to name a few. The following research embodies a convolutional neural network (CNN) was incorporated for this process, specifically a U-net algorithm. Predicted masks are generated on the corresponding test data and the Dice similarity coefficient (DSC) is used as a statistical validation metric for performance evaluation. Three datasets, from different scanners (two1.5 T scanners and one 3.0 T scanner), have been evaluated. The U-net performs well on the given three different datasets, even though there was limited data for training, reaching upto DSC of 0.93 for one of the datasets.

The National Library of Sweden uses optical character recognition software to digitize their collections of historical newspapers. The purpose of such software is first to automatically segment text and images from scanned newspaper pages, and second to read the contents of the identified text regions. While the raw text is often digitized successfully, important contextual information regarding whether the text constitutes for example a header, a section title or the body text of an article is not captured. These characteristics are easy for a human to distinguish, yet they remain difficult for a machine to recognize. The main purpose of this thesis is to investigate how well section titles in the newspaper Svenska Dagbladet can be classified by using so called image embeddings as features. A secondary aim is to examine whether section titles become harder to classify in older newspaper data. Lastly, we explore if manual annotation work can be reduced using the predictions of a semi-supervised classifier to help in the labeling process.  Results indicate the use of image embeddings help quite substantially in classifying section titles. Datasets from three different time periods: 1990-1997, 2004-2013, and 2017 and onwards were sampled and annotated. The best performing model (Xgboost) achieved macro F1 scores of 0.886, 0.936 and 0.980 for the respective time periods. The results also showed classification became more difficult on older newspapers. Furthermore, a semi-supervised classifier managed an average precision of 83% with only single section title examples, showing promise as way to speed up manual annotation of data.

C-arm Cone Beam CT (CBCT) systems – due to compact size, flexible geometry and low radiation exposure – inaugurated the era of on-board 3D image guidance in therapeutic and surgical procedures. Leksell Gamma Knife Icon by Elekta introduced an integrated CBCT system to determine patient position prior to surgical session, thus advancing to a paradigm shift in facilitating frameless stereotactic radiosurgeries. While CBCT offers a quick imaging facility with high spatial accuracy, the quantitative values tend to be distorted due to various physics based artifacts such as scatter, beam hardening and cone beam effect. Several 3D reconstruction algorithms targeting these artifacts involve an accurate and fast segmentation of craniofacial CBCT images into air, tissue and bone. The objective of the thesis is to investigate the performance of deep learning based convolutional neural networks (CNN) in relation to conventional image processing and machine learning algorithms in segmenting CBCT images. CBCT data for training and testing procedures was provided by Elekta. A framework of segmentation algorithms including multilevel automatic thresholding, fuzzy clustering, multilayer perceptron and CNN is developed and tested against pre-defined evaluation metrics carrying pixel-wise prediction accuracy, statistical tests and execution times among others. CNN has proven its ability to outperform other segmentation algorithms throughout the evaluation metrics except for execution times. Mean segmentation error for CNN is found to be 0.4% with a standard deviation of 0.07%, followed by fuzzy clustering with mean segmentation error of 0.8% and a standard deviation of 0.12%. CNN based segmentation takes 500s compared to multilevel thresholding which requires ~1s on similar sized CBCT image. The present work demonstrates the ability of CNN in handling artifacts and noise in CBCT images and maintaining a high semantic segmentation performance. However, further efforts targeting CNN execution speed are required to utilize the segmentation framework within real-time 3D reconstruction algorithms. / C-arm Cone Beam CT (CBCT) system har tack vare sitt kompakta format, flexibla geometri och låga strålningsdos startat en era av inbyggda 3D bildtagningssystem för styrning av terapeutiska och kirurgiska ingripanden. Elektas Leksell Gamma Knife Icon introducerade ett integrerat CBCT-system för att bestämma patientens position för operationer och på så sätt gå in i en paradigm av ramlös stereotaktisk strålkirurgi. Även om CBCT erbjuder snabb bildtagning med hög spatiel noggrannhet så tenderar de kvantitativa värdena att störas av olika artefakter som spridning, beam hardening och cone beam effekten. Ett flertal 3D rekonstruktionsalgorithmer som försöker reducera dessa artefakter kräver en noggrann och snabb segmentering av kraniofaciala CBCT-bilder i luft, mjukvävnad och ben. Målet med den här avhandlingen är att undersöka hur djupa neurala nätverk baserade på faltning (convolutional neural networks, CNN) presterar i jämförelse med konventionella bildbehandlings- och maskininlärningalgorithmer för segmentering av CBCT-bilder. CBCT-data för träning och testning tillhandahölls av Elekta. Ett ramverk för segmenteringsalgorithmer inklusive flernivåströskling (multilevel automatic thresholding), suddig klustring (fuzzy clustering), flerlagersperceptroner (multilayer perceptron) och CNN utvecklas och testas mot fördefinerade utvärderingskriterier som pixelvis noggrannhet, statistiska tester och körtid. CNN presterade bäst i alla metriker förutom körtid. Det genomsnittliga segmenteringsfelet för CNN var 0.4% med en standardavvikelse på 0.07%, följt av suddig klustring med ett medelfel på 0.8% och en standardavvikelse på 0.12%. CNN kräver 500 sekunder jämfört med ungefär 1 sekund för den snabbaste algorithmen, flernivåströskling på lika stora CBCT-volymer. Arbetet visar CNNs förmåga att handera artefakter och brus i CBCT-bilder och bibehålla en högkvalitativ semantisk segmentering. Vidare arbete behövs dock för att förbättra presetandan hos algorithmen för att metoden ska vara applicerbar i realtidsrekonstruktionsalgorithmer.

The purpose of this master thesis is to develop a model to estimate the carbon intensity, i.e the carbon emission relative to economic activity, of publicly traded companies which do not report their carbon emissions. By using statistical and machine learning models, the core of this thesis is to develop and compare different methods and models with regard to accuracy, robustness, and explanatory value when estimating carbon intensity. Both discrete variables, such as the region and sector the company is operating in, and continuous variables, such as revenue and capital expenditures, are used in the estimation. Six methods were compared, two statistically derived and four machine learning methods. The thesis consists of three parts: data preparation, model implementation, and model comparison. The comparison indicates that boosted decision tree is both the most accurate and robust model. Lastly, the strengths and weaknesses of the methodology is discussed, as well as the suitability and legitimacy of the boosted decision tree when estimating carbon intensity. / Syftet med denna masteruppsats är att utveckla en modell som uppskattar koldioxidsintensiteten, det vill säga koldioxidutsläppen i förhållande till ekonomisk aktivitet, hos publika bolag som inte rapporterar sina koldioxidutsläpp. Med hjälp av statistiska och maskininlärningsmodeller kommer stommen i uppsatsen vara att utveckla och jämföra olika metoder och modeller utifrån träffsäkerhet, robusthet och förklaringsvärde vid uppskattning av koldioxidintensitet. Både diskreta och kontinuerliga variabler används vid uppskattningen, till exempel region och sektor som företaget är verksam i, samt omsättning och kapitalinvesteringar. Sex stycken metoder jämfördes, två statistiskt härledda och fyra maskininlärningsmetoder. Arbetet består av tre delar; förberedelse av data, modellutveckling och modelljämförelse, där jämförelsen indikerar att boosted decision tree är den modell som är både mest träffsäker och robust. Slutligen diskuteras styrkor och svagheter med metodiken, samt lämpligheten och tillförlitligheten med att använda ett boosted decision tree för att uppskatta koldioxidintensitet.