Recent advances in deep learning have enabled certain systems to approach or even achieve human parity in certain tasks, including automatic speech recognition. These new state-of-the-art speech recognition models are most often dependent on vast amounts of expensive high-quality labeled speech data for supervised training. In this work, we consider ways of leveraging unlabeled data for unsupervised training to reduce this costly data dependency. Six altered models are compared to a baseline sequence-to-sequence speech recognition model under three different low resource conditions. We show that for all three conditions, a semi-supervised approach surpasses the quality of the baseline. / Nya framsteg inom djupinlärning har gjort det möjligt för vissa system att närma sig eller till och med uppnå mänsklig paritet i vissa uppgifter, inklusive automatisk taligenkänning. Dessa nya state-of-the-art-metoder är oftast beroende av stora mängder av dyr, högkvalitativ och märkt data för övervakad träning. I det här arbetet undersöker vi olika sätt att utnyttja omärkt data för oövervakad träning för att minska beroendet av dyr data. Sex modifierade modeller jämförs under låga resursförhållanden med en sekvens-till-sekvens taligenkänningsmodell som baslinje. Vi visar att för alla tre förhållanden överträffar en delvis övervakad träning baslinjens kvalitet.

It is a well-established phenomenon that blockchain technology can be applied to reach a consensus between entities which do not trust one another. Moreover, blockchain technology also allows these trustless entities to reach an agreement on a shared ledger. Through its trustless consensus and shared ledger properties, the blockchain technology can provide trust between trustless parties. The present-day automotive industry suffers from several trust issues between the involved parties during a vehicle’s life cycle. In this thesis, it is evaluated whether a blockchain-based solution can be applied to address the trust issues between involved parties in the automotive industry. A proof of concept is implemented using Hyperledger Fabric. In order to evaluate whether the proposed solution can improve trust, in addition to the proposed solution, a centralized database approach is implemented as the baseline which is considered as the traditional solution. A comparison between the two solutions is then carried out. The evaluated aspects in the comparison are security, performance, and usefulness, where security is considered as the most vital aspect. The experiments show that the blockchain-based solution achieves a higher degree of both security and usefulness, whereas the baseline solution (i.e., the database solution) achieves better performance. The overall conclusion of our experiments implies that the blockchain-based solution is significantly more trustworthy than the traditional database implementation. The conclusion is motivated by the fact that the blockchain-based solution is superior in terms of both security and usefulness. / Det är ett välkänt faktum att blockkedjeteknik kan utnyttjas för att komma fram till en överenskommelse mellan medlemmar i ett nätverk som nödvändigtvis inte litar på varandra. Utöver detta faktum, har blockkedjetekniken möjliggjort att förtroendelösa medlemmar kan komma till samtycke om en gemensam informationslog. Genom dess förtroendelösa överenskommelseprocess och gemensamma informationslogsegenskaper, kan blockkedjetekniken skapa förtroende mellan förtroendelösa medlemmar. I dagens fordonsindustri finns flera förtroenderelaterade problem mellan olika aktörer under ett fordons livscykel. Den här rapporten utvärderar om en blockkedjebaserad lösning kan appliceras för att lösa de förtroenderelaterade problem som existerar mellan diverse involverade parter under ett fordons livscykel. En implementation för att påvisa konceptet skapas med hjälp av blockkedjeramverket Hyperledger Fabric. För att utvärdera om den föreslagna lösningen kan förbättra förtroende skapas även en alternativ lösning baserad kring en centraliserad databas. En jämförelse mellan de två lösningarna utförs sedan. Då den alternativa lösningen anses vara den traditionella metoden för att lösa problem av denna karaktär, används den alternativa lösningen som en ursprungspunkt för jämförelsen. Jämförelsen utvärderar aspekterna säkerhet, prestanda och användbarhet, där säkerhet anses vara den viktigaste aspekten. Jämförelsen visar att den blockkedjebaserade lösningen uppnår en högre grad av både säkerhet och användbarhet. Medan ursprungslösningen, det vill säga den databasbaserade lösningen, uppnår bättre prestanda. Slutsatsen av våra experiment antyder att den blockkedjebaserade lösningen är betydligt mer förtroendefull än den traditionella databasbaserade lösningen. Slutsatsen motiveras av att den blockkedjebaserade lösningen uppnådde bättre resultat gällande både säkerhet och användbarhet.

IT-projects are complex and require a good understanding of the users before development starts. This is especially true for projects within large organizations, where the communication with the users might be poor or even nonexisting. Involving the users in the design process has shown positive effects and is becoming a trend throughout different IT-projects. However, there is some critique questioning whether users should act as designer. This thesis proposes a new method, the Collaborative Mental Model, with the aim of involving users in the design process without requiring any design skills. A case study was conducted at the Swedish police authority to test this new method. The underlying design process began with contextual inquiry and Card Sorting sessions in order to understand the users and the usability issues. After the problem was defined, the collaborative mental model was used to find inspiration, with the help of the users, for a design solution. The prototype was then created with this inspiration in mind. Finally, the users evaluated the prototype with the Think-aloud method. This study showed that the Collaborative Mental Model gave valuable insights about the users. These insights were translated into different features of the prototype. The evaluation showed that all the features were appreciated by the users. The collaborative mental model had a positive impact on the design process and thus, the user experience. / IT-projekt är komplexa och kräver en god förståelse för användarna innan utveckling av systemet. Det är särskilt viktigt för stora organisationer att ta hänsyn till sina användare. Detta eftersom kommunikationen mellan användarna och den övriga organisationen kan vara dålig, eller till och med obefintlig i större organisationer. Att inkludera användarna i designprocessen har visat sig vara en framgångfaktor för en del projekt men kritiker hävdar att användarna inte bör, eller till och med inte kan, medverka i designen av ett system. Den här studien presenterar en ny metod, Collaborative Mental Model, som har till syfte att involvera användarna i designprocessen utan krav på tidigare färdigheter eller kunskap inom design. En fallstudie utfördes hos polismyndigheten i Stockholm för att testa den nya metoden. Studien började med kontextuella intervjuer och card sorting-övningar för att få en förståelse för användarna och deras behov. Detta åtföljdes av Collaborative Mental Model, vars syfte var att förstå vad för interaktioner användarna var vana vid sedan innan. Denna metod gav inspiration som sedan användes i skapandet av prototypen. Användarna fick i det slutgiltiga skedet evaluera prototypen. Denna studie visade att den nya metoden, the Collaborative Mental Model, bidrog med inspiration som införlivades i prototypen genom ett antal funktionaliteter. Resultatet från användarnas evaluering visade att samtliga funktionaliteter uppskattades. Det innebär att Collaborative Mental Model bidrog positivt till designprocessen och användarupplevelsen.

This master thesis tackles the problem of unsupervised learning of useful and interpretable representations from image data using deep Convolutional Neural Networks (CNN). Recent years have seen remarkable success from using deep learning technologies to tackle computer vision problems. This success is in part attributable to the availability of large, manually-annotated datasets; however, most image data is unlabelled and unstructured. It would therefore be beneficial to reduce the dependency on labelled datasets by training networks in an unsupervised manner. Ideally, we would like the extracted representations from such networks to be useful for a range of downstream machine learning tasks. Furthermore, we would like the learned representations to be interpretable in that the individual dimensions of the representation disentangle the true factors of variation in our image dataset. We trained state-of-the-art disentangled representation learning algorithms on synthetic and realworld datasets. We found that we could learn disentangled representations consisting of features with a one-to-one correspondence with known, groundtruth factors of variation in a synthetic dataset. Identification of disentangled models requires supervision in the form of labels or human evaluation. On a real-world dataset with unknown factors of variation we were able to learn highly informative representations using various unsupervised learning algorithms, some of which were especially robust to hyperparameter settings and random seeds. Identifying disentangled models required extensive human effort, and it was difficult to interpret the learned representations. Our results therefore suggest two main directions for future work: developing methods to identify disentangled models using minimal supervision, and developing novel methods for learning interpretable representations from real-world datasets. / Detta examensarbete behandlar problemet med oövervakat lärande av användbara och tolkbara representationer från bilddata med hjälp av djupa konvolutionella neurala nätverk (CNN). Oftast är bilddataset omärkta och ostrukturerade; det skulle därför vara fördelaktigt att minska beroendet på märkta dataset genom att träna nätverk på ett oövervakat sätt. Vi tränade flera oövervakade inlärningsalgoritmer på tre dataset. Med ett syntetiskt dataset kunde vi lära oss tolkbara representationer där enskilda dimensioner har semantisk betydelse. Med verkliga dataset kunde vi lära oss informativa representationer med hjälp av olika oövervakade inlärningsalgoritmer, varav några var särskilt robusta till hyperparameterinställningar. Med våra resultat föreslår vi två huvudriktningar för framtida arbete: utveckling av metoder för att identifiera modeller som extraherar tolkbara representationer genom minimal övervakning och utveckling av nya metoder för att lära sig tolkbara representationer från verkliga dataset.

This master’s thesis project undertook the investigation of whether spelling correction would improve the performance of the classification of reports. The idea is to use different approaches of spelling correction to check which approach suits this particular dataset. Three different approaches were tested for spelling correction. The first two approaches considered only the erroneous word for correction. The third approach also considered context or the surrounding words to the erroneous word. The results after spelling correction were tested on a model classifier. No significant improvement in the performance of the classifier was observed when compared to the baseline. The reason for this might be because most of the reports do not contain more than a few spelling errors and the majority of words detected as spelling errors are not in English. However, the second approach performed better than the baseline for the dataset due to it being language independent as most of the non-words were non-english words which are dynamically updated based on input. / Det här examensarbetet undersökte huruvida stavningskontroll kan förbättra klassificering av rapporter. Tanken är att använda olika tillvägagångssätt för stavningskontroll för att finna det sätt som fungerar bäst på den här specifika datamängden. Tre olika tillvägagångssätt för stavningskontroll undersöktes. De två första tog bara hänsyn till enskilda felstavade ord. Det tredje sättet tog även hänsyn till det felstavade ordets kontext. Resultatet från stavningskontrollen testades på en klassificerare. Klassificeraren uppvisade inte någon signifikant förbättring vid jämförelse med en baslinje. Anledningen till detta kan vara att de flesta av rapporterna inte innehåller mer än några få stavfel och de flesta ord som upptäckts som stavfel är inte på engelska. Det andra tillvägagångssättet presterade dock bättre än baslinjen för datasetet tack vara att det var språkoberoende, eftersom de flesta av icke-orden var icke-engelska ord som dynamiskt uppdaterades baserat på input.

This thesis presents an architecture for an agent that can play the real-time strategy game Starcraft 2 (SC2) by applying Monte Carlo Tree Search (MCTS) together with genetic algorithms and machine learning methods. Together with the MCTS search, a light-weight and accurate combat simulator for SC2 as well as a build order optimizer are presented as independent modules. While MCTS has been well studied for turn-based games such as Go and Chess, its performance has so far been less explored in the context of real-time games. Using machine learning and planning methods in real-time strategy games without requiring long training times has proven to be a challenge. This thesis explores how a model based approach, based on the rules of the game, can be used to achieve a well performing agent. / Denna uppsats presenterar en arkitektur för ett program som kan spela realtidsspelet Starcraft 2 (SC2) genom att använda Monte Carlo Tree Search (MCTS) tillsammans med genetiska algoritmer och maskininlärningsmetoder. Tillsammans med MCTS-sökningen så presenteras också en snabb och exakt stridssimulator för SC2 samt en optimeringsalgoritm för bygg-ordningar som separata moduler. MCTS has studerats mycket inom turordningsbaserade spel som till exempel Go och Schack, däremot så har det utforskats mindre när det kommer till realtidsspel. Att använda maskininlärning och planeringsalgoritmer i realtidsstrategispel utan att kräva långa träningstider har visat sig vara en utmaning. Denna uppsats utforskar hur ett modellbaserat tillvägagångssätt, baserat på reglerna för spelet, kan användas för att skapa ett bra presterande program.

Autonomous driving in urban environments is challenging because there are many agents located in the environment all with their own individual agendas. With accurate motion prediction of surrounding agents in the environment, autonomous vehicles can plan for more intelligent behaviors to achieve specified objectives, instead of acting in a purely reactive way. The objective of this master thesis is to predict the future states of vehicles in a road network. A machine learning method is developed for trajectory prediction that consists of two steps: the first step is an inverse reinforcement learning algorithm that determines the reward function corresponding to an expert driver behavior extracted from real world driving, the second step is a deep reinforcement learning module that associates high level policies based on vehicles observations. Regular drivers take into account many factors while making tactical driving decisions, which cannot always be represented by the conventional rule-based models. In this work, a novel approach to learn the driver behavior by extracting suitable features from the training dataset is proposed. The accuracy of predictions is evaluated using the NGSIM I-80 dataset. The results show that this framework outperforms a constant velocity model when predicting further than 6 seconds into the future. / Autonom körning i stadsmiljöer är utmanande eftersom det finns många agenter i miljön, alla med egna individuella agendor. Med en exakt rörelseskattning av omgivande agenter i miljön, kan autonoma fordon planera för mer intelligenta beteenden för att uppnå specifika mål, istället för en reaktiv interaktion. Målet med denna mastersuppsats är att förutsäga framtida tillstånd för fordon i ett vägnät. En maskininlärningsmetod utvecklades för rörelseskattning, bestående av två steg: det första steget är en invers förstärkningslärande (inverse reinforcement learning) algoritm som bestämmer belöningsfunktionen som motsvarar en expertbilists beteende, extraherad från verklig data. Det andra steget är en djup förstärkningslärande modul som associerar en högnivåpolicy baserad på ett fordons observationer. Vanliga förare tar hänsyn till många faktorer samtidigt när de fattar taktiska körbeslut, vilket inte alltid kan representeras av konventionella regelbaserade modeller. I detta arbete föreslås ett nytt tillvägagångssätt för att lära sig förarbeteenden genom att extrahera lämpliga funktioner från träningsdatan. Precisionen av förutsägelser utvärderas med hjälp av datasetet NGSIM I-80. Resultaten visar att denna metod överträffar en konstant hastighetsmodell när man förutspår beteenden längre än 6 sekunder in i framtiden.

As the time to render frames increases with the amount of 3D models present and the level of detail of these models, finding a way to render these objects more efficiently would allow real time applications to render a larger number of objects. One such technique is Imposters, but their level of detail is limited by texture memory, especially for animated objects. A user study was performed to investigate how changing the level of detail of the angles or frames for imposters in a crowd simulation impacts the perceived realism. The results of this study show that the participants’ confidence in their answers fell as the overall quality rose, but the share of answers that aligned with the higher quality side rose together with overall quality. / Eftersom att tiden det tar att rendera bildrutor ökar med antalet 3D-modeller som avbildas och med modellernas detaljnivå skulle det tillåta realtidsapplikationer att avbilda fler objekt om ett sätt att effektivare avbilda dessa objekt hittas. En sådan teknik är Imposters, men deras detaljrikedom begränsas av texturminne, särskilt när det kommer till animerade objekt. En användarstudie utfördes för att undersöka hur förändringar i detaljnivåer med avseende på antalet vinklar och bildrutor för Imposters i en simulering av en folkmassa påverkar den upplevda realismen. Resultaten av studien pekar på att deltagarnas tilltro till sina svar minskade i takt med att kvalitén ökade, däremot ökade andelen svar där sidan med högre kvalité valdes när kvalitén överlag var högre.

This degree project examines and evaluates the performance of various ways of improving contextualization of text span representations within a general multi-task learning framework for named entity recognition, coreferencere solution and relation extraction. A span-based approach is used in which all possible text spans are enumerated, iteratively refined and finally scored. This work examines which ways of contextualizing the span representations are beneficial when using the text embedder BERT. Furthermore, I evaluate to what degree graph propagations can be used together with BERT to enhance performance further, and observe F1-score improvements over previous work. The architecture sets new state-of-the-art results on four datasets from different domains - SciERC, ACE2005, GENIA and WLPC. Qualitative examples are provided to highlight model behaviour and reasons for the improvements are discussed. / Detta arbete undersöker och utvärderar olika sätt att förbättra kontextualisering av span-representationer inom ett generellt multi-task learning framework för att prediktera entiteter, koreferenskluster och relationer i text. Ett span-baserat tillvägagångssätt används där alla möjliga text-spans uppräknas, iterativt förfinas och slutligen poängsätts. Jag undersöker vilka sätt att kontextualisera spanens representationer som hjälper när BERT används för att generera kontextualiserade span-representationer, samt i vilken utsträckning grafpropagering kan användas tillsammans med BERT för att förbättra prestanda ytterligare. Jag observerar förbättringar av F1-poäng jämfört med tidigare arbete på fyra dataset från olika domäner - SciERC, ACE2005, GENIA och WLPC. Den nya arkitekturen sätter nya state-of-the-art-resultat och jag ger kvalitativa exempel för att lyfta fram modellbeteendet och diskutera skälen till dessa förbättringar.

This thesis explores how different recommendation models based on machine learning can be implemented using customer activity data from an internet portal. The recommendation models have been evaluated on both error metrics and accuracy metrics. In addition, two data-sets are used, one open and widely available called MovieLens, and one proprietary from the principal of this thesis. Furthermore, the models evaluated are based on popular neighborhood methods and more advanced matrix factorization techniques. Based on both error and accuracy metrics, the matrix factorization models SVD and SVD++ outperform the neighborhood model in both data-sets. Moreover, the SVD++ algorithm performed the best of all the models but in the end, SVD was chosen for the principal. This was done because it proved to be a better overall choice when looking at all the parameters such as performance, speed and ease of use. / Denna uppsats undersöker hur olika rekommendationsmodeller baserade på maskininlärning kan implementeras med hjälp av kundaktivitetsdata från en internetportal. Rekommendationsmodellerna har utvärderats med både felmätning och hur noggrant modellen gör sina rekommendationer. Två datauppsättningarhar använts i uppsatsen, en öppen och allmänt tillgänglig, kallad MovieLens och en från företaget där denna uppsats har skrivits. De utvärderade modellerna baseras på populära grannskap- och matrisfaktoriseringsmetoder. Baserat på både fel- och noggrannhetsmätningar så överträffar matrisfaktoriseringsmodellerna, SVD och SVD ++, grannskapsmodellen i båda datauppsättningar. SVD++-algoritmen presterar bäst av alla modeller, men i slutändan så rekommenderas ändå SVD till företaget. Detta gjordes eftersom SVD visade sig vara ett bättre val om fler parametrar togs i beaktande än bara prestanda, såsom hastighet och lätthet att implementera.