The goal of this thesis is to be able to predict customer traffic at postal service points. The expectation is that when customers are made aware of queue times at the service points, they will redistribute themselves to avoid standing in line. This boils down to a form of time series prediction problem. When working with time series prediction, there are potentially other factors that may help the models make a more accurate prediction. Factors that may affect people’s behavior are unlimited, but this thesis examines the effect of the external calendar variables (weekday, date and public holiday) and weather variables (temperature, precipitation and sun, among others) when making the predictions. Non-linear models are examined, with the focus on Multilayer Perceptrons (MLPs) and Long Short-Term Memory (LSTM) models that have shown promising results in time series prediction, and these models are referred to as Artificial Neural Networks (ANNs). Support Vector Regression (SVR), Autoregressive Moving Average (ARIMA) and statistical average models are used for comparison. The results show that using external variables as additional input to LSTM, MLP and SVR models increases the test prediction performance. Further, the MLP model generally performs better than the LSTM models. The results are acquired using six postal service points, and the final results are based on a six-fold cross validation across all six service points. The LSTM and MLP are able to better use the external variables and show greater adaptability during e.g. public holidays, compared with the SVR model. The ARIMA and historical average model show less accurate predictions compared with the aforementioned models. / Målet med detta examensarbete är att förutspå kundtrafik hos postserviceställen. Förhoppningen är att kunderna omfördelar sig själva om de får tillgång till kundtrafikprognoser för att undvika stå i kö. Detta resulterar i ett tidsserie-förutsägelseproblem. Vid sådana problem finns det potentiellt andra faktorer som kan påverka modellernas prediktioner positivt. Antalet faktorer som påverkar människors beteende är obegränsat, men detta examensarbete undersöker effekterna av att använda externa kalendervariabler (veckodag, datum och röd dag) och vädervariabler (temperatur, nederbörd och sol, bland annat). För att göra prediktionerna används främst de icke-linjära modellerna Multilayer Perceptron (MLP) och Long Short-Term Memory (LSTM), som båda refereras till som Artificial Neural Network (ANN). Båda modellerna har visat lovande resultat i liknande problem. Utöver dem används även modellerna Support Vector Regression (SVR) och Autoregressive Moving Average (ARIMA) samt det historiska genomsnittet som jämförelse. Resultaten visar på att om LSTM-, MLPoch SVR-modellerna får externa variabler som tilläggsinput så förbättras modellernas förutsägelser. Vidare presterar MLP-modellen generellt bättre än LSTMmodellen. Resultaten är skapade genom att använda sex stycken postserviceställen och de slutgiltiga resultaten är baserade på en 6-vägs korsvalidering för samtliga serviceställen. LSTMoch MLP-modellerna är bättre på att använda informationen från de externa variablerna och visar på större anpassningsförmåga, under till exempel röda dagar, jämfört med SVR-modellen. ARIMA-modellen och den historiska genomsnittsmodellen skapar sämre prediktioner än de förutnämndamodellerna.

The objective of this thesis is to forecast the number of people registered at the Swedish Public Employment Service (Arbetsförmedlingen) that will manage to get employment each month and examine how accurate the forecasts are. The Swedish Public Employment Service is a government-funded agency in Sweden working to keep the unemployment rate low. When someone is unemployed or looking for a new job, he or she can register at the Swedish Public Employment Service. Being able to forecast well how many are expected to get employment could be useful when planning and making decisions. It could also be used as an indicator of how well the Swedish Public Employment Service manages to perform and thus how well the tax money is used. The models employed for forecasting were the seasonal autoregressive integrated moving average (SARIMA) and the long short-term memory (LSTM). A persistence model is also used as a baseline. The persistence model is a very simple model and the other models are therefore expected to outperform it. For the LSTM model, the use of both univariate and multivariate approaches will be explored in order to examine if the model can be improved with more data. Results from the experiments performed showed that a multivariate LSTM performed the lowest root mean squared error (RMSE) and is therefore considered the best model. However, the robustness of the model over time needs further research. / Syftet med detta arbete är att göra prognoser på hur många av de registrerade på Arbetsförmedlingen som kommer att få arbete en viss månad och undersöka hur noggranna dessa prognoser blir. Arbetsförmedlingen är en skattefinansierad myndighet i Sverige som arbetar med att hålla arbetslösheten låg. När någon är arbetslös eller letar efter ett arbete kan man registrera sig hos Arbetsförmedlingen. Att kunna göra bra prognoser på hur många som kommer att få arbete skulle kunna vara användbart vid planering och beslutfattande. Det skulle också kunna användas som en indikator på hur väl Arbetsförmedlingen använder skattepengarna. De modeller som har använts är seasonal autoregressive integrated moving average (SARIMA) och long short-term memory (LSTM). En persistensmodell används också som baslinje. Persistensmodellen är en enkel modell och därför förväntas de andra modellerna prestera bättre. För LSTM-modellen kommer användningen av både envariabla och flervariabla tillvägagångssätt att undersökas för att testa om mer data kan förbättra modellen. Resultat från experimenten visar att det var en LSTM-modell med flera variabler som presterade lägst root mean squared error (RMSE) och anses därför vara den bästa modellen. Det behövs dock ytterligare studier för att undersöka modellens stabilitet över tid.

Text-to-speech (TTS) systems have entered our daily lives in the form of smart assistants and many other applications. Contemporary re- search applies machine learning and artificial neural networks (ANNs) to synthesize speech. It has been shown that these systems outperform the older concatenative and parametric methods. In this paper, ANN-based methods for speech synthesis are ex- plored and one of the methods is implemented for the Swedish lan- guage. The implemented method is dubbed “Tacotron” and is a first step towards end-to-end ANN-based TTS which puts many differ- ent ANN-techniques to work. The resulting system is compared to a parametric TTS through a strength-of-preference test that is carried out with 20 Swedish speaking subjects. A statistically significant pref- erence for the ANN-based TTS is found. Test subjects indicate that the ANN-based TTS performs better than the parametric TTS when it comes to audio quality and naturalness but sometimes lacks in intelli- gibility. / Talsynteser, också kallat TTS (text-to-speech) används i stor utsträckning inom smarta assistenter och många andra applikationer. Samtida forskning applicerar maskininlärning och artificiella neurala nätverk (ANN) för att utföra talsyntes. Det har visats i studier att dessa system presterar bättre än de äldre konkatenativa och parametriska metoderna. I den här rapporten utforskas ANN-baserade TTS-metoder och en av metoderna implementeras för det svenska språket. Den använda metoden kallas “Tacotron” och är ett första steg mot end-to-end TTS baserat på neurala nätverk. Metoden binder samman flertalet olika ANN-tekniker. Det resulterande systemet jämförs med en parametriskt TTS genom ett graderat preferens-test som innefattar 20 svensktalande försökspersoner. En statistiskt säkerställd preferens för det ANN- baserade TTS-systemet fastställs. Försökspersonerna indikerar att det ANN-baserade TTS-systemet presterar bättre än det parametriska när det kommer till ljudkvalitet och naturlighet men visar brister inom tydlighet.

Courier companies receive delivery orders at different times in advance. Some orders are known long beforehand, some arise with a very short notice. Currently the order delegation, deciding which car is going to drive which order, is performed completely manually by a (TL) where the TL use their experience to guess upcoming orders. If delivery orders could be predicted beforehand, algorithms could create suggestions for vehicle routing and vehicle selection. This thesis used the data set from a Stockholm based courier company. The Stockholm area was divided into zones using agglomerative clustering and K-Means, where the zones were used to group deliveries into time-sliced Origin Destination (OD) matrices. One cell in one OD-matrix contained the number of deliveries from one zone to another during one hour. Long-Short Term Memory (LSTM) Recurrent Neural Networks were used for the prediction. The training features consisted of prior OD-matrices, week day, hour of day, month, precipitation, and the air temperature. The LSTM based approach performed better than the baseline, the Mean Squared Error was reduced from 1.1092 to 0.07705 and the F1 score increased from 41% to 52%. All features except for the precipitation and air temperature contributed noticeably to the prediction power. The result indicates that it is possible to predict some future delivery orders, but that many are random and are independent from prior deliveries. Letting the model train on data as it is observed would likely boost the predictive power. / Budföretag får in leveransorder olika tid i förväg. Vissa order är kända lång tid i förväg, medan andra uppkommer med kort varsel. I dagsläget genomförs orderdelegationen, delegering av vilken bil som kör vilken order, manuellt av en transportledare (TL) där TL använder sin erfarenhet för att gissa framtida order. Om leveransorder skulle kunna förutsägas i förväg kan fordonsrutter och fordonsval föreslås av algoritmer. Denna uppsats använde sig utav ett dataset från ett Stockholmsbaserat budföretag. Stockholmsområdet delades in i zoner med agglomerativ klustring och K-Means, där zoner användes för att gruppera leveranser in i tidsdelade Ursprungsdestinationsmatriser (OD-matriser).  En cell i en OD-matris innehåller antalet leveranser från en zon till en annan under en timme. Neurala nätverk med lång-kortsiktsminne (LSTM) användes för förutsägelsen. Modellen tränades på tidigare OD-matriser, veckodag, timme, månad, nederbörd, och lufttemperatur. Det LSTM-baserade tillvägagångssättet presterade bättre än baslinjen, det genomsnittliga kvadratfelet minskade från 1,1092 till 0,07705 och F1-poängen ökade från 41% till 52%. Nederbörd och lufttemperatur bidrog inte märkbart till förutsägelsens prestation. Resultatet indikerar att det är möjligt att förutse vissa leveransorder, men att en stor andel är slumpmässiga och oberoende från tidigare leveranser. Att låta modellen tränas med nya data när den observeras skulle troligtvis öka prognosförmågan.

In this thesis two main studies are conducted to compare the predictive capabilities of feed-forward neural networks (FFNN) and long short-term memory networks (LSTM) in electricity load forecasting. The first study compares univariate networks using past electricity load, as well as multivariate networks using past electricity load and air temperature, in day-ahead load forecasting using varying lookback periods and sparsity of past observations. The second study compares FFNNs and LSTMs of different complexities (i.e. network sizes) when restrictions imposed by limitations of the real world are taken into consideration. No significant differences are found between the predictive performances of the two neural network approaches. However, adding air temperature as extra input to the LSTM is found to significantly decrease its performance. Furthermore, the predictive performance of the FFNN is found to significantly decrease as the network complexity grows, while the predictive performance of the LSTM is found to increase as the network complexity grows. All the findings considered, we do not find that there is enough evidence in favour of the LSTM in electricity load forecasting. / I denna uppsats beskrivs två studier som jämför feed-forward neurala nätverk (FFNN) och long short-term memory neurala nätverk (LSTM) i prognostisering av elkonsumtion. I den första studien undersöks univariata modeller som använder tidigare elkonsumtion, och flervariata modeller som använder tidigare elkonsumtion och temperaturmätningar, för att göra prognoser av elkonsumtion för nästa dag. Hur långt bak i tiden tidigare information hämtas ifrån samt upplösningen av tidigare information varieras. I den andra studien undersöks FFNN- och LSTM-modeller med praktiska begränsningar såsom tillgänglighet av data i åtanke. Även storleken av nätverken varieras. I studierna finnes ingen skillnad mellan FFNN- och LSTM-modellernas förmåga att prognostisera elkonsumtion. Däremot minskar FFNN-modellens förmåga att prognostisera elkonsumtion då storleken av modellen ökar. Å andra sidan ökar LSTM-modellens förmåga då storkelen ökar. Utifrån dessa resultat anser vi inte att det finns tillräckligt med bevis till förmån för LSTM-modeller i prognostisering av elkonsumtion.

Accurate predictions of patient volume are an essential tool to improve resource allocation and doctor utilization in the traditional, as well as the digital health care domain. Varying methods for patient volume prediction within the traditional health care domain has been studied in contemporary research, while the concept remains underexplored within the digital health care domain. In this paper, an evaluation of how two different non-linear state-of-the-art time series prediction models compare when predicting patient volume within the digital health care domain is presented. The models compared are the feed forward Multi-layer Percepron (MLP) and the recursive Long Short-Term Memory (LSTM) network. The results imply that the prediction problem itself is straightforward, while also indicating that there are significant differences in prediction accuracy between the evaluated models. The conclusions presented state that that the LSTM model offers substantial prediction advantages that outweigh the complexity overhead for the given problem. / En korrekt förutsägelse av patientvolym är essentiell för att förbättra resursallokering av läkare inom traditionell liksom digital vård. Olika metoder för förutsägelse av patientvolym har undersökts inom den traditionella vården medan liknande studier inom den digitala sektorn saknas. I denna uppsats undersöks två icke-linjära moderna metoder för tidsserieanalys av patientvolym inom den digitala sjukvården. Modellerna som undersöks är multi-lagersperceptronen (MLP) samt Long Short-Term Memory (LSTM) nätverket. Resultaten som presenteras indikerar att problemet i sig är okomplicerat samtidigt som det visar sig finnas signifikanta skillnader i korrektheten av förutsägelser mellan de olika modellerna. Slutsatserna som presenteras pekar på att LSTM-modellen erbjuder signifikanta fördelar som överväger komplexitets- och prestandakostnaden.

Query spelling correction is an important component of modern search engines that can help users to express their intent, and thus improve search quality. In this study, we investigated with what accuracy a sequence-to-sequence recurrent neural network (RNN) can recognise and correct misspellings in a music search engine, when the model is trained with old search queries. A sequence-to-sequence RNN was chosen as the model in this study since it has achieved state-of-the-art performance on similar tasks, such as machine translation and speech recognition. The findings from the study imply that the model learns to correct and complete queries with higher accuracy compared to a baseline model that returns the input query. However, we suggest that, for a model that would be good enough for production, more work needs to be done. Especially, work on creating a cleaner, less biased training dataset. Nevertheless, our work strengthens the idea that sequence-to-sequence RNNs could be used as a spell correction system in search engines. / Stavningskorrigering av söksträngar är en viktig komponent i moderna sökmotorer. Stavningskorrigering kan hjälpa användarna att uttrycka sig och därmed förbättra kvaliteten i sökningen. I det här arbetet undersökte vi med vilken noggrannhet en Recurrent neural network (RNN) modell kan lära sig att korrigera felstavningar i söksträngar från en sökmotor för musik. RNN modellen tränades med söksträngar från historiska sökningar från sökmotorn. Anledningen till att RNN valdes som modell i den här studien var för att den har uppnått hittills bästa möjliga resultat på liknande uppgifter, såsom maskinöversättning och taligenkänning. Resultaten från vår studie visar att modellen lär sig att korrigera och komplettera söksträngar med högre noggrannhet än en basmodell som enbart returnerar indatasträngen. För att utveckla en modell som är tillräckligt bra för produktion föreslår vi emellertid att mer arbete måste utföras. Framför allt är vi övertygade om att ett renare, mindre systematiskt avvikande träningsdataset skulle förbättra modellen. På det hela taget stärker dock vårt arbete hypothesen att RNN modeller kan användas som stavningskorrigeringssystem i sökmotorer.

The smartphone is becoming a common device carried by hundreds of millions of individual humans worldwide, and is used to accomplish a multitude of different tasks like basic communication, internet browsing, online shopping and fitness tracking. Limited by its small size and tight energy storage, the human-smartphone interface is largely bound to the smartphones small screens and simple keypads. This prohibits introducing new rich ways of interaction with smartphones.   The industry and research community are working extensively to find ways to enrich the human-smartphone interface by either seizing the existing smartphones resources like microphones, cameras and inertia sensors, or by introducing new specialized sensing capabilities into the smartphones like compact gesture sensing radar devices.   The prevalence of Radio Frequency (RF) signals and their limited power needs, led us towards investigating using RF signals received by smartphones to recognize gestures and activities around smartphones. This thesis introduces a solution for recognizing touch-less dynamic hand gestures from the Wi-Fi Received Signal Strength (RSS) received by the smartphone using a recurrent neural network (RNN) based probabilistic model. Unlike other Wi-Fi based gesture recognition solutions, the one introduced in this thesis does not require a change to the smartphone hardware or operating system, and performs the hand gesture recognition without interfering with the normal operation of other smartphone applications.   The developed hand gesture recognition solution achieved a mean accuracy of 78% detecting and classifying three hand gestures in an online setting involving different spatial and traffic scenarios between the smartphone and Wi-Fi access points (AP). Furthermore the characteristics of the developed solution were studied, and a set of improvements have been suggested for further future work. / Smarta telefoner bärs idag av hundratals miljoner människor runt om i världen, och används för att utföra en mängd olika uppgifter, så som grundläggande kommunikation, internetsökning och online-inköp. På grund av begränsningar i storlek och energilagring är människa-telefon-gränssnitten dock i hög grad begränsade till de förhållandevis små skärmarna och enkla knappsatser.   Industrin och forskarsamhället arbetar för att hitta vägar för att förbättra och bredda gränssnitten genom att antingen använda befintliga resurser såsom mikrofoner, kameror och tröghetssensorer, eller genom att införa nya specialiserade sensorer i telefonerna, som t.ex. kompakta radarenheter för gestigenkänning.   Det begränsade strömbehovet hos radiofrekvenssignaler (RF) inspirerade oss till att undersöka om dessa kunde användas för att känna igen gester och aktiviteter i närheten av telefoner. Denna rapport presenterar en lösning för att känna igen gester med hjälp av ett s.k. recurrent neural network (RNN). Till skillnad från andra Wi-Fi-baserade lösningar kräver denna lösning inte en förändring av vare sig hårvara eller operativsystem, och ingenkänningen genomförs utan att inverka på den normala driften av andra applikationer på telefonen.   Den utvecklade lösningen når en genomsnittlig noggranhet på 78% för detektering och klassificering av tre olika handgester, i ett antal olika konfigurationer vad gäller telefon och Wi-Fi-sändare. Rapporten innehåller även en analys av flera olika egenskaper hos den föreslagna lösningen, samt förslag till vidare arbete.

Conformité Européenne (CE) approval is a complex task for producers in Europe. The producers need to search for necessary standard documents and do the tests by themselves. CE-CHECK is a website which provides document searching service, and the company engineers want to use machine learning methods to analysis the documents and the results can improve the searching system. The first task is to construct an auto keyword extraction system to analysis the standard documents. This paper performed three different machine learning methods: Conditional Random Field (CRF), joint-layer Recurrent Neural Network (RNN), and double directional Long Short-Term Memory network (Bi-LSTM), for this task and tested their performances. CRF is a traditional probabilistic model which is widely used in sequential processing. RNN and LSTM are neural network models which show impressive performance on Natural Language processing in recent years. The result of the tests was that Bi-LSTM had the best performance: the keyword extraction recall was 76.97% while RNN was 72.99% and CRF was 70.18%. In conclusion, Bi-LSTM is the best model for this keyword extraction task, and the accuracy is high enough to provide a reliable result. The model also has good robustness that it have excellent performance on documents in different fields. Bi-LSTM model can analysis all documents in less than five minutes while manual works need months, so it saved both time and cost. The results can be used in searching system and further document analysis. / Att få Conformité Européenne (CE)-godkännande är en komplicerad process för producenter i Europa. Producenterna måste söka efter nödvändiga dokument för standarder samt utföra olika tester själva. CE-CHECK är en hemsida som erbjuder söktjänster för dokument. Företagets ingenjörer vill använda maskininlärningsmetoder för att analysera dokumenten då resultaten kan förbättra söksystemet. Den första uppgiften är att konstruera ett system som automatiskt extraherar nyckelord för att analysera dokument för standarder. Detta examensarbete använde tre olika maskininlärningsmetoder och testade deras prestanda: Conditional Random Field (CRF), joint-layer Recurrent Neural Network (RNN), samt Double directional Long Short-Term Memory network (Bi-LSTM). CRF är en traditionell probabilistisk modell som ofta används inom behandling av sekventiella data. RNN och LSTM är neurala nätverksmodeller som har visat imponerande resultat inom språkteknologi de senaste åren. Resultatet av undersökningen var att Bi-LSTM presterade bäst. Modellen lyckades extrahera 76.97% av nyckelorden medan resultatet för RNN var 72.99% och för CRF var det 70.18%. Slutsatsen blev således att Bi-LSTM är det bästa valet av modell för denna uppgift och dess exakthet är tillräckligt god för att producera pålitliga resultat. Modellen är även robust då den visar goda resultat på dokument från olika forskningsområden. Bi-LSTM kan analysera alla dokument på mindre än fem minuter medan manuellt arbete skulle kräva månader. Den minskar således både tidsåtgång och kostnad. Resultaten kan användas både i söksystem samt i vidare analys av dokument.

No description available.