Today, the ordering system for many products in grocery stores is commonly manual. At the same time, machine learning is becoming more popular as a way for companies to solve complex problems. This report aims to examine how machine learning can be used to forecast the sale of goods in the fruit and vegetable department of a grocery store. The study has tested different linear regression models for tomatoes and apples; Linear, Multiple Linear, Ridge, Lasso and Polynomial Regression. Ten features that have an impact on sales are tested in different combinations, such as weather, date and price parameters. The performance of the models is evaluated by using the measures Mean Absolute Error, Root Mean Square Error and R2. For tomatoes, the best performing model was Ridge Regression, and for apples Multiple Linear and Lasso Regression. The sale for tomatoes generated a positive R2 value, unlike for the apples. Apples on the other hand showed lower errors for Mean Absolute Error and Root Mean Square Error than tomatoes. The regression models showed better results than the manual ordering system, implying that it would be advantageous to implement them as a forecasting method. From a business point of view, the shift to an automated system possibly generates several positive effects, such as more efficient use of resources and reduced waste. The difficulties lie in factors that affect the sales but for which there is no data for, as well as how the change would require new knowledge to maintain the system. / Idag görs beställningar i många matvarubutiker manuellt av personalen. Samtidigt blir maskininlärning en allt vanligare metod för att automatisera och lösa komplexa problem för företag. Detta arbete undersöker hur maskininlärning och regression kan appliceras för att prognostisera försäljningen av varor på frukt- och gröntavdelningen i en matvarubutik. Arbetet undersöker olika linjära regressionsmodellers prestation för varorna kvisttomater och äpplen, för att sedan jämföra dessa med dagens manuella beställningssystem. Modellerna som testats är linjär, multipel linjär, Ridge, Lasso och polynomregression. Modellerna testas med tio olika parametrar som påverkar försäljningen, bland andra väder-, datum- och prisparametrar. Prestationen för modellerna utvärderas med måtten Mean Absolute Error, Root Mean Square Error och R2. De modeller som presterade bäst var Ridge Regression för kvisttomater, och multipel linjär samt Lasso Regression för äpplen. Försäljningen av kvisttomater visade ett linjärt samband med parametrarna och ett positivt R2-värde, till skillnad från äpplena. Äpplena visade däremot lägre fel för Mean Absolute Error och Root Mean Square Error än kvisttomaterna. Samtliga regressionsmodeller visade ett bättre resultat än det manuella beställningssystemet. Resultaten visar att det skulle vara fördelaktigt att implementera maskininlärningsmodeller för att prognostisera beställningar. Affärsmässigt förväntas ett skifte till ett automatiskt system innebära flera positiva effekter, som färskare utbud, effektivare resursanvändning och minskat svinn för en mer hållbar butik. Svårigheterna kring en implementation ligger i de faktorer som påverkar försäljningen men som det inte finns data på, samt hur det sätter krav på nya kunskaper för att underhålla systemet.

Although its applications have spread beyond computer science field, the process of machine learning still has some challenges for both expert and novice users. Machine learning platform aims to automate and accelerate the delivery cycle of using machine learning techniques. The objective of this degree project is to generate a user-centred design for an input interface of a machine-learning platform. To answer the research question, there are three methods conducted sequentially: 1) interviews; 2) prototyping; and 3) design evaluation. From the initial interview, we concluded users’ problems and expectations into 11 initial design requirements that should be incorporated into our future platform. The prototype testing focused on checking and improving the functionalities, rather than the visual appearance of the product. Finally, in the design evaluation method, the research delivered design recommendations consisting of five implications: 1) start with a clear definition of the specific machine learning goal; 2) present states of machine learning with a straight-forward flow that promotes learning-opportunity; 3) enable two-way transitions between all states; 4) accommodate different users’ goals with multiple scenarios; and 5) provide expert users with more control to customize the models. / Trots att dess tillämpningar har spridit sig utöver datavetenskapliga fält, behöver utvecklingen av framgångsrik användning av maskininlärning fortfarande anspråkiga komplexa metoder. Maskininlärningsplattform syftar till att automatisera och påskynda leveranscykeln för att använda maskininlärningstekniker. Syftet med detta examensarbete är att generera en användarcentrerad design för ett ingångsgränssnitt för en maskininlärningsplattform. För att besvara forskningsfrågan finns det tre metoder som genomförs i följd: 1) intervjuer; 2) prototypning; och 3) designutvärdering. Från den första intervjun avslutade vi användarnas problem och förväntningar i 11 ursprungliga designkrav som bör integreras av vår framtida plattform. Prototyptesten fokuserade på att kontrollera och förbättra funktionaliteterna snarare än det visuella utseendet på produkten. Avslutningsvis, i designbedömningsmetoden, levererade forskningen designrekommendationer bestående av fem implikationer: 1) börja med en tydlig definition av maskininlärningsmålet; 2) nuvarande stater med ett rakt framåtflöde som främjar inlärningsmöjligheter; 3) möjliggöra tvåvägsövergångar mellan tillstånd; 4) Rymma olika användares mål med flera scenarier; och 5) ge experter användare mer kontroll.

It is known that gradient flow in linear neural networks using Euclidean loss almost always avoids critical points that have at least one eigendirection with negative curvature. Using algebraic invariants of the gradient flow we try to prove that the set of all critical points with no second-order curvature (zero Hessian) for arbitrary networks is associated to a subset of the invariants of lower dimension. This would mean that these critical points are almost surely avoided. We show that this holds for networks with $3$ or less hidden layers and a few other special cases. We show by way of explicit counter-example that it is not true for general deep networks. / Det är känt att linjära neurala nätverk med Euklidisk loss-funktion under gradient flow alltid undviker kritiska punkter som har minst en egenriktning med negativ böjning. Med hjälp av algebraiska invarianter till gradient flow försöker vi bevisa att invarianter associerade med kritiska punkter med försvinnande Hessian-matris utgör en algebraisk mängd av lägre dimension. Det skulle innebära att dessa kritiska punkter nästan alltid undviks. Vi visar att för nätverk med $3$ eller färre gömda lager så gäller detta. Vi visar även med explicit motexempel att våran förmodan inte gäller för allmänna djupa nätverk.

Forms are used in many situations. For example, they tend to be ubiquitous in communications between individuals and government agencies. Something which could potentially boost transparency and efficiency is accurate estimates of how long it will take for the receiver to process a given completed form. Unfortunately, such estimates are often not available. This thesis examines the problem of using machine learning to predict form processing times, applied to the context of Swedish pay-as-you-earn tax returns. More specifically, it compares a naive baseline model to several random forest models, some based on the more common batch learning principle, and others on online learning which is typically seen as more suitable for working with data streams and changing conditions. Despite the theoretical advantages of online learning, none of the models using that approach were able to consistently outperform the naive baseline model. Conversely, the two primarily evaluated batch learning models were successful in doing so, although the improvement over the baseline was small. / Formulär används i många sammanhang. De är exempelvis mycket vanligt förekommande i kommunikation mellan privatpersoner och myndigheter. Något som potentiellt skulle kunna innebära ökad transparens och effektivitet är träffsäkra uppskattningar av hur lång tid det tar för mottagaren att handlägga ett givet formulär. Dessvärre är sådana uppskattningar ofta inte tillgängliga. Detta examensarbete undersöker hur maskininlärning kan användas för att förutspå formulärhandläggningstider, tillämpat i kontexten svenska arbetsgivardeklarationer. Mer specifikt jämförs en enkel naiv modell mot flera random forest-modeller, vissa baserade på den vanligare batchinlärningsprincipen, och andra på onlineinlärning som brukar ses som mer passande för dataströmmar och föränderliga förhållanden. Trots de teoretiska fördelarna med onlineinlärning lyckades inte någon av modellerna som använde sig av den tekniken konsekvent ge bättre resultat än den naiva grundmodellen. Däremot visade sig de två primärt utvärderade batchinlärningsmodellerna vara framgångsrika i det avseendet, även om skillnaden mot den naiva modellen var liten.

Ett användningsområde för maskininlärning och neurala nätverk är att förutspå data. Exempel på några fält som gynnas av denna teknologi är sjukvård, dataspel, och nätverksprogrammering. Detta arbete utforskar hur noggrant och tidseffektivt en specifik typ av neuralt nätverk kan förutspå en spelares framtida handlingar. Det neurala nätverket ska förutspå en framtida handling genom att ta en historik av data på spelarens inmatningar och spelets tillstånd vid olika tidpunkter. Det använda neurala nätverket kallas för ett Elmannätverk. Ett sekundärt neuralt nätverk vid namn Feed Forward Network används som jämförelsepunkt vid utvärderingen av Elmannätverket. Datainspelningen genomfördes på en avskalad förstapersonsskjutare där data användes för att både träna och utvärdera de neurala nätverken. Resultaten visar hur Elmannätverket presterade sämre än Feed Forward Nätverket. Rapporten tar upp olika möjliga orsaker till detta. Ett möjligt skäl kan vara att en historik av data inte är relevant för förutsägningen. Detta kan utvärderas vidare i framtida arbete.

Dialogue act (DA) classification is an important step in the process of developing dialog systems. DA classification is a problem usually solved by supervised machine learning (ML) approaches that all require hand labeled data. Since hand labeling data is a resource-intensive task, many have proposed to focus on unsupervised or semi-supervised ML approaches to solve the problem of DA classification. This master’s thesis explores a novel method for semi-supervised approach to DA classification: K-Means+HMM. The method combines K- Means and Hidden Markov Model (HMM) modeling in addition to abstracting away the words in the utterances to their part-of-speech (POS) tags and the utterances to their cluster labels produced by K-Means prior to HMM training. The focus are the following hypotheses: H1) incorporating context of the utterances leads to better results (HMM is a method specifically used for sequential data and thus incorporates context, while K-Means does not); H2) increasing the number of clusters in K-Means+HMM leads to better results; H3) increasing the number of examples of cluster labels and hand labeled DAs pairs in K-Means+HMM leads to better results (the examples of pairs are used to create the emission probabilities used to define the HMM). One of the conclusions is that K-Means performs better than K-Means+HMM (the result for K-Means measured with one-to-one accuracy is 35.0%, while the result for K-Means+HMM is 31.6%) given 14 clusters and one example pair. However, when the number of examples is increased to 15 the result is 40.5% for K-Means+HMM; the biggest improvement is when the number of examples is increased to 20 resulting in 44% one-to-one accuracy. That is, K-Means+HMM outperforms K-Means provided that a certain number of examples is given. Another conclusion is that the number of examples has a much larger impact on the results - compared to the number of clusters - thus perhaps concluding that the statement “there is no data like labeled data” holds. / Klassificering av dialoghandlingar är ett viktigt steg i processen för utveckling av dialogsystem. Klassificering av dialoghandlingar är ett problem som vanligtvis löses med hjälp av övervakade maskininlärningsmetoder som alla behöver uppmärkt data. Eftersom uppmärkning av data är en resurskrävande uppgift har många föreslagit att fokusera på oövervakade eller delvis övervakade maskininlärningsmetoder för att lösa problemet av klassificering av dialoghandlingar. Denna masteruppsats utforskar en ny delvis övervakad maskininläningsmetod för klassificering av dialoghandlingar: K-Means+HMM. Föru- tom att metoden kombinerar K-Means och Hidden Markiv Model (HMM) modellering, abstraheras orden i yttranden till deras ordklasstaggar och yttranden till deras klusteretiketter som produceras av K-Means före HMM träningen. Projektets fokus är följande tre hypoteser: H1) en intergration av yttrandenas kontext leder till ett bättre resultat (HMM är en metod som används specifikt för sekventiell data och den integrerar således kontexten, medan K-Means gör inte det); H2) ökning av antalet kluster i K- Means+HMM leder till bättre resultat; H3) ökning av antalet exempel av par av klusteretiketter och dialoghandligar uppmärkta för hand i K- Means+HMM leder till bättre resultat (parexemplen används för att skapa emissionssannolikheter som definierar HMM). En av slutsatserna är att K-Means presterar bättre än K-Means+HMM (resultatet för K-means mätt med en-till-en noggrannhet är 35,0%, medan resultatet för K-Means+HMM är 31,6%) givet 14 kluster och ett exempelpar. Däremot, när antalet av exempelpar ökar till 15 ökar resultatet för K-Means+HMM till 40,5%. Den största ökningen är när antalet exempelpar är 20, vilket ger ett resulat på 44% en-till-en noggrannhet. Med andra ord, presterar K-Means+HMM bätre än K-Means då att ett visst antal exempelpar är tillgängligt. En annan slutsats är att antalet av exempelpar har en mycket större effekt på resultaten jämfört med antalet kluster, vilket då möjligtvis leder till slutsatsen att “det finns ingen bättre data än uppmärkt data”.

This thesis analyzes data on E. coli cell growth in a bioreactor to investigate the possibility of finding predictable correlations between the environmental parameters (sensor data) and the growth using machine learning. Discovering these correlations could be a first step toward optimizing the growth of cells to be used for cell therapy: an effective but very expensive treatment method for cancer. This could ultimately lead to decreased manufacturing costs and larger treatment availability. The data first underwent a thorough preprocessing to obtain useful features that were divided into batches. In addition, a few separate further processing methods were applied to the data for further analysis. Thereafter several different machine learning methods were implemented and evaluated on the data. All possible sensor combinations were then fed into the best-performing network and the mean absolute error was calculated for each combination. The results showed that the implemented machine learning models did not find predictable patterns between sensor inputs and growth, as the predictions did not follow the growth variations and the models mainly predicted the average yield. However, the possibility that the used approach would benefit from additional data should not be discarded. / Detta examensarbete analyserar data som beskriver celltillväxt av E. coli i en bioreaktor för att undersöka möjligheten att hitta samband mellan inputparametrar och tillväxt med hjälp av maskininlärning. Att upptäcka dessa samband kan vara ett första steg mot att optimera tillväxten av celler som används för cellterapi: en effektiv men väldigt dyr behandlingsmetod för cancer. Detta kan i slutändan leda till minskade tillverkningskostnader och en större tillgänglighet av behandlingen. All data genomgick först en ingående förberedande bearbetning för att erhålla användbara features som var uppdelade i batcher. Ett antal separata vidarebearbetningsmetoder tillämpades också för vidare analys. Därefter implementerades och evaluerades ett flertal olika maskininlärningsmetoder. Den bäst presterande modellen blev tränad på alla möjliga sensorkombinationer och medelabsolutfelet beräknades. Resul- taten visade att de implementerade maskininlärningsmodellerna inte hittade förutsägbara mönster mellan sensorinput och celltillväxt, då förutsägelserna inte följde tillväxtvariationerna och modellerna främst förutspådde den genomsnittliga celltillväxten. Trots resultatet bör möjligheten att ytterligare data kan gynna det använda tillvägagångssättet inte förkastas.

Highly automated driving is approaching reality at a high speed. BMW is planningto put its first autonomous driving vehicle on the road already by 2021. The path torealising this new technology is however, full of challenges. Not only the transverseand longitudinal dynamic vehicle motion play an important role in experiencedcomfort but also the requirements and expectations of the occupants regarding thevertical dynamic vibration behaviour. Especially during long trips on the motorwaywhere the so far active driver becomes the chauffeured passenger, who reads, worksor sleeps in his newly gained time. These new use-cases create new requirements forthe future design of driving comfort which are yet to be fully discovered.This work was carried out at the BMW headquarters and had the aim to usedifferent machine learning models to investigate and identify patterns between thesubjective comfort values reported by participants in a study, on a comfort scale of 1-7 and the mechanical vibrations that they experienced, measured inm/s2. The datawas collected in a previous independent study and statistical methods were used toinsure the quality of the data. A comparison of the ISO 2631-1 comfort ratings andthe study’s findings is done to understand the need for a more sophisticated model to predict comfort in autonomous driving. The work continued by investigating different dimensionality reduction methods and their influence on the performance of the models. The process used to build, optimise and validate neural networks and other models is included in the method chapter and the results are presented. The work ends with a discussion of both the prediction results and the modelsre-usability. The machine learning models investigated in this thesis have shown great po-tential for detecting complex pattern that link feelings and thoughts to mechanical variables. The models were able to predict the correct level of comfort with up to50% precision when trying to predict 6 or 7 levels of comfort. When divided into high versus low discomfort, i.e. predicting one of two comfort levels, the models were able to achieve a precision of up to 75.4%.Excluded from this thesis is the study of differences in attentive vs inattentive state when being driven in an autonomous driving vehicle. It became clear shortly before the start of this work, that the experiment that yielded the data used for it failed to find a statistically significant difference between the two states. / Självkörande bilar är snart inte längre en dröm utan en mycket sann verklighet. År 2021 planerar BMW att släppa ut sin första autonoma bil på vägarna. Dock är vägen till att förverkliga denna nya teknik full av utmaningar. Utöver den tvärgående och längsgående dynamiska styrningen av fordonet, så spelar även passagerarens förväntningar på det vertikala dynamiska vibrationsbeteendet en växande roll. Speciellt under långa resor på motorvägen där den för nuvarande aktiva föraren blir passagerare, som läser, arbetar eller sover under sin nyvunna tid. De nya användarsenarierna ställer i sin tur nya krav på bilens komfort. Krav som inte har blivit hittills utförligt undersäkta, fastän de kan komma att spela en stor roll i teknikens framgång.Detta examensarbete genomfördes hos BMW:s huvudkontor i Tyskland och hade som mål att undersöka olika maskininlärningsmodeller och deras förmåga att identifiera mönster mellan de subjektiva komfortvärden som rapporterats av deltagarna i en studie, givna på skala 1-7, och de mekaniska vibrationerna som de upplevde mätta i m/s^2. Uppgifterna samlades in i en tidigare oberoende studie. Statistiska metoder användes för att säkerställa datakvaliteten. I detta arbeter har en jämförelse mellan ISO 2631-1-komfortbedömningar och undersökningsresultaten gjorts för att förstå behovet av en mer sofistikerad komfortstandard för att objektifera komfort i självkörande bilar. Arbetet fortsatte med att undersöka olika metoder för att minska datadimensionerna och deras inflytande på modellernas prestanda. Processen som används för att bygga, optimera och validera neurala nätverk och andra modeller är inkluderad i metoddelen och resultaten är presenterade och förklarade därefter. Arbetet avslutas med en diskussion kring både resultatets validitet och modellernas användbarhet.De maskininlärningsmodeller som undersöktes i detta examensarbete har visat stor potential för att upptäcka komplexa mönster som kopplar känslor och tankar till mekaniska variabler. Modellerna kunde förutsäga rätt komfortnivå med upp till 50% precision när 6 eller 7 nivåer av komfort användes. Vid uppdelning i hög mot låg komfort, dvs att kunna förutsäga en av två komfortnivåer, kunde modellerna uppnå en precision på upp till 75.4%.

The primary objective of this thesis is to evaluate the prospect of machine learning methods being used to classify flying qualities based on simulator data (with the focus being on pitch maneuvers). If critical flying qualities could be identified earlier in the verification process, they can be further invested in and focused on with less cost for design changes of the flight control system. Information from manned simulations with given flying quality levels are used to create a replication of the performed pitch maneuver in a desktop simulator. The generated flight data is represented by different measures in the classification to separately train and test the machine learning models against the given flying quality level. The models used are Logistic Regression, Support Vector Machines with radial basis functions (RBF), linear and polynomial kernels along with Artificial Neural Networks.  The results show that the classifiers correctly identify at least 80% of cases with critical flying qualities. The classification shows that the statistical measures of the time signals and first order time derivatives of pitch, roll and yaw rates are enough for classification within the scope of this thesis. The different machine learning models show no significant difference in performance in the scope of this thesis. In conclusion, machine learning methods show good potential for classification of flying qualities, and could become an important tool for evaluating flying qualities of large amounts of simulations, in addition to manned simulations. / Huvuduppgiften med detta examensarbete är att utvärdera huruvida maskininlärning kan användas för att klassificera flygkvaliteter från simulatordata (där fokus ligger på att utvärdera tippmanövrar). Om kritiska flygkvaliteter kan identifieras tidigare i verifikationsprocessen, kan resurser fokuseras för att åtgärda problemet tidigt med mindre kostnader för ändringar av styrsystemet. Information från bemannade simuleringar där flygkvalitetsnivåer har angetts av pilot används för att återskapa tippmanövern i skrivbordssimulatorn. Den genererade flygdatan representeras av olika mått i klassificeringen för att separat träna och testa maskininlärningsmodellerna mot den givna flygkvalitetsnivån. De modeller som används i rapporten är logistisk regression, stödvektormaskiner med radiella basfunktioner (RBF), linjär och polynomisk kärna samt artificiella neurala nätverk. Resultaten visar att klassificerarna korrekt identifierar över 80% av fallen med kritiska flygkvaliteter. Klassificeringen visar att statistiska mått av tidssignalen och första ordningens tidsderivator i tipp, roll och gir är tillräckligt för klassificering inom gränserna av detta examensarbete. De olika maskininlärningsmodellerna visar inga signifikanta skillnader i prestanda med datan som används. Sammanfattningsvis kan maskininlärningsmodellerna anses ha god potential för klassificering av flygkvaliteter, och kan vara ett viktigt verktyg för att klassificera flygkvaliteter för stora mängder flygdata, som komplement till bemannade simuleringar.

Sound quality is an important measure depicting the quality of a machine as well as the comfort in its usage. However, it being a subjective measure, not only is it difficult to capture it ahead of time but also necessitates time and cost expensive jury testing. Thus, it is worthwhile to be able to effectively predict the results of the jury study from metrics that can be objectively measured. The aim of the thesis is twofold: first, to establish neural network models to predict subjective sound quality metrics from objective metrics and second, to interpret the model to understand the relative importance of each objective metric towards a specific subjective rating. Ultimately the thesis aims to pave the way for inclusion of sound quality metrics in the early design stages. From the study, it was evident that neural networks’ performance was at least equal to or better than linear or quadratic models. The connection weights method, the profile method, the perturbation method, the improved stepwise selection method and linear regression method were the interpretation algorithms found to work well in all simulated data-sets. They also gave comparable results on the real data-sets. Neural networks were shown to have the potential for giving low prediction errors while maintaining interpretability in sound quality applications. The data scarcity study gave an idea of the scale of performance enhancement that can be achieved with more data and can act as a useful input for deciding the number data points. / Ljudkvalitet är ett viktigt mått som skildrar en maskins kvalitet såväl som bekvämlighet i dess användning. Det är emellertid ett subjektivt mått, inte bara är det svårt att fånga detta i förväg men också att det kräver både tid och dyra jurytestningar. Det är därför värdefullt att kunna effektivt förutsäga de resultaten av jurystudien från mätvärden som kan mätas objektivt. Syftet med arbetet är tvåfaldigt: det första är att etablera neuronnätsmodeller till att förutsäga subjektiva ljudkvalitetsmätvärden från objektiva mätvärden. Det andra är att tolka modellen till att kunna förstå den relativa betydelsen av varje objektivt mätvärde mot en specifik subjektiv bedömning. I sista hand syftar arbetet till att bana vägen för inkludering av mätvärden för ljudkvalitet i de tidiga designfaserna. Utifrån studien var det uppenbart att neuronnäts prestanda var åtminstone lika med eller bättre än de linjära eller kvadratiska modellerna. Anslutningsviktsmetoden, profilmetoden, störningsmetoden, den förbättrade stegvisa urvalsmetoden samt den linjära regressionsmetoden var tolkningsalgoritmerna som visade sig att fungera väl på alla simulerad datauppsättningar. De gav också jämförbara resultat på de verkliga datauppsättningarna. Neuronnät visade sig att ha potential att ge låga prediktionsfel samtidigt som de bibehåller tolkningsbarhet i applikationer för ljudkvalitet. Studien av dataknapphet gav det en uppfattning om storleken på prestandaförbättring som kan uppnås med mer data och kan fungera som en användbar input vid bestämning av antalet datapunkter.