Ett vanligt problem inom supervised learning är brist på taggad träningsdata. Naive semi-supervised deep learning är en träningsteknik som ämnar att mildra detta problem genom att generera pseudo-taggad data och därefter låta ett neuralt nätverk träna på denna samt en mindre mängd taggad data. Detta arbete undersöker om denna teknik kan förbättras genom användandet av röstning. Flera neurala nätverk tränas genom den framtagna tekniken, naive semi-supervised deep learning eller supervised learning och deras träffsäkerhet utvärderas därefter. Resultaten visade nästan enbart försämringar då röstning användes. Dock verkar inte förutsättningarna för röstning ha varit särskilt goda, vilket gör det svårt att dra en säker slutsats kring effekterna av röstning. Även om röstning inte gav förbättringar har NSSDL visat sig vara mycket effektiv. Det finns flera applikationsområden där tekniken i framtiden skulle kunna användas med goda resultat.

Email communication is valuable for any modern company, since it offers an easy mean for spreading important information or advertising new products, features or offers and much more. To be able to identify which customers that would be interested in certain information would make it possible to significantly improve a company's email communication and as such avoiding that customers start ignoring messages and creating unnecessary badwill. This thesis focuses on trying to target customers by applying statistical learning methods to historical data provided by the music streaming company Spotify. An important aspect was the high-dimensionality of the data, creating certain demands on the applied methods. A binary classification model was created, where the target was whether a customer will open the email or not. Two approaches were used for trying to target the costumers, logistic regression, both with and without regularization, and random forest classifier, for their ability to handle the high-dimensionality of the data. Performance accuracy of the suggested models were then evaluated on both a training set and a test set using statistical validation methods, such as cross-validation, ROC curves and lift charts. The models were studied under both large-sample and high-dimensional scenarios. The high-dimensional scenario represents when the number of observations, N, is of the same order as the number of features, p and the large sample scenario represents when N ≫ p. Lasso-based variable selection was performed for both these scenarios, to study the informative value of the features. This study demonstrates that it is possible to greatly improve the opening rate of emails by targeting users, even in the high dimensional scenario. The results show that increasing the amount of training data over a thousand fold will only improve the performance marginally. Rather efficient customer targeting can be achieved by using a few highly informative variables selected by the Lasso regularization. / Företag kan använda e-mejl för att på ett enkelt sätt sprida viktig information, göra reklam för nya produkter eller erbjudanden och mycket mer, men för många e-mejl kan göra att kunder slutar intressera sig för innehållet, genererar badwill och omöjliggöra framtida kommunikation. Att kunna urskilja vilka kunder som är intresserade av det specifika innehållet skulle vara en möjlighet att signifikant förbättra ett företags användning av e-mejl som kommunikationskanal. Denna studie fokuserar på att urskilja kunder med hjälp av statistisk inlärning applicerad på historisk data tillhandahållen av musikstreaming-företaget Spotify. En binärklassificeringsmodell valdes, där responsvariabeln beskrev huruvida kunden öppnade e-mejlet eller inte. Två olika metoder användes för att försöka identifiera de kunder som troligtvis skulle öppna e-mejlen, logistisk regression, både med och utan regularisering, samt random forest klassificerare, tack vare deras förmåga att hantera högdimensionella data. Metoderna blev sedan utvärderade på både ett träningsset och ett testset, med hjälp av flera olika statistiska valideringsmetoder så som korsvalidering och ROC kurvor. Modellerna studerades under både scenarios med stora stickprov och högdimensionella data. Där scenarion med högdimensionella data representeras av att antalet observationer, N, är av liknande storlek som antalet förklarande variabler, p, och scenarion med stora stickprov representeras av att N ≫ p. Lasso-baserad variabelselektion utfördes för båda dessa scenarion för att studera informationsvärdet av förklaringsvariablerna. Denna studie visar att det är möjligt att signifikant förbättra öppningsfrekvensen av e-mejl genom att selektera kunder, även när man endast använder små mängder av data. Resultaten visar att en enorm ökning i antalet träningsobservationer endast kommer förbättra modellernas förmåga att urskilja kunder marginellt.

The languages spoken on northern Halmahera and surrounding small islands constitute a group of related ‘Papuan’ languages called North Halmahera. They are also, together with other Papuan and Austronesian languages, included in a proposed sprachbund which is called East Nusantara. Neuter gender and numeral classifiers have both been proposed to characterize the sprachbund. Consequently,an investigation of the noun categorisation systems in the North Halmahera languages, which is the subject of this study, can be of interest for the characterization of the sprachbund. The method for the investigation is to search for information about seven languages in existing grammatical descriptions, complemented with information which can be culled from published texts in the languages. There are mainly two categorisation systems in all the investigated languages: genders and numeral classifiers. The numerals often contain fossilized prefixes. Among the numeral classifiers, the human classifiers are special because of their origin from pronominal undergoer prefixes and the limitations of its use in some languages. Except in West Makian, there is a default classifier and a classifier for trees, and secondarily for houses, in all languages. A classifier for two-dimensional objects is also quite common. The other classifiers are used with a very limited number of nouns. / Språken som talas på norra Halmahera och omkringliggande småöar utgör en grupp av besläktade ’papuanska’ språk som kallas Nord-Halmahera-språk. De ingår också, ihop med andra papuanska och austronesiska språk, i ett antaget sprachbund som kallas för Östra Nusantara. Neutrum-genus ochnumeriska klassificerare har båda föreslagits karakterisera sprachbundet. Således kan en undersökning av substantivklassificering från ett historiskt och typologiskt perspektiv i Nord-Halmahera-språken, som är ämnet för den här studien, vara av intresse för karakteriseringen av sprachbundet. Metoden för undersökningen är att söka efter information för sju språk i existerande grammatiska beskrivningar, kompletterat med information som kan fås från publicerade texter på språken. Det förekommer huvudsakligen två klassificeringssystem i alla de undersökta språken: genus och numeriska klassificerare. Räkneorden innehåller ofta fossiliserade prefix. Bland de numeriska klassificerarna ärmännisko-klassificerarna speciella genom sitt ursprung i pronominella undergoer-prefix och den begränsade användnings-möjligheten i vissa språk. Utom i västmakianska, förekommer en allmän klassificerare och en klassificerare för träd, och sekundärt för hus, i alla språk. En klassificerare för två-dimensionella objekt är också ganska vanlig. Övriga klassificerare används oftast med ett mycket begränsat antal substantiv.

Machine learning is a growing topic with possibilities that seems endless with growing areas of applications. The field of metallography today is highly dependent on the operators’ knowledge and technical equipment to perform segmentation and analysis of the microstructure. Having expert dependents is both costly and very time-consuming. Some automatic segmentation is possible using SEM but not for all materials and only having to depend on one machine will create a bottleneck. In this thesis, a traditional supervised machine learning model has been built with a Random Forest (RF) classifier. The model performs automatic segmentation of complex microstructure features from images taken using light optical- and scanning electron microscopes. Two types of material, High-Strength-Low-Alloy (HSLA) steel with in-grain carbides and grain boundary carbides, and nitrocarburized steel with different amounts of porosity were analyzed in this work. Using a bank of feature extractors together with labeled ground truth data one model for each material was trained and used for the segmentation of new data. The model trained for the HSLA steel was able to effectively segment and analyze the carbides with a small amount of training. The model could separate the two types of carbides which is not possible with traditional thresholding. However, the model trained on nitrocarburized steel showcased difficulties in detecting the porosity. The result was however improved with a different approach to the labeling. The result implies that further development can be made to improve the model. / Maskininlärning är ett växande område där möjligheterna verkar oändliga med växande applikationsområden. Området för metallografi är idag till stor utsträckning beroende av operatörens kunskap och de tekniska instrumenten som finns tillgängliga för att genomföra segmentering och analys av mikrostrukturen. Viss automatisk segmentering är möjlig genom att använda SEM, men det är inte möjligt för alla material samt att behöva vara beroende av endast en maskin kommer skapa en flaskhals. I denna uppsats har en traditionell övervakad maskininlärnings modell skapats med en Random Forest klassificerare. Modellen genomför automatisk segmentering av komplexa mikrostrukturer på bilder från både ljusoptiskt- och svepelektron-mikroskop. Två olika typer av material, Hög-Styrka-Låg-Legerat (HSLA) stål med karbider och korngräns karbider, samt nitrokarburerat stål med varierande mängd porositet analyserades i detta arbete. Genom användningen av en särdragsextraktions bank tillsammans med annoterad grundsannings data tränades en modell för vartdera materialet och användes för segmentering av ny bild data. Modellen som tränades för HSLA stålet kunde effektivt segmentera och analysera karbiderna med en liten mängd träning. Modellen kunde separera de två typerna av karbider vilket inte varit möjligt med traditionellt tröskelvärde. Den modell som tränades för det nitrokarburerade stålet visade emellertid upp svårigheter i att detektera porositeten. Resultatet kunde dock förbättras genom ett annorlunda tillvägagångssätt för annoteringen. Resultatet vittnar om att vidareutveckling kan göras för att förbättra slutresultatet.

In today's digital world, we produce and use more electronic documents than ever before. And this trend is far from slowing down. Particularly, more and more companies and businesses now need to treat a considerable amount of documents to deal with their clients' requests. Scaling this process often requires building an automatic document treatment pipeline. Since the treatment of a document depends on its content, those pipelines heavily rely on an automatic document classifier to correctly process the documents received. Such document classifier should be able to receive a document of any type and output its class based on the text content of the document. In this thesis, we designed and implemented a machine learning pipeline for automated insurance claims documents classification. In order to find the best pipeline, we created several combination of different classifiers (logistic regressor and random forest classifier) and embedding models (Fasttext and Doc2vec). We then compared the performances of all of the pipelines using a the precision and accuracy metrics. We found that a pipeline composed of a Fasttext embedding model combined with a logistic regressor classifier was the most performant, yielding a precision of 85% and an accuracy of 86% on our dataset. / I dagens digitala värld, producerar och använder vi fler elektroniska dokument än någonsin tidigare. Denna trend är långt ifrån att sakta ner sig. Särskilt fler och fler företag behöver nu behandla en stor mängd dokument för att hantera sina kunders önskemål. Att skala denna process kräver ofta att man bygger en pipeline för automatisk dokumentbehandling. Eftersom behandlingen av ett dokument beror på dess innehåll, är dessa pipelines starkt beroende av en automatisk dokumentklassificerare för att korrekt bearbeta de mottagna dokumenten. En sådan dokumentklassificerare skall kunna ta emot ett dokument av vilken typ som helst och mata ut dess klass baserat på dokumentets textinnehåll. I detta examensarbete, designade och implementerade vi en maskininlärningspipeline för automatiserad klassificering av försäkringskrav-dokument. För att hitta den bästa pipelinen, skapade vi flera kombinationer av olika klassificerare (logistisk regressor och random forest klassificerare) och inbäddningsmodeller (Fasttext och Doc2vec). Vi jämförde sedan prestandan för alla pipelines med hjälp av precisions- och noggrannhetsmåtten. Vi fann att en pipeline bestående av en Fasttext-inbäddningsmodell kombinerad med en logistisk regressorklassificerare var den mest presterande, vilket gav en precision på 85% och en noggrannhet på 86% på vår datauppsättning.

Terminology is concerned with the creation and maintenance of concept systems, terms and definitions. Automatic term and definition extraction is used to simplify this otherwise manual and sometimes tedious process. This thesis presents an integrated approach of pattern matching and machine learning, utilising feature vectors in which each feature is a Boolean function of a regular expression. The integrated approach is compared with the two more classic approaches, showing a significant increase in recall while maintaining a comparable precision score. Less promising is the negative correlation between the performance of the integrated approach and training size. Further research is suggested.

Using automatic methods to assign incoming tracks and albums from multiple sources to artists entities in a digital rights management company, where no universal artist identifier is available and artist names can be ambiguous, is a challenging problem. In this work we propose to use stacked generalization to combine the predictions of heterogeneous classifiers for an improved quality of artist content matching on two datasets from a digital rights management company. We compare the performance of using a nonlinear meta-level learner to a linear meta-level learner for the stacked generalization on the two datasets, as well as on eight additional datasets to see how well our results general- ize. We conduct experiments and evaluate how the different meta-level learners perform, using the base learners’ class probabilities or a combination of the base learners’ class probabilities and original input features as meta-features. Our results indicate that stacking with a non-linear meta-level learner can improve predictions on the artist chooser problem. Furthermore, our results indicate that when using a linear meta-level learner for stacked generalization, using the base learners’ class probabilities as metafeatures works best, while using a combination of the base learners’ class probabilities and the original input features as meta-features works best when using a non-linear metalevel learner. Among all the evaluated stacking approaches, stacking with a non-linear meta-level learner, using a combination of the base learners’ class probabilities and the original input features as meta-features, performs the best in our experiments over the ten evaluation datasets. / Att använda automatiska metoder för att tilldela spår och album från olika källor till artister i en digital underhållningstjänst är problematiskt då det inte finns några universellt använda identifierare för artister och namn på artister kan vara tvetydiga. I det här verket föreslår vi en användning av staplad generalisering för att kombinera förutsägningar från heterogena klassificerare för förbättra artistmatchningen i två datamäng från en digital underhållningstjänst. Vi jämför prestandan mellan en linjär och en icke-linjär metainlärningsmetod för den staplade generaliseringen av de två datamängder, samt även åtta ytterligare datamäng för att se hur resultaten kan generaliseras. Vi utför experiment och utvärderar hur de olika metainlärningsmetoderna presterar genom att använda basinlärningsmetodens klassannolikheter eller en kombination av basinlärningsmetodens klassannolikheter och den ursprungliga representationen som metarepresentation. Våra resultat indikerar att staplandet med en icke-linjär metainlärningsmetod kan förbättra förutsägningarna i problemet med att tilldela artister. Vidare indikerar våra resultat att när man använder en linjär metainlärningsmetod för en staplad generalisering är det bäst att använda basinlärningsmetodens klassannolikheter som metarepresentation, medan när man använder en icke-linjär metainlärningsmetod för en staplade generaliseringen är det bäst att använda en kombination av basinlärningsmetodens klassannolikheter och den ursprungliga representationen som metarepresentation. Av alla utvärderade sätt att stapla är staplandet med en icke-linjär metainlärningsmetod med en kombination av basinlärningsmetodens klassannolikheter och den ursprungliga representationen som metarepresentation den ansats som presterar bäst i våra experiment över de tio datamängderna.

An automated manufacturing industry makes use of many interacting moving parts and sensors. Data from these sensors generate complex multidimensional data in the production environment. This data is difficult to interpret and also difficult to find patterns in. This project provides tools to get a deeper understanding of Swedsafe’s production data, a company involved in an automated manufacturing business. The project is based on and will show the potential of the multidimensional production data. The project mainly consists of predicting deviations from predefined threshold values in Swedsafe’s production data. Machine learning is a good method of finding relationships in complex datasets. Supervised machine learning classification is used to predict deviation from threshold values in the data. An investigation is conducted to identify the classifier that performs best on Swedsafe's production data. The technique sliding window is used for managing time series data, which is used in this project. Apart from predicting deviations, this project also includes an implementation of live graphs to easily get an overview of the production data. A steady production with stable process values is important. So being able to monitor and predict events in the production environment can provide the same benefit for other manufacturing companies and is therefore suitable not only for Swedsafe. The best performing machine learning classifier tested in this project was the Random Forest classifier. The Multilayer Perceptron did not perform well on Swedsafe’s data, but further investigation in recurrent neural networks using LSTM neurons would be recommended. During the projekt a web based application displaying the sensor data in live graphs is also developed.

Neuromodulation, such as spinal cord stimulation (SCS) and deep brain stimulation (DBS), has been shown to modulate pathophysiological brain activity and provide symptomatic therapy for several neurological disorders, including Parkinson’s Disease. The effectiveness of this therapy could likely be further improved by neuromodulation that is adaptive, delivering stimulation more selectively, by monitoring a biomarker in recorded brain signals, which indicates the presence of a pathological state. In the treatment of Parkinson’s Disease, the most commonly proposed solutions for adaptive neuromodulation are relying on excessive beta-band oscillatory activity as a biomarker, which is however often highly variable between patients during movement and in conjunction with neuromodulatory treatment, such as levodopa. These limitations hinder broader use of this biomarker and prompts further research for alternative solutions. In this work, we instead present the use of a novel feature of evoked electrophysiological activity, which utilizes the inter-trial phase coherence between stimulation pulses, to classify parkinsonian brain states in 6-OHDA lesioned rats. We developed a method, which relates to the rate of decay in inter-tral phase coherence, evoked by single SCS or DBS pulses, that is able to statistically separate experimental conditions recorded from a dopaminergic depleted hemisphere from conditions a non-depleted hemisphere, while also being able to separate conditions with levodopa treatment from conditions without treatment. For animals undergoing SCS we can classify phase decay measurements from pharmacologically treated or untreated parkinsonian states, using a Bayesian model, with a high accuracy and strong classifier performance for a single channel (AUC 0.85 – 0.99) in the motor cortex and striatum. In ongoing experiments, similar implementation of adaptive DBS is being evaluated. Our results support the implementation of our feature in a protocol aimed at performing closed-loop neuromodulation in the 6-OHDA rat model of Parkinon’s Disease, that can serve as the basis for further studies. / Neuromodulering, såsom ryggmärgsstimulering (SCS) och djup hjärnstimulering (DBS), har visat sig kunna modulera patofysiologisk hjärnaktivitet och ge symtomatisk behandling av flera neurologiska sjukdomar, inklusive Parkinsons sjukdom. Effekten av denna behandling skulle sannolikt kunna förbättras ytterligare genom neuromodulering som är adaptiv och ger stimulering mer selektivt, genom övervakning av en biomarkör i registrerade hjärnsignaler, som indikerar förekomsten av ett patologiskt tillstånd. Vid behandling av Parkinsons sjukdom förlitar sig de vanligaste lösningarna för adaptiv neuromodulering på överdriven beta-bands oscillatorisk aktivitet som en biomarkör som dock ofta är mycket varierande mellan patienter, under rörelse och i samband med behandling så som levodopa. Dessa begränsningar hindrar en bredare användning av denna biomarkör och ytterligare forskning krävs för att hitta alternativa lösningar. I detta arbete presenterar vi istället en ny egenskap hos väckt elektrofysiologisk aktivitet, som utnyttjar faskoherens mellan stimuleringspulser för att klassificera parkinsonistiska hjärntillstånd hos 6-OHDA-lesionerade råttor. Vi har utvecklat en metod som relaterar till avklingningshastigheten i faskoherens, framkallad av enstaka SCS- eller DBS-pulser, som kan statistiskt särskilja de experimentella tillstånden i en dopaminergiskt utarmad hemisfär från liknande tillstånd, fast i en icke utarmad hemisfär. Den kan även statistiskt särskilja tillstånd med levodopabehandling från tillstånd utan behandling. För djur som genomgår SCS kan vi klassificera fasförfallsmätningar från farmakologiskt behandlade eller obehandlade parkinsontillstånd, med hjälp av en Bayesiansk modell, med hög noggrannhet och stark klassificeringsprestanda för en enda kanal (AUC 0,85 - 0,99) i motorcortex och striatum. I pågående experiment utvärderas en liknande implementering av adaptiv DBS. Våra resultat stöder implementeringen av vår funktion i ett protokoll som syftar till att utföra sluten neuromodulering i 6-OHDA-råttmodellen för Parkinons sjukdom, som kan tjäna som grund för ytterligare studier.

Since February 2020, the world is in a COVID-19 pandemic [1]. Researchers around the globe are pitching in to develop a fast reliable, non-invasive testing methodology to solve this problem and one of the key directions of research is to utilize coughs and their corresponding vocal biomarkers for diagnosis of COVID-19. In this thesis, we propose a fast, real-time cough detection pipeline that can be used to detect and localize coughs from audio samples. The core of the pipeline utilizes the yolo-v3 model [2] from vision domain to localize coughs in the audio spectrograms by treating them as objects. This outcome is transformed to localize the boundaries of cough utterances in the input signal. The system to detect coughs from CoughVid dataset [3] is then evaluated. Furthermore, the pipeline is compared with other existing algorithms like tinyyolo-v3 to test for better localization and classification. Average precision(AP@0.5) of yolo-v3 and tinyyolo-v3 model are 0.67 and 0.78 respectively. Based on the AP values, tinyyolo-v3 performs better than yolo-v3 by atleast 10% and based on its computational advantage, its inference time was also found to be 2.4 times faster than yolo-v3 model in our experiments. This work is considered to be novel and significant in detection and localization of cough in an audio stream. In the end, the resulting cough events are used to extract MFCC features from it and classifiers were trained to predict whether a cough has COVID-19 or not. The performance of different classifiers were compared and it was observed that random forest outperformed other models with a precision of 83.04%. It can also be inferred from the results that the classifier looks promising, however, in future this model has to be trained using clinically approved dataset and tested for its reliability in using this model in a clinical setup. / Sedan februari 2020 är världen inne i en COVID-19-pandemi [1]. Forskare runt om i världen satsar på att utveckla en snabb tillförlitlig, icke-invasiv testmetodik för att lösa detta problem och en av de viktigaste forskningsriktningarna är att använda hosta och deras motsvarande vokala biomarkörer för diagnos av COVID-19. I denna avhandling föreslår vi en snabb pipeline för hostdetektering i realtid som kan användas för att upptäcka och lokalisera hosta från ljudprover. Kärnan i rörledningen använder yolo-v3-modellen [2] från syndomänen för att lokalisera hosta i ljudspektrogrammen genom att behandla dem som objekt. Detta resultat transformeras för att lokalisera gränserna för hosta yttranden i insignalen. Systemet för att upptäcka hosta från CoughVid dataset [3] utvärderas sedan. Dessutom jämförs rörledningen med andra befintliga algoritmer som tinyyolo-v3 för att testa för bättre lokalisering och klassificering. Genomsnittlig precision (AP@0.5) för modellen yolo-v3 och tinyyolo-v3 är 0,67 respektive 0,78. Baserat på AP-värdena fungerar tinyyolo-v3 bättre än yolo-v3 med minst 10% och baserat på dess beräkningsfördel befanns dess inferenstid också vara 2,4 gånger snabbare än yolo-v3- modellen i våra experiment. Detta arbete anses vara nytt och viktigt för att upptäcka och lokalisera hosta i en ljudström. I slutändan används de resulterande hosthändel-serna för att extrahera MFCC-funktioner från det och klassificerare utbildades för att förutsäga om en hosta har COVID-19 eller inte. Prestanda för olika klassificerare jämfördes och det observerades att slumpmässig skog överträffade andra modeller med en precision på 83.04%. Av resultaten kan man också dra slutsatsen att klassificeraren ser lovande ut, men i framtiden måste denna modell utbildas med hjälp av kliniskt godkänd dataset och testas med avseende på dess tillförlitlighet vid användning av denna modell i ett kliniskt upplägg.