In many relevant scenarios, there is an imbalance between abundant unlabeled data and scarce labeled data to train predictive models. Semi-Supervised Learning and Active Learning are two distinct approaches to deal with this issue. The first one directly uses the unlabeled data to improve model parameter learning, while the second performs a smart choice of unlabeled points to be sent to an annotator, or oracle, which can label these points and increase the labeled training set. In this context, Generative Models are highly appropriate, since they internally represent the data generating process, naturally benefiting from data samples independently of the presence of labels. This Thesis proposes Expectation-Maximization with Density-Weighted Entropy, a novel active semi-supervised learning framework tailored towards generative models. The method is theoretically explored and experiments are conducted to evaluate its application to Gaussian Mixture Models and Multinomial Mixture Models. Based on its partial success, several questions are raised and discussed as to identify possible improvements and decide which shortcomings need to be dealt with before the method is considered robust and generally applicable. / I många relevanta scenarier finns det en obalans mellan god tillgång på oannoterad data och sämre tillgång på annoterad data för att träna prediktiva modeller. Semi-Övervakad Inlärning och Aktiv Inlärning är två distinkta metoder för att hantera denna fråga. Den första använder direkt oannoterad data för att förbättra inlärningen av modellparametrar, medan den andra utför ett smart val av oannoterade punkter som ska skickas till en annoterare eller ett orakel, som kan annotera dessa punkter och öka det annoterade träningssetet. I detta sammanhang är Generativa Modeller mycket lämpliga eftersom de internt representerar data-genereringsprocessen och naturligt gynnas av dataexempel oberoende av närvaron av etiketter. Denna Masteruppsats föreslår Expectation-Maximization med Density-Weighted Entropy, en ny aktiv semi-övervakad inlärningsmetod som är skräddarsydd för generativa modeller. Metoden utforskas teoretiskt och experiment genomförs för att utvärdera dess tillämpning på Gaussiska Mixturmodeller och Multinomiala Mixturmodeller. Baserat på dess partiella framgång ställs och diskuteras flera frågor för att identifiera möjliga förbättringar och avgöra vilka brister som måste hanteras innan metoden anses robust och allmänt tillämplig.

With the development of deep learning methods the requirement of having access to large amounts of data has increased. In this study, we have looked at methods for leveraging unlabeled data while only having access to small amounts of labeled data, which is common in real-world scenarios. We have investigated a method called self-training for leveraging the unlabeled data when training a model. It works by training a teacher model on the labeled data that then labels the unlabeled data for a student model to train on. A popular method in machine learning is ensembling which is a way of improving a single model by combining multiple models. With previous studies mainly focusing on self-training with image data and showing that ensembles can successfully be used for images, we wanted to see if the same applies to text data. We mainly focused on investigating how ensembles can be used as teachers for training a single student model. This was done by creating different ensemble models and comparing them against the individual members in the ensemble. The results showed that ensemble do not necessarily improves the accuracy of the student model over a single model but in certain cases when used correctly they can provide benefits. We found that depending on the dataset bagging BERT models can perform the same or better than a larger BERT model and this translates to the student model. Bagging multiple smaller models also has the benefit of being easier to scale and more computationally efficient to train in comparison to scaling a single model. / Med utvecklingen av metoder för djupinlärning har kravet på att ha tillgång till stora mängder data ökat som är vanligt i verkliga scenarier. I den här studien har vi tittat på metoder för att utnytja oannoterad data när vi bara har tillgång till små mängder annoterad data. Vi har undersökte en metod som kallas självträning för att utnytja oannoterd data när man tränar en modell. Det fungerar genom att man tränar en lärarmodell på annoterad data som sedan annoterar den oannoterade datan för en elevmodell att träna på. En populär metod inom maskininlärning är ensembling som är en teknik för att förbättra en ensam modell genom att kombinera flera modeller. Tidigare studier har främst inriktade på självträning med bilddata och visat att ensembler framgångsrikt kan användas för bild data, vill vi se om detsamma gäller för textdata. Vi fokuserade främst på att undersöka hur ensembler kan användas som lärare för att träna en enskild elevmodell. Detta gjordes genom att skapa olika ensemblemodeller och jämföra dem med de enskilda medlemmarna i ensemblen. Resultaten visade att ensembler inte nödvändigtvis förbättrar elevmodellens noggrannhet jämfört med en enda modell, men i vissa fall kan de ge fördelar när de används på rätt sätt. Vi fann att beroende på datasetet kan bagging av BERT-modeller prestera likvärdigt eller bättre än en större BERT-modell och detta översätts även till studentmodellen prestandard. Att använda bagging av flera mindre modeller har också fördelen av att de är lättare att skala up och mer beräkningseffektivt att träna i jämförelse med att skala up en enskild modell.

One of the main limitations of training deep learning-based object detection models is the availability of large amounts of data annotations. When annotations are scarce, semi-supervised learning provides frameworks to improve object detection performance by utilising unlabelled data. This is particularly useful in plant leaf detection and possible leaf stress recognition, where data annotations are expensive to obtain due to the need for specialised domain knowledge. This project aims to investigate the feasibility of the Unbiased Teacher, a semi-supervised object detection algorithm, for detecting plant leaves and recognising possible leaf stress in experimental settings where few annotations are available during training. We build an annotated data set for this task and implement the Unbiased Teacher algorithm. We optimise the Unbiased Teacher algorithm and compare its performance to that of a baseline model. Finally, we investigate which hyperparameters of the Unbiased Teacher algorithm most significantly affect its performance and its ability to utilise unlabelled images. We find that the Unbiased Teacher algorithm outperforms the baseline model in the experimental settings when limited annotated data are available during training. Amongst the hyperparameters we consider, we identify the confidence threshold as having the most effect on the algorithm’s performance and ability to leverage unlabelled data. Ultimately, we demonstrate the feasibility of improving object detection performance with the Unbiased Teacher algorithm in plant leaf detection and possible stress recognition when few annotations are available. The improved performance reduces the amount of annotated data required for this task, reducing annotation costs and thereby increasing usage for real-world tasks. / En av huvudbegränsningarna med att träna djupinlärningsbaserade objektdetekteringsmodeller är tillgången på stora mängder annoterad data. Vid små mängder av tillgänglig data kan semi-övervakad inlärning erbjuda ett ramverk för att förbättra objektdetekteringsprestanda genom att använda icke-annoterad data. Detta är särskilt användbart vid detektering av växtblad och möjlig igenkänning av stressymptom hos bladen, där kostnaden för annotering av data är hög på grund av behovet av specialiserad kunskap inom området. Detta projekt syftar till att undersöka genomförbarheten av Opartiska Läraren (eng. ”Unbiased Teacher”), en semi-övervakad objektdetekteringsalgoritm, för att upptäcka växtblad och känna igen möjliga stressymptom hos blad i experimentella miljöer när endast en liten mängd annoterad data finns tillgänglig under träning. För att åstadkomma detta bygger vi ett annoterat dataset och implementerar Opartiska Läraren. Vi optimerar Opartiska Läraren och jämför dess prestanda med en baslinjemodell. Slutligen undersöker vi de hyperparametrar som mest påverkar Opartiska Lärarens prestanda och dess förmåga att använda icke-annoterade bilder. Vi finner att Opartiska Läraren överträffar baslinjemodellen i de experimentella inställningarna när det finns en begränsad mängd annoterad data under träningen. Bland hyperparametrarna vi överväger identifierar vi konfidensgränsen som har störst effekt på algoritmens prestanda och dess förmåga att utnyttja icke-annoterad data. Vi demonstrerar möjligheten att förbättra objektdetekteringsprestandan med Opartiska Läraren i växtbladsdetektering och möjlig stressigenkänning när få anteckningar finns tillgängliga. Den förbättrade prestandan minskar mängden annoterad data som krävs, vilket minskar anteckningskostnaderna och ökar därmed användbarheten för användning inom mer praktiska områden.

Text data is easy to retrieve but often expensive to classify, which is why labeled textual data is a resource often lacking in quantity. However, the use of labeled data is crucial in supervised tasks such as text classification, but semi-supervised learning algorithms have shown that the use of unlabeled data during training has the potential to improve model performance, even in comparison to a fully supervised setting. One approach to do semi-supervised learning is consistency training, in which the difference between the prediction distribution of an original unlabeled example and its augmented version is minimized. This thesis explores the performance difference between two techniques for augmenting unlabeled data used for detecting sentiment in movie reviews. The study examines whether the use of augmented data through neural style transfer paraphrasing could achieve comparable or better performance than the use of data augmented through back-translation. Five writing styles were used to generate the augmented datasets: Conversational Speech, Romantic Poetry, Shakespeare, Tweets and Bible. The results show that applying neural style transfer paraphrasing as a data augmentation technique for unlabeled examples in a semi-supervised setting does not improve the performance for sentiment classification with any of the styles used in the study. However, the use of style transferred augmented data in the semi-supervised approach generally performs better than using a model trained in a supervised scenario, where orders of magnitude more labeled data are needed and no augmentation is conducted. The study reveals that the experimented semi-supervised approach is superior to the fully supervised setting but worse than the semi-supervised approach using back-translation. / Textdata är lätt att få tag på men dyr att beteckna, vilket är varför annoterad textdata ofta inte finns i stora kvantiteter. Annoterad data är dock av yttersta vikt för övervakad inlärning, exempelvis för textklassificering, men semiövervakade inlärningsalgoritmer har visat att användandet av textdata utan annoteringar har potential att förbättra en inlärningsalgoritms resultat, även i jämförelse med helt övervakade algoritmer. Ett semi-övervakad inlärningsteknik är konsistensträning, där skillnaden mellan inferensen på en oförändrad datapunkt och en förändrar datapunkt minimeras. Denna uppsats utforskar skillnaden i resultat av att använda två olika tekniker för att förändra data som inte är annoterad för att detektera sentiment i filmrecensioner. Studien undersöker huruvida data förändrad via neural stilöverföring kan åstadkomma jämförbara eller bättre resultat i jämförelse med data förändrad genom tillbaka-översättning. Fem olika skrivstilar använda för att generera den förändrade datan: konversationellt tal, romantisk poesi, Shakespeare, Twitter-skrift samt Bibel. Resultaten visar att applicera neural stilöverföring på att förändra ej annoterade exempel för konsistensträning inte förbättrar resultaten i jämförelse med tillbaka-översättning. Semi-övervakad inlärning med stiltransferering presterar dock generellt bättre än en fullt övervakad, jämbördig algoritm som behöver flera magnituder fler annoteringar. Studien visar att den semiövervakade inlärningstekniken är bättre än den fullt övervakade modellen, men sämre än den semi-övervakade tekniken som använder tillbaka-översättning.

A high quality and large scale training data-set is an important guarantee to teach an ideal classifier for image classification. Manually constructing a training data- set  with  appropriate  labels  is  an  expensive  and  time  consuming  task.    Active learning techniques have been used to improved the existing models by reducing the  number  of  required  annotations.    The  present  work  aims  to  investigate the  way  to  build  a  model  for  identifying  and  utilizing  potential  informative and  representativeness  unlabeled  samples.    To  this  end,  two  approaches  for deep image classification using active learning are proposed, implemented and evaluated.  The two versions of active leaning for deep image classification differ in  the  input  space  exploration  so  as  to  investigate  how  classifier  performance varies  when  automatic  labelization  on  the  high  confidence  unlabeled  samples is  performed.    Active  learning  heuristics  based  on  uncertainty  measurements on low confidence predicted samples,  a pseudo-labelization technique to boost active  learning  by  reducing  the  number  of  human  interactions  and  knowledge transferring  form  pre-trained  models,  are  proposed  and  combined  into  our methodology.  The experimental results on two benchmark image classification data-sets  verify  the  effectiveness  of  the  proposed  methodology.    In  addition, a  new  pool-based  active  learning  query  strategy  is  proposed.     Dealing  with retraining-based algorithms we define a ”forgetting event” to have occurred when an  individual  training  example  transitions  the  maximum  predicted  probability class over the course of retraining. We integrated the new approach with the semi- supervised learning method in order to tackle the above challenges and observedgood performance against existing methods. / En  högkvalitativ  och  storskalig  träningsdataset  är  en  viktig  garanti  för  att  bli en  idealisk  klassificerare  för  bildklassificering.     Att  manuellt  konstruera  en träningsdatasats  med  lämpliga  etiketter  är  en  dyr  och  tidskrävande  uppgift. Aktiv  inlärningstekniker  har  använts  för  att  förbättra  de  befintliga  modellerna genom att minska antalet nödvändiga annoteringar. Det nuvarande arbetet syftar till  att  undersöka  sättet  att  bygga  en  modell  för  att  identifiera  och  använda potentiella informativa och representativa omärkta prover.   För detta ändamål föreslås, genomförs och genomförs två metoder för djup bildklassificering med aktivt  lärande  utvärderas.      De  två  versionerna  av  aktivt  lärande  för  djup bildklassificering  skiljer  sig  åt  i  undersökningen  av  ingångsutrymmet  för  att undersöka hur klassificeringsprestanda varierar när automatisk märkning på de omärkta  proverna  med  hög  konfidens  utförs.   Aktiv  lärande  heuristik  baserad på  osäkerhetsmätningar  på  förutsagda  prover  med  låg  konfidens,  en  pseudo- märkningsteknik för att öka aktivt lärande genom att minska antalet mänskliga interaktioner  och  kunskapsöverföring  av  förutbildade  modeller,  föreslås  och kombineras   i   vår   metod.      Experimentella   resultat   på   två   riktmärken   för bildklassificering datauppsättningar verifierar effektiviteten hos den föreslagna metodiken.   Dessutom föreslås en ny poolbaserad aktiv inlärningsfrågestrategi. När  vi  använder  omskolningsbaserade  algoritmer  definierar  vi  en  ”glömmer händelse” som skulle ha inträffat när ett individuellt träningsexempel överskrider den maximala förutsagda sannolikhetsklassen under omskolningsprocessen.  Vi integrerade den nya metoden med den semi-övervakad inlärning för att hanteraovanstående utmaningar och observeras bra prestanda mot befintliga metoder.

Image recognition is a subfield in computer vision, representing a set of methods for analyzing images. Image recognition systems allow computers to automatically find patterns and draw conclusions directly from images. The recent growth of the ecommerce fashion industry has sparked an increased interest from research community, and subsequently industry participants have started to apply image recognition technologies to automate various processes and applications like clothing categorization, attribute tagging, automatic product recommendations and many more. However, most research have been concerned with supervised learning, which require large labeled datasets. This thesis investigates an alternative approach which could potentially mitigate the reliance of large labeled datasets. Specifically, it investigates how Semi- Supervised Learning (SSL) compares to supervised learning in the context of fashion category classification. This thesis demonstrates that a state- of- the- art SSL method to train Deep Convolutional Neural Networks can provide very close accuracy to supervised learning by a margin of approximately 1 to 3 percent for the considered set of images. / Bildigenkänning är ett delområde inom datorseende, det representerar en uppsättning metoder för att analysera bilder. Bildigenkänningssystem tillåter datorer att automatiskt hitta mönster och dra slutsatser direkt från bilder. Den senaste tillväxten inom mode e- handeln har ökat forskningsintresset inom området, detta har bidragit till att aktörer på marknaden har börjat applicera bildigenkänningstekniker för att automatisera diverse processer och applikationer, som till exempel klädeskategorisering, märkning av attribut, automatiska produktrekommendationer med flera. Dock så har majoriteten av all forskning inom detta område har fokuserat på övervakad inlärning, vilket kräver stora annoterade dataset, den här uppsatsen undersöker istället en alternativ metod, som potentiellt kan minska beroendet på stora annoterade dataset. Specifikt så undersöks och jämförs semiövervakad inlärning med övervakad inlärning vid kategorisering av modebilder. Resultaten visar att en toppmodern semiövervakad inlärningsmetod för att träna ett djupt neuralt nätverk kan åstadkomma en precision väldigt nära övervakad inlärning, med en marginal på ungefär 1 till 3 procent för de använda modebilderna.

Objective non-intrusive speech quality assessment aimed to emulate and correlate with human judgement has received more attention over the years. It is a difficult problem due to three reasons: data scarcity, noisy human judgement, and a potential uneven distribution of bias of mean opinion scores (MOS). In this paper, we introduce the Latent Mean-Opinion-Score Network (LaMOSNet) that leverage on individual judge’s scores to increase the data size, and new ideas to deal with both noisy and biased labels. We introduce a methodology called Optimistic Judge Estimation as a way to reduce bias in MOS in a clear way. We also implement stochastic gradient noise and mean teacher, ideas from noisy image classification, to further deal with noisy and uneven bias distribution of labels. We achieve competitive results on VCC2018 modeling MOS, and state-of-the-art modeling only listener dependent scores. / Objektiv referensfri ljudkvalitétsbedömning ämnad att härma och korrelera med mänsklig bedömning har fått mer uppmärksamhet med åren. Det är ett svårt problem på grund av tre anledningar: brist på data, varians i mänsklig bedömning, och en potentiell ojämn fördelning av bias av medel bedömningsvärde (mean opinion score, MOS). I detta papper introducerar vi Latent Mean-Opinion-Score Network (LaMOSNet) som tar nytta av individuella bedömmares poäng för att öka datastorleken, och nya idéer för att handskas med både varierande och partisk märkning. Jag introducerar en metodologi som kallas Optimistisk bedömmarestimering, ett sätt att minska partiskheten i MOS på ett klart sätt. Jag implementerar också stokastisk gradient variation och medellärare, idéer från opålitlig bild igenkänning, för att ännu mer hantera opålitliga märkningar. Jag får jämförelsebara resultat på VCC2018 när jag modellerar MOS, och state-of-the-art när jag modellerar enbart beömmarnas märkning.