In this work, we set the stage of a limited labelling budget and propose using a sample selector network to learn and select effective training samples, whose labels we would then acquire to train the target model performing the required machine learning task. We make the assumption that the sample features, the state of the target model and the training loss of the target model are informative for training the sample selector network. In addition, we approximate the state of the target model with its intermediate and final network outputs. We investigate if under a limited labelling budget, the sample selector network is capable of learning and selecting training samples that train the target model at least as effectively as using another training subset of the same size that is uniformly randomly sampled from the full training dataset, the latter being the common procedure used to train machine learning models without active learning. We refer to this common procedure as the traditional machine learning uniform random sampling method. We perform experiments on the MNIST and CIFAR-10 datasets; and demonstrate with empirical evidence that under a constrained labelling budget and some other conditions, active learning using a sample selector network enables the target model to learn more effectively. / I detta arbete sätter vi steget i en begränsad märkningsbudget och föreslår att vi använder ett provväljarnätverk för att lära och välja effektiva träningsprover, vars etiketter vi sedan skulle skaffa för att träna målmodellen som utför den nödvändiga maskininlärningsuppgiften. Vi antar att provfunktionerna, tillståndet för målmodellen och utbildningsförlusten för målmodellen är informativa för att träna provväljarnätverket. Dessutom uppskattar vi målmodellens tillstånd med dess mellanliggande och slutliga nätverksutgångar. Vi undersöker om provväljarnätverket enligt en begränsad märkningsbudget kan lära sig och välja utbildningsprover som tränar målmodellen minst lika effektivt som att använda en annan träningsdel av samma storlek som är enhetligt slumpmässigt samplad från hela utbildningsdatasystemet, det senare är det vanliga förfarandet som används för att utbilda maskininlärningsmodeller utan aktivt lärande. Vi hänvisar till denna vanliga procedur som den traditionella maskininlärning enhetliga slumpmässig sampling metod. Vi utför experiment på datasätten MNIST och CIFAR-10; och visa med empiriska bevis att under en begränsad märkningsbudget och vissa andra förhållanden, aktivt lärande med hjälp av ett provvalnätverk gör det möjligt för målmodellen att lära sig mer effektivt.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-287312 |
| Date | January 2020 |
| Creators | Tan, Run Yan |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2020:788 |
Page generated in 0.0024 seconds