Return to search

Self-Supervised Transformer Networks for Error Classification of Tightening Traces

Transformers have shown remarkable results in the domains of Natural Language Processing and Computer Vision. This naturally raises the question whether the success could be replicated in other domains. However, due to Transformers being inherently data hungry and sensitive to weight initialization, applying the Transformer to new domains is quite a challenging task. Previously, the data demands have been met using large scale supervised or self-supervised pre-training on a similar task before supervised fine-tuning on a target down stream task. We show that Transformers are applicable for the task of multi-label error classification of trace data, and that masked data modelling based self-supervised learning methods can be used to leverage unlabelled data to increase performance compared to a baseline supervised learning approach. / Transformers har visat upp anmärkningsvärda resultat inom områdena Natural Language Processing och Computer Vision. Detta väcker naturligtvis frågan om dessa framgångar kan upprepas inom andra områden. På grund av att transformatorer i sig är datahungriga och känsliga för initialisering av vikt är det dock en utmaning att tillämpa transformatorn på nya områden. Tidigare har datakraven tillgodosetts med hjälp av storskalig övervakad eller självövervakad förträning på en liknande uppgift före övervakad finjustering på en måluppgift i efterföljande led. Vi visar att transformatorer kan användas för klassificering av spårdata med flera etiketter och att metoder för självövervakad inlärning som bygger på modellering av maskerade data kan användas för att utnyttja omärkta data för att öka prestandan jämfört med en grundläggande övervakad inlärningsmetod.

Identiferoai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-320792
Date January 2022
CreatorsBogatov Wilkman, Dennis
PublisherKTH, Skolan för elektroteknik och datavetenskap (EECS)
Source SetsDiVA Archive at Upsalla University
LanguageEnglish
Detected LanguageSwedish
TypeStudent thesis, info:eu-repo/semantics/bachelorThesis, text
Formatapplication/pdf
Rightsinfo:eu-repo/semantics/openAccess
RelationTRITA-EECS-EX ; 2022:537

Page generated in 0.0023 seconds