Internet services, such as online shopping and chat apps, have been spreading significantly in recent years, generating substantial amounts of data. These data are precious for machine learning and consist of connections between different entities, such as users and items. These connections contain important information essential for ML models to exploit, and the need to extract this information from graphs gives rise to Graph Representation Learning. By training on these data using Graph Representation Learning methods, hidden information can be obtained, and services can be improved. Initially, the models used for Graph Representation Learning were unsupervised, such as the Deepwalk and Node2vec. These models originated from the field of Natural Language Processing. These models are easy to apply, but their performance is not satisfactory. On the other hand, while supervised models like GNN and GCN have better performance than unsupervised models, they require a huge effort to label the data and finetune the model. Nowadays, the datasets have become larger and more complex, which makes the burden heavier for applying these supervised models. A recent breakthrough in the field of Natural Language Processing may solve the problem. In the paper ‘Attention is all you need’, the authors introduce the Transformer model, which shows excellent performance in NLP. Considering that the field of NLP has many things in common with the GRL and the first supervised models all originated from NLP, it is reasonable to guess whether we can take advantage of the Transformer in improving the performance of the unsupervised model in GRL. Generating embedding for nodes in the graph is one of the significant tasks of GRL. In this thesis, the performance of the Transformer model on generating embedding is tested. Three popular datasets (Cora, Citeseer, Pubmed) are used in training, and the embedding quality is measured through node classification with a linear classification algorithm. Another part of the thesis is to finetune the model to determine the effect of model parameters on embedding accuracy. In this part, comparison experiments are conducted on the dimensions, the number of layers, the sample size, and other parameters. The experiments show that the Transformer model performs better in generating embedding than the original methods, such as the Deepwalk. Compared to supervised methods, it requires less finetuning and less training time. The characteristic of the Transformer model revealed from the experiments shows that it is a good alternative to the baseline model for embedding generation. Improvement may be made on the prepossessing and loss function of the model to get higher performance. / Internettjänster, som onlineshopping och chattappar, har spridits avsevärt de senaste åren och genererat betydande mängder data. Dessa data är värdefulla för maskininlärning och består av kopplingar mellan olika enheter, såsom användare och objekt. Dessa kopplingar innehåller viktig information som är väsentlig för ML-modeller att utnyttja, och behovet av att extrahera denna information från grafer ger upphov till Graph Representation Learning. Genom att träna på dessa data med hjälp av Graph Representation Learning-metoder kan dold information erhållas och tjänster kan förbättras. Till en början var modellerna som användes för Graph Representation Learning oövervakade, såsom Deepwalk och Node2vec. Dessa modeller härstammar från området Natural Language Processing. Dessa modeller är lätta att applicera, men deras prestanda är inte tillfredsställande. Å andra sidan, medan övervakade modeller som GNN och GCN har bättre prestanda än oövervakade modeller, kräver de en enorm ansträngning för att märka data och finjustera modellen. Numera har datamängderna blivit större och mer komplexa, vilket gör bördan tyngre för att tillämpa dessa övervakade modeller. Ett nyligen genomfört genombrott inom området Natural Language Processing kan lösa problemet. I tidningen ‘Attention is all you need’ introducerar författarna Transformer-modellen, som visar utmärkta prestanda i NLP. Med tanke på att området NLP har många saker gemensamt med GRL och att de första övervakade modellerna alla härstammar från NLP, är det rimligt att gissa om vi kan dra fördel av Transformatorn för att förbättra prestandan för den oövervakade modellen i GRL. Att generera inbäddning för noder i grafen är en av GRL:s viktiga uppgifter. I detta examensarbete testas transformatormodellens prestanda för att generera inbäddning. Tre populära datamängder (Cora, Citeseer, Pubmed) används i utbildningen, och inbäddningskvaliteten mäts genom nodklassificering med en linjär klassificeringsalgoritm. En annan del av avhandlingen är att finjustera modellen för att bestämma effekten av modellparametrar på inbäddningsnoggrannheten. I den här delen utförs jämförelseexperiment på dimensionerna, antalet lager, provstorleken och andra parametrar. Experimenten visar att Transformer-modellen presterar bättre när det gäller att generera inbäddning än de ursprungliga metoderna, såsom Deep-walk. Jämfört med övervakade metoder kräver det mindre finjustering och mindre träningstid. Den egenskap hos transformatormodellen som avslöjades från experimenten visar att den är ett bra alternativ till baslinjemodellen för inbäddningsgenerering. Förbättringar kan göras av modellens preposseing- och förlustfunktion för att få högre prestanda.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-323531 |
| Date | January 2022 |
| Creators | Ren, Yi |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2022:888 |
Page generated in 0.0024 seconds