In the past decades, networking researchers experienced great changes. Being familiar with the development of networking researches is the first step for most scholars to start their work. The targeted areas, useful documents, and active institutions are helpful to set up the new research. This project is focused on developing an assistant tool based on public accessed papers and information on the Internet that allows researchers to view most cited papers in networking conferences and journals. NLP tools are implemented over crawled full-text in order to classify the papers and extract the keywords. Papers are located based on authors to show the most active countries around the world that are working in this area. References are analyzed to view the most cited topics and detailed paper information. We draw some interesting conclusions from our system, showing that some topics attract more attention in the past decades. / Under de senaste decennierna upplevde nätverksundersökningar stora förändringar. Att känna till utvecklingen av nätverksundersökningar är det första steget för de flesta forskare att starta sitt arbete. De riktade områdena, användbara dokument och aktiva institutioner är användbara för att skapa den nya forskningen. Projektet fokuserade på att utveckla ett assistentverktyg baserat på offentliga åtkomstpapper och information via internet. Som gör det möjligt för forskare att se de mest citerade artiklarna i nätverkskonferenser och tidskrifter. NLP- verktyg implementeras över genomsökt fulltext för att klassificera papperet och extrahera nyckelorden. Artiklar är baserade på författare för att visa de mest aktiva länderna runt om i världen som arbetar inom detta område. Hänvisningar analyseras för att se det mest citerade ämnet och detaljerad pappersinformation. Vi drar några intressanta slutsatser från vårt system och visar att något ämne inte lockar till sig mer under de senaste decennierna.

This abstract presents a study in which knowledge distillation techniques were applied to a Large Language Model (LLM) to create smaller, more efficient models without sacrificing performance. Three configurations of the RoBERTa model were selected as ”student” models to gain knowledge from a pre-trained ”teacher” model. Multiple steps were used to improve the knowledge distillation process, such as copying some weights from the teacher to the student model and defining a custom loss function. The selected task for the knowledge distillation process was sentiment analysis on Amazon Reviews for Sentiment Analysis dataset. The resulting student models showed promising performance on the sentiment analysis task capturing sentiment-related information from text. The smallest of the student models managed to obtain 98% of the performance of the teacher model while being 45% lighter and taking less than a third of the time to analyze an entire the entire IMDB Dataset of 50K Movie Reviews dataset. However, the student models struggled to produce meaningful results on the topic modeling task. These results were consistent with the topic modeling results from the teacher model. In conclusion, the study showcases the efficacy of knowledge distillation techniques in enhancing the performance of LLMs on specific downstream tasks. While the model excelled in sentiment analysis, further improvements are needed to achieve desirable outcomes in topic modeling. These findings highlight the complexity of language understanding tasks and emphasize the importance of ongoing research and development to further advance the capabilities of NLP models. / Denna sammanfattning presenterar en studie där kunskapsdestilleringstekniker tillämpades på en stor språkmodell (Large Language Model, LLM) för att skapa mindre och mer effektiva modeller utan att kompremissa på prestandan. Tre konfigurationer av RoBERTa-modellen valdes som ”student”-modeller för att inhämta kunskap från en förtränad ”teacher”-modell. Studien mäter även modellernas prestanda på två ”DOWNSTREAM” uppgifter, sentimentanalys och ämnesmodellering. Flera steg användes för att förbättra kunskapsdestilleringsprocessen, såsom att kopiera vissa vikter från lärarmodellen till studentmodellen och definiera en anpassad förlustfunktion. Uppgiften som valdes för kunskapsdestilleringen var sentimentanalys på datamängden Amazon Reviews for Sentiment Analysis. De resulterande studentmodellerna visade lovande prestanda på sentimentanalysuppgiften genom att fånga upp information relaterad till sentiment från texten. Den minsta av studentmodellerna lyckades erhålla 98% av prestandan hos lärarmodellen samtidigt som den var 45% lättare och tog mindre än en tredjedel av tiden att analysera hela IMDB Dataset of 50K Movie Reviews datasettet.Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen. Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen.