In the past decades, networking researchers experienced great changes. Being familiar with the development of networking researches is the first step for most scholars to start their work. The targeted areas, useful documents, and active institutions are helpful to set up the new research. This project is focused on developing an assistant tool based on public accessed papers and information on the Internet that allows researchers to view most cited papers in networking conferences and journals. NLP tools are implemented over crawled full-text in order to classify the papers and extract the keywords. Papers are located based on authors to show the most active countries around the world that are working in this area. References are analyzed to view the most cited topics and detailed paper information. We draw some interesting conclusions from our system, showing that some topics attract more attention in the past decades. / Under de senaste decennierna upplevde nätverksundersökningar stora förändringar. Att känna till utvecklingen av nätverksundersökningar är det första steget för de flesta forskare att starta sitt arbete. De riktade områdena, användbara dokument och aktiva institutioner är användbara för att skapa den nya forskningen. Projektet fokuserade på att utveckla ett assistentverktyg baserat på offentliga åtkomstpapper och information via internet. Som gör det möjligt för forskare att se de mest citerade artiklarna i nätverkskonferenser och tidskrifter. NLP- verktyg implementeras över genomsökt fulltext för att klassificera papperet och extrahera nyckelorden. Artiklar är baserade på författare för att visa de mest aktiva länderna runt om i världen som arbetar inom detta område. Hänvisningar analyseras för att se det mest citerade ämnet och detaljerad pappersinformation. Vi drar några intressanta slutsatser från vårt system och visar att något ämne inte lockar till sig mer under de senaste decennierna.

This abstract presents a study in which knowledge distillation techniques were applied to a Large Language Model (LLM) to create smaller, more efficient models without sacrificing performance. Three configurations of the RoBERTa model were selected as ”student” models to gain knowledge from a pre-trained ”teacher” model. Multiple steps were used to improve the knowledge distillation process, such as copying some weights from the teacher to the student model and defining a custom loss function. The selected task for the knowledge distillation process was sentiment analysis on Amazon Reviews for Sentiment Analysis dataset. The resulting student models showed promising performance on the sentiment analysis task capturing sentiment-related information from text. The smallest of the student models managed to obtain 98% of the performance of the teacher model while being 45% lighter and taking less than a third of the time to analyze an entire the entire IMDB Dataset of 50K Movie Reviews dataset. However, the student models struggled to produce meaningful results on the topic modeling task. These results were consistent with the topic modeling results from the teacher model. In conclusion, the study showcases the efficacy of knowledge distillation techniques in enhancing the performance of LLMs on specific downstream tasks. While the model excelled in sentiment analysis, further improvements are needed to achieve desirable outcomes in topic modeling. These findings highlight the complexity of language understanding tasks and emphasize the importance of ongoing research and development to further advance the capabilities of NLP models. / Denna sammanfattning presenterar en studie där kunskapsdestilleringstekniker tillämpades på en stor språkmodell (Large Language Model, LLM) för att skapa mindre och mer effektiva modeller utan att kompremissa på prestandan. Tre konfigurationer av RoBERTa-modellen valdes som ”student”-modeller för att inhämta kunskap från en förtränad ”teacher”-modell. Studien mäter även modellernas prestanda på två ”DOWNSTREAM” uppgifter, sentimentanalys och ämnesmodellering. Flera steg användes för att förbättra kunskapsdestilleringsprocessen, såsom att kopiera vissa vikter från lärarmodellen till studentmodellen och definiera en anpassad förlustfunktion. Uppgiften som valdes för kunskapsdestilleringen var sentimentanalys på datamängden Amazon Reviews for Sentiment Analysis. De resulterande studentmodellerna visade lovande prestanda på sentimentanalysuppgiften genom att fånga upp information relaterad till sentiment från texten. Den minsta av studentmodellerna lyckades erhålla 98% av prestandan hos lärarmodellen samtidigt som den var 45% lättare och tog mindre än en tredjedel av tiden att analysera hela IMDB Dataset of 50K Movie Reviews datasettet.Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen. Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen.

Moderating group discussions among humans can often be challenging and require certain skills, particularly in deciding when to ask other participants to elaborate or change the current topic of the discussion. Recent research on Human-Robot Interaction in groups has demonstrated the positive impact of robot behavior on the quality and effectiveness of the interaction and their ability to shape the dynamics of the group and promote social behavior. In light of this, there is the potential of using social robots as discussion moderators to facilitate engaging and productive discussions among humans. Previous work on topic management in conversational agents was predominantly based on human engagement and topic personalization, with the agent having an active/central role in the conversation. This thesis focuses exclusively on the moderation of group discussions; instead of moderating the topic based on evaluated human engagement, the thesis builds upon previous research on non-verbal cues related to discussion topic structure and turntaking to determine whether participants intend to continue discussing the current topic in a content-free manner. This thesis investigates the suitability of machine-learning models and the contribution of different audiovisual non-verbal features in predicting appropriate topic changes. For this purpose, we utilized pre-recorded interactions between a robot moderator and human participants, which we annotated and from which we extracted acoustic and body language-related features. We provide an analysis of the performance of sequential and nonsequential machine learning approaches using different sets of features, as well as a comparison with rule-based heuristics. The results indicate promising performance in classifying between cases when a topic change was inappropriate versus when a topic change could or should change, outperforming rule-based approaches and demonstrating the feasibility of using machine learning models for topic moderation. Regarding the type of models, the results suggest no distinct advantage of sequential over non-sequential modeling approaches, indicating the effectiveness of simpler non-sequential data models. Acoustic features exhibited comparable and, in some cases, improved overall performance and robustness compared to using only body language-related features or a combination of both types. In summary, this thesis provides a foundation for future research in robot-mediated topic moderation in groups using non-verbal cues, presenting opportunities to further improve social robots with topic moderation capabilities. / Att moderera gruppdiskussioner mellan människor kan ofta vara utmanande och kräver vissa färdigheter, särskilt när det gäller att bestämma när man ska be andra deltagare att utveckla eller ändra det aktuella ämnet för diskussionen. Ny forskning om människa-robotinteraktion i grupper har visat den positiva effekten av robotbeteende på interaktionens kvalitet och effektivitet och deras förmåga att forma gruppens dynamik och främja socialt beteende. I ljuset av detta finns det potential att använda sociala robotar som diskussionsmoderatorer för att underlätta engagerande och produktiva diskussioner bland människor. Tidigare arbete med ämneshantering hos konversationsagenter baserades till övervägande del på mänskligt engagemang och ämnesanpassning, där agenten hade en aktiv/central roll i samtalet. Denna avhandling fokuserar uteslutande på moderering av gruppdiskussioner; istället för att moderera ämnet baserat på utvärderat mänskligt engagemang, bygger avhandlingen på tidigare forskning om icke-verbala ledtrådar relaterade till diskussionsämnesstruktur och turtagning för att avgöra om deltagarna avser att fortsätta diskutera det aktuella ämnet på ett innehållsfritt sätt. Denna avhandling undersöker lämpligheten av maskininlärningsmodeller och bidraget från olika audiovisuella icke-verbala funktioner för att förutsäga lämpliga ämnesändringar. För detta ändamål använde vi förinspelade interaktioner mellan en robotmoderator och mänskliga deltagare, som vi kommenterade och från vilka vi extraherade akustiska och kroppsspråksrelaterade funktioner. Vi tillhandahåller en analys av prestandan för sekventiell och ickesekventiell maskininlärningsmetoder med olika uppsättningar funktioner, samt en jämförelse med regelbaserad heuristik. Resultaten indikerar lovande prestation när det gäller att klassificera mellan fall när ett ämnesbyte var olämpligt kontra när ett ämnesbyte kunde eller borde ändras, överträffande regelbaserade tillvägagångssätt och demonstrerar genomförbarheten av att använda maskininlärningsmodeller för ämnesmoderering. När det gäller typen av modeller tyder resultaten inte på någon tydlig fördel med sekventiella metoder framför icke-sekventiella modelleringsmetoder, vilket indikerar effektiviteten hos enklare icke-sekventiella datamodeller. Akustiska funktioner uppvisade jämförbara och, i vissa fall, förbättrade övergripande prestanda och robusthet jämfört med att endast använda kroppsspråksrelaterade funktioner eller en kombination av båda typerna.svis ger denna avhandling en grund för framtida forskning inom robotmedierad ämnesmoderering i grupper som använder icke-verbala ledtrådar, och presenterar möjligheter att förbättra sociala robotar ytterligare med ämnesmodererande förmåga.