“Blir inte texter från ChatGPT väldigt genomsnittliga? Hur kommer det sig att ChatGPT räknar fel? Varför har ChatGPT helt rätt i alla stycken förutom kraftiga faktafel i ett av dom?”. Dessa frågor låg som grund för detta arbete och är sådana som ställts gällande verktyget. Svaren på dessa frågor har hjälpt till att skapa en testmetod för detektering av genererade texter och resultaten från dessa har jämförts med tidigare arbetens resultat. Men detekteringen av genererade texter har visat sig vara problematisk och belyser styrkorna och svagheterna med olika metoder för detektering.

ChatGPT svepte omkull oss när applikationen släpptes i slutet av november under 2022. Det talades om domedagsprofetior, oändliga möjligheter och ett område som krävde reglering då det spås förändra samhället generellt och skolan i synnerhet. Men vad innebär det egentligen för skolväsendet? Denna studie ger sig ut på en explorativ upptäckarfärd för att utforska ett ännu relativt outforskat område. Studien syftar till att ta reda på om ChatGPT kan ses som ett möjligt verktyg för lärare i deras planeringsarbete med en kurs och vad det skulle innebära för lärarrollen. Studien lutar sig mot John Biggs (1996/2011) konstruktiva länkning för att analysera planering skapad av ChatGPT och ser även till relevanta styrdokument för kursen Svenska 1 på gymnasiet. Tidigare forskning som tar upp möjligheter, farhågor samt rekommendationer gällande ChatGPT avhandlas för att sedan appliceras till resultatanalys, diskussion och slutsatser. Studien visar på flera resultat där dels möjligheter som mer tid till elevstöd, ChatGPT som ett användbart bollplank och ett verktyg till att skapa en grund för en planering presenteras. Dels belyser studien också flertalet brister i användningen av ChatGPT som ett planeringsverktyg då den bland annat genererar direkt felaktig information, kan skapa en övertro till verktyget, dels generaliserar för mycket för att anta funktionen som ett komplett planeringsverktyg. Slutligen diskuteras fortsatt forskning som är direkt nödvändig för att lärarkåren ska kunna anpassa sig till vad som ser ut som den nya verkligheten.

Scientific findings recorded in literature help continuously guide scientific advancements, but manual approaches to accessing that knowledge are insufficient due to the sheer quantity of information and data available. Although pre-trained language models are being explored for their utility as knowledge bases and structured data repositories, there is a lack of research for this application in the biomedical domain. Therefore, the aim in this project was to determine how Generative Pre-trained Transformer models pre-trained on articles in the biomedical domain can be used to make relevant information more accessible. Several models (BioGPT, BioGPT-Large, and BioMedLM) were evaluated on the task of extracting chemical-protein relations between entities directly from the models through prompting. Prompts were formulated as a natural language text or an ordered triple, and provided in different settings (few-shot, one-shot, or zero-shot). Model-predictions were evaluated quantitatively as a multiclass classification task using a macro-averaged F1-score. The result showed that out of the explored methods, the best performance for extracting chemical-protein relations from article-abstracts was obtained using a triple-based text prompt on the largest model, BioMedLM, in the few-shot setting, albeit with low improvements from the baseline (+0.019 F1). There was no clear pattern for which prompt setting was favourable in terms of task performance, however, the triple based prompt was generally more robust than the natural language formulation. The task performance of the two smaller models underperformed the random baseline (by at best -0.026 and -0.001 F1). The impact of the prompt method was minimal in the smallest model, and the one-shot setting was the least sensitive to the prompt formulation in all models. However, there were more pronounced differences between the prompt methods in the few-shot setting of the larger models (+0.021-0.038 F1). The results suggested that the method of prompting and the size of the model impact the knowledge eliciting performance of a language model. Admittedly, the models mostly underperformed the baseline and future work needs to look into how to adapt generative language models to solve this task. Future research could investigate what impact automatic prompt-design methods and larger in-domain models have on the model performance. / De vetenskapliga upptäckter som presenteras inom litteraturen vägleder kontinuerligt vetenskapliga framsteg. Manuella tillvägagångssätt för att ta del av den kunskapen är otillräckliga på grund av den enorma mängd information och data som finns tillgänglig. Även om för-tränade språkmodeller utforskas för sin brukbarhet som kunskapsbaser och strukturerade dataförråd så finns det en brist på forskning inom den biomedicinska domänen. Målet med detta projekt var att utreda hur Generative Pre-trained Transformer (GPT) modeller för-tränade på biomedicinska artiklar kan användas för att öka tillgängligheten av relevant information inom denna domän. Olika modeller (BioGPT, BioGPT-Large, och BioMedLM) utvärderas på uppgiften att extrahera relationsinformation mellan entiteter direkt ur modellen genom en textprompt. En prompt formuleras genom naturlig text och som en ordnad trippel, och används i olika demonstrationsmiljöer (few-shot, one-shot, zero-shot). Modellförutsägelser utvärderas kvantitativt som ett multi-klass klassifikationsproblem genom ett genomsnittligt F1 värde. Resultatet indikerade att kemikalie-protein relationer från vetenskapliga artikelsammanfattningar kan extraheras med en högre sannolikhet än slumpen med en trippelbaserad prompt genom den största modellen, BioMedLM, i few-shot-miljön, dock med små förbättringar från baslinjen (+0.019 F1). Resultatet visade inga tydliga mönster gällande vilken demonstrationsmiljö som var mest gynnsam, men den trippelbaserade formuleringen var generellt mer robust än formuleringen som följde naturligt språk. Uppgiftsprestandan på de två mindre modellerna underpresterade den slumpmässiga baslinjen (med som bäst -0.026 och -0.001 F1). Effekten av valet av promptmetod var minimal med den minsta modellen, och one-shot-miljön var minst känslig för olika formuleringar hos alla modeller. Dock fanns det mer markanta skillnader mellan promptmetoder i few-shot-miljön hos de större modellerna (+0.021-0.038 F1). Resultatet antydde att valet av promptmetod och storleken på modell påverkar modellens förmåga att extrahera information. De utvärderade modellerna underpresterade dock baslinjen och fortsatt efterforskning behöver se över hur generativa språkmodeller kan anpassas för att lösa denna uppgift. Framtida forskning kan även undersöka vilken effekt automatiska promptdesignmetoder och större domänmodeller har på modellprestanda.

Det här examensarbetet utforskar hur vårdpersonal i Sverige upplever implementeringen av artificiell intelligens (AI) i arbetsmiljön. Studien tar särskild hänsyn till de tekniska och etiska utmaningarna som medföljer vid införandet av AI-teknologier. Genom att använda teoretiska ramverk som Unified Theory of Acceptance and Use of Technology (UTAUT) och Diffusion of Innovations (DOI), ger arbetet insikt i både de individuella och organisatoriska aspekterna av teknikadoption. Data för den här kvalitativa studien samlades in genom semistrukturerade intervjuer med vårdpersonal. Intervjuerna fokuserade på deltagarnas personliga upplevelser och uppfattningar om AI, dess användbarhet och de utmaningar de står inför. Tematisk analys användes för att identifiera och analysera återkommande teman i den insamlade datan, vilket möjliggjorde en djupare förståelse av positiva aspekter och potentiella risker med AI enligt vårdpersonalen. De teman som identifierades var användningen av AI, avlasta sjukvårdspersonalen, förtroende och ansvar samt etik och orosområden med AI. Resultaten visar på att medan AI erbjuder betydande potential för att förbättra effektiviteten och kvaliteten på både processer och patientvården, finns det dock en betydande oro för frågor som rör dataskydd, patientintegritet och den potentiella risken för jobbersättning. Studien belyser vikten av att utveckla klara riktlinjer och regelverk för att hantera dessa utmaningar på etiskt och korrekt vis.  Det här arbetet bidrar till debatten om AI:s vara och icke vara samt roll i sjukvården och understryker behovet av en välbalanserad och välinformerad approach till teknikintegration, vilket är avgörande för att säkerställa både innovationens fördelar och vårdtagarnas samt personalens välbefinnande. Den här undersökningen bidrar till ökad och fördjupad förståelse för den dynamiska roll AI har i sjukvården. / This thesis explores how healthcare staff in Sweden experience the implementation of artificial intelligence (AI) in their work environment. The study pays special attention to the technical and ethical challenges that accompany the introduction of AI technologies in healthcare. By using theoretical frameworks such as the Unified Theory of Acceptance and Use of Technology (UTAUT) and Diffusion of Innovations (DOI), the work provides insights into both the individual and organizational aspects of technology adoption. Data for the qualitative study were collected through semi-structured interviews with healthcare personnel from various offices. The interviews focused on the participants' experiences and their perceptions of AI, its usability, and the challenges they face. Thematic analysis was used to identify and analyse recurring themes in the collected data, enabling a deeper understanding of the positive aspect and potential risks of AI in healthcare. The themes that were identified included the use of AI, relieving healthcare personnel, trust, and responsibility, as well as ethics and concerns related to AI. The results show that while AI offers significant potential to improve both the efficiency and quality of process and patient care, there is considerable concern regarding the issues related to data protection, patient privacy, and the potential risk of job displacement. The study highlights the importance of developing clear guidelines and regulations to address these challenges in an ethical and correct manner.  This research contributes to the debate on the pros and cons and role of AI in healthcare and underscores the need for a well-balanced and well-informed approach to technology integration, which is crucial to ensuring both the benefits of innovation and the well-being of patients and staff. This investigation contributes to an increased and deeper understanding of the dynamic role AI has in healthcare.

Despite the outstanding performances of the large Transformer-based language models, it proposes a challenge to compress the models and put them into the industrial environment. This degree project explores model compression methods called knowledge distillation in the sentiment classification task on Transformer models. Transformers are neural models having stacks of identical layers. In knowledge distillation for Transformer, a student model with fewer layers will learn to mimic intermediate layer vectors from a teacher model with more layers by designing and minimizing loss. We implement a framework to compare three knowledge distillation methods: MiniLM, TinyBERT, and Patient-KD. Student models produced by the three methods are evaluated by accuracy score on the SST-2 and SemEval sentiment classification dataset. The student models’ attention matrices are also compared with the teacher model to find the best student model for capturing dependencies in the input sentences. The comparison results show that the distillation method focusing on the Attention mechanism can produce student models with better performances and less variance. We also discover the over-fitting issue in Knowledge Distillation and propose a Two-Step Knowledge Distillation with Transformer Layer and Prediction Layer distillation to alleviate the problem. The experiment results prove that our method can produce robust, effective, and compact student models without introducing extra data. In the future, we would like to extend our framework to support more distillation methods on Transformer models and compare performances in tasks other than sentiment classification. / Trots de stora transformatorbaserade språkmodellernas enastående prestanda är det en utmaning att komprimera modellerna och använda dem i en industriell miljö. I detta examensarbete undersöks metoder för modellkomprimering som kallas kunskapsdestillation i uppgiften att klassificera känslor på Transformer-modeller. Transformers är neurala modeller med staplar av identiska lager. I kunskapsdestillation för Transformer lär sig en elevmodell med färre lager att efterlikna mellanliggande lagervektorer från en lärarmodell med fler lager genom att utforma och minimera förluster. Vi genomför en ram för att jämföra tre metoder för kunskapsdestillation: MiniLM, TinyBERT och Patient-KD. Elevmodeller som produceras av de tre metoderna utvärderas med hjälp av noggrannhetspoäng på datasetet för klassificering av känslor SST-2 och SemEval. Elevmodellernas uppmärksamhetsmatriser jämförs också med den från lärarmodellen för att ta reda på vilken elevmodell som är bäst för att fånga upp beroenden i de inmatade meningarna. Jämförelseresultaten visar att destillationsmetoden som fokuserar på uppmärksamhetsmekanismen kan ge studentmodeller med bättre prestanda och mindre varians. Vi upptäcker också problemet med överanpassning i kunskapsdestillation och föreslår en tvåstegs kunskapsdestillation med transformatorskikt och prediktionsskikt för att lindra problemet. Experimentresultaten visar att vår metod kan producera robusta, effektiva och kompakta elevmodeller utan att införa extra data. I framtiden vill vi utöka vårt ramverk för att stödja fler destillationmetoder på Transformer-modeller och jämföra prestanda i andra uppgifter än sentimentklassificering.

Text clustering is a problem where texts are partitioned into homogeneous clusters, such as partitioning them based on their sentiment value. Two techniques to address the problem are representation learning, in particular language representation models, and clustering algorithms. The state-ofthe-art language models are based on neural networks, in particular the Transformer architecture, and the models are used to transform a text into a point in a high dimensional vector space. The texts are then clustered using a clustering algorithm, and a recognized partitional clustering algorithm is k-Means. Its goal is to find centroids that represent the clusters (partitions) by minimizing a distance measure. Two influential parameters of k-Means are the number of clusters and the initial centroids. Multiple heuristics exist to decide how the parameters are selected. The heuristic of using domain knowledge is commonly used when it is available, e.g., the number of clusters is set to the number of dataset labels. This project further explores this idea. The main contribution of the thesis is an investigation of domain knowledge and representation learning as a heuristic in centroid initialization applied to k-Means. Initial centroids were obtained by applying a representation learning technique on the dataset labels. The project analyzed a Swedish dataset with views towards different aspects of Swedish immigration and a Swedish translated movie review dataset using six Swedish compatible language models and two versions of k-Means. Clustering evaluation was measured using eight metrics related to cohesion, separation, external entropy and accuracy. The results show the proposed heuristic made a positive impact on the metrics. By employing the proposed heuristic, six out of eight metrics were improved compared to the baseline. The improvements were observed using six language models and k-Means on two datasets. Additionally, the evaluation metrics indicated that the proposed heuristic has opportunities for future improvements. / Textklustering är ett problem där texter partitioneras i homogena kluster, till exempel genom att gruppera dem baserat på dess sentimentala värde. Två tekniker för att undersöka problemet är representationsinlärning, i synnerhet språkrepresentationsmodeller, och klustringsalgoritmer. Moderna språkmodeller är baserade på neurala nätverk, framförallt på Transformer arkitekturen, och modellerna används för att omvandla texter till punkter i ett högdimensionellt vektorrum. Därefter klustras texterna med hjälp av en klusteringsalgoritm, och en erkänd partition klusteringalgorithm är kMeans. Målet med algoritmen är att finna centroider som representerar klustren (partitioner) genom att minimera ett avståndsmått. Två inflytelserika parametrar i k-Means är antalet kluster och initiala centroider. Många heuristiker existerar för att bestämma hur dessa parametrar skall väljas. En vanligt förekommande heuristik är att använda domänkunskap om det är tillgängligt, e.g., antalet kluster väljs som antalet datamängdsetiketter. Detta projekt genomför ytterligare utforskningar av idén. Avhandlingens huvudsakliga bidrag är en undersökning av att använda kunskaper om domänen för datamängden och representationsinlärning som heuristik för centroid initialisering applicerat på k-Means. Initiala centroider erhölls genom att applicera en representationsinlärningsteknik på datamängdsetiketter. Projektet analyserar en svensk datamängd med åsikter gentemot olika aspekter av svensk immigration och en svensk översatt datamängd om filmrecensioner med hjälp av sex svenskkompatibla språkmodeller och kMeans. Utvärdering av klustringen uppmättes med hjälp av åtta mätetal relaterade till sammanhållning, separation, entropi och ackuratess. Den föreslagna heuristiken hade en positiv effekt på mätetalen. Genom att använda den föreslagna heuristiken förbättrades sex av åtta mätetal jämfört med baslinjen. Förbättringarna observerades med användning av sex språkmodeller och k-Means på två datamängder. Evalueringsmätetalen indikerar också på att heuristiken har möjligheter till framtida förbättringar.

This abstract presents a study in which knowledge distillation techniques were applied to a Large Language Model (LLM) to create smaller, more efficient models without sacrificing performance. Three configurations of the RoBERTa model were selected as ”student” models to gain knowledge from a pre-trained ”teacher” model. Multiple steps were used to improve the knowledge distillation process, such as copying some weights from the teacher to the student model and defining a custom loss function. The selected task for the knowledge distillation process was sentiment analysis on Amazon Reviews for Sentiment Analysis dataset. The resulting student models showed promising performance on the sentiment analysis task capturing sentiment-related information from text. The smallest of the student models managed to obtain 98% of the performance of the teacher model while being 45% lighter and taking less than a third of the time to analyze an entire the entire IMDB Dataset of 50K Movie Reviews dataset. However, the student models struggled to produce meaningful results on the topic modeling task. These results were consistent with the topic modeling results from the teacher model. In conclusion, the study showcases the efficacy of knowledge distillation techniques in enhancing the performance of LLMs on specific downstream tasks. While the model excelled in sentiment analysis, further improvements are needed to achieve desirable outcomes in topic modeling. These findings highlight the complexity of language understanding tasks and emphasize the importance of ongoing research and development to further advance the capabilities of NLP models. / Denna sammanfattning presenterar en studie där kunskapsdestilleringstekniker tillämpades på en stor språkmodell (Large Language Model, LLM) för att skapa mindre och mer effektiva modeller utan att kompremissa på prestandan. Tre konfigurationer av RoBERTa-modellen valdes som ”student”-modeller för att inhämta kunskap från en förtränad ”teacher”-modell. Studien mäter även modellernas prestanda på två ”DOWNSTREAM” uppgifter, sentimentanalys och ämnesmodellering. Flera steg användes för att förbättra kunskapsdestilleringsprocessen, såsom att kopiera vissa vikter från lärarmodellen till studentmodellen och definiera en anpassad förlustfunktion. Uppgiften som valdes för kunskapsdestilleringen var sentimentanalys på datamängden Amazon Reviews for Sentiment Analysis. De resulterande studentmodellerna visade lovande prestanda på sentimentanalysuppgiften genom att fånga upp information relaterad till sentiment från texten. Den minsta av studentmodellerna lyckades erhålla 98% av prestandan hos lärarmodellen samtidigt som den var 45% lättare och tog mindre än en tredjedel av tiden att analysera hela IMDB Dataset of 50K Movie Reviews datasettet.Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen. Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen.

This study investigates the application and implications of AI-generated content in podcast production. The research particularly explores the use of text-to-speech (TTS) systems and AI language models to simulate authentic-sounding conversations. This study analyzes listener responses to different AI-generated and human-edited podcast episodes through a series of prototypes and interviews with listeners. Findings suggest that listeners often perceive AI-generated conversations as less authentic and natural than human-made ones, especially due to issues like unnatural intonation and a lack of natural discourse markers. Despite these challenges, improvements were noted in later prototypes where manual editing was combined with AI-generated content. This highlights the potential for AI to complement human creativity in podcast production. The study concludes that for AI-generated content to achieve the desired level of authenticity, further involvement of human intuition is necessary. Future research should explore refining AI models to better simulate natural conversation flow and focus on enhancing the nuances of human-like speech. The findings also underline the potential of AI tools to revolutionize podcast production workflows. / Denna studie undersöker användningen och implikationerna av AI-genererat innehåll i podcastproduktion. Forskningen utforskar särskilt användningen av text-till-tal-system (TTS) och AI-språkmodeller för att simulera samtal som låter autentiska. Studien analyserar lyssnarreaktioner på olika AI-genererade och mänskligt redigerade poddavsnitt genom en serie prototyper och intervjuer med lyssnare. Resultaten visar att lyssnare ofta upplever AI-genererade samtal som mindre autentiska och naturliga än de som skapats av människor. Särskilt på grund av problem som onaturliga betoningar och brist på naturliga diskurspartiklar. Trots dessa utmaningar märktes förbättringar i senare prototyper där manuell redigering kombinerades med AI-genererat innehåll, vilket belyser potentialen för AI att komplettera mänsklig kreativitet i podcastproduktion. Genom forskningen dras slutsatsen att AI-genererat innehåll kräver ytterligare integration av mänsklig intuition för att uppnå önskad nivå av autenticitet. Framtida forskning bör utforska hur AI-modeller kan förfinas för att bättre simulera naturligt samtalsflöde och fokusera på att förbättra nyanserna i mänskligt tal. Resultaten understryker också potentialen hos AI-verktyg att revolutionera arbetsflödena för podcastproduktion.

The evolution of Language Models (LMs) has enabled building chatbot systems that are capable of human-like dialogues without the need for fine-tuning the chatbot for a specific task. LMs are stateless, which means that a LM-based chatbot does not have a recollection of the past conversation unless it is explicitly included in the input prompt. LMs have limitations in the length of the input prompt, and longer input prompts require more computational and monetary resources, so for longer conversations, it is often infeasible to include the whole conversation history in the input prompt. In this project a short-term memory module is designed and implemented to provide the chatbot context of the past conversation. We are introducing two methods, LimContext method and FullContext method, for producing an abstractive summary of the conversation history, which encompasses much of the relevant conversation history in a compact form that can then be supplied with the input prompt in a resource-effective way. To test these short-term memory implementations in practice, a user study is conducted where these two methods are introduced to 9 participants. Data is collected during the user study and each participant answers a survey after the conversation. These results are analyzed to assess the user experience of the two methods and the user experience between the two methods, and to assess the effectiveness of the prompt design for both answer generation and abstractive summarization tasks. According to the statistical analysis, the FullContext method method produced a better user experience, and this finding was in line with the user feedback. / Utvecklingen av LMs har gjort det möjligt att bygga chatbotsystem kapabla till mänskliga dialoger utan behov av att finjustera chatboten för ett specifikt uppdrag. LMs är stateless, vilket betyder att en chatbot baserad på en LM inte sparar tidigare delar av konversationen om de inte uttryckligen ingår i prompten. LMs begränsar längden av prompten, och längre prompter kräver mer beräknings- och monetära resurser. Således är det ofta omöjligt att inkludera hela konversationshistoriken i prompten. I detta projekt utarbetas och implementeras en korttidsminnesmodul, vars syfte är att tillhandahålla chatboten kontexten av den tidigare konversationen. Vi introducerar två metoder, LimContext metod och FullContext metod, för att ta fram en abstrakt sammanfattning av konversationshistoriken. Sammanfattningen omfattar mycket av det relevanta samtalet i en kompakt form, och kan sedan resurseffektivt förses med den påföljande prompten. För att testa dessa korttidsminnesimplementationer i praktiken genomförs en användarstudie där de två metoderna introduceras för 9-deltagare. Data samlas in under användarstudier. Varje deltagare svarar på en enkät efter samtalet. Resultaten analyseras för att bedöma användarupplevelsen av de två metoderna och användarupplevelsen mellan de två metoderna, och för att bedöma effektiviteten av den snabba designen för både svarsgenerering och abstrakta summeringsuppgifter. Enligt den statistiska analysen gav metoden FullContext metod en bättre användarupplevelse. Detta fynd var även i linje med användarnas feedback.

Den föreliggande studiens syfte är att undersöka hur kommunikatörer som skriver på svenska uppfattar att generativa AI-tjänster som Chat GPT påverkar skrivprocessen. Dessutom syftar studien till att undersöka vilka eventuella språkliga följder som AI-skrivande för med sig. Materialet bygger på semistrukturerade intervjuer med fem yrkesverksamma kommunikatörer som har testat att använda Chat GPT professionellt. Den insamlade empirin har kodats och analyserats med hjälp av metoden reflexiv tematisk analys. Resultatet visar att kommunikatörer upplever AI-faciliterat skrivande som en linjär process, där chatboten bland annat hjälper till att generera nya utkast och disponera skrivuppgifter. Resultatet visar även att det finns en möjlighet till AI-baserad responsgivning som skulle kunna utveckla kommunikatörers språkliga förmåga. Slutsatsen är att den kognitiva avlastning som AI-faciliterat skrivande innebär både kan leda till språkliga kvalitetsvinster och förbistringar, samtidigt som det finns uppenbara risker med att ”koppla bort” människan från delar av skrivprocessen. Detta måste kommunikationsbranschen vara fortsatt vaksam på.