Social media and platforms utilise moderation to removeunwanted content such as cyberbullying, an aggressive acttowards an individual or group that occurs over any type ofdigital technology, e.g. social platforms. However,moderating platforms manually is nearly impossible, and thedemand for automatic moderation is rising. Research ontechnical solutions for cyberbullying detection on socialplatforms is scarce and is mostly focused on MachineLearning models to detect cyberbullying without theconnection to platform moderation. This study aims toenhance the research on cyberbullying detection models byusing a GPT-3 Large Language model and reduce the gap toplatform moderation. The model is tweaked and tested todetect cyberbullying using popular cyberbullying datasetsand compared to previous Machine Learning- and LargeLanguage models using common performance metrics.Furthermore, the latency of the model is measured to test if itcan be used as an auto-moderation tool to detectcyberbullying on social platforms. The results show that themodel is on par with the previous models and that finetuning a Large Language model is the preferred way totweak the model in cyberbullying detection. Further, theresults show that Large Language models have higherlatency than Machine Learning models but can be improvedby using multiple threads and can be used as a platformmoderation tool to detect cyberbullying.

Påskyndat av teknik går utvecklingen snabbare än någonsin. Generativ AI har blivit tillgänglig för allmänheten. Det ger möjligheter för verksamheter att nyttja AI-teknik utan större insatser och kunskap. Detta skiftar förutsättningarna inom digital innovation. Denna nya aktör skapar gap i litteraturen, där tidigare forskning behöver omvärderas. Ett viktigt forskningsområde är hur användningen av generativ AI påverkar digital innovation. En annan aspekt är hur innovatörer kan nyttja, och förhålla sig till generativ AI inom innovationsprocessen. För att undersöka detta har en kvalitativ studie genomförts, där empiri har samlats in genom åtta intervjuer. Studien har resulterat i en tematisk modell med följande teman: Generativ AI som en kollega; Generativ AI som resurs för digital innovation; Generativ AI ökar tillgängligheten till AI-teknik; Känslor gällande generativ AI; Problematik gällande generativ AI; Spridd och differentierad syn på digital innovation. Studien visar att generativ AI kan påverka digital innovation genom de resulterande temana. Vidare relateras dessa teman till innovationsprocessen, där en modifierad processmodell för innovation har tagits fram. Då användningen av generativ AI är ett relativt nytt fenomen är det sannolikt att innovatörer framöver kommer att öka sin användning av verktyget, vilket medför att fynden från denna studie riskerar att snabbt bli utdaterade. Vidare forskning bör därför utföra liknande studier med jämna mellanrum, för att fånga upp nya erfarenheter som uppstår av den ökade användningen. / Accelerated by technology, development is progressing faster than ever. Generative AI has become accessible to the general public. It provides opportunities for businesses to leverage AI technology without significant efforts and expertise. This shifts the conditions within digital innovation. This new actor creates gaps in the literature, where previous research needs to be reevaluated. An important research area is how the use of generative AI affects digital innovation. Another aspect is how innovators can utilize and engage with generative AI in the innovation process. To investigate this, a qualitative study has been conducted, where empirical data has been collected through eight interviews. The study has resulted in a thematic model with the following themes: Generative AI as a colleague; Generative AI as resource for digital innovation; Generative AI increases accessibility to AI technology; Emotions regarding generative AI; Challenges regarding generative AI; Diverse and differentiated views on digital innovation. The study shows that generative AI can affect digital innovation through the resulting themes. Furthermore, these themes were related to the innovation process, where a modified process model for innovation has been developed. Since the use of generative AI is a relatively new phenomenon, it is likely that innovators will increase their use of the tool in the future. This may render the findings from this study quickly outdated. Further research should therefore conduct similar studies at regular intervals to capture new experiences arising from increased usage.

Recent technological breakthroughs in natural language processing and artificial intelligence (AI) and the subsequent release of OpenAIs generative AI system, ChatGPT, have warranted much attention from researchers and the general public alike. Some with praise, foreseeing a brighter future for all, and some predicting the end of humanity. As AI agents become increasingly complex and gain the ability to deal with tradeoffs and become more autonomous, the problem of embedding human values into these AI agents becomes more pressing. Embedding human values is a crucial part of the development of aligned AI systems that act in accordance with human intents and desires. The black-box nature of large language models (LLMs) offers little insight into the mechanics of the AI agents' decision-making processes. For this reason, it is of great interest to explore what values an LLM might hold. This explorative study lets the most popular LLM chatbot today, ChatGPT answer a set of questions focusing on human values. The questions were adopted from the World Value Survey (WVS) and relate to current global values around different subjects, such as same-sex marriage, corruption and raising children. The results were compared to the latest data set (from 2022) from the WVS to show how close or far the values of ChatGPT are to the respondents' values across countries. The findings contribute to the broader understanding of the challenges and implications of developing AI systems that align with human values. Which is crucial in ensuring the systems trustworthiness and beneficial impact on society. The findings of this explorative study support that ChatGPT's values are influenced by the values prevalent in developed democracies, with a leaning towards progressive/liberal views. Results could also imply that ChatGPT may propose a neutral attitude towards questioning established systems and institutions, and emphasizing individual rights. / Nya tekniska genombrott inom naturlig språkbehandling och artificiell intelligens (AI) samt OpenAIs generativa AI-system, ChatGPT, har genererat mycket uppmärksamhet från både forskare inom fältet och från allmänheten. Vissa spår en ljusare framtid, medan andra siar om slutet för mänskligheten. Allteftersom “AI-agenter” blir mer komplexa utvecklar förmågan att göra avvägningar, och blir mer autonoma, blir problemet med att integrera mänskliga värden i dessa AI-agenter mer angeläget. Att integrera mänskliga värderingar är en avgörande del i utvecklingen av AI-system som agerar i enlighet med mänskliga avsikter och vilja. Vi saknar insyn i mekaniken för beslutsprocesser hos stora språkmodeller (eng: large language models, LLMs) och av denna anledning är det av stort intresse att utforska vilka värderingar en språkmodell uttrycker. Denna utforskande studie låter den, för närvarande, mest populära LLM-chatboten, ChatGPT, svara på en uppsättning av frågor som fokuserar på mänskliga värderingar. Frågorna har hämtats från World Value Survey (WVS) och relaterar till aktuella globala värderingar kring olika ämnen, såsom samkönade äktenskap, korruption och barnuppfostran. Resultaten jämfördes med den senaste datan (från 2022) från WVS för att visa hur nära eller långt värdena för ChatGPT ligger respondenterna från olika länders. Resultaten från denna studie bidrar till en bredare förståelse för utmaningarna och konsekvenserna av att utveckla AI-system som är i linje med mänskliga värderinga. Detta är en viktig aspekt för att kunna säkerställa systemens pålitlighet och positiva inverkan på samhället. Resultaten av denna explorativa studie stödjer att ChatGPT:s värderingar influeras av de värderingar som råder i utvecklade demokratier, med en tendens mot progressiva/liberala åsikter. Resultaten kan också antyda att ChatGPT kan ställa sig neutralt till ifrågasättandet av etablerade system och institutioner, samt betonar individuella rättigheter.

In this research project, we aim to explore the use of Large Language Models (LLMs) as an interface to interact with API tools in natural language. Bubeck et al. [1] shed some light on how LLMs could be used to interact with API tools. Since then, new versions of LLMs have been launched and the question of how reliable a LLM can be in this task remains unanswered. The main goal of our thesis is to investigate the designs of the available system prompts for LLMs, identify the best-performing prompts, and evaluate the reliability of different LLMs when using the best-identified prompts. We will employ a multiple-stage controlled experiment: A literature review where we reveal the available system prompts used in the scientific community and open-source projects; then, using F1-score as a metric we will analyse the precision and recall of the system prompts aiming to select the best-performing system prompts in interacting with API tools; and in a latter stage, we compare a selection of LLMs with the best-performing prompts identified earlier. From these experiences, we realize that AI-generated system prompts perform better than the current prompts used in open-source and literature with GPT-4, zero-shot prompts have better performance in this specific task with GPT-4 and that a good system prompt in one model does not generalize well into other models.

This abstract presents a study in which knowledge distillation techniques were applied to a Large Language Model (LLM) to create smaller, more efficient models without sacrificing performance. Three configurations of the RoBERTa model were selected as ”student” models to gain knowledge from a pre-trained ”teacher” model. Multiple steps were used to improve the knowledge distillation process, such as copying some weights from the teacher to the student model and defining a custom loss function. The selected task for the knowledge distillation process was sentiment analysis on Amazon Reviews for Sentiment Analysis dataset. The resulting student models showed promising performance on the sentiment analysis task capturing sentiment-related information from text. The smallest of the student models managed to obtain 98% of the performance of the teacher model while being 45% lighter and taking less than a third of the time to analyze an entire the entire IMDB Dataset of 50K Movie Reviews dataset. However, the student models struggled to produce meaningful results on the topic modeling task. These results were consistent with the topic modeling results from the teacher model. In conclusion, the study showcases the efficacy of knowledge distillation techniques in enhancing the performance of LLMs on specific downstream tasks. While the model excelled in sentiment analysis, further improvements are needed to achieve desirable outcomes in topic modeling. These findings highlight the complexity of language understanding tasks and emphasize the importance of ongoing research and development to further advance the capabilities of NLP models. / Denna sammanfattning presenterar en studie där kunskapsdestilleringstekniker tillämpades på en stor språkmodell (Large Language Model, LLM) för att skapa mindre och mer effektiva modeller utan att kompremissa på prestandan. Tre konfigurationer av RoBERTa-modellen valdes som ”student”-modeller för att inhämta kunskap från en förtränad ”teacher”-modell. Studien mäter även modellernas prestanda på två ”DOWNSTREAM” uppgifter, sentimentanalys och ämnesmodellering. Flera steg användes för att förbättra kunskapsdestilleringsprocessen, såsom att kopiera vissa vikter från lärarmodellen till studentmodellen och definiera en anpassad förlustfunktion. Uppgiften som valdes för kunskapsdestilleringen var sentimentanalys på datamängden Amazon Reviews for Sentiment Analysis. De resulterande studentmodellerna visade lovande prestanda på sentimentanalysuppgiften genom att fånga upp information relaterad till sentiment från texten. Den minsta av studentmodellerna lyckades erhålla 98% av prestandan hos lärarmodellen samtidigt som den var 45% lättare och tog mindre än en tredjedel av tiden att analysera hela IMDB Dataset of 50K Movie Reviews datasettet.Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen. Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen.

Teknologiutvecklingen av stora språkmodeller har på senaste tiden blivit uppmärksammad genom lanseringen av OpenAI:s ChatGPT. Det har förekommit diskussioner om vad detta innebär för samhället i stort men också hur utbildningen på lärosäten påverkas. Syftet med denna studie var att studera hur stor påverkan dessa verktyg har på utbildningen på Uppsala universitet. Fem studierektorer från olika institutioner har intervjuats. Datan analyserades sedan med hjälp av teorin för socialt disruptiva teknologier för att undersöka hur stor påverkansgraden är. Resultatet visar att det främst är examinationer som har påverkats, där vissa studierektorer har behövt ta bort eller kommer att ta bort hemuppgifter som konsekvens av ChatGPT. Skillnader i förändringsarbetet finns mellan olika institutioner, vilket tycks delvis grunda sig i brist på riktlinjer, men även i utbildningsstruktur och personligt engagemang. Det går dock inte att fastslå några systematiska skillnader mellan universitetets olika delar. Vidare har det diskuterats bredare frågor om studenternas lärande och hur man som studierektor kan förhålla sig till utvecklingen. / The technology development of large language models has recently received attention through the launch of OpenAI’s ChatGPT. There have been discussions of what this means for society overall, but also how the education at universities is affected. The purpose of this study was to study how much impact these tools have on education at Uppsala University. Five directors of studies from different departments have been interviewed. The data was then analyzed using the theory of socially disruptive technologies to investigate the degree of impact. The result shows that it is mainly examinations that have been affected, where some principals have had to remove or will remove homework assignments as a consequence of ChatGPT. Differences in change management exist between different institutions, which seem to be partly due to the lack of guidelines, but also due to educational structure and personal commitment. However, no systematic differences can be determined between the different parts of the university. Furthermore, there have been discussions about broader questions about the students' learning and how one should relate to the development as a director of studies.

Text-to-SQL, which involves translating natural language into Structured Query Language (SQL), is crucial for enabling broad access to structured databases without expert knowledge. However, designing models for such tasks is challenging due to numerous factors, including the presence of ’noise,’ such as ambiguous questions and syntactical errors. This thesis provides an in-depth analysis of the distribution and types of noise in the widely used BIRD-Bench benchmark and the impact of noise on models. While BIRD-Bench was created to model dirty and noisy database values, it was not created to contain noise and errors in the questions and gold queries. We found after a manual evaluation that noise in questions and gold queries are highly prevalent in the financial domain of the dataset, and a further analysis of the other domains indicate the presence of noise in other parts as well. The presence of incorrect gold SQL queries, which then generate incorrect gold answers, has a significant impact on the benchmark’s reliability. Surprisingly, when evaluating models on corrected SQL queries, zero-shot baselines surpassed the performance of state-of-the-art prompting methods. The thesis then introduces the concept of classifying noise in natural language questions, aiming to prevent the entry of noisy questions into text-to-SQL models and to annotate noise in existing datasets. Experiments using GPT-3.5 and GPT-4 on a manually annotated dataset demonstrated the viability of this approach, with classifiers achieving up to 0.81 recall and 80% accuracy. Additionally, the thesis explored the use of LLMs for automatically correcting faulty SQL queries. This showed a 100% success rate for specific query corrections, highlighting the potential for LLMs in improving dataset quality. We conclude that informative noise labels and reliable benchmarks are crucial to developing new Text-to-SQL methods that can handle varying types of noise.

This thesis explores the opportunities and challenges of integrating recent Natural Language Processing (NLP) Artificial Intelligence (AI) advancements into IT project management and delivery (PM&D). Using a qualitative design through hermeneutic phenomenology strategy, the study employs a semi-systematic literature review and semi-structured interviews to delve into NLP AI's potential impacts in IT PM&D, from both theoretical and practical standpoints. The results revealed numerous opportunities for NLP AI application across Project Performance Domains, enhancing areas such as stakeholder engagement, team productivity, project planning, performance measurement, project work, delivery, and risk management. However, challenges were identified in areas including system integration, value definition, team and stakeholder-related issues, environmental considerations, and ethical concerns. In-house and third-party model usage also presented their unique set of challenges, emphasizing cost implications, data privacy and security, result quality, and dependence issues. The research concludes the immense potential of NLP AI in IT PM&D is tempered by these challenges, and calls for robust strategies, sound ethics, comprehensive training, new ROI evaluation frameworks, and responsible AI usage to effectively manage these issues. This thesis provides valuable insights to academics, practitioners, and decision-makers navigating the rapidly evolving landscape of NLP AI in IT PM&D.

In recent years, artificial intelligence (AI) has become increasingly popular. An area where AI technology is used and has received much attention during the past year is chatbots. They can simulate an understanding of human language and form text responses to questions asked. Apart from generating text responses, they can also generate programming code, making them useful for tasks such as testing. Although testing is considered a crucial part of software development, many find it tedious and time-consuming. There are currently limited AI-powered tools for generating unit tests in general and even fewer for the programming language Java. The thesis tackles the problem of the lack of tools for generating unit tests in Java that explore the capabilities of AI, and a research question is introduced thereafter. The purpose of this thesis is to address the issue by creating a prototype for generating unit tests in Java based on the AI model, GPT-3.5-Turbo. The goal is to provide a basis for other professionals to create tools for generating unit tests, which was done by experimenting with different prompts and values of a randomness parameter and then suggesting the prototype JUTAI. A quantitative research method with an experimental and comparative approach was used to evaluate the results. A comparison model with three criteria was brought forward to evaluate the results. The findings reveal that JUTAI outperformed the general-purpose AI tool, ChatGPT, across all three criteria and indicate that the goal of this thesis is achieved and the research question answered. / Intresset för artificiell intelligens (AI) har ökat de senaste åren. Ett område där AI- teknologi används och som har fått mycket uppmärksamhet under det senaste året är chattbottar. De kan simulera en förståelse för mänskligt språk och svara på frågor i textformat. Utöver det kan de även generera programkod. Tack vare förmågan att generera kod kan de användas för testning. Även om testning anses vara en viktig del av mjukvaruutveckling, tycker många att det är tråkigt och tidskrävande. För närvarande finns det ett begränsat antal verktyg som kan generera enhetstester, och det finns ännu färre verktyg som kan göra detta i Java. Detta examensarbete tog sig an problemet med bristen på AI-verktyg för enhetstestning i Java genom att besvara på forskningsfrågan som ställdes. Syftet med examensarbetet är att föreslå en lösning på problemet genom att utveckla en prototyp som använder sig av AI- modellen GPT-3.5-Turbo för att generera enhetstester i Java. Målet är att ge en grund för andra yrkesverksamma att skapa verktyg för att generera enhetstester, vilket gjordes genom att experimentera med olika instruktionstrukturer och värden för en slumpmässighetsparameter, och sedan föreslå protypen JUTAI. En kvantitativ forskningsmetod tillsammans med en experimentell och jämförande ansats användes för att utvärdera resultaten. En jämförelsemodell med tre kriterier togs fram för att utvärdera resultaten. Resultaten visar att JUTAI presterade bättre än AI-verktyget ChatGPT i de tre kriterierna och indikerar att målet med detta examensarbete uppnåddes och forskningsfrågan besvarades.

The evolution of Language Models (LMs) has enabled building chatbot systems that are capable of human-like dialogues without the need for fine-tuning the chatbot for a specific task. LMs are stateless, which means that a LM-based chatbot does not have a recollection of the past conversation unless it is explicitly included in the input prompt. LMs have limitations in the length of the input prompt, and longer input prompts require more computational and monetary resources, so for longer conversations, it is often infeasible to include the whole conversation history in the input prompt. In this project a short-term memory module is designed and implemented to provide the chatbot context of the past conversation. We are introducing two methods, LimContext method and FullContext method, for producing an abstractive summary of the conversation history, which encompasses much of the relevant conversation history in a compact form that can then be supplied with the input prompt in a resource-effective way. To test these short-term memory implementations in practice, a user study is conducted where these two methods are introduced to 9 participants. Data is collected during the user study and each participant answers a survey after the conversation. These results are analyzed to assess the user experience of the two methods and the user experience between the two methods, and to assess the effectiveness of the prompt design for both answer generation and abstractive summarization tasks. According to the statistical analysis, the FullContext method method produced a better user experience, and this finding was in line with the user feedback. / Utvecklingen av LMs har gjort det möjligt att bygga chatbotsystem kapabla till mänskliga dialoger utan behov av att finjustera chatboten för ett specifikt uppdrag. LMs är stateless, vilket betyder att en chatbot baserad på en LM inte sparar tidigare delar av konversationen om de inte uttryckligen ingår i prompten. LMs begränsar längden av prompten, och längre prompter kräver mer beräknings- och monetära resurser. Således är det ofta omöjligt att inkludera hela konversationshistoriken i prompten. I detta projekt utarbetas och implementeras en korttidsminnesmodul, vars syfte är att tillhandahålla chatboten kontexten av den tidigare konversationen. Vi introducerar två metoder, LimContext metod och FullContext metod, för att ta fram en abstrakt sammanfattning av konversationshistoriken. Sammanfattningen omfattar mycket av det relevanta samtalet i en kompakt form, och kan sedan resurseffektivt förses med den påföljande prompten. För att testa dessa korttidsminnesimplementationer i praktiken genomförs en användarstudie där de två metoderna introduceras för 9-deltagare. Data samlas in under användarstudier. Varje deltagare svarar på en enkät efter samtalet. Resultaten analyseras för att bedöma användarupplevelsen av de två metoderna och användarupplevelsen mellan de två metoderna, och för att bedöma effektiviteten av den snabba designen för både svarsgenerering och abstrakta summeringsuppgifter. Enligt den statistiska analysen gav metoden FullContext metod en bättre användarupplevelse. Detta fynd var även i linje med användarnas feedback.