In recent years, artificial intelligence (AI) has become increasingly popular. An area where AI technology is used and has received much attention during the past year is chatbots. They can simulate an understanding of human language and form text responses to questions asked. Apart from generating text responses, they can also generate programming code, making them useful for tasks such as testing. Although testing is considered a crucial part of software development, many find it tedious and time-consuming. There are currently limited AI-powered tools for generating unit tests in general and even fewer for the programming language Java. The thesis tackles the problem of the lack of tools for generating unit tests in Java that explore the capabilities of AI, and a research question is introduced thereafter. The purpose of this thesis is to address the issue by creating a prototype for generating unit tests in Java based on the AI model, GPT-3.5-Turbo. The goal is to provide a basis for other professionals to create tools for generating unit tests, which was done by experimenting with different prompts and values of a randomness parameter and then suggesting the prototype JUTAI. A quantitative research method with an experimental and comparative approach was used to evaluate the results. A comparison model with three criteria was brought forward to evaluate the results. The findings reveal that JUTAI outperformed the general-purpose AI tool, ChatGPT, across all three criteria and indicate that the goal of this thesis is achieved and the research question answered. / Intresset för artificiell intelligens (AI) har ökat de senaste åren. Ett område där AI- teknologi används och som har fått mycket uppmärksamhet under det senaste året är chattbottar. De kan simulera en förståelse för mänskligt språk och svara på frågor i textformat. Utöver det kan de även generera programkod. Tack vare förmågan att generera kod kan de användas för testning. Även om testning anses vara en viktig del av mjukvaruutveckling, tycker många att det är tråkigt och tidskrävande. För närvarande finns det ett begränsat antal verktyg som kan generera enhetstester, och det finns ännu färre verktyg som kan göra detta i Java. Detta examensarbete tog sig an problemet med bristen på AI-verktyg för enhetstestning i Java genom att besvara på forskningsfrågan som ställdes. Syftet med examensarbetet är att föreslå en lösning på problemet genom att utveckla en prototyp som använder sig av AI- modellen GPT-3.5-Turbo för att generera enhetstester i Java. Målet är att ge en grund för andra yrkesverksamma att skapa verktyg för att generera enhetstester, vilket gjordes genom att experimentera med olika instruktionstrukturer och värden för en slumpmässighetsparameter, och sedan föreslå protypen JUTAI. En kvantitativ forskningsmetod tillsammans med en experimentell och jämförande ansats användes för att utvärdera resultaten. En jämförelsemodell med tre kriterier togs fram för att utvärdera resultaten. Resultaten visar att JUTAI presterade bättre än AI-verktyget ChatGPT i de tre kriterierna och indikerar att målet med detta examensarbete uppnåddes och forskningsfrågan besvarades.

Auto-completion is a task that requires an algorithm to give suggestions for completing sentences. Specifically, the history of live chat and the words already typed by the agents are provided to the algorithm for outputting the suggestions to finish the sentences. This study aimed to investigate if the above task can be handled by fine-tuning a pre-trained T5 model on the target dataset. In this thesis, both an English and a Portuguese dataset were selected. Then, T5 and its multilingual version mT5were fine-tuned on the target datasets. The models were evaluated with different metrics (log perplexity, token level accuracy, and multi-word level accuracy), and the results are compared to those of the baseline methods. The results on these different metrics show that a method based on pre-trained T5 is a promising approach to handle the target task. / Automatisk komplettering är en uppgift som kräver en algoritm för att ge förslag på hur man kan slutföra meningar. Specifikt levereras historien om livechatt och de ord som redan har skrivits av agenterna till algoritmen för att mata ut förslagen för att avsluta meningarna. Denna studie syftade till att undersöka om ovanstående uppgift kan hanteras genom att finjustera en förtränad T5-modell på måldatamängden. I denna avhandling valdes både en engelsk och en portugisisk datamängd. Därefter finjusterades T5 och dess flerspråkiga version mT5 på måldatauppsättningarna. Modellerna utvärderades med olika mätvärden (log-perplexitet, precision på ordnivå och flerordsnivå), och resultaten jämförs med baslinjemetoderna. Resultaten på dessa olika mätvärden visar att en metod baserad på en förtränad T5 är ett lovande tillvägagångssätt för att hantera uppgiften.

Sensitive data leaking from a system can have tremendous negative consequences, such as discrimination, social stigma, and fraudulent economic consequences for those whose data has been leaked. Therefore, it’s of utmost importance that sensitive data is not leaked from a system. This thesis investigated different methods to prevent sensitive patient data from leaking in a machine learning system. Various methods have been investigated and evaluated based on previous research; the methods used in this thesis are a large language model (LLM) for code analysis and a membership inference attack on models to test their privacy level. The LLM code analysis results show that the Llama 3 (an LLM) model had an accuracy of 90% in identifying malicious code that attempts to steal sensitive patient data. The model analysis can evaluate and determine membership inference of sensitive patient data used for training in machine learning models, which is essential for determining data leakage a machine learning model can pose in machine learning systems. Further studies in increasing the deterministic and formatting of the LLM‘s responses must be investigated to ensure the robustness of the security system that utilizes LLMs before it can be deployed in a production environment. Further studies of the model analysis can apply a wider variety of evaluations, such as increased size of machine learning model types and increased range of attack testing types of machine learning models, which can be implemented into machine learning systems. / Känsliga data som läcker från ett system kan ha enorma negativa konsekvenser, såsom diskriminering, social stigmatisering och negativa ekonomiska konsekvenser för dem vars data har läckt ut. Därför är det av yttersta vikt att känsliga data inte läcker från ett system. Denna avhandling undersökte olika metoder för att förhindra att känsliga patientdata läcker ut ur ett maskininlärningssystem. Olika metoder har undersökts och utvärderats baserat på tidigare forskning; metoderna som användes i denna avhandling är en stor språkmodell (LLM) för kodanalys och en medlemskapsinfiltrationsattack på maskininlärnings (ML) modeller för att testa modellernas integritetsnivå. Kodanalysresultaten från LLM visar att modellen Llama 3 hade en noggrannhet på 90% i att identifiera skadlig kod som försöker stjäla känsliga patientdata. Modellanalysen kan utvärdera och bestämma medlemskap av känsliga patientdata som används för träning i maskininlärningsmodeller, vilket är avgörande för att bestämma den dataläckage som en maskininlärningsmodell kan exponera. Ytterligare studier för att öka determinismen och formateringen av LLM:s svar måste undersökas för att säkerställa robustheten i säkerhetssystemet som använder LLM:er innan det kan driftsättas i en produktionsmiljö. Vidare studier av modellanalysen kan tillämpa ytterligare bredd av utvärderingar, såsom ökad storlek på maskininlärningsmodelltyper och ökat utbud av attacktesttyper av maskininlärningsmodeller som kan implementeras i maskininlärningssystem.

The interest in using State-Of-The-Art (SOTA) Pre-Trained Language Model (PLM) in product development is growing. The fact that developers can use PLM has changed the way to build reliable models, and it is the go-to method for many companies and organizations. Selecting the Natural Language Processing (NLP) model with the highest accuracy is the usual way of deciding which PLM to use. However, with growing concerns about negative climate changes, we need new ways of making decisions that consider the impact on our future needs. The best solution with the highest accuracy might not be the best choice when other parameters matter, such as sustainable development. This thesis investigates how to calculate an approximate total cost considering Operating Expenditure (OPEX) and CO2~emissions for a deployed NLP solution over a given period, specifically the inference phase. We try to predict the total cost with Floating Point Operation (FLOP) and test NLP models on a classification task. We further present the tools to make energy measurements and examine the metric FLOP to predict costs. Using a bottom-up approach, we investigate the components that affect the cost and measure the energy consumption for different deployed models. By constructing this cost model and testing it against real-life examples, essential information about a given NLP implementation and the relationship between monetary and environmental costs will be derived. The literature studies reveal that the derival of a cost model is a complex area, and the results confirm that it is not a straightforward procedure to approximate energy costs. Even if a cost model was not feasible to derive with the resources given, this thesis covers the area and shows why it is complex by examine FLOP. / Intresset att använda State-Of-The-Art (SOTA) Pre-Trained Language Model (PLM) i produktutveckling växer. Det faktum att utvecklare kan använda PLM har förändrat sättet att träna tillförlitliga modeller på och det är den bästa metoden för många företag och organisationer att använda SOTA Naturlig Språkbehandling (NLP). Att välja NLP-modellen med högsta noggrannhet är det vanliga sättet att bestämma vilken PLM som ska användas. Men med växande oro för miljöförändringar behöver vi nya sätt att fatta beslut som kommer att påverka våra framtida behov. Denna avhandling undersöker hur man beräknar en ungefärlig totalkostnad med hänsyn till Operating Expenditure (OPEX) och CO2~utsläpp för en utplacerad NLP-lösning under en given period, dvs slutledningsfasen. Vi försöker förutspå den totala kostnaden med flyttalsoperationer och testar mot en klassificerings uppgift. Vi undersöker verktygen för att göra mätningar samt variabeln Flyttalsoperationer för att förutspå energiförbrukning.

The topic of this thesis is the detoxification of language in social networks with a particular focus on style transfer techniques that combine deep learning and linguistic resources. In today’s digital landscape, social networks are rife with communication that can often be toxic, either intentionally or unintentionally. Given the pervasiveness of social media and the potential for toxic language to perpetuate negativity and polarization, this study addresses the problem of toxic language and its transformation into more neutral expressions. The importance of this issue is underscored by the need to promote non-toxic communication in the social networks that are an integral part of modern society. The complexity of natural language and the subtleties of what constitutes toxicity make this a challenging problem worthy of study. To address this problem, this research proposes two models, LexiconGST and MultiLexiconGST, developed based on the Delete&Generate framework. These models integrate linguistic resources into the detoxification system to guide deep learning techniques. Experimental results show that the proposed models perform commendably in the detoxification task compared to stateof-the-art methods. The integration of linguistic resources with deep learning techniques is confirmed to improve the performance of detoxification systems. Finally, this research has implications for social media platforms and online communities, which can now implement more effective moderation tools to promote non-toxic communication. It also opens lines of further research to generalize our proposed method to other text styles. / Ämnet för denna avhandling är avgiftning av språk i sociala nätverk med särskilt fokus på stilöverföringstekniker som kombinerar djupinlärning och språkliga resurser. I dagens digitala landskap är sociala nätverk fulla av kommunikation som ofta kan vara giftig, antingen avsiktligt eller oavsiktligt. Med tanke på hur utbredda sociala medier är och hur giftigt språk kan bidra till negativitet och polarisering, tar den här studien upp problemet med giftigt språk och hur det kan omvandlas till mer neutrala uttryck. Vikten av denna fråga understryks av behovet av att främja giftfri kommunikation i de sociala nätverk som är en integrerad del av det moderna samhället. Komplexiteten i naturligt språk och de subtila aspekterna av vad som utgör toxicitet gör detta till ett utmanande problem som är värt att studera. För att ta itu med detta problem föreslår denna forskning två modeller, LexiconGST och MultiLexiconGST, som utvecklats baserat på ramverket Delete&Generate. Dessa modeller integrerar språkliga resurser i avgiftningssystemet för att vägleda djupinlärningstekniker. Experimentella resultat visar att de föreslagna modellerna presterar lovvärt i avgiftningsuppgiften jämfört med toppmoderna metoder. Integrationen av språkliga resurser med djupinlärningstekniker bekräftas för att förbättra prestanda för avgiftningssystem. Slutligen har denna forskning konsekvenser för sociala medieplattformar och onlinegemenskaper, som nu kan implementera mer effektiva modereringsverktyg för att främja giftfri kommunikation. Det öppnar också för ytterligare forskning för att generalisera vår föreslagna metod till andra textstilar.

I en tid då AI-språkmodeller används alltmer i vår vardag, blir det relevant att undersöka hur det påverkar samhället. Denna studie undersöker, utifrån teorier om etik och jämställdhet, hur AI-språkmodeller i sina texter ger uttryck för mångfald, icke-diskriminering och rättvisa. Studien fokuserar på att identifiera och analysera förekomsten av könsbias i AI-språkmodellernas svar samt hur det påverkar människors förtroende för dessa system. En fallstudie genomfördes på tre AI-språkmodeller - ChatGPT 3.5, Gemini och Llama-2 70B, där data insamlades via intervjuer med dessa modeller. Därefter gjordes intervjuer med mänskliga informanter som reflekterade över AI-språkmodellernas svar. AI-språkmodellerna visade en obalans i hur de behandlar kvinnor och män vilket kan förstärka befintliga könsstereotyper. Detta kan påverka människors förtroende för AI-språkmodeller och informanterna lyfte problematiken om vad neutralitet och rättvisa innebär. För att skapa mer ansvarsfulla och rättvisa AI-system krävs medvetna insatser för att integrera etiska och jämställdhetsperspektiv i AI-utveckling och användning. / In a time when Large Language Models (LLMs) are increasingly used in our daily lives, it becomes important to investigate how this affects society. This study examines how LLMs express diversity, non-discrimination, and fairness in texts, based on theories of ethics and gender equality. The study focuses on identifying and analyzing the presence of gender bias in the responses of LLMs and how this impacts people's trust in these systems. A case study was conducted on three LLMs: ChatGPT 3.5, Gemini, and Llama-2 70B, where data was collected through interviews with them. Subsequently, interviews were conducted with human informants who reflected on the LLMs’ responses. The LLMs showed imbalance towards gender, potentially reinforcing existing gender stereotypes. This can affect people's trust in LLMs, and the informants highlighted the issue of what neutrality and fairness entail. To create more responsible and fair AI systems, conscious efforts are required to integrate ethical and equality perspectives into AI development and usage.