Documentation for programming projects can vary both in quality and availability. The availability of documentation can vary more for a closed working environment, since fewer developers will read the documentation. Documenting programming projects can be demanding on worker hours and unappreciated among developers. It is a common conception that developers rather invest time on developing a project than documenting a project, and making the documentation process more effective would benefit developers. To move towards a more automated process of writing documentation, this work generated documentation for repositories which attempts to summarize the repositories in their use cases and functionalities. Two different implementations are created to generate documentation using an on-premise hosted large language model (LLM) as a tool. First, the embedded solution processes all available code in a project and creates the documentation based on multiple summarizations of files and folders. Second, the RAG solution attempts to use only the most important parts of the code and lets the LLM create the documentation on a smaller set of the codebase. The results show that generating documentation is possible, but unreliable and must be controlled by a person with knowledge about the codebase. The embedded solution seems to be more reliable and produce better results, but is more costly compared to the RAG solution.

Large Language Models (LLMs) have the potential to enhance learning among students. These tools can be used in chatbot systems allowing students to ask questions about course material, in particular when plugged with the so-called Retrieval Augmented Systems (RAGs). RAGs allow LLMs to access external knowledge, which improves tailored responses when used in a chatbot system. This thesis studies different RAGs through an experimentation approach where each RAG is constructed using different sets of parameters and tools, including small and large language models. We conclude by suggesting which of the RAGs best adapts to high school courses in Physics and undergraduate courses in Mathematics, such that the retrieval systems together with the LLMs are able to return the most relevant answers from provided course material. We conclude with two RAG-powered LLM with different configurations performing over 64% accuracy in physics and 66% in mathematics.

This report outlines the research focused on finding the system design for Happymaker AI, a large language model with a mission to promote well-being at workplaces through daily interactions. The study includes a market analysis of relevant system components, such as database, cloud storage, cloud computing service and large language model, as well as the development of a prototype. Despite facing challenges including limited training data and resource constraints, the prototype was developed using the Llama 2 13B model which was quantized to 8-bits and fine-tuned using LoRA. Through research and prototyping of Happymaker AI, recommendations for the system design were established. These findings provide a foundation for the further development of an ethical AI system, specifically tailored for user data security and scalability. The findings also introduce a new perspective on empathy and personal well-being within the AI field, emphasizing the importance of integrating human-centric values into technological advancements. / Denna rapport skildrar forskningen som fokuserade på att hitta systemdesignen för Happymaker AI, en stor språkmodell med uppdraget att främja välmående på arbetsplatser genom dagliga interaktioner. Studien inkluderar en marknadsanalys av relevanta systemkomponenter såsom databas, molnlagring, molntjänster och en stor språkmodell, samt utvecklingen av en prototyp. Trots utmaningar, inklusive begränsad träningsdata och resursbegränsningar utvecklades prototypen med modellen Llama 2 13B som kvantiserades till 8-bit och tränades med LoRA. Genom forskning och prototypframtagning av Happymaker AI fastställdes rekommendationer för systemdesignen. Resultaten av studien ger en grund för vidareutveckling av ett etiskt AI-system som är anpassat för användardatasäkerhet och skalbarhet. Samtidigt introduceras ett nytt perspektiv på empati och personligt välmående inom AI-fältet, vilket betonar vikten av att integrera människocentrerade värderingar i teknologiska framsteg.

Sensitive data leaking from a system can have tremendous negative consequences, such as discrimination, social stigma, and fraudulent economic consequences for those whose data has been leaked. Therefore, it’s of utmost importance that sensitive data is not leaked from a system. This thesis investigated different methods to prevent sensitive patient data from leaking in a machine learning system. Various methods have been investigated and evaluated based on previous research; the methods used in this thesis are a large language model (LLM) for code analysis and a membership inference attack on models to test their privacy level. The LLM code analysis results show that the Llama 3 (an LLM) model had an accuracy of 90% in identifying malicious code that attempts to steal sensitive patient data. The model analysis can evaluate and determine membership inference of sensitive patient data used for training in machine learning models, which is essential for determining data leakage a machine learning model can pose in machine learning systems. Further studies in increasing the deterministic and formatting of the LLM‘s responses must be investigated to ensure the robustness of the security system that utilizes LLMs before it can be deployed in a production environment. Further studies of the model analysis can apply a wider variety of evaluations, such as increased size of machine learning model types and increased range of attack testing types of machine learning models, which can be implemented into machine learning systems. / Känsliga data som läcker från ett system kan ha enorma negativa konsekvenser, såsom diskriminering, social stigmatisering och negativa ekonomiska konsekvenser för dem vars data har läckt ut. Därför är det av yttersta vikt att känsliga data inte läcker från ett system. Denna avhandling undersökte olika metoder för att förhindra att känsliga patientdata läcker ut ur ett maskininlärningssystem. Olika metoder har undersökts och utvärderats baserat på tidigare forskning; metoderna som användes i denna avhandling är en stor språkmodell (LLM) för kodanalys och en medlemskapsinfiltrationsattack på maskininlärnings (ML) modeller för att testa modellernas integritetsnivå. Kodanalysresultaten från LLM visar att modellen Llama 3 hade en noggrannhet på 90% i att identifiera skadlig kod som försöker stjäla känsliga patientdata. Modellanalysen kan utvärdera och bestämma medlemskap av känsliga patientdata som används för träning i maskininlärningsmodeller, vilket är avgörande för att bestämma den dataläckage som en maskininlärningsmodell kan exponera. Ytterligare studier för att öka determinismen och formateringen av LLM:s svar måste undersökas för att säkerställa robustheten i säkerhetssystemet som använder LLM:er innan det kan driftsättas i en produktionsmiljö. Vidare studier av modellanalysen kan tillämpa ytterligare bredd av utvärderingar, såsom ökad storlek på maskininlärningsmodelltyper och ökat utbud av attacktesttyper av maskininlärningsmodeller som kan implementeras i maskininlärningssystem.

Manuell granskning av användarrecensioner för att extrahera relevant informationkan vara en tidskrävande process. Denna rapport har undersökt om stora språkmodeller kan användas för att sammanfatta, extrahera och analysera nyckelinformation från recensioner, samt hur en sådan applikation kan konstrueras.  Det visade sig att olika modeller presterade olika bra beroende på mätvärden ochviktning mellan recall och precision. Vidare visade det sig att fine-tuning av språkmodeller som Llama 3 förbättrade prestationen vid klassifikation av användbara recensioner och ledde, enligt vissa mätvärden, till högre prestation än större språkmodeller som Chat-Bison. För engelskt översatta recensioner hade Llama 3:8b:Instruct, Chat-Bison samt den fine-tunade versionen av Llama 3:8b ett F4-makro-score på 0.89, 0.90 och 0.91 respektive. Ytterligare ett resultat är att de större modellerna Chat-Bison, Text-Bison och Gemini, presterade bättre i fallet för generering av sammanfattande texter, än de mindre modeller som testades vid inmatning av flertalet recensioner åt gången.  Generellt sett presterade språkmodellerna också bättre om recensioner först översattes till engelska innan bearbetning, snarare än då recensionerna var skrivna i originalspråk där de majoriteten av recensionerna var skrivna på svenska. En annan lärdom från förbearbetning av recensioner är att antal anrop till dessa språkmodeller kan minimeras genom att filtrera utifrån ordlängd och betyg.  Utöver språkmodeller visade resultaten att användningen av vektordatabaser och embeddings kan ge en större överblick över användbara recensioner genom vektordatabasers inbyggda förmåga att hitta semantiska likheter och samla liknande recensioner i kluster. / Manually reviewing user reviews to extract relevant information can be a time consuming process. This report investigates if large language models can be used to summarize, extract, and analyze key information from reviews, and how such anapplication can be constructed.  It was discovered that different models exhibit varying degrees of performance depending on the metrics and the weighting between recall and precision. Furthermore, fine-tuning of language models such as Llama 3 was found to improve performance in classifying useful reviews and, according to some metrics, led to higher performance than larger language models like Chat-bison. Specifically, for English translated reviews, Llama 3:8b:Instruct, Chat-bison, and Llama 3:8b fine-tuned had an F4 macro score 0.89, 0.90, 0.91 respectively. A further finding is that the larger models, Chat-Bison, Text-Bison, and Gemini performed better than the smaller models that was tested, when inputting multiple reviews at a time in the case of summary text generation.  In general, language models performed better if reviews were first translated into English before processing rather than when reviews were written in the original language where most reviews were written in Swedish. Additionally, another insight from the pre-processing phase, is that the number of API-calls to these language models can be minimized by filtering based on word length and rating. In addition to findings related to language models, the results also demonstrated that the use of vector databases and embeddings can provide a greater overview of reviews by leveraging the databases’ built-in ability to identify semantic similarities and cluster similar reviews together.

This thesis presents the design and implementation of a generative Artificial Intelligence (AI)-based decision-support interface applied to the domain of pub- lic transport leveraging both offline and logged data from both past records and real-time updates. The AI assistant system was developed leveraging pre- trained Large Language Models (LLMs) together with Retrieval Augmented Generation (RAG) and the Function Calling Application Programming Inter- face (API), provided by OpenAI, for automating the process of adding knowl- edge to the LLM. Challenges such as formatting and restructuring of data, data retrieval methodologies, accuracy and latency were considered. The result is an AI assistant which can have a conversation with users, answer questions re- garding departures, arrivals, specific vehicle trips, and other questions relevant within the domain of the dataset. The AI assistant system has also been devel- oped to provide client-side actions that integrate with the user interface, enabling interactive elements such as clickable links to trigger relevant actions based on the content provided Different LLMs, including GPT-3.5 and GPT-4 with different temperatures, were compared and evaluated with a pre-defined set of questions paired with a respective ground truth. By adopting a conversational approach, the project aims to streamline infor- mation extraction from extensive datasets, offering a more flexible and feedback- oriented alternative to manual search and filtering processes. This way, traffic managers adapt and operate more efficiently. The traffic managers will also re- main informed about small disturbances and can act accordingly faster and more efficient. The project was conducted at Gaia Systems AB, Norrköping, Sweden. The project primarily aims to enhance the workflow of traffic managers utiliz- ing Gaia’s existing software for public transport management within Östgöta- trafiken. / Denna avhandling presenterar designen och implementationen av en generativ Artificiell Intelligens (AI)-baserad beslutsstödsgränssnitt applicerad på området för kollektivtrafik, utnyttjande både offline och loggad data från både tidigare händelser och realtidsuppdateringar. AI-assistentsystemet utvecklades med hjälp av Large Language Models (LLM) tillsammans med Retrieval Augmented Generation (RAG) och Function Calling API, tillhandahållet av OpenAI, för att automatisera processen att lägga till kunskap till en LLM. Utmaningar som formatering och omstrukturering av data, datahämtningsmetoder, noggrannhet och latens beaktades. Resultatet är en AI-assistent som kan ha en konversation med användare, svara på frågor om avgångar, ankomster, specifika fordonsturer och andra frågor relevanta inom datamängdens område. AI-assistentsystemet har också utvecklats för att tillhandahålla Client Actions som integreras med användargränssnittet, vilket möjliggör interaktiva element som klickbara länkar för att utlösa relevanta åtgärder baserade på den tillhandahållna innehållet. Olika LLM, inklusive GPT-3.5 och GPT-4 med olika temperaturer, jämfördes och utvärderades med en fördefinierad uppsättning frågor parat med en respektive sanning. Genom att använda en konversationell metod syftar projektet till att effektivisera informationsutvinning från omfattande datamängder och erbjuder ett mer flexibelt och feedbackorienterat alternativ till manuella sök- och filtreringsprocesser. På detta sätt kan trafikledare anpassa sig och arbeta mer effektivt. Trafikledarna kommer också att hållas informerade om mindre störningar och kan agera snabbare och mer effektivt. Projektet genomfördes på Gaia Systems AB, Norrköping, Sverige. Projektet syftar främst till att förbättra arbetsflödet för trafikförvaltare som använder Gaia's befintlig programvara för kollektivtrafikhantering inom Östgötatrafiken.

As advancements in chatbots and Large Language Models (LLMs) such as GPT-3.5 and GPT-4 continue, their applications in diverse fields, including psychology, expand. This study investigates the effectiveness of LLMs optimized through prompt engineering, aiming to enhance their performance in psychological applications. To this end, two distinct versions of a GPT-3.5-based chatbot were developed: a version similar to the base model, and a version equipped with a more extensive system prompt detailing expected behavior. A panel of professional psychologists evaluated these models based on a predetermined set of questions, providing insight into their potential future use as psychological tools. Our results indicate that an overly prescriptive system prompt can unintentionally limit the versatility of the chatbot, making a careful balance in instruction specificity essential. Furthermore, while our study suggests that current LLMs such as GPT-3.5 are not capable of fully replacing human psychologists, they can provide valuable assistance in tasks such as basic question answering, consolation and validation, and triage. These findings provide a foundation for future research into the effective integration of LLMs in psychology and contribute valuable insights into the promising field of AI-assisted psychological services. / I takt med att framstegen inom chatbots och stora språkmodeller (LLMs) som GPT-3.5 och GPT-4 fortsätter utvidgas deras potentiella tillämpningar inom olika områden, inklusive psykologi. Denna studie undersöker effektiviteten av LLMs optimerade genom prompt engineering, med målet att förbättra deras prestanda inom psykologiska tillämpningar. I detta syfte utvecklades två distinkta versioner av en chatbot baserad på GPT-3.5: en version som liknar bas-modellen, och en version utrustad med en mer omfattande systemprompt som detaljerar förväntat beteende. En panel av professionella psykologer utvärderade dessa modeller baserat på en förbestämd uppsättning frågor, vilket ger inblick i deras potentiella framtida användning som psykologiska verktyg. Våra resultat tyder på att en överdrivet beskrivande systemprompt kan ofrivilligt begränsa chatbotens mångsidighet, vilket kräver en noggrann balans i specificiteten av prompten. Vidare antyder vår studie att nuvarande LLMs som GPT-3.5 inte kan ersätta mänskliga psykologer helt och hållet, men att de kan ge värdefull hjälp i uppgifter som grundläggande frågebesvaring, tröst och bekräftelse, samt triage. Dessa resultat ger en grund för framtida forskning om effektiv integration av LLMs inom psykologi och bidrar med värdefulla insikter till det lovande fältet av AI-assisterade psykologtjänster.

Genom utvecklingen av AI sker ett begynnande paradigmskifte inom organisationer då anställda använder sig av AI-verktyg för att optimera sin arbetsprestanda. Användning av AI-verktyg är även något som kan bidra med nytta för akademiska roller inom utbildningssektorn, såsom lärare och forskare. Det är dock oklart vilket stöd dessa AI-verktyg kan bidra till för dessa yrkesroller. Eftersom deras arbetsuppgifter karaktäriseras av hög kvalitetsnivå och hänsyn till etiska aspekter, ställs höga krav på AI-verktygets kapabilitet. Denna studie syftar till att ge en ökad förståelse för acceptansen av AI-verktyget Microsoft 365 Copilot inom utbildningssektorn utifrån lärares och forskares perspektiv. Som stöd för att undersöka acceptansen av AI-verktyget har studien haft utgångspunkt i Technology Acceptance Model (TAM). Genom semistrukturerade intervjuer och ostrukturerade observationer erhölls en insyn i lärares och forskares upplevelser med AI-verktyget och vilka möjligheter eller begränsningar de identifierat med dess användning inom sin yrkesroll. Vår slutsats visar att AI-verktyget inte upplevs upprätthålla en nivå som var likvärdig med användarna själva eller liknande AI-verktyg. Vidare finns det även behov av stöd och utbildning för lärare och forskare att använda AI-verktyg, både vad gäller AI-verktygets funktionalitet men även riktlinjer om informationssäkerhet. / Through the development of AI, a new paradigm shift is beginning within organizations as employees use AI-tools to optimize their work performance. The use of AI-tools can also bring benefits to academic roles in the education sector, such as teachers and researchers. However, there is an uncertainty about the support these AI-tools can offer to these professional roles. Given the high level of quality required in these professional roles, as well as the need to consider ethical aspects, there are significant demands on the capabilities of the AI-tool. This study aims to provide a deeper understanding of the acceptance of the AI-tool Microsoft 365 Copilot within the education sector from the perspectives of teachers and researchers. To examine the acceptance of the AI-tool, the study is based on the Technology Acceptance Model (TAM). Through semi-structured interviews and unstructured observations, insights were gained into teacher’s and researcher’s experiences with the AI-tool and what opportunities or limitations they identified in using it within their professional role. Our conclusion indicates that the AI-tool was not perceived to maintain a level equal to the users themselves or similar AI-tools. Furthermore, there is a need for support and education for teachers and researchers in using AI-tools, both regarding the functionality of the AI-tool but also guidelines for information security.

In this research project, we aim to explore the use of Large Language Models (LLMs) as an interface to interact with API tools in natural language. Bubeck et al. [1] shed some light on how LLMs could be used to interact with API tools. Since then, new versions of LLMs have been launched and the question of how reliable a LLM can be in this task remains unanswered. The main goal of our thesis is to investigate the designs of the available system prompts for LLMs, identify the best-performing prompts, and evaluate the reliability of different LLMs when using the best-identified prompts. We will employ a multiple-stage controlled experiment: A literature review where we reveal the available system prompts used in the scientific community and open-source projects; then, using F1-score as a metric we will analyse the precision and recall of the system prompts aiming to select the best-performing system prompts in interacting with API tools; and in a latter stage, we compare a selection of LLMs with the best-performing prompts identified earlier. From these experiences, we realize that AI-generated system prompts perform better than the current prompts used in open-source and literature with GPT-4, zero-shot prompts have better performance in this specific task with GPT-4 and that a good system prompt in one model does not generalize well into other models.

In this study, we tested the performance of ChatGPT-4 on the concept inventory Brief Electricity and Magnetism Assessment (BEMA) to understand its potential as an educational tool in physics, especially in tasks requiring visual interpretation. Our results indicate that ChatGPT-4 performs similarly to undergraduate students in introductory electromagnetism courses, with an average score close to that of the students. However, ChatGPT-4 displayed significant differences compared to students, particularly in tasks involving complex visual elements such as electrical circuits and magnetic field diagrams. While ChatGPT-4 was proficient in proposing correct physical reasoning, it struggled with accurately interpreting visual information. These findings suggest that while ChatGPT-4 can be a useful supplementary tool for students, it should not be relied upon as a primary tutor for subjects heavily dependent on visual interpretation. Instead, it could be more effective as a peer, where its outputs are critically evaluated by students. Further research should focus on improving ChatGPT’s visual processing capabilities and exploring its role in diverse educational contexts.