This report outlines the research focused on finding the system design for Happymaker AI, a large language model with a mission to promote well-being at workplaces through daily interactions. The study includes a market analysis of relevant system components, such as database, cloud storage, cloud computing service and large language model, as well as the development of a prototype. Despite facing challenges including limited training data and resource constraints, the prototype was developed using the Llama 2 13B model which was quantized to 8-bits and fine-tuned using LoRA. Through research and prototyping of Happymaker AI, recommendations for the system design were established. These findings provide a foundation for the further development of an ethical AI system, specifically tailored for user data security and scalability. The findings also introduce a new perspective on empathy and personal well-being within the AI field, emphasizing the importance of integrating human-centric values into technological advancements. / Denna rapport skildrar forskningen som fokuserade på att hitta systemdesignen för Happymaker AI, en stor språkmodell med uppdraget att främja välmående på arbetsplatser genom dagliga interaktioner. Studien inkluderar en marknadsanalys av relevanta systemkomponenter såsom databas, molnlagring, molntjänster och en stor språkmodell, samt utvecklingen av en prototyp. Trots utmaningar, inklusive begränsad träningsdata och resursbegränsningar utvecklades prototypen med modellen Llama 2 13B som kvantiserades till 8-bit och tränades med LoRA. Genom forskning och prototypframtagning av Happymaker AI fastställdes rekommendationer för systemdesignen. Resultaten av studien ger en grund för vidareutveckling av ett etiskt AI-system som är anpassat för användardatasäkerhet och skalbarhet. Samtidigt introduceras ett nytt perspektiv på empati och personligt välmående inom AI-fältet, vilket betonar vikten av att integrera människocentrerade värderingar i teknologiska framsteg.

Sensitive data leaking from a system can have tremendous negative consequences, such as discrimination, social stigma, and fraudulent economic consequences for those whose data has been leaked. Therefore, it’s of utmost importance that sensitive data is not leaked from a system. This thesis investigated different methods to prevent sensitive patient data from leaking in a machine learning system. Various methods have been investigated and evaluated based on previous research; the methods used in this thesis are a large language model (LLM) for code analysis and a membership inference attack on models to test their privacy level. The LLM code analysis results show that the Llama 3 (an LLM) model had an accuracy of 90% in identifying malicious code that attempts to steal sensitive patient data. The model analysis can evaluate and determine membership inference of sensitive patient data used for training in machine learning models, which is essential for determining data leakage a machine learning model can pose in machine learning systems. Further studies in increasing the deterministic and formatting of the LLM‘s responses must be investigated to ensure the robustness of the security system that utilizes LLMs before it can be deployed in a production environment. Further studies of the model analysis can apply a wider variety of evaluations, such as increased size of machine learning model types and increased range of attack testing types of machine learning models, which can be implemented into machine learning systems. / Känsliga data som läcker från ett system kan ha enorma negativa konsekvenser, såsom diskriminering, social stigmatisering och negativa ekonomiska konsekvenser för dem vars data har läckt ut. Därför är det av yttersta vikt att känsliga data inte läcker från ett system. Denna avhandling undersökte olika metoder för att förhindra att känsliga patientdata läcker ut ur ett maskininlärningssystem. Olika metoder har undersökts och utvärderats baserat på tidigare forskning; metoderna som användes i denna avhandling är en stor språkmodell (LLM) för kodanalys och en medlemskapsinfiltrationsattack på maskininlärnings (ML) modeller för att testa modellernas integritetsnivå. Kodanalysresultaten från LLM visar att modellen Llama 3 hade en noggrannhet på 90% i att identifiera skadlig kod som försöker stjäla känsliga patientdata. Modellanalysen kan utvärdera och bestämma medlemskap av känsliga patientdata som används för träning i maskininlärningsmodeller, vilket är avgörande för att bestämma den dataläckage som en maskininlärningsmodell kan exponera. Ytterligare studier för att öka determinismen och formateringen av LLM:s svar måste undersökas för att säkerställa robustheten i säkerhetssystemet som använder LLM:er innan det kan driftsättas i en produktionsmiljö. Vidare studier av modellanalysen kan tillämpa ytterligare bredd av utvärderingar, såsom ökad storlek på maskininlärningsmodelltyper och ökat utbud av attacktesttyper av maskininlärningsmodeller som kan implementeras i maskininlärningssystem.

This study introduces an automated evaluation method for large language model (LLM) based chatbots in educational settings, utilizing LLM-as-a-Judge to assess their performance. Our results demonstrate the efficacy of this approach in evaluating the accuracy of three LLM-based chatbots (Llama 3 70B, ChatGPT 4, Gemini Advanced) across two subjects: history and biology. The analysis reveals promising performance across different subjects. On a scale from 1 to 5 describing the correctness of the judge itself, the LLM judge’s average scores for correctness when evaluating each chatbot on history related questions are 3.92 (Llama 3 70B), 4.20 (ChatGPT 4), 4.51 (Gemini Advanced); for biology related questions, the average scores are 4.04 (Llama 3 70B), 4.28 (ChatGPT 4), 4.09 (Gemini Advanced). This underscores the potential of leveraging the LLM-as-a-judge strategy to evaluate the correctness of responses from other LLMs.