This Bachelor thesis investigates the influence of prompt engineering and the integration of an Interaction Quality (IQ) feedback loop on the performance of ChatGPT-3.5 as a voice assistant. By analysing empirical data across multiple configurations, this study explores how these interventions affect response accuracy and efficiency. Findings suggest that prompt engineering tends to enhance system performance, though the benefits of the IQ feedback loop remain less clear and require further investigation. This study contributes to the field by delineating the potential for targeted modifications to improve dialogue system outputs in real-time applications.

Den snabba utvecklingen av Artificiell Intelligens (AI) har lett till att organisationer och företag i en högre grad väljer att integrera AI-drivna lösningar i sin verksamhet i syfte att förbli konkurrenskraftiga och öka produktiviteten. Framsteg inom AI har haft en betydande inverkan på HR-branschen vilken tidigare forskning har visat att AI har potential att effektivisera särskilda HR-processer. Mot denna bakgrund var syftet med studien att undersöka HR-anställdas upplevelser av att använda det AI-drivna verktyget ChatGPT i sitt arbete. Studien genomfördes genom kvalitativ datainsamling med semistrukturerade intervjuer. Resultatet analyserades genom en tematisk analys som resulterade i fyra teman: effektivitet och tidsbesparing, kvalitet, ChatGPT som interaktiv resurs och oro för AI-utvecklingen. Både positiva och negativa upplevelser av att använda ChatGPT inom HR framkom i resultatet, inklusive AI:s potential att effektivisera och spara tid, samt riskerna med verktygets partiskhet, integritetsskydd och eventuell förlust av den mänskliga aspekten i HR. Studien bidrar till en bredare förståelse för AI:s roll i HR med de potentiella möjligheter och utmaningar som följer med dess implementering.

Background: Unit testing is essential in software development, ensuring the functionality of individual components like functions and classes. However, manual creation of unit test cases is time-consuming and tedious, impacting testing efficiency and reliability. Problem: Automated unit test generation tools such as EvoSuite and Randoop have addressed some challenges, but they’re limited by language specificity and predefined algorithms. Generative AI tools like ChatGPT and GitHub Copilot powered by OpenAI’sGPT-3.5/4 offer alternatives, but face limitations like user input reliance and operational inconveniences. Solution: CodiumAI’s Codiumate IDE plugin aims to mitigate these limitations, making code quality assurance easier for developers. This study evaluates Codiumate’s trustworthiness in generating unit tests for the Python functions. Method: We randomly selected thirty functions from OpenAI’s HumanEval dataset, and wrote selection criteria for relevant test cases based on each function’s doc string to evaluate Codiumate’s trustworthiness using metrics such as Relevance Score, false positive rate, and result consistency rate. Result: Among all the suggested test cases by Codiumate, 208 unit tests, which consists of 48% of suggested test cases that were relevant. 70% of assertions from these test cases strictly meet selection criteria, while the other 30% while relevant were selected due to our basis and experience in software testing. The average false positive rate is15%. Function groups that have higher Relevance Scores are non-mathematical nature, and simple dependencies. High false positives arise in functions with string and float parameters. All generated unit tests are syntax-error-free, with 20% fail and 80% passed in all five test execution. Conclusion: Codiumate demonstrates potential in automating unit test generation, offering a convenient means to support developers. However, it is not yet fully reliable for critical applications without developer oversight. Continued refinement and exploration of its capabilities are essential for Codiumate to become an indispensable asset in unit test generation, enhancing its trustworthiness and effectiveness in the software development process.

Artificial Intelligence (AI) is ever increasingly becoming more and more widespread, and is available, for the most part freely to anyone. While AI can be used for both good and bad, the potential for misuse exists. This study focuses on the intersection of AI and cybersecurity, with a focus on AI-generated phishing emails. In this study a mixed-method approach was applied and, an experiment, interviews, and a survey were conducted. Experiments and interviews were conducted with 9 participants with various backgrounds, but novices in phishing. In the experiment, phishing emails were created in three distinct ways: Human-Crafted, Internet-aided, and AI-generated. Emails were evaluated during semi-structured interviews, and each participant reviewed six emails in total, where two of these, were real phishing emails. The results from the interviews indicate that AI-generated phishing emails are as persuasive as those created in the Human-Crafted task. On the contrary, in the survey, participants ranked the AI-generated phishing email as the most persuasive, followed by Human-Crafted. The survey was answered by 100 participants. Familiarity plays a crucial part in both persuasiveness and also willingness to go along with the requests in the phishing emails, this was highlighted during interviews and the survey. Urgency was seen as very negative by both the respondents and interviewees. The results from the study highlight the potential for misuse, specifically with the creation of AI-generated phishing emails, research into protection measures should not be overlooked. Adversaries have the potential to use AI, as it is right now, to their advantage.

Teknologiutvecklingen av stora språkmodeller har på senaste tiden blivit uppmärksammad genom lanseringen av OpenAI:s ChatGPT. Det har förekommit diskussioner om vad detta innebär för samhället i stort men också hur utbildningen på lärosäten påverkas. Syftet med denna studie var att studera hur stor påverkan dessa verktyg har på utbildningen på Uppsala universitet. Fem studierektorer från olika institutioner har intervjuats. Datan analyserades sedan med hjälp av teorin för socialt disruptiva teknologier för att undersöka hur stor påverkansgraden är. Resultatet visar att det främst är examinationer som har påverkats, där vissa studierektorer har behövt ta bort eller kommer att ta bort hemuppgifter som konsekvens av ChatGPT. Skillnader i förändringsarbetet finns mellan olika institutioner, vilket tycks delvis grunda sig i brist på riktlinjer, men även i utbildningsstruktur och personligt engagemang. Det går dock inte att fastslå några systematiska skillnader mellan universitetets olika delar. Vidare har det diskuterats bredare frågor om studenternas lärande och hur man som studierektor kan förhålla sig till utvecklingen. / The technology development of large language models has recently received attention through the launch of OpenAI’s ChatGPT. There have been discussions of what this means for society overall, but also how the education at universities is affected. The purpose of this study was to study how much impact these tools have on education at Uppsala University. Five directors of studies from different departments have been interviewed. The data was then analyzed using the theory of socially disruptive technologies to investigate the degree of impact. The result shows that it is mainly examinations that have been affected, where some principals have had to remove or will remove homework assignments as a consequence of ChatGPT. Differences in change management exist between different institutions, which seem to be partly due to the lack of guidelines, but also due to educational structure and personal commitment. However, no systematic differences can be determined between the different parts of the university. Furthermore, there have been discussions about broader questions about the students' learning and how one should relate to the development as a director of studies.

This study explored the needs and challenges faced by diabetics and healthcare personnel in the context of diabetes consultations in Sweden, with the aim of identifying improvements for Clinical Decision Support Systems (CDSS). Given the global prevalence of diabetes, understanding the use and implications of CDSS in patient consultations is crucial. This research aimed to fill that knowledge gap by exploring ways to improve CDSS, considering the needs of both diabetics and healthcare workers. A qualitative approach was used, including 12 interviews, 1 observation, and 6 document reviews. A thematic analysis revealed four key themes which highlighted various challenges and needs, experienced from both diabetics and healthcare personnel. The underlying causes of these challenges were linked to recent technological advancements and the increase in available data points. This results infrustration, suboptimal care outcomes, and an increased reliance on alternative solutions by both parties. The DeLone and McLean IS Success Model was used to identify potential technological solutions and provides a clear recommendation on what needs to be improved for future solutions. The findings contribute significantly to understanding the utilization of CDSS in diabetes care and associated challenges. The study is particularly relevant for healthcare personnel, diabetics, policymakers, entrepreneurs, and scholars interested in healthcare information systems. Future studies should focus on generalizing these findings by exploring other healthcare systems and to what extent this findings are applicable for type 2 diabetics, as well as practically exploring how new systems can address the identified needs in this study. Ultimately, this study contributes to the potential for improved care and quality of life for diabetics. / Denna studie utforskade behov och utmaningar som diabetiker och sjukvårdspersonal står inför i samband med diabeteskonsultationer i Sverige, med målet att identifiera förbättringar för kliniska beslutsstödssystem (CDSS). Med tanke på diabetes globala prevalens, är det avgörande att förstå användningen och implikationerna av CDSS i patientkonsultationer. Denna forskning syftade till att fylla detta kunskapsgap genom att utforska möjligheter att förbättra CDSS, med hänsyn till både diabetikers och vårdgivares behov. Kvalitativa metoder användes, inklusive intervjuer, observationer och dokumentgranskningar. En tematisk analys identifierade fyra nyckelteman som belyste flera utmaningar och behov från både diabetiker och sjukvårdspersonal. De underliggande orsakerna till dessa utmaningar var kopplade till tekniska utveckling och ökningen av tillgängliga datapunkter. Detta resulterade i frustration, suboptimala vårdresultat och en ökad användning av alternativa lösningar från båda parter. DeLone och McLean IS Success Model användes för att översätta behoven till tekniska krav för potentiella framtida lösningar. Studiens resultat bidrar till förståelsen av användningen av CDSS inom diabetesvård och relaterade utmaningar. Studien är särskilt relevant för sjukvårdspersonal, diabetiker, politiker, entreprenörer och forskare som är intresserade av hälso- och sjukvårdsinformationssystem. Framtida studier bör fokusera på att generalisera dessa resultat genom att undersöka andra sjukvårdssystem och i samband med typ 2 diabetes, samt utforska hur mer praktiskt utveckling av nya system kan gå till för möta de identifierade behoven i denna studie. Slutligen bidrar denna studie till potentialen för förbättrad vård och livskvalitet för diabetiker.

The present study examines ChatGPT-3's ability to generate code solutions for introductory programming courses in computer science and the potential implications for academic integrity. An experiment was conducted where ChatGPT was tested on programming problems from Kattis, an automatic software grading tool for computer programs, used in higher education. The results showed that ChatGPT independently could solve 19 out of 127 programming tasks assessed by Kattis. The study’s results also show that ChatGPT could generate accurate code solutions for simple problems on Kattis but encounters difficulties with more complex programming tasks. A qualitative follow up investigation was also carried out. To provide comments on methodology and discuss cheating in higher education concerning programming courses the two teachers were interviewed. The Kattis system is considered to have useful features for preventing cheating, such as hidden test cases, but it also has limitations in detecting AI-generated code. The report concludes by discussing the implications for various stakeholders, including teachers, students, and researchers. / Studien undersöker ChatGPT-3:s förmåga att generera kodlösningar för grundläggande programmeringskurser inom datavetenskap och de potentiella konsekvenserna för akademisk integritet. Ett experiment utfördes där ChatGPT testades med programmeringsproblem från Kattis, ett automatiskt rättningsverktyg för datorprogram som används inom högre utbildning. Resultaten visade att ChatGPT självständigt löste 19 av 127 programmeringsuppgifter som bedömdes av Kattis. Studien konstaterar att ChatGPT kan generera korrekta kodlösningar för problem med låg svårighetsgrad enligt Kattis, men stöter på svårigheter med mer komplexa programmeringsuppgifter. En kvalitativ uppföljningsundersökning genomfördes även där två lärare från KTH intervjuades för att ge sina kommentarer om metodvalet och diskutera fusket inom högre utbildning när det gäller programmeringskurser. Kattis-systemet anses ha användbara funktioner för att förhindra fusk, såsom dolda testfall, men har också begränsningar när det gäller att upptäcka AI-genererad kod. Rapporten avslutas med att diskutera implikationerna för olika intressenter, inklusive lärare, studenter och forskare.

ChatGPT och artificiell intelligens har hastigt tagit plats i utbildningsmiljöer. Verktyget har till skillnad från andra sökmotorer, möjlighet att generera svar som liknar en människas språkbruk och kan föra en interaktiv dialog.  Denna undersökning syftar till att förstå hur ChatGPT påverkat undervisningsmetoder inom ämnet samhällskunskap på gymnasiet och hur lärare anpassat sig till denna teknologiska förändring.   Frågeställningen för undersökningen är ”På vilket sätt anser samhällskunskapslärare att införandet av ChatGPT och artificiell intelligens påverkar deras metoder och arbetsuppgifter? ”.  Undersökningen bygger på kvalitativ metod med semistrukturerade intervjuer. Sex samhällskunskapslärare   som arbetar på gymnasiet har intervjuats. För att förstå det komplexa sambandet mellan teknik, pedagogik och ämneskunskap har TPACK används som teori.Studien visar att ChatGPT ställt krav på förändrade undervisningsmetoder och strategier bland annat genom att lärare behövt förändra sina examinationsformer och examinationsfrågor för att minska risken för plagiat och fusk. Lärarna visar på en god teknisk pedagogisk kunskap, eftersom de förstått hur ChatGPT kan effektivisera deras tid genom att utforma uppgifter, frågor eller planera lektioner.  Inom ämnet samhällskunskap utgör ChatGPT en risk för spridning av falska nyheter och den källkritiska förmågan blir allt viktigare att utveckla. Lärare har fått ett förändrat ansvar genom att finna strategier för att upptäcka plagiat. Den sista slutsatsen för undersökningen är att ChatGPT kan ha kommit att utmana synen på hur elever lär sig.  Resultatet påvisar att lärare bör få bättre kunskap om hur teknik, pedagogik och ämneskunskap samspelar för att kunna utnyttja ChatGPT ’s fulla potential att effektivisera undervisningen. / ChatGPT and artificial intelligence have rapidly found their place in educational environments. Unlike other search engines, this tool has the capability to generate responses resembling human language and engage in interactive dialogue. This study aims to understand how ChatGPT has influenced teaching methods within the subject of social studies in high schools and how teachers have adapted to this technological change. The research question guiding this investigation is, "In what ways do social studies teachers perceive the introduction of ChatGPT and artificial intelligence affecting their methods and tasks?"The study employs a qualitative approach with semi-structured interviews. Six social studies teachers working in high schools were interviewed. To comprehend the intricate relationship between technology, pedagogy, and content knowledge, the Technological Pedagogical Content Knowledge (TPACK) framework is used as a theoretical foundation. The findings reveal that ChatGPT has necessitated changes in teaching methods and strategies. For instance, teachers have had to modify their assessment methods and questions to reduce the risk of plagiarism and cheating. Teachers demonstrate sound technological pedagogical knowledge, as they understand how ChatGPT can streamline their work by creating assignments, questions that could be used for educational purpose, or lesson plans. Within the field of social studies, ChatGPT presents a risk of spreading fake news, highlighting the importance of critical thinking and source evaluation. Teachers have assumed a new responsibility in developing strategies to detect plagiarism. The conclusion of this study is that ChatGPT may have challenged the perception of how students learn. The results suggest that teachers should gain better knowledge of how technology, pedagogy, and subject knowledge interact to harness ChatGPT's full potential for enhancing education.

Denna avhandling studerar området av kodanonymisering inom programvaruutveckling, med fokus på att skydda känslig källkod i en alltmer digitaliserad och AI-integrerad värld. Huvudproblemen som avhandlingen adresserar är de tekniska och säkerhetsmässiga utmaningarna som uppstår när källkod behöver skyddas, samtidigt som den ska vara tillgänglig för AI-baserade analysverktyg som ChatGPT. I denna avhandling presenteras utvecklingen av en applikation vars mål är att anonymisera källkod, för att skydda känslig information samtidigt som den möjliggör säker interaktion med AI. För att lösa dessa utmaningar har Roslyn API använts i kombination med anpassade identifieringsalgoritmer för att analysera och bearbeta C#-källkod, vilket säkerställer en balans mellan anonymisering och bevarande av kodens funktionalitet. Roslyn API är en del av Microsofts .NET-kompilatorplattform som tillhandahåller rika funktioner för kodanalys och transformation, vilket möjliggör omvandling av C#-källkod till ett detaljerat syntaxträd för inspektion och manipulering av kodstrukturer. Resultaten av projektet visar att den utvecklade applikationen framgångsrikt anonymiserar variabel-, klass- och metodnamn, samtidigt som den bibehåller källkodens logiska struktur. Dess integration med ChatGPT förbättrar användarupplevelsen genom att erbjuda interaktiva dialoger för analys och assistans, vilket gör den till en värdefull resurs för utvecklare. Framtida arbete inkluderar utvidgning av applikationen för att stödja fler programmeringsspråk och utveckling av användaranpassade konfigurationer för att ytterligare förbättra användarvänligheten och effektiviteten. / This thesis addresses the area of code anonymization in software development, with a focus on protecting sensitive source code in an increasingly digitized and AI-integrated world. The main problems that the thesis addresses are the technical and security challenges that arise when source code needs to be protected, while being accessible to AI-based analysis tools such as ChatGPT. This thesis presents the development of an application whose goal is to anonymize source code, in order to protect sensitive information while enabling safe interaction with AI. To solve these challenges, the Roslyn API has been used in combination with customized identification algorithms to analyze and process C# source code, ensuring a balance between anonymization and preservation of the code's functionality. The Roslyn API is part of Microsoft's .NET compiler platform that provides rich code analysis and transformation capabilities, enabling the transformation of C# source code into a detailed syntax tree for code structure inspection and manipulation.The results of the project show that the developed application successfully anonymizes variable, class, and method names, while maintaining the logical structure of the source code. Its integration with ChatGPT enhances the user experience by providing interactive dialogues for analysis and assistance, making it a valuable resource for developers. Future work includes extending the application to support more programming languages and developing customized configurations to further improve ease of use and efficiency.

ChatGPT är inte en vanlig AI-chatbot; det är ett kraftfullt verktyg som har tränats för att skapa naturligt språk och kan tillämpas inom högre utbildning. Genom sin förmåga att kunna generera text och svara på frågor kan det vara en ovärderlig tillgång för lärare. Att artificiell intelligens påverkar den högre utbildning kan innebära problematik, eftersom det kräver anpassning av lärares användning av teknik i sitt arbete. AI-chatbots som ChatGPT har potentialen att förbättra undervisningen genom att stödja lärare. Trots fördelar medför ChatGPT även utmaningar, inklusive möjligheten till felaktiga svar, vilket kräver en kontroll av kvalitet. Problematiken med fördomar i AI-verktyg kan resultera i orättvisa bedömningar av studenter. För att hålla jämna steg med den teknologiska utvecklingen måste lärare utveckla nya kompetenser. Syftet med den kvalitativa studien är att djupgående undersöka vilka möjligheter och utmaningar som uppstår när lärare inom högre utbildning använder ChatGPT i undervisningsarbetet. Upptäckterna från studien visar att användningen av ChatGPT inom högre utbildning öppnar upp både möjligheter och utmaningar för lärare. När det kommer till möjligheterna är det ett verktyg som är tids- och energisparande främst inom användningsområdena, planering och förberedelse av undervisningen. Dessutom främjas analys, jämförelse och kritiska tänkande hos studenter samt möjliggör det för skapandet av unika uppgifter och automatiserad bedömning inom examination och bedömning. Trots dessa fördelar framkom det också utmaningar som är kopplade till användningen av ChatGPT inom högre utbildning. Lärare står inför juridiska och etiska dilemman när det gäller verktygets användning inom examination och bedömning. Det finns också en risk för att generera inkorrekt information och bristande kompetens. För att hantera dessa utmaningar är det avgörande att lärare behåller sin expertis och prioriterar mänsklig interaktion för att skapa en engagerande och meningsfull lärandemiljö. Genom att hitta en balans mellan teknik och pedagogik kan lärare säkerställa att ChatGPT blir ett kraftfullt hjälpmedel i deras undervisningsstrategier. / ChatGPT is not just an ordinary AI chatbot; it is a powerful tool that has been trained to generate natural language and can be used in higher education. By being able to generate text and provide answers to questions, it can be an invaluable asset for teachers. The impact of artificial intelligence on higher education can pose challenges, as it requires adaptation of how instructors use technology in their work. AI chatbots like ChatGPT have the potential to enhance education by supporting teachers. Despite advantages, ChatGPT also presents challenges, including the possibility of inaccurate responses, necessitating quality control. The issue of biases in AI tools can result in unfair student evaluations. To keep pace with technological advancements, teachers must develop new competencies. The purpose of the qualitative study is to deeply investigate the opportunities and challenges that arise when educators in higher education use ChatGPT in their teaching practices. The purpose of this qualitative study is to thoroughly examine the use of ChatGPT as a tool for teachers in higher education to facilitate their teaching work. The findings from the study reveal that the use of ChatGPT in higher education presents both opportunities and challenges for teachers. In terms of opportunities, it is a time- and energy- saving tool, particularly in the areas of lesson planning and preparation. Additionally, it promotes analysis, comparison, and critical thinking among students, and enables the creation of unique assignments and automated assessment in examination and evaluation. Despite these advantages, there are also challenges associated with the use of ChatGPT in higher education. Teachers face legal and ethical dilemmas when it comes to utilizing the tool in examination and assessment. There is also a risk of generating inaccurate information and lacking expertise. To address these challenges, it is crucial for teachers to maintain their expertise and prioritize human interaction to create an engaging and meaningful learning environment. By finding a balance between technology and pedagogy, teachers can ensure that ChatGPT becomes a powerful tool in their teaching strategies. This study is written in the Swedish language