Chatbots are very widely used nowadays. However, much of the research on Chatbots have had a technology focus or has been limited to studies of adoption. To take advantage of the potential associated with chatbots, research that addresses the issues online users face when interacting with such programs is needed. The study described in this paper used the task-to technology fit theory to address the question of how individual characteristics and task/technology requirements influence the performance and utilization of chatbots. This paper used the quantitative methodology over two sets of data collected independently from two different populations. The first dataset of 100 respondents was obtained firstly through a structured questionnaire administered at Linnaeus University Campus in Växjö. The respondents are students in the university who use chatbots regularly. A second dataset was also collected from 20 participants through a practical test experiment with three different chatbots (Eliza, Rose, and Watson). The result and the data were then recorded through an online interview via the zoom application. The two datasets were analyzed quantitatively using comparative factor analysis with the aid of Smart PLS software. While few variables provided little support for the claims, the majority of the variables show strong support for the importance of task–technology fit, as a measure of chatbot utilization and performance based on individual characteristics as well as the task/technology requirements.

Chatbots are the new kind of technique for organizations to implement in their operations. Although chatbots have been around for a while they have spiked in the last few years. With this new technique also comes new ways for users to interact and communicate with the organizations. The traditional usability tests do not fully cover the chatbots characteristics and new methods must be created. This paper will create an evaluation model based on chatbots and theories about usability testing and apply the evaluating method to three commercial chatbots and their interaction with a user. The result shows that the evaluation model in some ways was successful and fulfilled its purpose while further research and development is necessary for the model to perform as desired.

Advancements in Artificial Intelligence, especially in the field of natural language processing have opened new possibilities for educational chatbots. One of these is a chatbot that can simulate a conversation between the teacher and the student for continuous learner support. In an up-scaled learning environment, teachers have less time to interact with each student individually. A resource to practice interactions with students could be a boon to alleviate this issue. In this thesis, we present a machine-learning model combined with a heuristic approach used in the creation of a chatbot. The machine learning model learns language understanding using prebuilt language representations which are fine-tuned with teacher-student conversations. The heuristic compares responses and picks the highest score for response retrieval. A data quality analysis is also performed on the teacher-student conversation dataset. For results, the best-base-cased language model performed best for text classification with a weighted F1-score of 0.70. The dataset used for the machine learning model showed consistency and completeness issues regarding labelling. The Technology Acceptance Model has been used to evaluate the model. The results of this evaluation show a high perceived ease of use, but a low perceived usefulness of the present solution. The thesis contributes with the innovative TUM (topic understanding model), an educational chatbot and an evaluation of the teacher-student chatroom corpus regarding the usage for text classification. / Teknologiska framsteg i artificiell intelligens, speciellt inom språkteknologi, har öppnat för nya möjligheter för chatbottar inom utbildningssektorn. Chatbots har sett en ökande användning i olika lärandeändamål. En av dessa är en chatbot som kan simulera en konversation mellan en lärare och en student för lärandestöd. När inlärning sker på en allt större skala, har lärare allt mindre tid att lägga individuellt på varje student. En resurs för att öva på interaktioner med studenter skulle därför kunna vara ett bra hjälpmedel. I denna masteruppsats presenteras en maskininlärnings modell kombinerad med ett heuristiskt tillvägagångsätt i skapandet av en chatbot. Maskininlärningsmodellen använder sig av färdigbyggda språkrepresentationer som är finjusterade med lärare-studentkonversationer. Heuristiken jämför svar och väljer den högsta poängen för svarshämtning. En datakvalité analys är också gjord på lärare-studentkonversations datasetet. För resultat, den BERT-baserade språkmodellen gav bäst resultat för textklassificering med en weigthed-F1- score på 0.70. Datasetet som användes för maskininlärningsmodellen visade konsistens och fullständighet problem rörande etiketter. Teknologi acceptans modellen har använts för att evaluera modellen. Resultatet av evalueringen visade hög upplevd användarvänlighet, men låg upplevd användbarhet. Detta arbete bidrar med TUM (topic understanding model), en utbildningschatbot och en evaluering av datasetet teacherstudent chatroom corpus för användning till textklassificering.

As advancements in chatbots and Large Language Models (LLMs) such as GPT-3.5 and GPT-4 continue, their applications in diverse fields, including psychology, expand. This study investigates the effectiveness of LLMs optimized through prompt engineering, aiming to enhance their performance in psychological applications. To this end, two distinct versions of a GPT-3.5-based chatbot were developed: a version similar to the base model, and a version equipped with a more extensive system prompt detailing expected behavior. A panel of professional psychologists evaluated these models based on a predetermined set of questions, providing insight into their potential future use as psychological tools. Our results indicate that an overly prescriptive system prompt can unintentionally limit the versatility of the chatbot, making a careful balance in instruction specificity essential. Furthermore, while our study suggests that current LLMs such as GPT-3.5 are not capable of fully replacing human psychologists, they can provide valuable assistance in tasks such as basic question answering, consolation and validation, and triage. These findings provide a foundation for future research into the effective integration of LLMs in psychology and contribute valuable insights into the promising field of AI-assisted psychological services. / I takt med att framstegen inom chatbots och stora språkmodeller (LLMs) som GPT-3.5 och GPT-4 fortsätter utvidgas deras potentiella tillämpningar inom olika områden, inklusive psykologi. Denna studie undersöker effektiviteten av LLMs optimerade genom prompt engineering, med målet att förbättra deras prestanda inom psykologiska tillämpningar. I detta syfte utvecklades två distinkta versioner av en chatbot baserad på GPT-3.5: en version som liknar bas-modellen, och en version utrustad med en mer omfattande systemprompt som detaljerar förväntat beteende. En panel av professionella psykologer utvärderade dessa modeller baserat på en förbestämd uppsättning frågor, vilket ger inblick i deras potentiella framtida användning som psykologiska verktyg. Våra resultat tyder på att en överdrivet beskrivande systemprompt kan ofrivilligt begränsa chatbotens mångsidighet, vilket kräver en noggrann balans i specificiteten av prompten. Vidare antyder vår studie att nuvarande LLMs som GPT-3.5 inte kan ersätta mänskliga psykologer helt och hållet, men att de kan ge värdefull hjälp i uppgifter som grundläggande frågebesvaring, tröst och bekräftelse, samt triage. Dessa resultat ger en grund för framtida forskning om effektiv integration av LLMs inom psykologi och bidrar med värdefulla insikter till det lovande fältet av AI-assisterade psykologtjänster.

This paper presents Cyberbot, a conversational user interface (CUI) designed to be used for information retrieval and interaction with smart Internet of Things (IoT) devices (smart objects), in an office environment. Built through the Research Through Design method, tested together with a selection of smart objects, the artifact was used to explore how CUIs can help office workers in their everyday working activities and the impact they can have on the usability in interaction with IoT, as opposed to more commonplace types of interfaces. Cyberbot was evaluated through user tests, surveys and semi-structured interviews. Results show that Cyberbot can be a welcome addition to an office and is useful for getting quick overviews of information from company intranet websites or smart objects that gather data from its environment, at the expense of more in-depth and detailed information. In general, Cyberbot can be said to be a usable and effective interface for IoT interaction. / Denna studie presenterar Cyberbot, ett konversationsgränssnitt (CUI) desginat för att användas för informationsinhämtning samt interaction med smarta Internet of Things (IoT) föremål (smart objects) i en kontorsmiljö. Byggd medelst forskningsmetoden Research Through Design, testad tillsammans med en utvald selektion av smarta föremål, så användes denna artefakt för att undersöka hur CUIs kan hjälpa kontorsanställda i deras dagliga liv och den påverkan de kan ha på användarvänligheten i interaktion med IoT, till skillnad från mer vanliga typer av gränssnitt. Cyberbot utvärderades genom användartester, enkäter och semi-strukturerade intervjuer. Resultaten visar att Cyberbot kan vara ett välkommet tillskott till kontor och är användbar för att få snabba överblickar över information ifrån företags intranätsidor eller smarta föremål som samlar in data från sin omgivning, på bekostnad av mer djuplodande och detaljerad information. Generellt så kan Cyberbot ses som ett användbart och effektivt gränssnitt för IoT-interaktion.

Fenomenet konversationshandel beskriver en växande handelsplattform världen över som främjar interaktivitet för att skapa personlig köpupplevelse och relation mellan konsumenter och företag. Detta fenomen växer i takt med utvecklingen av artificiell intelligens (AI) och robotar för att underlätta och eventuellt ersätta den mänskliga faktorn inom e-handel. Detta syns då termen “konversationshandel” börjat användas mer och mer sedan 2010 för varje år som går. Konventionell e-handel har fått en negativ syn på sig från många konsumenter på grund av dess ytliga och kalla gränssnitt vilket skapar risk för bortval från konsumenter till att handla på vissa webbplatser. På grund av detta har företag och utvecklare funnit behovet av interaktivitet och mer personliga köpupplevelser som flera konsumenter kräver i deras handel. Detta har lett till att e-handeln behöver efterlikna den traditionell butikshandeln mer men med hjälp av ny teknik. Konversationshandel har dock en begränsad användning på grund av sin nya tillkomst och därmed är syftet i denna studie att undersöka vad som skiljer konversationshandel från konventionell e-handel och undersöka den svenska befolkningens uppfattning om aspekter inom konversationshandel. Studien har använt sig av en systematisk litteraturstudie och en digital enkätstudie för att besvara syftets frågeställning. Resultatet visar på att interaktivitet, AI och konversationell assistans urskiljer konversationshandel från konventionell e-handel och att svenska konsumenter främst använder chatt över röstassistenter men att handel via båda har en liten användning. Slutsatserna av studien förklarar att konversationshandel har en förmåga att komplettera konventionell e-handel med hjälp av interaktivitet. Digitala assistenters förmåga att efterlikna människor är en svår uppgift att genomföra men kan bidra till en större personlig upplevelse för kunder. Sverige är ett land som inte utnyttjat konversationhandel till en stor del, vilket beror på en uppfattad komfortabilitet för konventionell e-handel och begränsade resurser för implementation. / The phenomenon of conversational commerce describes a growing trading platform around the world that is enhancing interactivity for the sake of creating a personal purchase experience and relation between consumers and businesses. This phenomenon is growing with the development of artificial intelligence (AI) and robots in order to favour and eventually replace the human factor in e-commerce. This shows because the term “conversational commerce” has started being used more and more since 2010 and is growing every year that passes. Conventional e-commerce has received a negative view from many consumers due to its superficial and cold interface, which creates a risk of consumers opting out of shopping on certain websites. Because of this, companies and developers have found the need for interactivity and more personalized shopping experiences that several consumers demand in their shopping. This has led to e-commerce needing to emulate the traditional retail trade further but with the help of new technology. Conversational commerce is however, used to a limited extent due to its new origins and thus the purpose of this study is to investigate what distinguishes conversational commerce from conventional e-commerce and to examine the Swedish population’s perception of aspects of conversational commerce. The study used a systematic literature study and a digital survey to answer the scientific questions. The results show that interactivity, AI and conversational assistance distinguish conversational commerce from e-commerce and that the theoretical Swedish population mainly uses chat over voice assistants, but that commerce via both has little use. The conclusions of the study explain that conversational commerce has an ability to complement conventional e-commerce through interactivity. The ability of digital assistants to imitate people is a difficult task to accomplish but can contribute to a greater personal experience for customers. Sweden is a country that has not used conversational commerce much, which is due to the perceived convenience of conventional e-commerce and limited resources for implementation.

With the proliferation of digital services and technologies, industries, including thebanking sector, are looking for innovative ways to improve customer experience. The criticalaspect of improving customer experience is increased customer satisfaction, which helps toattract new customers and to retain existing ones. Chatbots have emerged as a promisingsolution, offering a convenient and personalized way for customers to interact with banks andother financial institutions. This thesis analyses the impact of chatbots on customer satisfactionthrough a comparative study of customer satisfaction between Sweden and India. By providinginsights into the similarities and differences in customer perceptions between the two countries,this thesis aims to contribute to the existing literature on the effectiveness of chatbots. This studytakes a socio-technical perspective to explore how customers perceive satisfaction when usingchatbots in their financial services. The findings shed light on the impact of chatbots on customersatisfaction in different markets and contribute to the understanding of the adoption of chatbots inroutine banking assistance, especially in a cross-cultural context. In designing effective strategiesfor using chatbot technology to improve customer experience in the digital age, the findings arevaluable for banking institutions and policymakers.

Bakgrund: Artificiell intelligens (AI) och chatbotars växande roll inom utbildningssektorn har lett till nya pedagogiska utmaningar och möjligheter. Kunskaper om tidigare innovationers inverkan på utbildningssystemet introducerar Skolverkets roll i att navigera dessa förändringar. Tidigare forskning om AI inom utbildning visar på positiva effekter, som förbättrad individualisering i lärandet och ökat engagemang. Den visar samtidigt på negativa aspekter, som risker för ytlig kunskap, fusk och ökade digitala klyftor. Denna bredd av perspektiv lägger grunden för studiens syfte att djupare utforska Skolverkets rekommendationer och riktlinjer för användningen av AI och chatbotar i svenskundervisningen. Syfte: Studien syftar till att undersöka i vilken utsträckning Skolverkets texter om AI inom utbildningssektorn ger stöd för, och riktlinjer om användningen av chatbotar i svenskämnet på gymnasienivå.Metod: Studien utgår från kvalitativ innehållsanalys för att systematiskt granska, tematisera och kategorisera innehållet i Skolverkets texter. Metoden möjliggör en djupgående analys av hur AI och chatbotar presenteras och vilken påverkan framställningarna kan få för användningen av AI i svenskundervisningen på gymnasiet. Resultat: Resultatet visar att Skolverkets texter om AI och chatbotar i utbildning kännetecknas av en genomgående riskbedömningsdiskurs, samtidigt som de menar att teknologin har potential. Texterna är ibland vaga och ibland motsägelsefulla, vilket kan skapa osäkerhet kring hur AI- verktyg bör integreras i undervisningen. Generellt finns det en riskmedvetenhet i texterna som lyfter etiska överväganden, akademisk integritet, fusk, oreflekterad avlastning och behovet av att anpassa pedagogiska strategier. Skolverket betonar vikten av ansvarsfull användning av AI och en medveten och reflekterad implementering. Huvudmän och lärares roll i att integrera tekniken på ett pedagogiskt fördelaktigt sätt framhålls, samt behovet av att upprätthålla en kritisk dialog kring teknologins inverkan på lärandet. Bristen på tydliga riktlinjer från Skolverket kan leda till ojämn implementering och användning av teknologin bland lärare, vilket riskerar att skapa betydande skillnader i hur elever exponeras för och lär sig använda AI i svenskämnet.

In healthcare, the rising demand for medical services, compounded by a shortage of professionals, presents significant challenges. To address these issues, the healthcare industry has turned to artificial intelligence (AI) to enhance various services such as disease diagnosis, medical imaging interpretation, clinical laboratory tasks, screenings, and health communications. By offering real-time, human-like interactions, AI-driven chatbots facilitate access to healthcare information and services, aiding symptom analysis and providing preliminary disease information before professional consultations. This initiative aims not only to reduce healthcare costs but also to enhance patient access to medical data. Despite their growing popularity, AI-enabled chatbots or conversational agents chatbots in the healthcare disease diagnosis domain continue to encounter obstacles such as a limited user adoption and integration into healthcare systems. This study addresses a gap in the existing literature on the adoption of AI enabled healthcare disease diagnosis chatbots by analysing the elements that influence users' behavioural intention to utilize AI-enabled disease diagnosis chatbots. Employing the extended Unified Theory of Acceptance and Use of Technology (UTAUT2) as a theoretical framework, this quantitative study began with exploratory research to define its scope and context, followed by a survey of 130 participants. The study utilized multiple linear regression and Pearson correlation analysis to evaluate the data. The outcomes suggest that performance expectancy, habits, social influence, and trust significantly associated with the individuals’ behavioural intentions to use AI-enabled chatbots for disease diagnosis. The results of this study reveal that performance expectancy, habits, social influence, and trust significant association with intention to use AI-enabled chatbots for disease diagnosis. The outcomes of this study contribute to existing knowledge in information systems, particularly identifying key factors that boost user adoption of AI-enabled chatbot applications for disease diagnosis. These insights can guide system designers, developers, marketers, and promotors involved in developing, revamping, and promoting chatbot applications, considering the influential factors discovered in this research, thereby increasing the usage of chatbot apps. Furthermore, the research model developed here could serve as a valuable model for future studies on disease diagnostic chatbot applications.

AI-implementeringar inom organisationer har på den senare tiden växt explosionsartat där chatbotar baserade på generativ AI beräknas bli allt mer populärt. Tidigare forskning har framförallt bedrivit kvantitativa studier som dessutom fokuserat på externa chatbotar, där syftet varit att kommunicera med intressenter utanför organisationen. Den här studien fokuserar därför på interna chatbotar som ämnar stötta de anställda i deras vardagliga arbetsuppgifter, med fokus på hur samspelet ser ut mellan medarbetarna och AI på arbetsplatsen. Med hjälp av att använda en kvalitativ forskningsmetod, i form av tio semistrukturerade intervjuer på managementkonsultföretaget Centigo, var studiens syfte att bidra till en djupare förståelse för hur medarbetare på den utvalda organisationen upplever och skapar mening i förhållande till den AI-baserade chatboten på arbetsplatsen, samt vilken påverkan det har på deras självbild och den kommunikation som de för inom verksamheten. Genom att analysera empirin med en socialkonstruktivistisk utgångspunkt och meningsskapande som huvudsakligt analysverktyg, visade resultatet att chatboten både påverkar medarbetarnas självbild och de kommunikationsprocesser som medarbetarna för inom organisationen. Framförallt i form av att den digitala identiteten riskerar att bli alltmer generisk, vilket gör att de anställdas personlighet och karisma får en större betydelse i det fysiska rummet. Enklare problem tas dessutom numera med chatboten istället för med en kollega, vilket öppnar upp för ett nytt sätt att kommunicera på arbetsplatsen. Sammantaget var det tydligt att de mänskliga relationerna fyller en viktig funktion på arbetsplatsen, där det fanns skepticism mot att AI någonsin kommer kunna ersätta det. / AI implementations within organizations have recently grown exponentially, with chatbots based on generative AI expected to become increasingly popular. Previous research has primarily conducted quantitative studies, focusing on external chatbots aimed at communicating with external stakeholders. This study therefore focuses on internal chatbots intended to support employees in their daily work tasks, with a focus on the interaction between employees and AI in the workplace. By employing a qualitative research method through ten semi-structured interviews at the management consulting firm Centigo, the aim of the study was to contribute to a deeper understanding of how employees in the selected organization perceive and create meaning in relation to the AI-based chatbot in the workplace, and its impact on their self-image and the communication they engage in within the organization. By analyzing the empirical data from a social constructivist perspective and using sensemaking as the main analytical tool, the results showed that the chatbot affects both employees' self-image and the communication processes within the organization. Particularly, the digital identity risks becoming more generic, emphasizing the importance of employees' personality and charisma in physical interactions. Also, simpler issues are now handled with the chatbot rather than with a colleague, which introduces a new way of communicating in the workplace. Overall, it was evident that human relationships serve a vital function in the workplace, with skepticism towards AI ever being able to replace them.