Return to search

Developing and evaluating a style guide for chatbots deployed in a technical setting

This study evaluates the perceived credibility of a technical chatbot based on its communication style - the way it interacts with its users embodied through text and emojis. A chatbot’s initial communication style was compared to a humble version. The humble communication style was developed from a design workshop held together with six participants and is presented in this paper as a design style guide. The perceived credibility was divided into six dimensions; Competence, Goodwill, Honesty, Predictability, Reputation, and Trustworthiness. The results from the evaluation of the two chatbot versions showed that the credibility was, in general, perceived higher for the chatbot using a humble communication style. Two exceptions were found; (1) the dimension of Trustworthiness stayed at the same level between the versions, and (2) the dimension of Goodwill was perceived higher for the chatbot not using the humble communication style. The satisfaction with the chatbot was measured and resulted in an NPS of 17 for the chatbot using the humble communication style compared to a negative score of -16 for the chatbot not using it. This study found that a more humble communication style would not harm the perceived credibility of a technical professional chatbot. / Den här studien utvärderar den upplevda trovärdigheten hos en teknisk chatbot baserat på dess kommunikationsstil - hur den interagerar med sina användare genom text och emojis. En chatbots initiala kommunikationsstil jämfördes med en ödmjuk version. Den ödmjuka kommunikationsstilen utvecklades från en designworkshop och presenteras i denna studie som en designguide. Den upplevda trovärdigheten delades upp i 6 dimensioner; Kompetens, Välvilja, Ärlighet, Förutsägbarhet, Rykte, och Pålitlighet. Resultatet av utvärderingen av de två chatbot versionerna visade att trovärdigheten upplevdes generellt högre för den ödmjukare chatboten. Två undantag påvisades dock; (1) Pålitlighet blev oförändrad mellan de två kommunikationsstilarna, och (2) Välvilja resulterade i ett högre värde hos den initiala kommunikationsstilen. Användarnas tillfredsställelse med chatboten utvärderades och resulterade i ett NPS värde på 17 för chatboten som använde den ödmjuka kommunikationsstilen igämförelse med ett negativt värde på -16 för chatboten som använde den initiala kommunikationsstilen. Denna studie visade att en mer ödmjuk kommunikationsstil inte skadar den upplevda trovärdigheten hos en teknisk professionell chatbot.

Identiferoai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-309537
Date January 2022
CreatorsPetäjävaara, Agnes
PublisherKTH, Skolan för elektroteknik och datavetenskap (EECS)
Source SetsDiVA Archive at Upsalla University
LanguageEnglish
Detected LanguageEnglish
TypeStudent thesis, info:eu-repo/semantics/bachelorThesis, text
Formatapplication/pdf
Rightsinfo:eu-repo/semantics/openAccess
RelationTRITA-EECS-EX ; 2022:32

Page generated in 0.002 seconds