Lately, Automatic Speech Recognition (ASR) has improved in both performance and popularity and today the technology can be found in many different products, often in the form of a Voice User Interface (VUI). There are numerous factors to consider when developing a system using this technology. It is essential to comprehend both the user’s experience of using the product and the performance of the ASR. In terms of the user experience, only the user can tell you what is important, which is why user testing is a necessary part of further development. In this study, a test was designed to perform a comprehensive remote user test of the dictation feature Notebook Voice Control in the product BIOVIA Notebook. The aim of the user test was to understand what factors affect the performance of the feature, and when a user is satisfied. To carry out the tests a web-application was designed, created, and deployed. The web-application was integrated with the API of the product being tested and guided the participants through the tests as well as captured the test data. From the test results, it was clear that accurate recognition was highly important in terms of user satisfaction. In order to produce an accurate dictation, dictating in your native language seemed to be a success factor as well as having dictation experience. If you lack dictation experience, training appears to help. The errors that were the most remarkable in the tests and would need immediate attention were errors in the categories of numbers, abbreviations, units, and field-specific words. The issue of the time spent correcting errors was raised, and for some, this was what made them argue that the tool was currently not useful. The majority were positive towards the tool but wanted it to be a bit better, or perhaps they just have to practice using it a bit more. / På senaste tiden har taligenkänning ökat i både träffsäkerhet samt popularitet. Idag är tekniken implementerad i en rad olika produkter, ofta i form av ett röstanvändargränssnitt. Under utvecklingen av ett system som använder denna sorts teknik finns det ett antal faktorer att tänka på. Det är väsentligt att förstå både användarens upplevelse samt hur bra taligenkänningen är. Beträffande användarupplevelsen är det endast användaren som kan berätta vad som är viktigt, vilket är varför användartester är en nödvändig del av vidareutvecklingen. I denna studie designades ett användartest för att utföra en fullständigt utvärdering av dikteringsverktyget Notebook Voice Control som nyligen implementerats i produkten BIOVIA Notebook. Målet med testerna var att förstå vilka faktorer som påverkar träffsäkerheten av taligenkänningen samt när användaren är nöjd med verktyget. För att genomföra testerna skapades en webb-baserad applikation där testerna utfördes. Applikationen var integrerad i den testade produkten via dess API och applikationens uppgift vara att leda deltagarna genom testerna samt fånga testdata. Från resultatet av testerna var det påtagligt att en träffsäker taligenkänning var mycket betydelsefull för att användarna skulle vara nöjda. För att få en så korrekt transkribering av dikteringen som möjligt fanns det två tydliga faktorer som påverkade mest: att vara en erfaren dikterare samt att diktera på sitt modersmål. Om du inte är en erfaren dikterare verkar övning hjälpa med att förbättra dina dikteringsresultat. Av de felaktigheter som uppstod under dikteringarna, var de väsentliga numeriska värden, förkortningar, enheter samt ämnesspecifika ord enligt deltagarna. Dessa felaktigheter var sådana som deltagarna tyckte var tvungna att rättas till på en gång. Tiden som läggs på att rätta fel togs också upp som ett problem, på grund av detta tyckte ett antal deltagare att dikteringsverktyget inte var användbart i nuläget. Majoriteten var dock positiva till verktyget men ville att det skulle vara lite bättre för att använda det, eller så behövde de kanske öva lite mer.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-300444 |
| Date | January 2021 |
| Creators | Helmisaari, My |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2021:323 |
Page generated in 0.0021 seconds