Background. New ways of modeling abstract concepts have been enabled due to the recent boom in generative machine learning brought on by transformer architecture. By modeling abstract concepts within high-dimensional vectors their semantic meaning can be inferred and compared, which allows for methods such as embedding-based retrieval and the groundwork for a retrieval-augmented generation. Large language models can augment their parametric generative capabilities by introducing non-parametric information through retrieval processes. Objectives. Previous studies have explored different uses of embedding-based retrieval and retrieval-augmented generation, and this study examines the impact of these methods when used as an aid to support technicians. Methods. By developing and deploying a proof-of-concept system using embedding-based retrieval and retrieval-augmented generation to the Södra ITs service desk, the thesis could monitor system performance. Introducing a system to the service desk that generates instructional solutions to the support tickets and presenting them to the technician. The thesis investigates both systems' perceived performance based on the participating IT technician's input along with the retention of generated solutions and the quality of the solutions. Results. With 75.4% of the systems generated solutions being classified as reasonable solutions to ticket problems the system was deployed to the service desk. After an evaluation period where the technicians had been working with the system, it was shown that the solutions had a retention rate of 38.4%. These results were validated by a survey conducted at the service desk where the inputs were gathered from the technicians, showing a great deal degree of user engagement but a varying opinion on the system's helpfulness. Conclusions. Despite the varying degrees of opinion on the usefulness of the system among the technicians the numbers from the production test show that a significant amount of tickets were solved with the help of the system. Still, there's a huge dependency on seamless integration with the technicians and ticket quality from the requester. / Bakgrund. Nya sätt att modellera abstrakta begrepp har möjliggjorts tack vare den senaste tidens tillväxt inom generativ maskininlärning tack vare transformatorarkitekturen. Genom att modellera abstrakta begrepp i högdimensionella vektorer kan deras semantiska innebörd tolkas och jämföras, vilket möjliggör metoder som inbäddningsbaserad hämtning och grunden för en hämtningsförstärkt generation. Stora språkmodeller kan utvidga sina parametriska generativa förmågor genom att införa icke-parametrisk information genom hämtningsprocesser. Syfte. Tidigare studier har behandlat olika användningsområden för inbäddningsbaserad hämtning och hämtningsförstärkt generering, och i det här examensarbetet undersöks vilken inverkan dessa metoder har när de används som ett hjälpmedel för supporttekniker. Metod. Genom att utveckla och driftsätta ett prototypsystem som använder inbäddningsbaserad hämtning och hämtningsförstärkt generering till Södra ITs servicedesk, kunde examensarbetet övervaka systemets prestanda. Detta genom att införa ett system i servicedesken som genererar instruktionslösningar till supportärendena och presentera dem för teknikern. Examensarbetet undersöker både systemens upplevda prestanda baserat på den deltagande IT-teknikerns synpunkter tillsammans med kvarhållandet av genererade lösningar och kvaliteten på lösningarna. Resultat. Då 75,4% av de systemgenererade lösningarna klassificerades som rimliga för problemen i ärendena driftsattes systemet i servicedesken. Efter en utvärderingsperiod där teknikerna hade arbetat med systemet visade det sig att lösningarna hade en kvarhållningsgrad på 38,4%. Dessa resultat validerades av en undersökning som utförts vid servicedesken där synpunkter samlades in från teknikerna, vilket visade på en hög grad av användarengagemang men en varierande syn på systemets användbarhet. Slutsatser. Trots de varierande synpunkterna på systemets användbarhet bland teknikerna visar siffrorna från produktionstestningen att en betydande mängd ärenden löstes med hjälp av systemet. Dock är man fortfarande mycket beroende av en smidig integration med teknikerna och en god kvalitet på ärendena från beställaren.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:bth-26324 |
| Date | January 2024 |
| Creators | Cederlund, Oscar |
| Publisher | Blekinge Tekniska Högskola, Institutionen för datavetenskap |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0031 seconds