Return to search

Jämförande studie av AI-verktyg för systemutveckling och testning : Med fokus på säkerhet / Comparative Study of AI Coding Assistants for Software Testing : With a focus on security

Denna studie undersöker användningen av kodassistenter som bygger på generativ AI (GAI) för systemutveckling och testning inom myndigheter och större företag, med fokus på säkerhetsrisker och funktionella krav. Detta görs genom en kartläggning där intervjuer och interna såväl som publika dokument används som datainsamlingsmetod. Med den snabba utvecklingen av stora språkmodeller (LLM:s) och deras tillämpningar inom systemutveckling är det viktigt för organisationer att göra val av AI-verktyg som uppfyller både säkerhets- och funktionskrav. Studien kartlägger och jämför olika verktyg baserat på dessa kriterier, med syfte att hjälpa organisationer att göra välavvägda val i ett ständigt växande utbud av GAIverktyg för programmering. Säkerhetsriskerna som identifierats inkluderar risken för informationsläckor och generering av osäker kod. Studien föreslår mitigerande åtgärder som användning av verktyg som inte sparar eller tränar på användardata för att minska dessa risker. Funktionella krav som identifierats inkluderar förmågan att generera och förklara kod, samt integration med utvecklingsmiljöer som Visual Studio och VisualStudio Code. Verktygen filtrerades därefter baserat på de identifierade mitigeringarna, vilket resulterade i en rekommendation av sex verktyg som uppfyller säkerhetskraven. Fyra av dessa sex verktyg uppfyller i sin tur de ställda kriterierna från samarbetspartnern (Trafikverket) gällande funktionskrav. Denna studie bidrar till den akademiska forskningen genom att erbjuda en ökad förståelse för säkerhets- och funktionsaspekterna av GAI-verktyg (ChatGPT, Claude, Codeium, Codiumate, Cody, GitHub Copilot, Gemini, Q, Tabnine) inom systemutveckling och testning. Detta genom en lista över potentiella säkerhetsrisker och en interaktiv jämförelsetabell där identifierade GAI-verktygkan filtreras efter olika krav. / This study examines the use of generative AI (GAI) coding assistants for system development and testing within government agencies and big companies, focusing on security risks and functional requirements. This is done through a survey where interviews and both internal and public documents are used as datacollection methods. With the rapid development of large language models (LLMs) and their growing use in system development, it is crucial for organizations to choose AI tools that     meet both security and functionality requirements. This survey compares various tools based on these criteria, aiming to assist organizations in making wellbalanced choices in an ever-growing range of GAI tools for coding. The security risks identified include the risk of information leaks and the generation of insecure code. The study suggests mitigations such as the use of tools that do not save or train on user data to reduce these risks. Functional requirements identified include the ability to generate and explain code, as well as integration with popular development environments like Visual Studio and Visual Studio Code. The tools were then filtered based on the identified mitigations, resulting in a recommendation of six tools that meet the security requirements. Four of these six tools, in turn, meet the set criteria from the partner (SwedishTransport Administration) regarding functional requirements. This study contributes to academic research by offering an increased understanding of the security and functionality aspects of GAI tools (ChatGPT, Claude, Codeium, Codiumate, Cody, GitHub Copilot, Gemini, Q, Tabnine) within system development and testing. This through a list of potential security risks and an interactive comparison table where identified GAI tools can be filtered according to different requirements.

Identiferoai:union.ndltd.org:UPSALLA1/oai:DiVA.org:du-48839
Date January 2024
CreatorsAndersson, Jesper, Danielsson, Sebastian
PublisherHögskolan Dalarna, Institutionen för information och teknik
Source SetsDiVA Archive at Upsalla University
LanguageSwedish
Detected LanguageEnglish
TypeStudent thesis, info:eu-repo/semantics/bachelorThesis, text
Formatapplication/pdf
Rightsinfo:eu-repo/semantics/openAccess

Page generated in 0.0059 seconds