Return to search

Semantic Similarity Comparison of Political Statements by ChatGPT and Political Representatives / Jämförelse i semantisk likhet mellan politiska uttalanden från ChatGPT och från politiska representanter

ChatGPT is a recently released chatbot that through the use of deep learning can generate human-like statements on a variety of topics. Deep learning models have a potential to affect politics. They can for instance be used as a source for political information or be used to create and spread political messages. ChatGPT is itself able to describe the stances of different political parties and can generate political messages based on these stances. In this thesis, a semantic similarity program, utilizing the models Stanza and Sentence-BERT, is implemented. This program is used to compare the semantic similarity of political statements and information generated by ChatGPT to authentic statements and information written by Swedish political representatives prior to the 2022 general election. The results of the thesis demonstrate that ChatGPT with relatively high accuracy (over 60 % when three options are available) is able to correctly reflect the standpoints of Swedish political parties in specific political questions. When compared to authentic political information using semantic similarity, there is no discernible difference between the scores achieved by ChatGPT’s statements and the scores achieved by authentic statements from political representatives. This might reflect that ChatGPT performs well in semantically mimicking the style used by political representatives. Alternatively, the result could indicate limited usefulness of semantic similarity as a comparative method for political statements. / ChatGPT är en nyligen släppt chattrobot som med hjälp av djupinlärning kan skapa människo-liknande uttalanden inom en rad olika ämnen. Det är möjligt för djupinlärningsmodeller att ha politisk påverkan. Djupinlärningsmodeller kan exempelvis användas som källor för politisk information eller användas för att skapa och sprida politiska meddelanden. ChatGPT har förmågan att beskriva ståndpunkterna hos olika politiska partier samt generera politiska meddelanden baserat på dessa ståndpunkter. I denna studie implementeras ett program för att avgöra semantisk likhet mellan texter. Programmet använder modellerna Stanza och Sentence-BERT. Med hjälp av programmet jämförs semantisk likhet mellan politiska uttalanden och information genererad av ChatGPT, och autentiska uttalanden och autentisk information skriven av svenska politiska representanter innan riksdagsvalet i Sverige 2022. Studiens resultat visar att ChatGPT med relativt hög korrekthet (över 60 % när tre alternativ är möjliga) lyckas framföra samma ståndpunkter som riktiga representanter från de olika partierna i specifika politiska frågor. Ingen märkbar skillnad i semantisk likhet hittas när ChatGPT:s och riktiga representanters uttalanden jämförs med riktig politisk information. Detta kan visa på att ChatGPT är bra på att semantiskt härma stilen som används av politiska representanter. Resultatet kan alternativt tolkas som tydande på att semantisk likhet har ett begränsat värde som jämförelsemetod för politiska texter.

Identiferoai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-336697
Date January 2023
CreatorsLihammer, Sebastian
PublisherKTH, Skolan för elektroteknik och datavetenskap (EECS)
Source SetsDiVA Archive at Upsalla University
LanguageEnglish
Detected LanguageSwedish
TypeStudent thesis, info:eu-repo/semantics/bachelorThesis, text
Formatapplication/pdf
Rightsinfo:eu-repo/semantics/openAccess
RelationTRITA-EECS-EX ; 2023:389

Page generated in 0.0128 seconds