Readability metrics assess the ease with which human beings read and understand written texts. With the advent of machine learning techniques that allow computers to also analyse text, this provides an interesting opportunity to investigate whether readability metrics can be used to inform on the ease with which machines understand texts. To that end, the specific machine analysed in this paper uses word embeddings to conduct unsupervised sentiment analysis. This specification minimises the need for labelling and human intervention, thus relying heavily on the machine instead of the human. Across two different datasets, sentiment predictions are made using Google’s Word2Vec word embedding algorithm, and are evaluated to produce a dichotomous output variable per sentiment. This variable, representing whether a prediction is correct or not, is then used as the dependent variable in a logistic regression with 17 readability metrics as independent variables. The resulting model has high explanatory power and the effects of readability metrics on the results from the sentiment analysis are mostly statistically significant. However, metrics affect sentiment classification in the two datasets differently, indicating that the metrics are expressions of linguistic behaviour unique to the datasets. The implication of the findings is that readability metrics could be used directly in sentiment classification models to improve modelling accuracy. Moreover, the results also indicate that machines are able to pick up on information that human beings do not pick up on, for instance that certain words are associated with more positive or negative sentiments. / Läsbarhetsmått bedömer hur lätt eller svårt det är för människor att läsa och förstå skrivna texter. Eftersom nya maskininlärningstekniker har utvecklats kan datorer numera också analysera texter. Därför är en intressant infallsvinkel huruvida läsbarhetsmåtten också kan användas för att bedöma hur lätt eller svårt det är för maskiner att förstå texter. Mot denna bakgrund använder den specifika maskinen i denna uppsats ordinbäddningar i syfte att utföra oövervakad sentimentanalys. Således minimeras behovet av etikettering och mänsklig handpåläggning, vilket resulterar i en mer djupgående analys av maskinen istället för människan. I två olika dataset jämförs rätt svar mot sentimentförutsägelser från Googles ordinbäddnings-algoritm Word2Vec för att producera en binär utdatavariabel per sentiment. Denna variabel, som representerar om en förutsägelse är korrekt eller inte, används sedan som beroende variabel i en logistisk regression med 17 olika läsbarhetsmått som oberoende variabler. Den resulterande modellen har högt förklaringsvärde och effekterna av läsbarhetsmåtten på resultaten från sentimentanalysen är mestadels statistiskt signifikanta. Emellertid är effekten på klassificeringen beroende på dataset, vilket indikerar att läsbarhetsmåtten ger uttryck för olika lingvistiska beteenden som är unika till datamängderna. Implikationen av resultaten är att läsbarhetsmåtten kan användas direkt i modeller som utför sentimentanalys för att förbättra deras prediktionsförmåga. Dessutom indikerar resultaten också att maskiner kan plocka upp på information som människor inte kan, exempelvis att vissa ord är associerade med positiva eller negativa sentiment.

Intresset och deltagandet på aktiemarknaden har ökat betydligt bland svenskar. En erkänd informationskälla om aktier är inlägg på sociala medier och speciellt på Twitter. Med hjälp av sentimentanalys av dessa inlägg, så kallade tweets, kan en allmän åsikt extraheras och användas för att förutsäga framtida resultat för ett företags aktiekurser. Syftet med denna studie är att ta fram en artefakt som kan extrahera sentiment från tweets om svenska mindre företag. Företagen valdes utifrån att de var relativt småskaliga jämfört med de företag som analyserats i liknande studier genomförda inom forskningsområdet. För denna studie har data samlats in från Twitter, analyserats och bearbetats. Olika metoder har testats för att extrahera sentiment ur tweets. Resultatet från sentimentanalys med framtagen artefakt är möjlig att använda i maskininlärningsmodeller som förutsäger aktieprisers rörelse. Resultatet från experimentet kan sammanfattas med att extrahering av sentiment från tweets är svår men möjlig. Vid analys av resultatet så framgår det att det maskininlärningsbaserade tillvägagångssättet ger en ökad prestanda jämfört med det lexikonbaserade på tweets likt de som använts i denna studie. / Interest and partaking on the stock market has increased significantly among Swedes. A recognized source of information about stocks is posts on social media and Twitter in particular. With the help of sentiment analysis on these social media posts called tweets, a public opinion can be extracted and perhaps predict the future performance of a company’s stock prices. This report is written in Swedish and the aim of the study is to produce an artefact that can extract sentiment out of tweets about minor Swedish companies. The companies were chosen on the basis that they were relatively small-scale in comparison to other studies conducted in related research. For this study data has been collected from Twitter, analyzed and processed. Different methodologies have been tested to extract sentiments out of tweets. Results of sentiment analysis with produced artefact is possible to use in machine learning models predicting stock movement. Results from conducted experiments conclude that extracting sentiment from tweets is difficult but possible. Through analysis of the results, a machine learning approach shows better performance than a lexicon based with tweets like the ones used in this study.

Artificiell intelligens (AI) har tagit världen med storm de senaste åren där nya implementationer och uppfinningar ständigt tas fram och implementeras. Ansiktsigenkänning är en teknik inom AI som kan användas för att identifiera bland annat kriminella eller terrorister genom övervakningskameror, identifiera underåriga drickare och motverka identifikationsstöld. Problemet med ansiktsigenkänningstekniker är att det finns en brist på kunskap om människors attityd till ansiktsigenkänning. Samtidigt som utvecklingen av AI går i en rasande fart och användandet av AI ständigt ökar i samhället, hänger inte de etiska reflektionerna på användningen av AI med i den snabba tekniska utvecklingen av AI. Etiska reflektioner handlar om egenskaper, syften och tilliten till AI. Det vill säga, används ansiktsigenkänning på ett sätt som är allmänt accepterat av de som utsätts för tekniken. Detta är ett intressant ämne eftersom samhällen och världen befinner sig i denna utveckling just nu.    Denna studie har som syfte att försöka fylla bristen på kunskap om människors attityd till ansiktsigenkänning genom att analysera människors inställning till det. Studien som genomförs består av Twitter-data som ligger till grund för en sentimentanalys. En sentimentanalys består av en kombination av en kvalitativ och kvantitativ analys. Studiens resultat visar att inställningen till ansiktsigenkänning beror på kontexten eller situationen den används i och till vilket syfte. Enligt den Twitter-data som hämtades för denna studie, verkar inställningen till ansiktsigenkänning skilja sig mellan olika länder. Resultatet av denna studie har även likheter med tidigare studier som undersökt inställning till ansiktsigenkänning.   Studien avser att göra ett metodbidrag genom att processen för datahämtning samt dataanalys dokumenteras. I resultatet görs en granskning av attitydklassificeringen där verktyget som används för att avgöra inställning jämförs med vad två verkliga personer anser att inställningen i ett visst tweet är. Det visade att det fanns en stor skillnad mellan hur människorna i testet och verktyget som används klassificerade sentiment. / Artificial intelligence (AI) has taken the world by storm in recent years where new implementations and inventions are constantly being developed and implemented. Facial recognition is a technology in AI that can be used to identify criminals or terrorists through surveillance cameras, identify underage drinkers and counteract identity theft. The problem with facial recognition techniques is that there is a lack of knowledge about how people react toward them. At the same time as the development of AI is accelerating and the use of AI is constantly increasing in society, the ethical reflections on the use of AI are not part of the rapid technological development of AI. Ethical reflections are about characteristics, purposes, and trust in AI. That means analyzing if facial recognition is used in a way that is widely accepted by those who are exposed to it. This is an interesting topic because societies and the world are currently in this development.   The aim of this study is to try and fill the gaps in the lack of knowledge about people's attitude toward facial recognition by analyzing people's attitudes toward it. The study that is carried out consists of Twitter data, which undergoes a sentiment analysis, which is a combination of a qualitative and quantitative analysis. The results of the study show that the attitude toward facial recognition depends on the context or situation it is used for and for what purpose. According to the Twitter data that was obtained for this study, the attitude toward facial recognition seems to differ between different countries. The results of this study also have similarities with previous studies that examined attitudes toward facial recognition.   The study intends to make a method contribution by documenting the process for data retrieval and data analysis. The result includes a review of the attitude classification where the tool used to determine attitude is compared to what two real people think the attitude in a particular tweet is. It turned out that there was a big difference between how the people in the test and the tool used for the analysis classified sentiments.

Förevarande studie undersöker möjligheten att förutsäga aktierörelse på en dagligbasis med sentimentanalys av inlägg från ett svenskt aktieforum. Sentimentanalys används för att finna subjektivitet i form av känslor (sentiment) ur text. Textdata extraherades från ett svenskt aktieforum för att förutsäga aktierörelsen för den relaterade aktien. All data aggregerades inom en bestämd tidsperiod på två år. Undersökningen utnyttjade maskininlärning för att träna tre maskininlärningsmodeller med textdata och aktiedata. Resultatet påvisade ingen tydlig korrelation mellan sentiment och aktierörelse. Vidare uppnåddes inte samma resultat som tidigare arbeten inom området. Den högst uppnådda noggrannheten med modellerna beräknades till 64%. / The present study examines the possibility of predicting stock movement on a daily basis with sentiment analysis of posts in a swedish stock trading forum. Sentiment analysis is used to find subjectivity in the form of emotions (sentiment) from text. Textdata was extracted from a stock forum to predict the share movement of the related share. All data was aggregated within a fixed period of two years. The analysis utilizes machine learning to train three machine learning models with textdata and stockdata. The result showed no clear correlation between sentiment and stock movement. Furthermore, the result was not able to replicate accuracy as previous work in the field. The highest accuracy achieved with the models was calculated at 64%.

Since recent years, the use of non-traditional data sources by hedge funds in order to support investment decisions has increased. One of the data sources which has increased most is social media and it has become popular to analyze the public opinion with help of sentiment analysis in order to predict the performance of a company. In order to evaluate the public opinion one need big sets of Twitter data. The Twitter data was collected by streaming the Twitter feed and the stock data was collected from a Bloomberg Terminal. The aim of this study was to examine if there is a correlation between the public opinion of a stock and the stock price, and also what affects this relationship. While such a relationship cannot be established in general, we are able to show that if the data quality is good, there is a high correlation between the public opinion and stock price, and that significant events surrounding the company results in a higher correlation during that period. / De senaste åren har användandet av icke-traditionella datakällor ökat av hedgefonder för att ta investeringsbeslut. En av datakällorna som blivit populära är sociala medier och det har blivit vanligt att analysera folkopinionen med hjälp av sentimentanalys för att kunna förutspå ett företags resultat. För att analysera folkopinionen krävdes stora mängder Twitterdata. Twitter-datan hämtades genom att strömma Twitter-flödet och aktiedatan hämtades från en Bloomberg Terminal. Målet med studien var att undersöka ifall det finns en korrelation mellan folkopinionen av en aktie och aktiens prisutveckling, och även vad som påverkar denna relationen. Även om en sådan relation inte kan fastställas i allmänhet så kan vi visa att om datakvaliten är god, så finns det en hög korrelation mellan folkopinionen och aktiepriset, samt att vid betydande händelser som rör företaget, så resultar det i en hög korrelation under den perioden.

Google’s Instant Apps and Apple’s App Clips are technologies that enable small segments of full scale apps to run on a mobile device, without needing to have the app installed. By restricting the size of these segments, they are able to download and run almost instantly. Marketed as an effective way to order food, rent bikes, and pay for parking, the technology has not been widely adopted. Furthermore, publicly available research on the topic is very limited. In this study, attitudes towards Instant Apps and App Clips found in user submitted posts on Reddit were examined. By conducting a sentiment analysis, the aim is to gain insight into how the opinions on these technologies have changed over time since their introduction. The results show that the sentiment has become slightly more positive over time. Additionally, differences in sentiment between the two technologies were found, but the limited number of data rows prevent the possibility of drawing reliable conclusions on this. / Googles Instant Apps och Apples App Clips är teknologier som möjliggör att små segment av mobilapplikationer i fullstorlek kan köras på en enhet utan att enheten behöver ha applikationen installerad. Genom att storleken på dessa segment begränsas kan de laddas ned och köras nästan omedelbart. Tekniken marknadsförs som ett smidigt och effektivt sätt att t.ex. beställa mat, hyra cyklar eller betala för parkering. Dock har den adopterats i låg grad. Mängden tillgänglig forskning på dessa teknologier är mycket begränsad. I denna studie undersöks attityder gentemot Instant Apps och App Clips så som de representeras i användarinlägg på Reddit. Genom sentimentanalys ämnas att få insikt om hur åsikterna kring dessa teknologier förändrats sedan de offentliggjordes på marknaden. Resultatet visar att sentimentet blivit något mer positivt över tid. Skillnader mellan sentimentet för de olika teknologierna hittades också, men tillförlitliga slutsatser om detta kan dock inte dras på grund av den begränsade datamängden.

Text clustering is a problem where texts are partitioned into homogeneous clusters, such as partitioning them based on their sentiment value. Two techniques to address the problem are representation learning, in particular language representation models, and clustering algorithms. The state-ofthe-art language models are based on neural networks, in particular the Transformer architecture, and the models are used to transform a text into a point in a high dimensional vector space. The texts are then clustered using a clustering algorithm, and a recognized partitional clustering algorithm is k-Means. Its goal is to find centroids that represent the clusters (partitions) by minimizing a distance measure. Two influential parameters of k-Means are the number of clusters and the initial centroids. Multiple heuristics exist to decide how the parameters are selected. The heuristic of using domain knowledge is commonly used when it is available, e.g., the number of clusters is set to the number of dataset labels. This project further explores this idea. The main contribution of the thesis is an investigation of domain knowledge and representation learning as a heuristic in centroid initialization applied to k-Means. Initial centroids were obtained by applying a representation learning technique on the dataset labels. The project analyzed a Swedish dataset with views towards different aspects of Swedish immigration and a Swedish translated movie review dataset using six Swedish compatible language models and two versions of k-Means. Clustering evaluation was measured using eight metrics related to cohesion, separation, external entropy and accuracy. The results show the proposed heuristic made a positive impact on the metrics. By employing the proposed heuristic, six out of eight metrics were improved compared to the baseline. The improvements were observed using six language models and k-Means on two datasets. Additionally, the evaluation metrics indicated that the proposed heuristic has opportunities for future improvements. / Textklustering är ett problem där texter partitioneras i homogena kluster, till exempel genom att gruppera dem baserat på dess sentimentala värde. Två tekniker för att undersöka problemet är representationsinlärning, i synnerhet språkrepresentationsmodeller, och klustringsalgoritmer. Moderna språkmodeller är baserade på neurala nätverk, framförallt på Transformer arkitekturen, och modellerna används för att omvandla texter till punkter i ett högdimensionellt vektorrum. Därefter klustras texterna med hjälp av en klusteringsalgoritm, och en erkänd partition klusteringalgorithm är kMeans. Målet med algoritmen är att finna centroider som representerar klustren (partitioner) genom att minimera ett avståndsmått. Två inflytelserika parametrar i k-Means är antalet kluster och initiala centroider. Många heuristiker existerar för att bestämma hur dessa parametrar skall väljas. En vanligt förekommande heuristik är att använda domänkunskap om det är tillgängligt, e.g., antalet kluster väljs som antalet datamängdsetiketter. Detta projekt genomför ytterligare utforskningar av idén. Avhandlingens huvudsakliga bidrag är en undersökning av att använda kunskaper om domänen för datamängden och representationsinlärning som heuristik för centroid initialisering applicerat på k-Means. Initiala centroider erhölls genom att applicera en representationsinlärningsteknik på datamängdsetiketter. Projektet analyserar en svensk datamängd med åsikter gentemot olika aspekter av svensk immigration och en svensk översatt datamängd om filmrecensioner med hjälp av sex svenskkompatibla språkmodeller och kMeans. Utvärdering av klustringen uppmättes med hjälp av åtta mätetal relaterade till sammanhållning, separation, entropi och ackuratess. Den föreslagna heuristiken hade en positiv effekt på mätetalen. Genom att använda den föreslagna heuristiken förbättrades sex av åtta mätetal jämfört med baslinjen. Förbättringarna observerades med användning av sex språkmodeller och k-Means på två datamängder. Evalueringsmätetalen indikerar också på att heuristiken har möjligheter till framtida förbättringar.

Hateful language is a growing problem in digital spaces. Human moderators are not enough to eliminate the problem. Automated hateful language detection systems are used to aid the human moderators. One of the issues with the systems is that their performance can differ depending on who is the target of a hateful text. This project evaluated the performance of the two systems (Perspective and Hatescan) with respect to who is the target of hateful texts. The analysis showed, that the systems performed the worst for texts directed at women and immigrants. The analysis involved tools such as a synthetic dataset based on the HateCheck test suite, as well as wild datasets created from forum data. Improvements to the test suite HateCheck have also been proposed. / Hatiskt språk är ett växande problem i digitala miljöer. Datamängderna är för stora för att enbart hanteras av mänskliga moderatorer. Automatiska system för hatdetektion används därför som stöd. Ett problem med dessa system är att deras prestanda kan variera beroende på vem som är målet för en hatfull text. Det här projektet evaluerade prestandan av de två systemen Perspective och Hatescan med hänsyn till olika mål för hatet. Analysen visade att systemen presterade sämst för texter där hatet riktades mot kvinnor och invandrare. Analysen involverade verktyg som ett syntetiskt dataset baserat på testsviten HateCheck och vilda dataset med texter inhämtade från diskussionsforum på internet. Dessutom har projektet utvecklat förslag på förbättringar till testsviten HateCheck.

This abstract presents a study in which knowledge distillation techniques were applied to a Large Language Model (LLM) to create smaller, more efficient models without sacrificing performance. Three configurations of the RoBERTa model were selected as ”student” models to gain knowledge from a pre-trained ”teacher” model. Multiple steps were used to improve the knowledge distillation process, such as copying some weights from the teacher to the student model and defining a custom loss function. The selected task for the knowledge distillation process was sentiment analysis on Amazon Reviews for Sentiment Analysis dataset. The resulting student models showed promising performance on the sentiment analysis task capturing sentiment-related information from text. The smallest of the student models managed to obtain 98% of the performance of the teacher model while being 45% lighter and taking less than a third of the time to analyze an entire the entire IMDB Dataset of 50K Movie Reviews dataset. However, the student models struggled to produce meaningful results on the topic modeling task. These results were consistent with the topic modeling results from the teacher model. In conclusion, the study showcases the efficacy of knowledge distillation techniques in enhancing the performance of LLMs on specific downstream tasks. While the model excelled in sentiment analysis, further improvements are needed to achieve desirable outcomes in topic modeling. These findings highlight the complexity of language understanding tasks and emphasize the importance of ongoing research and development to further advance the capabilities of NLP models. / Denna sammanfattning presenterar en studie där kunskapsdestilleringstekniker tillämpades på en stor språkmodell (Large Language Model, LLM) för att skapa mindre och mer effektiva modeller utan att kompremissa på prestandan. Tre konfigurationer av RoBERTa-modellen valdes som ”student”-modeller för att inhämta kunskap från en förtränad ”teacher”-modell. Studien mäter även modellernas prestanda på två ”DOWNSTREAM” uppgifter, sentimentanalys och ämnesmodellering. Flera steg användes för att förbättra kunskapsdestilleringsprocessen, såsom att kopiera vissa vikter från lärarmodellen till studentmodellen och definiera en anpassad förlustfunktion. Uppgiften som valdes för kunskapsdestilleringen var sentimentanalys på datamängden Amazon Reviews for Sentiment Analysis. De resulterande studentmodellerna visade lovande prestanda på sentimentanalysuppgiften genom att fånga upp information relaterad till sentiment från texten. Den minsta av studentmodellerna lyckades erhålla 98% av prestandan hos lärarmodellen samtidigt som den var 45% lättare och tog mindre än en tredjedel av tiden att analysera hela IMDB Dataset of 50K Movie Reviews datasettet.Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen. Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen.

This study was conducted in partnership with RISE and Google, within the initiative “Academy of Lifelong Learning”, aiming to propel the digital transformation in the Swedish public sector. The study investigated the digital maturity of 18 authorities in terms of maturity level (early, developing maturing), and within the driving areas (1) Citizen Centricity, (2) Leadership, (3) Digital Toolbox and (4) Security and Sustainability. Further, it explored how citizens’ sentiment towards public authorities relates to the organizations’ digital maturity scores. The results of a digital maturity survey showed that 16 of the 18 contributing organizations were developing, whereas two scored just enough to be classified as maturing. The organizations performed best within Security and Sustainability, and the worst within the category Digital Toolbox—where the biggest competence gaps were also identified. To unlock citizens’ sentiment towards the authorities, sentiment analysis was conducted on Facebook data. In a correlation analysis, a significant negative relationship was surprisingly found between (i) maturity score and (ii) sentiment score, as well as between (i) maturity score and (ii) positive comments. Presumably, this can be explained by citizens interacting the most with the more mature organizations and thus expressing their dissatisfaction more. However, more analysis is needed to draw conclusions. / Studien genomfördes i samarbete med RISE och Google inom initiativet ”Akademin för livslångt lärande” (Academy of Lifelong Learning), som syftar till att driva på den digitala transformationen i den svenska offentliga sektorn. Studien undersökte 18 myndigheters digitala mognad med fokus på mognadsnivå (early, developing maturing), och inom de drivande områdena (1) medborgarperspektivet, (2) ledarskap, (3) digitala verktygslådan och (4) säkerhet och hållbarhet. Vidare undersöktes medborgarnas attityder gentemot offentliga myndigheter i relation till organisationernas digitala mognad. Resultatet från mognadsundersökningen visade att 16 av de 18 medverkande organisationerna var developing, medan två organisationer precis kunde klassificeras som mature. Organisationerna presterade bäst inom säkerhet och hållbarhet och sämst inom kategorin digitala verktygslådan—där de största kompetensbristerna även identifierades. För att utvärdera medborgarnas attityder gentemot myndigheterna genomfördes en sentimentanalys baserat på data från Facebook. I en korrelationsanalys hittades överraskande nog en signifikant negativt samband mellan (i) digital mognad och (ii) sentimentpoäng, samt mellan (i) digital mognad och (ii) positiva kommentarer. Detta kan antagligen förklaras med att medborgarna interagerar mer med de mest mogna organisationerna och därmed är mer benägna att utrycka sitt missnöje gentemot dem. Ytterligare analys behövs dock för att kunna dra sådana slutsatser och förklara resultatet.