Hateful language is a growing problem in digital spaces. Human moderators are not enough to eliminate the problem. Automated hateful language detection systems are used to aid the human moderators. One of the issues with the systems is that their performance can differ depending on who is the target of a hateful text. This project evaluated the performance of the two systems (Perspective and Hatescan) with respect to who is the target of hateful texts. The analysis showed, that the systems performed the worst for texts directed at women and immigrants. The analysis involved tools such as a synthetic dataset based on the HateCheck test suite, as well as wild datasets created from forum data. Improvements to the test suite HateCheck have also been proposed. / Hatiskt språk är ett växande problem i digitala miljöer. Datamängderna är för stora för att enbart hanteras av mänskliga moderatorer. Automatiska system för hatdetektion används därför som stöd. Ett problem med dessa system är att deras prestanda kan variera beroende på vem som är målet för en hatfull text. Det här projektet evaluerade prestandan av de två systemen Perspective och Hatescan med hänsyn till olika mål för hatet. Analysen visade att systemen presterade sämst för texter där hatet riktades mot kvinnor och invandrare. Analysen involverade verktyg som ett syntetiskt dataset baserat på testsviten HateCheck och vilda dataset med texter inhämtade från diskussionsforum på internet. Dessutom har projektet utvecklat förslag på förbättringar till testsviten HateCheck.

Background: Movies have become an important marketing and advertising tool that can influence consumer behaviour and trends. Reading film reviews is an im- important part of watching a movie, as it can help viewers gain a general under- standing of the film. And also, provide filmmakers with feedback on how their work is being received. Sentiment analysis is a method of determining whether a review has positive or negative sentiment, and this study investigates a machine learning method for classifying sentiment from film reviews. Objectives: This thesis aims to perform comparative sentiment analysis on textual IMDb movie reviews using lexicon-based and BERT neural network models. Later different performance evaluation metrics are used to identify the most effective learning model. Methods: This thesis employs a quantitative research technique, with data analysed using traditional machine learning. The labelled data set comes from an online website called Kaggle (https://www.kaggle.com/datasets), which contains movie review information. Algorithms like the lexicon-based approach and the BERT neural networks are trained using the chosen IMDb movie reviews data set. To discover which model performs the best at predicting the sentiment analysis, the constructed models will be assessed on the test set using evaluation metrics such as accuracy, precision, recall and F1 score. Results: From the conducted experimentation the BERT neural network model is the most efficient algorithm in classifying the IMDb movie reviews into positive and negative sentiments. This model achieved the highest accuracy score of 90.67% over the trained data set, followed by the BoW model with an accuracy of 79.15%, whereas the TF-IDF model has 78.98% accuracy. BERT model has the better precision and recall with 0.88 and 0.92 respectively, followed by both BoW and TF-IDF models. The BoW model has a precision and recall of 0.79 and the TF-IDF has a precision of 0.79 and a recall of 0.78. And also the BERT model has the highest F1 score of 0.88, followed by the BoW model having a F1 score of 0.79 whereas, TF-IDF has 0.78. Conclusions: Among the two models evaluated, the lexicon-based approach and the BERT transformer neural network, the BERT neural network is the most efficient, having a good performance score based on the measured performance criteria.

This abstract presents a study in which knowledge distillation techniques were applied to a Large Language Model (LLM) to create smaller, more efficient models without sacrificing performance. Three configurations of the RoBERTa model were selected as ”student” models to gain knowledge from a pre-trained ”teacher” model. Multiple steps were used to improve the knowledge distillation process, such as copying some weights from the teacher to the student model and defining a custom loss function. The selected task for the knowledge distillation process was sentiment analysis on Amazon Reviews for Sentiment Analysis dataset. The resulting student models showed promising performance on the sentiment analysis task capturing sentiment-related information from text. The smallest of the student models managed to obtain 98% of the performance of the teacher model while being 45% lighter and taking less than a third of the time to analyze an entire the entire IMDB Dataset of 50K Movie Reviews dataset. However, the student models struggled to produce meaningful results on the topic modeling task. These results were consistent with the topic modeling results from the teacher model. In conclusion, the study showcases the efficacy of knowledge distillation techniques in enhancing the performance of LLMs on specific downstream tasks. While the model excelled in sentiment analysis, further improvements are needed to achieve desirable outcomes in topic modeling. These findings highlight the complexity of language understanding tasks and emphasize the importance of ongoing research and development to further advance the capabilities of NLP models. / Denna sammanfattning presenterar en studie där kunskapsdestilleringstekniker tillämpades på en stor språkmodell (Large Language Model, LLM) för att skapa mindre och mer effektiva modeller utan att kompremissa på prestandan. Tre konfigurationer av RoBERTa-modellen valdes som ”student”-modeller för att inhämta kunskap från en förtränad ”teacher”-modell. Studien mäter även modellernas prestanda på två ”DOWNSTREAM” uppgifter, sentimentanalys och ämnesmodellering. Flera steg användes för att förbättra kunskapsdestilleringsprocessen, såsom att kopiera vissa vikter från lärarmodellen till studentmodellen och definiera en anpassad förlustfunktion. Uppgiften som valdes för kunskapsdestilleringen var sentimentanalys på datamängden Amazon Reviews for Sentiment Analysis. De resulterande studentmodellerna visade lovande prestanda på sentimentanalysuppgiften genom att fånga upp information relaterad till sentiment från texten. Den minsta av studentmodellerna lyckades erhålla 98% av prestandan hos lärarmodellen samtidigt som den var 45% lättare och tog mindre än en tredjedel av tiden att analysera hela IMDB Dataset of 50K Movie Reviews datasettet.Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen. Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen.

This paper uses a back-propagating neural network (BPN) to predict the price movements of major crypto currencies, leveraging technical factors as well as measurements of collective sentiment derived from the micro-blogging network Twitter. Our dataset consists of daily, hourly and minutely price levels for Bitcoin, Ether and Litecoin along with 8 popular technical indicators, as well as all tweets with the currencies' cash tags during respective time periods. Insprired by previous research which suggest that artificial neural networks are superior forecasting models in this setting, we were able to create a system generating automated investment decisions on a daily, hourly and minutely time basis. The study concluded that price trends are indeed predictable, with a correct prediction rate above 50% for all models, and corrensponding profitable trading strategies for all currencies on an hourly basis when neglecting trading fees, buy-sell spreads and order delays. The overall highest predictability is obtained on the hourly trading interval for Bitcoin, yielding an accuracy of 55.74% and a cumulative return of 175.1% between October 16, 2021 and December 31, 2021. / I denna studie används ett bakåtpropagerande neoronnät (BPN) för att förutsäga prisrörelser i större kryptovalutor med hjälp av tekniska faktorer och kvantifiering av kollektivt sentimentet från mikrobloggnätverket Twitter. Vårt dataset består av dagliga, timvisa och minutvisa prisnivåer för Bitcoin, Ether och Litecoin tillsammans med 8 populära tekniska indikatorer, samt alla tweets med valutornas "cash tags" under respektive tidsperiod. Med inspiration från tidigare forskning som hävdar att artificiella nauronnät är överlägsna prognosmodeller i denna typ av analys kunde vi skapa ett system som genererar automatiska investeringsbeslut på daglig, timvis och minutvis basis. Vi hävdar med denna studie att pristrender är förutsägbara för dessa kryptovalutor, med en korrekt förutsägelsefrekvens på över 50% för alla modeller, och med lönsamma handelsstrategier för alla valutor på timbasis när man bortser från handelsavgifter, köp- och säljspreadar och orderfördröjningar. Den högsta förutsägbarheten erhålls på timhandelsintervallet för Bitcoin, vilket ger en nogrannhet på 55,74% och en ackumulerad avkastning på 175,1% mellan den 16 oktober 2021 och den 31 december 2021.

Press releases play a key role in today’s news production by being public statements of newsworthy content that function as a pre-formulation of news. Press releases originate from a wide range of actors, and a common goal is for them to reach a high societal impact. This thesis examines how Natural Language Processing (NLP) techniques can be successful in giving feedback to press release authors that help enhance the content and quality of their texts. This could, in turn, contribute to increased impact. To examine this, the research question is divided into two parts. The first part examines how content-perception feedback can contribute to improving press releases. This is examined by the development of a web tool where user- written press releases get analyzed. The analysis consists of a readability assessment using the LIX metric and linguistic bias detection of weasel words and peacock words through rule-based sentiment analysis. The user experiences and opinions are evaluated through an online questionnaire and semi-structured interviews. The second part of the research question examines how trending topic information can contribute to improving press releases. This part is examined theoretically based on a literature review of state-of-the- art methods and qualitatively by gathering opinions from press release authors in the previously mentioned questionnaire and interviews. Based on the results, it is identified that for content-perception feedback, it is especially lesser experienced authors and scientific content aimed at the general public that would achieve improved text quality from objective readability assessment and detection of biased expressions. Nevertheless, most of the evaluation participants were more satisfied with their press releases after editing based on the readability feedback, and all participants with biased words in their texts reported that the detection led to positive changes resulting in improved text quality. As for the theoretical part, it is considered that both text quality and the number of publications increase when writing about trending topics. To give authors trending topic information on a detailed level is indicated to be the most helpful. / Aktörer som sträcker sig från privata företag till mydigheter och forskare använder pressmeddelanden för att offentligt delge information med nyhetsvärde. Dessa pressmeddelanden spelar därefter en nyckelroll i dagens nyhetsproduktion genom att förformulera nyheter och eftersträvar därför att hålla en viss språklig nivå. För att förbättra kvalitet och innehåll i pressmeddelanden undersöker detta examensarbete hur språkteknologisk textanalys och återkoppling till författare kan stödja dem i att förbättra sina texter. Denna frågeställning undersöks i två delar, en tillämpad del och en teoretisk del. Den tillämpade delen undersöker hur återkoppling kring innehållsuppfattning kan förbättra pressmeddelanden. Ett webb-baserat verktyg utvecklades där användare kan skriva in pressmeddelanden och få dessa analyserade. Analysen baseras på läsbarhet som bedöms med hjälp av måttet LIX samt språklig bias (partiska uttryck) i form av weasel words (vessleord) och peacock words (påfågelord) som detekteras genom regelbaserad sentimentanalys. Denna del utvärderades kvalitativt genom en enkätundersökning till användarna samt djupintervjuer. Den teoretiska delen av frågeställningen undersöker hur information om trendande ämnen kan bidra till att förbättra pressmeddelanden. Undersökningen genomfördes som en litteraturstudie och utvärderades kvalitativt genom att sammanställa åsikter från yrkesverksamma som arbetar med pressmeddelanden i enkätundersökningen och djupintervjuerna som beskrevs ovan. Resultaten indikerar att för feedback om innehållsuppfattning är det särskilt mindre erfarna författare och vetenskapligt innehåll riktat till allmänheten som skulle uppnå förbättrad textkvalitet till följd av läsbarhetsbedömning och upptäckt av partiska uttryck. Samtidigt var en majoritet av deltagarna i utvärderingen mer nöjda med sina pressmeddelanden efter redigering baserat på läsbarhetsfeedbacken. Dessutom rapporterade alla deltagare med partiska uttryck i sina texter att upptäckten ledde till positiva förändringar som resulterade i förbättrad textkvalitet. Gällande den teoretiska delen anses både textkvaliteten och antalet publikationer öka för pressmeddelnanden om trendande ämnen. Att ge författare information om trendande ämnen på en detaljerad nivå indikeras vara det mest hjälpsamma.

This study was conducted in partnership with RISE and Google, within the initiative “Academy of Lifelong Learning”, aiming to propel the digital transformation in the Swedish public sector. The study investigated the digital maturity of 18 authorities in terms of maturity level (early, developing maturing), and within the driving areas (1) Citizen Centricity, (2) Leadership, (3) Digital Toolbox and (4) Security and Sustainability. Further, it explored how citizens’ sentiment towards public authorities relates to the organizations’ digital maturity scores. The results of a digital maturity survey showed that 16 of the 18 contributing organizations were developing, whereas two scored just enough to be classified as maturing. The organizations performed best within Security and Sustainability, and the worst within the category Digital Toolbox—where the biggest competence gaps were also identified. To unlock citizens’ sentiment towards the authorities, sentiment analysis was conducted on Facebook data. In a correlation analysis, a significant negative relationship was surprisingly found between (i) maturity score and (ii) sentiment score, as well as between (i) maturity score and (ii) positive comments. Presumably, this can be explained by citizens interacting the most with the more mature organizations and thus expressing their dissatisfaction more. However, more analysis is needed to draw conclusions. / Studien genomfördes i samarbete med RISE och Google inom initiativet ”Akademin för livslångt lärande” (Academy of Lifelong Learning), som syftar till att driva på den digitala transformationen i den svenska offentliga sektorn. Studien undersökte 18 myndigheters digitala mognad med fokus på mognadsnivå (early, developing maturing), och inom de drivande områdena (1) medborgarperspektivet, (2) ledarskap, (3) digitala verktygslådan och (4) säkerhet och hållbarhet. Vidare undersöktes medborgarnas attityder gentemot offentliga myndigheter i relation till organisationernas digitala mognad. Resultatet från mognadsundersökningen visade att 16 av de 18 medverkande organisationerna var developing, medan två organisationer precis kunde klassificeras som mature. Organisationerna presterade bäst inom säkerhet och hållbarhet och sämst inom kategorin digitala verktygslådan—där de största kompetensbristerna även identifierades. För att utvärdera medborgarnas attityder gentemot myndigheterna genomfördes en sentimentanalys baserat på data från Facebook. I en korrelationsanalys hittades överraskande nog en signifikant negativt samband mellan (i) digital mognad och (ii) sentimentpoäng, samt mellan (i) digital mognad och (ii) positiva kommentarer. Detta kan antagligen förklaras med att medborgarna interagerar mer med de mest mogna organisationerna och därmed är mer benägna att utrycka sitt missnöje gentemot dem. Ytterligare analys behövs dock för att kunna dra sådana slutsatser och förklara resultatet.

No description available.

Цель исследования – на основе теоретического описания и практической реализации в других исследованиях, провести сравнительную оценку методов машинного обучения для выявления оптимального решения при анализе тональности текстов. Объектом исследования выступают тексты, публикуемые в средствах массовой информации. Научная новизна исследования состоит в совершенствовании существующих методов для выявления наиболее универсального решения. Практическая значимость исследования заключается в том, что полученные результаты исследования могут быть полезными для других ученых, занимающихся анализом тональности текстов в средствах массовой информации. В результате сравнительного исследования был найден наиболее эффективный и точный метод для решения задачи. Полученные результаты и выводы исследования могут служить основой для последующих исследований в этой области и применяться в практических разработках и приложениях, требующих анализа тональности текстов. / The purpose of the study is, based on the theoretical description and practical implementation in other studies, to conduct a comparative assessment of machine learning methods to identify the optimal solution when analyzing the sentiment of texts. The object of the study is texts published in the media. The scientific novelty of the research lies in the improvement of existing methods to identify the most universal solution. The practical significance of the study lies in the fact that the results obtained may be useful for other scientists involved in the analysis of the sentiment of texts in the media. As a result of a comparative study, the most effective and accurate method for solving the problem was found. The obtained results and conclusions of the study can serve as the basis for subsequent research in this area and be used in practical developments and applications that require sentiment analysis of texts.

Companies play an important role in the process of sustainable development, and thus investors have increased their focus on companies' sustainability-related activities. These activities are often measured through ESG scores, which mostly are based on biased documents reported by the companies themselves. A company can be considered ESG-compliant when looking at the ESG scores, but its underlying sustainability profile is not entirely investigated. Thus, there is a lack of transparency in ESG scores as well as in the process of evaluating companies' sustainability performance. Therefore, this thesis aims to explore the possibilities of incorporating automatic text analysis, specifically sentiment analysis, to analyze news articles. In that way, a broader part of a company's sustainability profile is covered, and potential controversies or other involvements could be detected. To investigate whether sentiment analysis would be useful to increase the transparency an explorative approach was used. Specifically, companies' ESG scores and sentiment scores from news articles were analyzed and compared. A lower sentiment score would reasonably indicate a lower ESG score, and thus indicate transparency in the evaluation method. The study finds a mixed result of positive and negative sentiment scores for each company, within each industry. A lower sentiment score does not necessarily indicate a lower ESG score, and no clear correlation between the scores was found. Interestingly, the study also identifies previous studies which indicate a correlation between the sentiment scores from biased company documents and the ESG scores.The findings strengthen the problem of lack of transparency in ESG scores, and further conclude that sentiment analysis would be useful in the context of identifying negative and positive articles and thus increase the transparency. However, it is also concluded that sentiment analysis cannot ensure that the calculated sentiment score is of relevance to a specific company and its' sustainability-related activities. Therefore, it can only be used as a complementing tool in the evaluation of companies' sustainability performance. / Företag har en viktig roll i processen av hållbar utveckling, och därför har investerare riktat ett större fokus på företags hållbarhetsrelaterade aktiviteter. Dessa aktiviteter mäts ofta genom ESG-poäng, vilka för det mesta baseras på partiska dokument som rapporteras av företagen själva. Ett företag kan anses vara ESG-kompatibel när man tittar på deras ESG-poäng, men deras underliggande hållbarhetsprofil undersöks inte helt. Således finns det en brist på transparens i ESG-poäng och även i bedömningsprocessen av ett företags hållbarhetsarbete. Därför syftar den här forskningsuppsatsen till att undersöka möjligheterna med att använda automatisk textanalys, specifikt sentimentanalys, för att analysera nyhetsartiklar. På så sätt kan en större del av ett företags hållbarhetsprofil undersökas, och potentiella kontroverser eller annan inblandning kan upptäckas. För att undersöka om sentimentanalys är lämpligt för att öka transparensen användes en utforskande metod. Specifikt, så analyserades och jämfördes företags ESG-poäng och sentimentpoäng från nyhetsartiklar. Ett lägre sentimentpoäng borde rimligtvis indikera ett lägre ESG-poäng, och därigenom indikera på en transparens i bedömningsprocessen. Studien hittar ett blandat resultat med både positiva och negativa artiklar för varje företag inom varje industri. Ett lägre sentimentpoäng indikerar nödvändigtvis inte ett lägre ESG-poäng, och ingen korrelation mellan poängen hittades. Intressant nog, identifierar studien tidigare studier som har hittat en korrelation mellan sentimentpoäng från partiska dokument och ESG-poäng. Resultaten förstärker problemet med bristen på transparens i ESG-poäng, och kan vidare dra slutsatsen om att sentimentanalys är användbart i kontexten att identifiera positiva and negativa artiklar, och således öka transparensen. Dock dras också slutsatsen att sentimentanalys inte kan säkerställa att det beräknade sentimentpoänget är relaterat till det specifika företaget och dess hållbarhetsrelaterade aktiviteter. Därför kan det bara användas som ett kompletterande verktyg i bedömningsprocessen av företags hållbarhetsarbete.

No description available.