Tesis por compendio / [ES] En tiempos recientes, el desarrollo de las redes sociales y de las agencias de noticias han traído nuevos retos y amenazas a la web. Estas amenazas han llamado la atención de la comunidad investigadora en Procesamiento del Lenguaje Natural (PLN) ya que están contaminando las plataformas de redes sociales. Un ejemplo de amenaza serían las noticias falsas, en las que los usuarios difunden y comparten información falsa, inexacta o engañosa. La información falsa no se limita a la información verificable, sino que también incluye información que se utiliza con fines nocivos. Además, uno de los desafíos a los que se enfrentan los investigadores es la gran cantidad de usuarios en las plataformas de redes sociales, donde detectar a los difusores de información falsa no es tarea fácil. Los trabajos previos que se han propuesto para limitar o estudiar el tema de la detección de información falsa se han centrado en comprender el lenguaje de la información falsa desde una perspectiva lingüística. En el caso de información verificable, estos enfoques se han propuesto en un entorno monolingüe. Además, apenas se ha investigado la detección de las fuentes o los difusores de información falsa en las redes sociales. En esta tesis estudiamos la información falsa desde varias perspectivas. En primer lugar, dado que los trabajos anteriores se centraron en el estudio de la información falsa en un entorno monolingüe, en esta tesis estudiamos la información falsa en un entorno multilingüe. Proponemos diferentes enfoques multilingües y los comparamos con un conjunto de baselines monolingües. Además, proporcionamos estudios sistemáticos para los resultados de la evaluación de nuestros enfoques para una mejor comprensión. En segundo lugar, hemos notado que el papel de la información afectiva no se ha investigado en profundidad. Por lo tanto, la segunda parte de nuestro trabajo de investigación estudia el papel de la información afectiva en la información falsa y muestra cómo los autores de contenido falso la emplean para manipular al lector. Aquí, investigamos varios tipos de información falsa para comprender la correlación entre la información afectiva y cada tipo (Propaganda, Trucos / Engaños, Clickbait y Sátira). Por último, aunque no menos importante, en un intento de limitar su propagación, también abordamos el problema de los difusores de información falsa en las redes sociales. En esta dirección de la investigación, nos enfocamos en explotar varias características basadas en texto extraídas de los mensajes de perfiles en línea de tales difusores. Estudiamos diferentes conjuntos de características que pueden tener el potencial de ayudar a discriminar entre difusores de información falsa y verificadores de hechos. / [CA] En temps recents, el desenvolupament de les xarxes socials i de les agències de notícies han portat nous reptes i amenaces a la web. Aquestes amenaces han cridat l'atenció de la comunitat investigadora en Processament de Llenguatge Natural (PLN) ja que estan contaminant les plataformes de xarxes socials. Un exemple d'amenaça serien les notícies falses, en què els usuaris difonen i comparteixen informació falsa, inexacta o enganyosa. La informació falsa no es limita a la informació verificable, sinó que també inclou informació que s'utilitza amb fins nocius. A més, un dels desafiaments als quals s'enfronten els investigadors és la gran quantitat d'usuaris en les plataformes de xarxes socials, on detectar els difusors d'informació falsa no és tasca fàcil. Els treballs previs que s'han proposat per limitar o estudiar el tema de la detecció d'informació falsa s'han centrat en comprendre el llenguatge de la informació falsa des d'una perspectiva lingüística. En el cas d'informació verificable, aquests enfocaments s'han proposat en un entorn monolingüe. A més, gairebé no s'ha investigat la detecció de les fonts o els difusors d'informació falsa a les xarxes socials. En aquesta tesi estudiem la informació falsa des de diverses perspectives. En primer lloc, atès que els treballs anteriors es van centrar en l'estudi de la informació falsa en un entorn monolingüe, en aquesta tesi estudiem la informació falsa en un entorn multilingüe. Proposem diferents enfocaments multilingües i els comparem amb un conjunt de baselines monolingües. A més, proporcionem estudis sistemàtics per als resultats de l'avaluació dels nostres enfocaments per a una millor comprensió. En segon lloc, hem notat que el paper de la informació afectiva no s'ha investigat en profunditat. Per tant, la segona part del nostre treball de recerca estudia el paper de la informació afectiva en la informació falsa i mostra com els autors de contingut fals l'empren per manipular el lector. Aquí, investiguem diversos tipus d'informació falsa per comprendre la correlació entre la informació afectiva i cada tipus (Propaganda, Trucs / Enganys, Clickbait i Sàtira). Finalment, però no menys important, en un intent de limitar la seva propagació, també abordem el problema dels difusors d'informació falsa a les xarxes socials. En aquesta direcció de la investigació, ens enfoquem en explotar diverses característiques basades en text extretes dels missatges de perfils en línia de tals difusors. Estudiem diferents conjunts de característiques que poden tenir el potencial d'ajudar a discriminar entre difusors d'informació falsa i verificadors de fets. / [EN] In the recent years, the development of social media and online news agencies has brought several challenges and threats to the Web. These threats have taken the attention of the Natural Language Processing (NLP) research community as they are polluting the online social media platforms. One of the examples of these threats is false information, in which false, inaccurate, or deceptive information is spread and shared by online users. False information is not limited to verifiable information, but it also involves information that is used for harmful purposes. Also, one of the challenges that researchers have to face is the massive number of users in social media platforms, where detecting false information spreaders is not an easy job. Previous work that has been proposed for limiting or studying the issue of detecting false information has focused on understanding the language of false information from a linguistic perspective. In the case of verifiable information, approaches have been proposed in a monolingual setting. Moreover, detecting the sources or the spreaders of false information in social media has not been investigated much. In this thesis we study false information from several aspects. First, since previous work focused on studying false information in a monolingual setting, in this thesis we study false information in a cross-lingual one. We propose different cross-lingual approaches and we compare them to a set of monolingual baselines. Also, we provide systematic studies for the evaluation results of our approaches for better understanding. Second, we noticed that the role of affective information was not investigated in depth. Therefore, the second part of our research work studies the role of the affective information in false information and shows how the authors of false content use it to manipulate the reader. Here, we investigate several types of false information to understand the correlation between affective information and each type (Propaganda, Hoax, Clickbait, Rumor, and Satire). Last but not least, in an attempt to limit its spread, we also address the problem of detecting false information spreaders in social media. In this research direction, we focus on exploiting several text-based features extracted from the online profile messages of those spreaders. We study different feature sets that can have the potential to help to identify false information spreaders from fact checkers. / Ghanem, BHH. (2020). On the Detection of False Information: From Rumors to Fake News [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/158570 / Compendio

La légitimité du processus électoral est souvent remise en question par des candidats et membres de l’élite politique qui tente de justifier leurs défaites aux urnes. Par conséquent, plusieurs électeurs sont exposés à des allégations non-fondées de fraude électorale, et ce, même si la fraude électorale se produit très rarement dans les démocraties établies. Certaines études ont déjà déterminé que des affirmations trompeuses concernant l’intégrité des élections ont des effets négatifs sur la perception des citoyens face à l’impartialité électorale. En effet, des chercheurs ont montré que les allégations non-fondées de fraude électorale ébranlent la confiance que les électeurs ont envers le système électoral. Cependant, aucune étude n’a exploré l’effet potentiel de ces allégations sur la participation électorale. En utilisant des données de sondage originales collectées au Royaume-Uni, ce projet considère l’impact des affirmations de fraude électorale sur la décision d’aller voter ou non. En premier lieu, nous regardons l’effet sur les dispositions électorales spécifiques, c’est-à-dire la probabilité qu’un individu ira voter. Par la suite, nous testons la capacité de messages correctifs à rectifier les perceptions erronées des électeurs et limiter l’impact négatif des allégations de fraude électorale. Les résultats de l’expérience démontrent que l’exposition à des allégations non-fondées de fraude électoral n’a pas d’effet sur la participation des citoyens aux urnes. Cependant, des analyses supplémentaires permettent d’identifier une relation entre les perceptions de fraude et la décision d’aller voter. Considérant ces résultats, des explications alternatives sont présentées. / The legitimacy of the electoral process is often put into question by political candidates and elites who seek to account for their loss. As a result, a significant portion of voters are presented with unfounded allegations of widespread election fraud even though such fraud seldom occurs in consolidated democracies. Previous research has determined that misleading claims regarding the integrity of elections carry important implications for citizens’ perceptions of electoral fairness. In fact, scholars have shown unsubstantiated claims of election fraud to be detrimental to voters’ confidence in elections as well as their support for key democratic norms. However, the literature has yet to systematically explore the impact of electoral fraud allegations on voter participation. Using original survey data from the United Kingdom, this research measures the impact of unfounded allegations of election fraud on the decision to vote or not. We first look at the impact on specific dispositions of voting, that is, the likelihood that an individual will turn out at the next election. Then, we examine the ability of corrective messages to rectify misperceptions of electoral integrity and limit the negative impacts of fraud allegations on voter participation. The results of the survey experiment do not support the hypotheses according to which exposure to unfounded allegations of fraud influences confidence in elections and voter participation. However, results from supplementary analyses highlight an important relation between perceptions of fraud and subsequent desire to cast a ballot. Explanations for these findings are discussed.

[pt] A disseminação de histórias falsas em aplicativos de mensagens e redes sociais da internet foi um dos elementos centrais da conversação civil no Brasil no período que antecedeu as eleições presidenciais brasileiras em 2018. A preocupação com a disseminação da desinformação – fenômeno que se compõe, entre outros elementos, por informações erradas, descontextualizadas, distorcidas ou falsificadas – se refletiu na quantidade de histórias falsas verificadas e desmentidas por agências independentes de checagens de fatos. No período de 20 dias entre as votações de primeiro e segundo turnos das eleições, as seis principais agências do país publicaram 228 verificações de histórias falsas disseminadas em redes sociais da internet ou aplicativos de troca mensagens, referentes a 132 diferentes pautas. A proposta desta pesquisa é identificar os temas destas histórias falsas e analisar as categorizações enunciadas em seus discursos, com a utilização da Análise de Categorização de Pertencimento (ACP), ferramenta teórico-metodológica de origem na Etnometodologia, aplicada aos textos das histórias falsas divulgados pelas agências. / [en] One of the main aspects of public debate in Brazil in the period that preceded the 2018 presidential elections was the dissemination of false stories via social media and messaging apps. Disinformation, misinformation and mal-information – phenomena that comprehends, among others, elements such as wrongful, out of context, distorted and fabricated information – were a major concern in the context of the election, which could be seen in the number of false stories debunked by independent fact-checkers. In the 20-day period between the two rounds of the presidential election, six fact-checking websites posted 228 verifications of false stories disseminated through social media and/or messaging apps, which covered about 132 different topics. This research aims to identify which were the topics of those false stories and analyze the categorizations enunciated in their discourses. In order to do so, the methodological perspective utilized was the Membership Categorization Analysis (MCP), affiliated with the tradition of Ethnomethodology, applied to the false stories discourses as quoted by the fact-checking websites.

Introduction : Le contenu en ligne est une source significative et primordiale pour les utilisateurs à la recherche d'informations liées à la santé. Pour éviter la désinformation, il est crucial d'automatiser l'évaluation de la fiabilité des sources et de vérification de la véracité des informations. Objectif : Cette étude visait à d’automatiser l'identification de la qualité des sources de santé en ligne. Pour cela, deux éléments complémentaires de qualité ont été automatisés : (1) L'évaluation de la fiabilité des sources d’information liée à la santé, en tenant compte des critères de la HONcode, et (2) L’appréciation de la véracité des informations, avec la base de données PubMed comme source de vérité. Méthodes : Dans cette étude, nous avons analysé 538 pages Web en englais provenant de 43 sites Web. Dans la première phase d’évaluation de la fiabilité des sources, nous avons classé les critères HONcode en deux niveaux : le "niveau pages Web" (autorité, complémentarité, justifiabilité, et attribution) et le "niveau sites Web" (confidentialité, transparence, divulgation financière et politique publicitaire). Pour le niveau pages Web, nous avons annoté 200 pages manuellement et appliqué trois modèles d’apprentissage machine (ML) : Forêt aléatoire (RF), machines à vecteurs de support (SVM) et le transformateur BERT. Pour le niveau sites Web, nous avons identifié des sacs de mots et utilisé un modèle basé sur des règles. Dans la deuxième phase de l’appréciation de la véracité des informations, les contenus des pages Web ont été catégorisées en trois catégories de contenu (séméiologie, épidémiologie et gestion) avec BERT. Enfin, l’automatisation de l’extraction des requêtes PubMed basée sur les termes MeSH a permis d’extraire et de comparer automatiquement les 20 articles les plus pertinents avec le contenu des pages Web. Résultats : Pour le niveau page Web, le modèle BERT a obtenu une meilleure aire sous la courbe (AUC) de 96 %, 98 % et 100 % pour les phrases neutres, la justifiabilité et l'attribution respectivement. SVM a présenté une meilleure performance pour la classification de la complémentarité (AUC de 98 %). Enfin, SVM et BERT ont obtenu une AUC de 98 % pour le critère d'autorité. Pour le niveau sites Web, le modèle basé sur des règles a récupéré les pages Web avec une précision de 97 % pour la confidentialité, 82 % pour la transparence, 51 % pour la divulgation financière et la politique publicitaire. Finalement, pour l’appréciation de la véracité des informations, en moyenne, 23 % des phrases ont été automatiquement vérifiées par le modèle pour chaque page Web. Conclusion : Cette étude souligne l'importance des modèles transformateurs et l'emploi de PubMed comme référence essentielle pour accomplir les deux tâches cruciales dans l'identification de sources d'information fiables en ligne : l’évaluation de la fiabilité des sources et vérifier la véracité des contenus. Finalement, notre recherche pourrait servir à améliorer le développement d’une approche d’évaluation automatique de la crédibilité des sites Web sur la santé. / Introduction: Online content is a significant and primary source for many users seeking healthrelated information. To prevent misinformation, it's crucial to automate the assessment of reliability of sources and fact-checking of information. Objective: This study aimed to automate the identification of the credibility of online information sources. For this, two complementary quality elements were automated: (1) The reliability assessment of health-related information, considering the HONcode criteria, and (2) The factchecking of the information, using PubMed articles as a source of truth. Methods: In this study, we analyzed 538 English webpages from 43 websites. In the first phase of credibility assessment of the information, we classified the HONcode criteria into two levels: the “web page level” (authority, complementarity, justifiability, and attribution) and the “website level” (confidentiality, transparency, financial disclosure, and advertising policy). For the web page level, we manually annotated 200 pages and applied three machine learning (ML) models: Random Forest (RF), Support Vector Machines (SVM) and the BERT Transformer. For those at website level criteria, we identified the bags of words and used a rule-based model. In a second phase of fact-checking, the contents of the web pages were categorized into three themes (semiology, epidemiology, and management) with BERT. Finally, for automating the factchecking of information, the automation of PubMed queries extraction using MeSH terms made it possible to automatically extract and compare the 20 most relevant articles with the content of the web pages. Results: For the web page level the BERT model obtained the best area under the curve (AUC) of 96%, 98% and 100% for neutral sentences, justifiability and attribution respectively. SVM showed a better performance for complementarity classification (AUC of 98%). Finally, SVM and BERT obtained an AUC of 98% for the authority criterion. For the websites level, the rules-based model retrieved web pages with an accuracy of 97% for privacy, 82% for transparency, 51% for financial disclosure and advertising policy. Finally, for fact-checking, on average, 23% of sentences were automatically checked by the model for each web page. Conclusion: This study emphasized the significance of Transformers and leveraging PubMed as a key reference for two critical tasks: assessing source reliability and verifying information accuracy. Ultimately, our research stands poised to significantly advance the creation of an automated system for evaluating the credibility of health websites.

En el marco de la pandemia global del coronavirus, las desinformaciones han ido aumentando cada vez más, especialmente, en redes sociales. Aunque este fenómeno no es nuevo, ha cobrado una mayor relevancia en los últimos años debido al avance de las tecnologías. En este trabajo de investigación, uno de los principales planteamientos, busca reconocer cuáles son las herramientas que utilizan los medios de verificación para detectar una noticia falsa en temas de salud e infodemia. Para esto se analizará el trabajo de dos medios verificadores: Ojo Público y Maldita.es / In the framework of the global coronavirus pandemic, misinformation has been increasing more and more, especially on social networks. Although this phenomenon is not new, it has become more relevant in recent years due to the advancement of technologies. In this research work, one of the main approaches, seeks to recognize which are the tools used by the verification media to detect false news on health and infodemic issues. For this, the work of two verifying media will be analyzed: Ojo Público and Maldita.es / Trabajo de investigación

The amount of open-source information – that is, data, images, and footage that is openly available to the public - is growing exponentially. With it, so is the number of citizens analysing this data to form open-source intelligence (OSINT). Using the 2022 invasion of Ukraine as a case study, this study highlights the motivations behind the citizen OSINT analysts who are uncovering events on the frontline and verifying significant amounts of data from such events. Through interviews with 10 citizen OSINT analysts – all voluntarily contributing to OSINT in relation to the invasion of Ukraine, as well as other major OSINT projects – this study demonstrates the motivations behind this growing community. The findings reflect a new era of participation and advocacy and are a demonstration of self-determination theory. The findings demonstrate citizens’ sceptic views towards traditional media but also, that with a more analytical approach, with improved transparency and collaboration there is reason to be optimistic about the future of journalism and audience engagement.

SammanfattningI  denna  studie  utforskas  kapaciteterna  och  begränsningarna  hos  avancerade  stora språkmodeller (SSM), med särskilt fokus på ChatGPT-4 och Google Bard. Studien inleds med att ge en historisk bakgrund till artificiell intelligens och hur denna utveckling har lett fram till skapandet av dessa modeller. Därefter genomförs en kritisk analys av deras prestanda i språkbehandling och problemlösning. Genom att evaluera deras effektivitet i hanteringen av nyhetsinnehåll och sociala medier, samt i utförandet av kreativa uppgifter som pussel, belyses deras förmåga inom språklig bearbetning samt de utmaningar de möter i att förstå nyanser och utöva kreativt tänkande.I denna studie framkom det att SSM har en avancerad förmåga att förstå och reagera på komplexa språkstrukturer. Denna förmåga är dock inte utan begränsningar, speciellt när det kommer till uppgifter som kräver en noggrann bedömning för att skilja mellan sanning och osanning. Denna observation lyfter fram en kritisk aspekt av SSM:ernas nuvarande kapacitet, de är effektiva inom många områden, men möter fortfarande utmaningar i att hantera de finare nyanserna i mänskligt språk och tänkande. Studiens resultat betonar även vikten av mänsklig tillsyn vid användning av artificiell intelligens (AI), vilket pekar på behovet av att ha realistiska förväntningar på AI:s kapacitet och betonar vidare betydelsen av en ansvarsfull utveckling  av  AI,  där  en  noggrann  uppmärksamhet  kring etiska  aspekter  är  central.  En kombination av mänsklig intelligens och AI föreslås som en lösning för att hantera komplexa utmaningar, vilket bidrar till en fördjupad förståelse av avancerade språkmodellers dynamik och deras roll inom AI:s bredare utveckling och tillämpning.

L'évolution rapide des réseaux sociaux en ligne (RSO) représente un défi significatif dans l'identification et l'atténuation des fausses informations, incluant les fausses nouvelles, la désinformation et la mésinformation. Cette complexité est amplifiée dans les environnements numériques où les informations sont rapidement diffusées, nécessitant des stratégies sophistiquées pour différencier le contenu authentique du faux. L'un des principaux défis dans la détection automatique de fausses informations est leur présentation réaliste, ressemblant souvent de près aux faits vérifiables. Cela pose de considérables défis aux systèmes d'intelligence artificielle (IA), nécessitant des données supplémentaires de sources externes, telles que des vérifications par des tiers, pour discerner efficacement la vérité. Par conséquent, il y a une évolution technologique continue pour contrer la sophistication croissante des fausses informations, mettant au défi et avançant les capacités de l'IA. En réponse à ces défis, ma thèse introduit le cadre FACTS-ON (Fighting Against Counterfeit Truths in Online Social Networks), une approche complète et systématique pour combattre la désinformation dans les RSO. FACTS-ON intègre une série de systèmes avancés, chacun s'appuyant sur les capacités de son prédécesseur pour améliorer la stratégie globale de détection et d'atténuation des fausses informations. Je commence par présenter le cadre FACTS-ON, qui pose les fondements de ma solution, puis je détaille chaque système au sein du cadre : EXMULF (Explainable Multimodal Content-based Fake News Detection) se concentre sur l'analyse du texte et des images dans les contenus en ligne en utilisant des techniques multimodales avancées, couplées à une IA explicable pour fournir des évaluations transparentes et compréhensibles des fausses informations. En s'appuyant sur les bases d'EXMULF, MythXpose (Multimodal Content and Social Context-based System for Explainable False Information Detection with Personality Prediction) ajoute une couche d'analyse du contexte social en prédisant les traits de personnalité des utilisateurs des RSO, améliorant la détection et les stratégies d'intervention précoce contre la désinformation. ExFake (Explainable False Information Detection Based on Content, Context, and External Evidence) élargit encore le cadre, combinant l'analyse de contenu avec des insights du contexte social et des preuves externes. Il tire parti des données d'organisations de vérification des faits réputées et de comptes officiels, garantissant une approche plus complète et fiable de la détection de la désinformation. La méthodologie sophistiquée d'ExFake évalue non seulement le contenu des publications en ligne, mais prend également en compte le contexte plus large et corrobore les informations avec des sources externes crédibles, offrant ainsi une solution bien arrondie et robuste pour combattre les fausses informations dans les réseaux sociaux en ligne. Complétant le cadre, AFCC (Automated Fact-checkers Consensus and Credibility) traite l'hétérogénéité des évaluations des différentes organisations de vérification des faits. Il standardise ces évaluations et évalue la crédibilité des sources, fournissant une évaluation unifiée et fiable de l'information. Chaque système au sein du cadre FACTS-ON est rigoureusement évalué pour démontrer son efficacité dans la lutte contre la désinformation sur les RSO. Cette thèse détaille le développement, la mise en œuvre et l'évaluation complète de ces systèmes, soulignant leur contribution collective au domaine de la détection des fausses informations. La recherche ne met pas seulement en évidence les capacités actuelles dans la lutte contre la désinformation, mais prépare également le terrain pour de futures avancées dans ce domaine critique d'étude. / The rapid evolution of online social networks (OSN) presents a significant challenge in identifying and mitigating false information, which includes Fake News, Disinformation, and Misinformation. This complexity is amplified in digital environments where information is quickly disseminated, requiring sophisticated strategies to differentiate between genuine and false content. One of the primary challenges in automatically detecting false information is its realistic presentation, often closely resembling verifiable facts. This poses considerable challenges for artificial intelligence (AI) systems, necessitating additional data from external sources, such as third-party verifications, to effectively discern the truth. Consequently, there is a continuous technological evolution to counter the growing sophistication of false information, challenging and advancing the capabilities of AI. In response to these challenges, my dissertation introduces the FACTS-ON framework (Fighting Against Counterfeit Truths in Online Social Networks), a comprehensive and systematic approach to combat false information in OSNs. FACTS-ON integrates a series of advanced systems, each building upon the capabilities of its predecessor to enhance the overall strategy for detecting and mitigating false information. I begin by introducing the FACTS-ON framework, which sets the foundation for my solution, and then detail each system within the framework: EXMULF (Explainable Multimodal Content-based Fake News Detection) focuses on analyzing both text and image in online content using advanced multimodal techniques, coupled with explainable AI to provide transparent and understandable assessments of false information. Building upon EXMULF’s foundation, MythXpose (Multimodal Content and Social Context-based System for Explainable False Information Detection with Personality Prediction) adds a layer of social context analysis by predicting the personality traits of OSN users, enhancing the detection and early intervention strategies against false information. ExFake (Explainable False Information Detection Based on Content, Context, and External Evidence) further expands the framework, combining content analysis with insights from social context and external evidence. It leverages data from reputable fact-checking organizations and official social accounts, ensuring a more comprehensive and reliable approach to the detection of false information. ExFake's sophisticated methodology not only evaluates the content of online posts but also considers the broader context and corroborates information with external, credible sources, thereby offering a well-rounded and robust solution for combating false information in online social networks. Completing the framework, AFCC (Automated Fact-checkers Consensus and Credibility) addresses the heterogeneity of ratings from various fact-checking organizations. It standardizes these ratings and assesses the credibility of the sources, providing a unified and trustworthy assessment of information. Each system within the FACTS-ON framework is rigorously evaluated to demonstrate its effectiveness in combating false information on OSN. This dissertation details the development, implementation, and comprehensive evaluation of these systems, highlighting their collective contribution to the field of false information detection. The research not only showcases the current capabilities in addressing false information but also sets the stage for future advancements in this critical area of study.