O projeto descrito neste documento propõe um modelo para análise de viés em notícias, procurando identificar o viés dos meios de comunicação em relação a entidades políticas. Foram analisados três tipos de viés: o viés de seleção, que avalia o quanto uma entidade é referenciada pelo meio de comunicação; o viés de cobertura, que avalia quanto destaque é destinado a entidade e, por fim, o viés de afirmação, que avalia se estão falando mal ou bem da entidade. Para tal, foi construído um corpus de notícias sistematicamente extraídas de 5 produtores de notícias e classificadas manualmente em relação à polaridade e entidade alvo. Técnicas de análise de sentimentos baseadas em aprendizado de máquina foram validadas utilizando o corpus criado. Criou-se uma metodologia para identificação de viés, utilizando o conceito de outliers, a partir de métricas indicadoras. A partir da metodologia proposta, foi analisado o viés em relação aos candidatos ao governo de São Paulo e à presidência a partir do corpus criado, em que se identificou os três tipos de viés em dois produtores de notícias / The project described here proposes a model to study bias on newswire texts, related to political entities. Three types of bias are analysed: selection bias, which refers to the amount of times an entity is referenced by the media outlet; coverage bias, which assesses the amount of coverage given to an entity and, finally, the assertion bias, which analyses whether the news is a positive or negative report of an entity. To accomplish this, a corpus was systematically built by extracting news from 5 different newswires. These texts were manually classified according to their polarity alignment and associated entity. Sentiment Analysis techniques were applied and evaluated using the corpus. Based on the concept of outliers, a methodology for bias detection was created. Bias was analysed using the proposed methodology on the generated corpus for candidates to the government of the state of São Paulo and to presidency, being identified in two newswires for the three above-defined types

Energy has been at the top of the national and global political agenda along with other

abstract: Internet sites that support user-generated content, so-called Web 2.0, have become part of the fabric of everyday life in technologically advanced nations. Users collectively spend billions of hours consuming and creating content on social networking sites, weblogs (blogs), and various other types of sites in the United States and around the world. Given the fundamentally emotional nature of humans and the amount of emotional content that appears in Web 2.0 content, it is important to understand how such websites can affect the emotions of users. This work attempts to determine whether emotion spreads through an online social network (OSN). To this end, a method is devised that employs a model based on a general threshold diffusion model as a classifier to predict the propagation of emotion between users and their friends in an OSN by way of mood-labeled blog entries. The model generalizes existing information diffusion models in that the state machine representation of a node is generalized from being binary to having n-states in order to support n class labels necessary to model emotional contagion. In the absence of ground truth, the prediction accuracy of the model is benchmarked with a baseline method that predicts the majority label of a user's emotion label distribution. The model significantly outperforms the baseline method in terms of prediction accuracy. The experimental results make a strong case for the existence of emotional contagion in OSNs in spite of possible alternative arguments such confounding influence and homophily, since these alternatives are likely to have negligible effect in a large dataset or simply do not apply to the domain of human emotions. A hybrid manual/automated method to map mood-labeled blog entries to a set of emotion labels is also presented, which enables the application of the model to a large set (approximately 900K) of blog entries from LiveJournal. / Dissertation/Thesis / M.S. Computer Science 2011

abstract: Muslim radicalism is recognized as one of the greatest security threats for the United States and the rest of the world. Use of force to eliminate specific radical entities is ineffective in containing radicalism as a whole. There is a need to understand the origin, ideologies and behavior of Radical and Counter-Radical organizations and how they shape up over a period of time. Recognizing and supporting counter-radical organizations is one of the most important steps towards impeding radical organizations. A lot of research has already been done to categorize and recognize organizations, to understand their behavior, their interactions with other organizations, their target demographics and the area of influence. We have a huge amount of information which is a result of the research done over these topics. This thesis provides a powerful and interactive way to navigate through all this information, using a Visualization Dashboard. The dashboard makes it easier for Social Scientists, Policy Analysts, Military and other personnel to visualize an organization's propensity towards violence and radicalism. It also tracks the peaking religious, political and socio-economic markers, their target demographics and locations. A powerful search interface with parametric search helps in narrowing down to specific scenarios and view the corresponding information related to the organizations. This tool helps to identify moderate Counter-Radical organizations and also has the potential of predicting the orientation of various organizations based on the current information. / Dissertation/Thesis / M.S. Computer Science 2012

Ingeniero Civil en Computación / La masividad del uso de las redes sociales ha crecido explosivamente en los últimos años. Resulta interesante conocer la opinión que expresan los usuarios en Twitter para realizar estudios de mercado, popularidad de marcas, candidatos presidenciales, etc. Este trabajo tiene por objetivo desarrollar un software que permita hacer análisis de opinión en Twitter. Este software se utilizó para estudiar la opinión sobre los candidatos a presidente en el año 2013 en Chile. Se estudiaron dos técnicas utilizadas para obtener el sentimiento asociado a un texto: Método Estadístico y Método Ontológico. El primer método requiere de un gran volumen de datos (textos de los que se conoce si expresan una opinión positiva o negativa) para entrenar el algoritmo. Se eligió el método ontológico, para el que se construyen manualmente reglas para identificar el sentimiento. Para aplicar estas reglas, se procesa el texto libre usando la librería FreeLing, que construye un árbol de dependencia de las palabras que componen el texto. Dicho árbol permite agrupar el sujeto con los correspondientes adjetivos, verbos, etc de las oraciones. La ontología construida consiste en patrones detectables en los arboles de dependencia, con palabras claves que pueden ir en las distintas posiciones del patrón. Hubo problemas con la librería FreeLing que no procesa correctamente texto mal escrito, como es el caso típico de los Tweets. Se tuvo que hacer un preprocesamiento al texto para ayudar a FreeLing a procesar el texto. Al hacer el análisis de los Tweets de los 7 días anteriores a la segunda vuelta, se obtuvo una popularidad del 61% para Bachelet (obtuvo 62% en las elecciones) y un 39% para Matthei (38% en las elecciones), resultado que también es cercano a las estimaciones de Brandmetrics. Otra funcionalidad desarrollada es la identificación de la posición geográfica del usuario, y por lo tanto sus Tweets, a partir del dato que él indica en el perfil de usuario. Este es un campo de texto libre. El texto se trata de calzar con una serie de expresiones regulares, que están asociadas con las regiones de Chile. Se validó la técnica desarrollada comparando los resultados obtenidos con los datos por GPS para aquellos Tweets para los que estaban disponibles, obteniendo cerca de un 90% de acierto. Sin embargo, sólo a alrededor de la mitad de los Tweets se les puede identificar la localidad usando esta técnica, lo que de todas formas es mejor que cerca del 2% de los Tweets que tienen la información del GPS. Se analizó también el uso de Twitter en función de la hora del día, observando la máxima actividad en la noche, durante y después de los noticieros.

Ingeniero Civil Industrial / Los contenidos disponibles en la Web están creciendo a velocidades que hacen que la tarea de analizarlos sea humanamente imposible. Una de las disciplinas que hace frente a este problema es la Minería de Opiniones, también conocida como el Análisis de Sentimientos, responsable de procesar texto automáticamente, con el fin de extraer y analizar las opiniones que contiene para generar información valiosa y accionable. El objetivo principal de este trabajo es crear una aplicación de Minería de Opiniones capaz de explotar tweets en español que mencionen a la empresa de retail Falabella. En primer lugar, se investigó el impacto que las redes sociales tienen en Chile. En segundo lugar, se elaboró un estado del arte que englobara los últimos avances en Minería de Opiniones y en Procesamiento del Lenguaje Natural. En tercer lugar, se creó un Web Crawler capaz de obtener los tweets que mencionanaran a la compañía. Posteriormente se implementó varios algoritmos de Procesamiento del Lenguaje Natural para pre-procesar los tweets previamente mencionados, e incorporar los datos resultantes al proceso de extracción de opiniones. Este proceso se desarrolló como un enfoque de Minería de Opiniones no supervisado basado en lexicones, dependiente de un analizador de dependencias encargado de detectar ciertas estructuras gramaticales que permitieran identificar fenómenos linguísticos comunes, tales como la negación, intensificación, y oraciones subordinadas adversativas. La identificación de dichos fenómenos permitió mejorar la calidad de la clasificación. Finalmente se creó una página Web para mostrar los resultados que luego fueron utilizados para realizar un análisis exploratorio de la compañía. Adicionalmente, los algoritmos fueron validados con el corpus TASS, obteniendo valores-F de un 61,88% negativo y 71,88% positivo. A pesar de que el rendimiento de los algoritmos no fue tan alto como una aplicación en producción lo requeriría, se consideró lo suficientemente bueno como para realizar el análisis exploratorio. Con éste fue posible confirmar la intuición de que las cuentas corporativas suelen publicar contenido positivo, las cuentas de noticias contenido neutral, y los usuarios comunes contenido irrelevante o quejas. Además fue posible probar que los usuarios más activos frecuentemente publican contenido totalmente irrelevante. Por otra parte, se logró replicar varios resultados obtenidos por instituciones nacionales reconocidas, entre los cuales destaca el hecho que el momento más controversial del año para Falabella fue cuando se intentó llevar a cabo el Cyber Monday, período en el cual el sentimiento generalizado en Twitter alcanzó los niveles más negativos. Dicho todo esto, la aplicación desarrollada demostró ser útil al momento de utilizar una gran cantidad de datos para extraer información que podría ser potencialmente útil para la firma de retail. Finalmente, el desarrollo de la aplicación permitió crear un artículo que contuviera parte considerable del transfondo teórico en el cual ésta se basó, además de beneficiar a otros estudiantes en el desarrollo de sus memorias.

In recent years, increasing attentions are paid on developing exceptional technologies for efficiently processing massive collection of heterogeneous data generated by different kinds of sensors. While we have observed great successes of utilizing big data in many innovative applications, the need on integrating information poses new challenges caused by the heterogeneity of the data. In this thesis, we target at geo-tagged data, and propose a cloud based platform named City Digital Pulse (CDP), where a unified mechanism and extensible architecture are provided to facilitate the various aspects in big data analysis, ranging from data acquisition to data visualization. We instantiate the proposed system using multi-model data collected from two social platforms, Twitter and Instagram, which include plenty of geo-tagged messages. Data analysis is performed to detect human affections from the user uploaded content. The emotional information in big social data can be uncovered by using a multi-dimension visualization interface, based on which users can easily grasp the evolving of human affective status within a given geographical area, and interact with the system. This offers costless opportunities to improve the decision making in many critical areas. Both the proposed architecture and algorithm are empirically demonstrated to be able to achieve real-time big data analysis.

According to the World Health Organization, mental health is an integral part of health and well-being. Mental illness can affect anyone, rich or poor, male or female. One such example of mental illness is depression. In Canada 5.3% of the population had presented a depressive episode in the past 12 months. Depression is difficult to diagnose, resulting in high under-diagnosis. Diagnosing depression is often based on self-reported experiences, behaviors reported by relatives, and a mental status examination. Currently, author- ities use surveys and questionnaires to identify individuals who may be at risk of depression. This process is time-consuming and costly. We propose an automated system that can identify at-risk users from their public social media activity. More specifically, we identify at-risk users from Twitter. To achieve this goal we trained a user-level classifier using Support Vector Machine (SVM) that can detect at-risk users with a recall of 0.8750 and a precision of 0.7778. We also trained a tweet-level classifier that predicts if a tweet indicates distress. This task was much more difficult due to the imbalanced data. In the dataset that we labeled, we came across 5% distress tweets and 95% non-distress tweets. To handle this class imbalance, we used undersampling methods. The resulting classifier uses SVM and performs with a recall of 0.8020 and a precision of 0.1237. Our system can be used by authorities to find a focused group of at-risk users. It is not a platform for labeling an individual as a patient with depres- sion, but only a platform for raising an alarm so that the relevant authorities could take necessary interventions to further analyze the predicted user to confirm his/her state of mental health. We respect the ethical boundaries relating to the use of social media data and therefore do not use any user identification information in our research.

Ingeniero Civil Industrial / El siguiente trabajo tiene como objetivo general dise~nar e implementar un módulo clasificador de texto que permita identificar la presencia de ironía en el contenido generado por usuarios de Twitter, mediante el uso de herramientas asociadas a Opinion Mining y Machine Learning. La ironía es un fenómeno que forma parte del contenido generado por las personas en la Web, y representa un campo de estudio nuevo que ha atraído la atención de algunos investigadores del área de Opinion Mining debido a su complejidad y al impacto que puede tener en el desempeño de las aplicaciones de Análisis de Sentimientos actuales. Este trabajo de título se desarrolla dentro del marco de OpinionZoom, proyecto CORFO código 13IDL2-23170 titulado "OpinionZoom: Plataforma de análisis de sentimientos e ironía a partir de la información textual en redes sociales para la caracterización de la demanda de productos y servicios" desarrollado en el Web Intelligence Centre del Departamento de Ingeniería Industrial de la Facultad de Ciencias Físicas y Matemáticas de la Universidad de Chile, el cual busca generar un sistema avanzado para analizar datos extraídos desde redes sociales para obtener información relevante para las empresas en relación a sus productos y servicios. La hipótesis de investigación de este trabajo dice que es posible detectar la presencia de ironía en texto en idioma Español con cierto nivel de precisión, utilizando una adaptación de la metodología propuesta por Reyes et al. (2013) en [5] la cual involucra la construcción de un corpus en función de la estructura de Twitter junto con la capacidad de las personas para detectar ironía. El modelo utilizado se compone de 11 atributos entre los cuales se rescatan características sintácticas, semánticas y emocionales o psicológicas, con el objetivo de poder describir ironía en texto. Para esto, se genera un corpus de casos irónicos y no irónicos a partir de una selección semiautomática utilizando una serie de hashtags en Twitter, para luego validar su etiquetado utilizando evaluadores humanos. Además, esto se complementa con la inclusión de textos objetivos como parte del set de casos no irónicos. Luego, utilizando este corpus, se pretende realizar el entrenamiento de un algoritmo de aprendizaje supervisado para realizar la posterior clasificación de texto. Para ésto, se implementa un módulo de extracción de atributos que transforma cada texto en un vector representativo de los atributo. Finalmente, se utilizan los vectores obtenidos para implementar un módulo clasificador de texto, el cual permite realizar una clasificación entre tipos irónicos y no irónicos de texto. Para probar su desempe~no, se realizan dos pruebas. La primera utiliza como casos no irónicos los textos objetivos y la segunda utiliza como casos no irónicos aquellos textos evaluados por personas como tales. La primera obtuvo un alto nivel de precisión, mientras que la segunda fue insuficiente. En base a los resultados se concluye que esta implementación no es una solución absoluta. Existen algunas limitaciones asociadas a la construcción del corpus, las herramientas utilizadas e incluso el modelo, sin embargo, los resultados muestran que bajo ciertos escenarios de comparación, es posible detectar ironía en texto por lo que se cumple la hipótesis. Se sugiere ampliar la investigación, mejorar la obtención del corpus, utilizar herramientas más desarrolladas y analizar aquellos elementos que el modelo no puede capturar.

This master thesis is focusing on the information overload in digital marketing and using the method of sentiment analysis to detect if the issue occurs or not. A model and method of different sentiments (positive and negative) were organized, and evaluated based on the statistical and prominent findings of the emotional value in the customer satisfaction in online reviews. Findings were analyzed, as to what data, and categories showed value which proved information overload and these were thereafter connected to previous academic studies of sentiment analysis and customer satisfaction connected to information overload. The results of the analysis proved that the sentiment analysis had significance in some aspects and categories to combat the information overload issue in digital marketing for online consumers.