Memoria para optar al título de Ingeniera Civil Industrial / El presente trabajo de título tiene como objetivo diseñar y construir modelos de clasificación para predecir cuáles usuarios de Twitter viven en Chile y en cuál de las quince regiones administrativas de Chile habitan; utilizando información pública del perfil y el contenido que emiten, mediante algoritmos de Machine Learning. Las redes sociales son uno de los medios de comunicación más utilizados en el mundo hoy en día en donde segundo a segundo se reciben millones de datos. Si hablamos de Twitter, este contiene a diario más de 328 millones de usuarios activos en todo el mundo que publican cerca de 6.000 tweets por segundo. Todos estos datos que se comparten son de gran utilidad para poder caracterizar de mejor forma a los usuarios. Una de estas características es la geolocalización, la cual está siendo cada vez más utilizada para conocer mejor a los clientes y usuarios. Pero, obtener este atributo para cada usuario no es tarea fácil ya que este dato, por lo general, no es público o es incierto. En particular, el proyecto SONAMA y proyecto OpinionZoom del Web Intelligence Center, buscan geolocalizar a los usuarios chilenos de Twitter a nivel regional para utilizar esta característica dentro de sus investigaciones y poder mejorar los niveles de granularidad que están alcanzando con respecto a la geolocalización de las personas. Para esto, a partir de la API REST de Twitter y de una encuesta realizada en el WIC, se extraen datos para construir bases de entrenamiento etiquetadas para diseñar y entrenar dos modelos de clasificación con el fin de que uno identifique a los usuarios chilenos de Twitter y el segundo identifique la región en que cada usuario chileno vive. Para ambos modelos se analiza el desempeño de tres algoritmos diferentes. El modelo país, mediante Stochastic Gradient Descent, logra un AUC de 99,89% y un F1-Score de la clase positiva de 98,95% tras validación cruzada de 5-iteraciones, el cual supera los resultados de la heurística de clasificación que actualmente se utiliza. Por otro lado, el modelo región, mediante Stochastic Gradient Descent, logra un F1-Macro de 42,54% y Accuracy de 40,73% tras validación cruzada de 5-iteraciones. Resultado el cual, si bien bajo, mejora la situación actual con respecto al 6,67% que entrega la aleatoriedad. Finalmente, se valida la hipótesis de investigación en su totalidad ya que es posible determinar los usuarios chilenos de Twitter y su región frecuente utilizando exclusivamente el contenido que se publica y atributos de contexto del usuario. Tanto el modelo país como el modelo región superan la situación actual, por lo que sus resultados quedan como baseline para próximas investigaciones.

Ingeniero Civil Industrial / El presente informe contiene el análisis realizado para una empresa de retail financiero, y considera variables obtenidas por medio de minería de texto para incluirlas dentro de dicho modelo. Dentro de la empresa estudiada, se tienen dos tipos de clientes. Uno de ellos suele realizar comentarios con la empresa, tanto positivos como negativos. Estos además suele gastar más en un periodo de tiempo (en promedio) que un cliente que no lo realiza. Por ejemplo, dentro de un determinado mes el cliente que realiza comentarios gasta aproximadamente entre dos y tres veces más que su contraparte que no realiza comentarios. Al mismo tiempo, los clientes que si realizan comentarios son tres veces menos propensos a la fuga que los que no los realizan. Ante esto surge la oportunidad de negocios de determinar si por medio de herramientas de minería de texto se puede extraer información útil de los comentarios para predecir la fuga de los clientes, y minimizarla con estas variables. El objetivo de esta memoria es construir un modelo predictivo de fuga utilizando textos para poder mejorar la retención de clientes. Para lograr cumplir con este objetivo, se realizaron 4 modelos de fuga. El primer modelo de fuga consistía en un modelo de fuga tradicional (accuracy:77,5% ,presicion:82% y AUC:85,1%), un modelo de fuga con variables de minería de texto solo para los clientes que tienen comentario (accuracy: 77,9% ,presicion:80,9% y AUC: 85,4%), un modelo de fuga con variable de minería de textos para toda la cartera sin imputar valores desconocidos (accuracy: 76,1% ,presicion:97,7% y AUC:83,7%) y un modelo de fuga con variable de minería de texto imputados para aquellos que no tenían comentario (accuracy: 75,7% ,presicion:82% y AUC:84,2%). Con respecto a los resultados del modelo de fuga, se concluye que dentro de todos los modelos estudiados, el mejor modelo es uno que considera variables de minería de texto sobre una base de clientes en que todos emiten comentarios. Dado que este no se puede generalizar para todos los clientes de la empresa, decide utilizar el modelo de fuga tradicional sin variables de minería de texto. Otra conclusión importante con respecto a la memoria es que la imputación de las variables de minería de textos no causa un aumento en el rendimiento con respecto a un modelo que no lo hace. Esto se debe a que al comparar los modelos con y sin imputación de datos, el modelo que incluye la imputación de los datos de la variable de minería de texto tiene menor accuracy (0,4% menos de accuracy), presenta un AUC levemente mayor (0,5% más de AUC). A pesar de esto, las variables de minería de texto apoyan dentro de la gestión de los clientes que si realizan comentarios.

El tema del acceso a la información es de especial interés dado el contexto actual de la web 2.0, donde se generan grandes volúmenes de información por parte de muchos usuarios. Es deseable categorizar y priorizar la información disponible para mejorar el acceso a ella. Para esto se han creado variadas interfaces basadas en términos que la caracterizan. El trabajo consistió en el estudio de herramientas computacionales para extraer términos o palabras clave categorizados a partir de un texto en español, el diseño y construcción de un sistema que realice dicha acción y finalmente el diseño de una aplicación tipo servicio web que sirva para construir una interfaz que facilite el acceso a un conjunto de documentos a partir de los términos extraídos. Para la realización de este trabajo, el alumno estudió herramientas existentes de minería de texto y extracción de información, de acuerdo a los requerimientos del sistema que extrae términos categorizados. Esto incluye distintos modelos y algoritmos estudiados a nivel teórico, además de implementaciones de los algoritmos elegidos. Se eligió el modelo de campos aleatorios condicionales como la base de la extracción de términos, y se estudiaron las distintas características del texto relevantes para dicho modelo. Gracias a una serie de experimentos, se concluyó que la aplicación tipo servicio web propuesta cumple con los objetivos de generar una interfaz útil para el acceso a distintas colecciones de documentos, categorizados según nombres de personas. Se comprobó que la aplicación resulta efectiva incluso para colecciones de contenido profundamente distinto. Además, es suficientemente extensible como para ser aplicada en el futuro a otro tipo de categorías, como lugares, instituciones u otra, permitiendo tener más dimensiones para explorar los documentos.

O estudo aqui apresentado procura abordar formas de promoção de letramento aplicando a tecnologia de mineração textual. Sendo assim, desenvolveu-se uma metodologia específica de construção de narrativas aliada a uma ferramenta de mineração textual como proposta pedagógica para promoção do letramento. A ferramenta de mineração textual é capaz de extrair conceitos relevantes de um determinado texto e apresentá-los em forma de grafo de palavras/imagens que auxilia o aluno a construir narrativas que abordem um assunto específico e relacionar com suas experiências de vida. O método para utilização da ferramenta ajuda os estudantes a focar em um dado tema, auxiliando-os a fazer conexões com conhecimentos prévios e a organizar as ideias antes de escrever. Ao professor, essa proposta procura apresentar formas de conciliar o exercício de leitura e escrita com a construção de outros saberes. Ao desafiar o aluno a escrever narrativas que o fazem relacionar um determinado tema a suas experiências de vida, possibilita ao aluno dar mais significado ao que escreve. O estudo foi de caráter qualitativo, onde através da observação participante, realizaram se oficinas onde se aplicou a ferramenta de mineração textual no processo de construção de narrativas. Os resultados da pesquisa permitiram concluir que a ferramenta e método propostos auxiliaram os alunos na escrita de textos com foco nos temas sugeridos, buscando relacioná-los às experiências próprias de cada estudante. / El estudio que aquí se presenta trata de abordar las formas de promover la alfabetización mediante la aplicación de la tecnología de minería de texto. Por lo tanto, hemos desarrollado una metodología específica para la construcción de la narrativa combinada con una herramienta de minería de texto como una propuesta pedagógica para fomentar la alfabetización. La herramienta de minería de texto es capaz de extraer los conceptos relevantes de un texto dado y presentarlos en forma de gráfico de conceptos/ imágenes que ayuda a los estudiantes a construir narrativas que tratan un tema específico y se relacionan con sus experiencias de vida. El método para utilizar la herramienta de ayuda a los estudiantes se centran en un tema en particular, ayudándoles a hacer conexiones con conocimientos previos y organizar ideas antes de escribir. El maestro, esta propuesta busca presentar la forma de conciliar el ejercicio de la lectura y la escritura con la construcción de otros conocimientos. Al desafiar a los estudiantes a escribir narraciones que se refieren a un tema en particular a sus experiencias de vida, permitiendo a los estudiantes para dar más sentido a lo que escriben. El estudio fue de tipo cualitativo, que a través de la observación participante, se realizaron talleres donde se aplicó la herramienta de minería de texto en la proceso de construcción de narrativas. Los resultados del estudio mostraron que el método y la herramienta propuesta ayudaron a los estudiantes en la escritura de textos con un enfoque en temas sugeridos, tratando de relacionarlos con su propia experiencia de cada estudiante.

O estudo aqui apresentado procura abordar formas de promoção de letramento aplicando a tecnologia de mineração textual. Sendo assim, desenvolveu-se uma metodologia específica de construção de narrativas aliada a uma ferramenta de mineração textual como proposta pedagógica para promoção do letramento. A ferramenta de mineração textual é capaz de extrair conceitos relevantes de um determinado texto e apresentá-los em forma de grafo de palavras/imagens que auxilia o aluno a construir narrativas que abordem um assunto específico e relacionar com suas experiências de vida. O método para utilização da ferramenta ajuda os estudantes a focar em um dado tema, auxiliando-os a fazer conexões com conhecimentos prévios e a organizar as ideias antes de escrever. Ao professor, essa proposta procura apresentar formas de conciliar o exercício de leitura e escrita com a construção de outros saberes. Ao desafiar o aluno a escrever narrativas que o fazem relacionar um determinado tema a suas experiências de vida, possibilita ao aluno dar mais significado ao que escreve. O estudo foi de caráter qualitativo, onde através da observação participante, realizaram se oficinas onde se aplicou a ferramenta de mineração textual no processo de construção de narrativas. Os resultados da pesquisa permitiram concluir que a ferramenta e método propostos auxiliaram os alunos na escrita de textos com foco nos temas sugeridos, buscando relacioná-los às experiências próprias de cada estudante. / El estudio que aquí se presenta trata de abordar las formas de promover la alfabetización mediante la aplicación de la tecnología de minería de texto. Por lo tanto, hemos desarrollado una metodología específica para la construcción de la narrativa combinada con una herramienta de minería de texto como una propuesta pedagógica para fomentar la alfabetización. La herramienta de minería de texto es capaz de extraer los conceptos relevantes de un texto dado y presentarlos en forma de gráfico de conceptos/ imágenes que ayuda a los estudiantes a construir narrativas que tratan un tema específico y se relacionan con sus experiencias de vida. El método para utilizar la herramienta de ayuda a los estudiantes se centran en un tema en particular, ayudándoles a hacer conexiones con conocimientos previos y organizar ideas antes de escribir. El maestro, esta propuesta busca presentar la forma de conciliar el ejercicio de la lectura y la escritura con la construcción de otros conocimientos. Al desafiar a los estudiantes a escribir narraciones que se refieren a un tema en particular a sus experiencias de vida, permitiendo a los estudiantes para dar más sentido a lo que escriben. El estudio fue de tipo cualitativo, que a través de la observación participante, se realizaron talleres donde se aplicó la herramienta de minería de texto en la proceso de construcción de narrativas. Los resultados del estudio mostraron que el método y la herramienta propuesta ayudaron a los estudiantes en la escritura de textos con un enfoque en temas sugeridos, tratando de relacionarlos con su propia experiencia de cada estudiante.

O estudo aqui apresentado procura abordar formas de promoção de letramento aplicando a tecnologia de mineração textual. Sendo assim, desenvolveu-se uma metodologia específica de construção de narrativas aliada a uma ferramenta de mineração textual como proposta pedagógica para promoção do letramento. A ferramenta de mineração textual é capaz de extrair conceitos relevantes de um determinado texto e apresentá-los em forma de grafo de palavras/imagens que auxilia o aluno a construir narrativas que abordem um assunto específico e relacionar com suas experiências de vida. O método para utilização da ferramenta ajuda os estudantes a focar em um dado tema, auxiliando-os a fazer conexões com conhecimentos prévios e a organizar as ideias antes de escrever. Ao professor, essa proposta procura apresentar formas de conciliar o exercício de leitura e escrita com a construção de outros saberes. Ao desafiar o aluno a escrever narrativas que o fazem relacionar um determinado tema a suas experiências de vida, possibilita ao aluno dar mais significado ao que escreve. O estudo foi de caráter qualitativo, onde através da observação participante, realizaram se oficinas onde se aplicou a ferramenta de mineração textual no processo de construção de narrativas. Os resultados da pesquisa permitiram concluir que a ferramenta e método propostos auxiliaram os alunos na escrita de textos com foco nos temas sugeridos, buscando relacioná-los às experiências próprias de cada estudante. / El estudio que aquí se presenta trata de abordar las formas de promover la alfabetización mediante la aplicación de la tecnología de minería de texto. Por lo tanto, hemos desarrollado una metodología específica para la construcción de la narrativa combinada con una herramienta de minería de texto como una propuesta pedagógica para fomentar la alfabetización. La herramienta de minería de texto es capaz de extraer los conceptos relevantes de un texto dado y presentarlos en forma de gráfico de conceptos/ imágenes que ayuda a los estudiantes a construir narrativas que tratan un tema específico y se relacionan con sus experiencias de vida. El método para utilizar la herramienta de ayuda a los estudiantes se centran en un tema en particular, ayudándoles a hacer conexiones con conocimientos previos y organizar ideas antes de escribir. El maestro, esta propuesta busca presentar la forma de conciliar el ejercicio de la lectura y la escritura con la construcción de otros conocimientos. Al desafiar a los estudiantes a escribir narraciones que se refieren a un tema en particular a sus experiencias de vida, permitiendo a los estudiantes para dar más sentido a lo que escriben. El estudio fue de tipo cualitativo, que a través de la observación participante, se realizaron talleres donde se aplicó la herramienta de minería de texto en la proceso de construcción de narrativas. Los resultados del estudio mostraron que el método y la herramienta propuesta ayudaron a los estudiantes en la escritura de textos con un enfoque en temas sugeridos, tratando de relacionarlos con su propia experiencia de cada estudiante.

Tema: Análisis de la relación existente entre el ewom generado por consumidoras de servicios de belleza en Facebook en Lima Metropolitana, de acuerdo con su puntuación o recomendación. Un enfoque desde el Text mining. Objetivo: Usar técnicas de minería de texto en el procesamiento del ewom que ayude a explicar el grado de relación existente entre la puntuación/ valoración y el sentimiento de un comentario en el sector de belleza. La presente investigación tiene como tema central el estudio del boca a boca electrónico o también conocido como ewom; y la coherencia existente entre esta variable y su acompañante (valoración/ puntuación); esta relación es medida a través de indicadores propuestos, de los cuales una variable representa la mayor influencia en el modelo, esta es la variable “sentimiento”. Para poder lograr el objetivo propuesto se realizaron estudios de tipo cualitativo y cuantitativo. El desarrollo cualitativo se centro en investigar el accionar de las consumidoras al dejar una opinión a modo de cocreación de valor para con las empresas del rubro de la belleza. El estudio cuantitativo fue progresivo; ya que, involucro el uso de diversas herramientas para el resultado final; en primera instancia se recolecto la base de opiniones, se aplicaron filtros, se analizaron los sentimientos de los comentarios con el software de “semantria for Excel”; y, por último, se realizo el análisis de regresiones con la herramienta estadística SPSS. Es importante reconocer que los dos tipos de investigación ayudaron a afianzar el modelo; ya que, permitieron conocer el comportamiento actual de las usuarias peruanas de servicio de belleza en el canal digital; y si su aporte (ewom) estaba asociado con el sentimiento relativo a la satisfacción del servicio recibido. Al finalizar la investigación, se proponen recomendaciones a nivel digital (online) y servicio (offline) para generar una mayor satisfacción en las usuarias. / Topic: Analysis of relation between the ewom generated by the consumers of beauty services on Facebook in Metropolitan Lima, according to the asigned score or recommendation. An approach from Text mining Objective: To use text mining techniques in the processing of the ewom that will help to explain the degree of relation between score/valuation and feeling of a comment in the beauty sector. The central theme of this research is the study of electronic word-of-mouth or also known as ewom; and the existing coherence between this variable and its (assessment/scoring); this relationship is measured through indicators of which a variable represents the greatest influence on the model, this is the most important one is the "feeling" variable. In order to achieve the objective proposed, studies of the following type were carried out qualitative and quantitative. The qualitative development focused on researching the actions of the consumers by leaving an opinion in the form of co-creation of value for the consumers companies in the beauty sector. The study was progressive; since, it involved the use of various tools for the development of the final result; in the first instance, the basis of opinions was gathered, the following were applied filters, we analyzed the feelings of the comments with the software of "semantria for Excel"; and finally, regression analysis was performed with the tool SPSS statistics. It is important to recognize that the two types of research helped to strengthen the model; since, they allowed to know the current behavior of the Peruvian users of beauty service on the digital channel; and if his contribution (ewom) was associated with the feeling relative to the satisfaction of the service. At the end of the research, recommendations are proposed at the digital level (online) and service (offline) to generate a greater satisfaction in the users of the service. / Trabajo de investigación

La obtención de información a partir de un conjunto de datos o minería de datos es una tarea compleja que involucra varias etapas, tal como sucede en la minería de texto. Esta puede ser considerada como un caso particular de minería de datos donde los datos contemplan la incorporación de texto. Ambos procesos de minería se vuelven aun más complejos cuando nos encontramos ante grandes cúmulos de datos o texto. Es común encontrar conjuntos de datos grandes, complejos y ricos en información en áreas como medicina, comercio, ingeniería y ciencias de la computación. Simultáneamente, los avances tecnológicos han dado lugar a la acumulación de sustanciosas cantidades de documentos, artículos y texto; el ejemplo más contundente de esta clase de material es la Web, la cual se estima que alcanza más de 8.05 billones de páginas. La propuesta de esta tesis es el uso de herramientas evolutivas mono- y multi-objetivo como un soporte para algunas de las etapas de este proceso. En particular, las etapas que implican optimización y búsqueda dentro de estos grandes espacios en los cuales otros métodos serían inviables. A lo largo de la investigación se desarrollaron, evaluaron y compararon algoritmos evolutivos mono y multi-objetivo tanto para la rama de minería de datos como para la rama de minería de texto. Como caso particular dentro de minería de datos, se contempló el problema de encontrar las relaciones más relevantes entre variables dentro de distintos conjuntos de datos. Dichas relaciones, no son visibles para un experto cuando se encuentra frente a la base de datos original cruda, la cual puede contemplar miles de variables y miles de instan-cias. Para resolver este problema se propuso una metodología de dos fases. Los algoritmos desarrollados en este contexto se integraron a la primera fase de la arquitectura y fueron exitosamente utilizados como mecanismo de búsqueda masiva. Por otra parte, en el caso de minería de texto se abordó el problema de recuperar información relacionada y novedosa con respecto a un tópico de interés. Para este problema se propuso, implementó y evaluó una arquitectura que, partiendo de una descripción para el tópico de interés, evoluciona varios conjuntos de términos hacia conjuntos que logren obtener mejores documentos con respecto a dicho tema de interés y con respecto a los objetivos propuestos (por ejemplo: simi-litud, precisión, cobertura). Dentro de las técnicas evolutivas multi-objetivo propuestas, se diseñaron adaptaciones de los algoritmos basados en Pareto más prometedores reportados por la literatura y se propusieron versiones multi-objetivo agregativas. Ambos enfoques, los basados en Pareto y los agregativos, demostraron ser claramente competentes tanto para minería de datos como para minería de texto. / Data mining comprises the capture of information from data, which is a complex task that involves many stages. The same applies to text mining that can be considered as a special case of data mining where the data include text. As data and text sets increase, both mining processes become even more complicated. Large, complex and rich information data sets arise in many common research elds like medicine, commerce, engineering and computer science. Simultaneously, techno-logical advances have led to theaccumulation of substantial amounts of documents, articles and text; the clearest example of this kind of material is the Web, which is estimated to have reached more than 8.05 billion pages. This thesis proposes the use of mono- and multi-objective evolutionary tools as support in some of the stages of the data and text mining processes. In particular, those stages which imply optimiza-tion and search in wide search spaces where other methods could be unfeasible. In this research work, several mono- and multi-objective evolutionary algorithms were developed, evaluated and compared for both, data and text mining research areas. As a particular case in data mining, the problem of finding the most relevant relationship among variables from the data was considered. These relations, are not obvious for experts when they are faced with the original raw database, which can include thousands of variables and thousand of samples. In order to solve this problem, a two-phase methodology was proposed. In this context, the developed algorithms were integrated into the first phase and were succesfully used as massive search mechanisms. On the other hand, as a particular case of the text mining research area, the problem of retrieving novel material that is related to a search context was considered. In order to overcome this problem, an architecture was proposed, implemented and evaluated. Starting from a description for the topic of interest, this architecture evolves several sets of terms towards sets which can obtain better documents with respect to both, the topic of interest and the proposed objectives (e.g., similarity, precision, recall). Among the proposed multi-objetive evolutionary techniques, adap-tations of the more promising reported Pareto-based evolutionary algorithms were designed and new multi-objective aggregative schemes were proposed. Both approaches- i.e., the Pareto-based strategy and the aggregative techniques- proved to be clearly competent for both research areas: data and text mining.