Problemas com a escrita podem afetar o desempenho de profissionais de maneira marcante, principalmente no caso de cientistas e acadêmicos que precisam escrever com proficiência e desembaraço não somente na língua materna, mas principalmente em inglês. Durante os últimos anos, ferramentas de suporte à escrita, algumas com enfoque em textos científicos, como o AMADEUS e o SciPo foram desenvolvidas e têm auxiliado pesquisadores na divulgação de suas pesquisas. Entretanto, a criação dessas ferramentas é baseada em córpus, sendo muito custosa, pois implica em selecionar textos bem escritos, além de segmentá-los de acordo com sua estrutura esquemática. Nesse mestrado estudamos, avaliamos e implementamos métodos de detecção automática da estrutura esquemática e de avaliação automática da qualidade de escrita de resumos científicos em inglês. Investigamos o uso de tais métodos para possibilitar o desenvolvimento de dois tipos de ferramentas: de detecção de bons resumos e de crítica. Nossa abordagem é baseada em córpus e em aprendizado de máquina supervisionado. Desenvolvemos um detector automático da estrutura esquemática, que chamamos de AZEA, com taxa de acerto de 80,4% eKappa de 0,73, superiores ao estado da arte (acerto de 73%, Kappa de 0,65). Experimentamos várias combinações de algoritmos, atributos e diferentes seções de um artigo científicos. Utilizamos o AZEA na implementação de duas dimensões de uma rubrica para o gênero científico, composta de 7 dimensões, e construímos e disponibilizamos uma ferramenta de crítica da estrutura de um resumo. Um detector de erros de uso de artigo também foi desenvolvido, com precisão é de 83,7% (Kappa de 0,63) para a tarefa de decidir entre omitir ou não um artigo, com enfoque no feedback ao usuário e como parte da implementação da dimensão de erros gramaticais da rubrica. Na tarefa de detectar bons resumos, utilizamos métodos usados com sucesso na avaliação automática da qualidade de escrita de redações com as implementações da rubrica e realizamos experimentos iniciais, ainda com resultados fracos, próximos à baseline. Embora não tenhamos construído um bom avaliador automático da qualidade de escrita, acreditamos que este trabalho indica direções para atingir esta meta, e forneça algumas das ferramentas necessárias / Poor writing may have serious implications for a professional\'s career. This is even more serious in the case of scientists and academics whose job requires fluency and proficiency in their mother tongue as well as in English. This is why a number of writing tools have been developed in order to assist researchers to promote their work. Here, we are particularly interested in tools, such as AMADEUS and SciPo, which focus on scientific writing. AMADEUS and SciPo are corpus-based tools and hence they rely on corpus compilation which is by no means an easy task. In addition to the dificult task of selecting well-written texts, it also requires segmenting these texts according to their schematic structure. The present dissertation aims to investigate, evaluate and implement some methods to automatically detect the schematic structure of English abstracts and to automatically evaluate their quality. These methods have been examined with a view to enabling the development of two types of tools, namely: detection of well-written abstracts and a critique tool. For automatically detecting schematic structures, we have developed a tool, named AZEA, which adopts a corpus-based, supervised machine learning approach. AZEA reaches 80.4% accuracy and Kappa of 0.73, which is above the highest rates reported in the literature so far (73% accuracy and Kappa of 0.65). We have tested a number of different combinations of algorithms, features and different paper sections. AZEA has been used to implement two out of seven dimensions of a rubric for analyzing scientific papers. A critique tool for evaluating the structure of abstracts has also been developed and made available. In addition, our work also includes the development of a classifier for identifying errors related to English article usage. This classifier reaches 83.7% accuracy (Kappa de 0.63) in the task of deciding whether or not a given English noun phrase requires an article. If implemented in the dimension of grammatical errors of the above mentioned rubric, it can be used to give users feedback on their errors. As regards the task of detecting well-written abstracts, we have resorted to methods which have been successfully adopted to evaluate quality of essays and some preliminary tests have been carried out. However, our results are not yet satisfactory since they are not much above the baseline. Despite this drawback, we believe this study proves relevant since in addition to offering some of the necessary tools, it provides some fundamental guidelines towards the automatic evaluation of the quality of texts

La selección de textos es una de las responsabilidades principales de los profesores dentro del planeamiento del orden de exposición a textos para sus alumnos. Debido a la gran cantidad de textos disponibles y la diversidad de géneros y temas, esta tarea demanda mucho tiempo y está ligada a aspectos subjetivos del evaluador. Esto es un problema, sobre el cual proponemos una alternativa de automatización. Se toma como proyecto la implementación de una herramienta de análisis y clasificación de complejidad de tetos en español. Con ello se busca brindar una alternativa automatizada al problema de escalabilidad en complejidad de textos. Esto se refiere a la necesidad de tener un orden de textos evaluados por complejidad. Para ello evaluamos la complejidad utilizando las métricas de Coh-Metrix adaptadas al español. Este conjunto de métricas evalúa textos en inglés de acuerdo a los estudios de coherencia y cohesión que los autores de Coh-Metrix desarrollaron. En base a esta adatapación de Coh-Metrix se desarrolló un clasificador basado en técnicas de aprenizaje de máquina y un conjunto de textos en español conformado por fábulas y cuentos previamente clasificados. Finalmente estos componentes fueron unidos en una herraamienta web para la accesibilidad pública de la herramienta desarrollada. / Tesis

Los sistemas de corrección usan como principio la lingüística computacional. En este contexto, un computador realiza un análisis ortográfico de los caracteres reconocidos por un OCR (Optical Chapter Recognition). Un OCR es un software que extraen de una imagen los caracteres que componen un texto para almacenarlos en un formato con el cual puedan interactuar programas de edición de texto. El rendimiento de los sistemas de reconocimiento de caracteres es bajo cuando se trata de digitalizar documentos deteriorados debido a las manchas y otros factores que evitan que se reconozcan las palabras del texto original. Antes este problema, lo que se propone en esta tesis es la implementación de un sistema de corrección ortográfica a la salida del OCR, que permitirá mejorar su eficiencia al momento de reconocimiento del caracteres. De esta manera la digitalización de los documentos históricos podrá garantizar una calidad óptima. El sistema de corrección de ortográfica se basa en la búsqueda de patrones dentro de un texto. Esta búsqueda trata de encontrar todas las coincidencias de un patrón dentro de un texto, teniendo en consideración que la coincidencia de patrón con el texto puede tener un número limitado de diferencias. Este problema tiene aplicaciones en recuperación de información, biología computacional y procesamiento de señales, entre otras. Como conclusión principal se obtiene que con el modelo de corrección basado en la búsqueda de patrones se alcanza un rendimiento de 80%, además el tiempo de procesamiento requerido para analizar una palabra es de tan solo 0.1seg lo cual refleja un alto rendimiento. Con esto, podemos concluir también que la metodología desarrollada para realizar la corrección de las palabras es una buena opción para este objetivo. / Tesis

En el Perú existen diversas lenguas originarias como el shipibo-konibo, asháninka, el kakataibo, entre otras [Rivera, 2001]. Estas lenguas se caracterizan porque son transmitidas a través de cuentos, poesía y otros medios orales de generación en generación por lo que la forma de aprender la lengua es variada. Esto provoca que haya diferencia en la forma de escribir entre las comunidades, incluso entre personas de una misma comunidad [Aikman, 1999]. Por esta razón, los textos que se escribieron en estas lenguas, como el shipibo-konibo, no dispusieron de un estándar ortográfico del cual guiarse, además que no tenían una necesidad de seguirlo. Sin embargo, gracias al apoyo del gobierno para impulsar la inclusión social, se implementó el programa “Incluir para crecer” [Jara Males, Gonzales Acer, 2015] que establece que la enseñanza en los niveles de primaria y secundaria de zonas rurales debe ser enseñada en la lengua originaria del lugar además del español. Por lo que se genera una necesidad de recursos para la enseñanza ya que se presenta una deficiencia en la ortografía por la variedad de enseñanza de manera oral. Además se realizó una encuesta a nivel nacional [Ministerio de educación del Perú, 2013] que indica que en el país se ha incrementado el uso de las tecnologías en la educación. De manera que los alumnos podrían mejorar su rendimiento con ayuda de la tecnología, si es que esta contase con recursos computacionales adecuados, logrando así tener un impacto positivo. Por lo descrito previamente, en este proyecto se afronta el problema de la carencia de apoyo y escases de recursos en la corrección ortográfica entre los hablantes de lenguas originarias en el Perú mediante la implementación un corrector ortográfico, utilizable desde una aplicación web. Para tener acceso al corrector y conseguir mayor difusión, se desarrollan servicios que son consumidos en la aplicación web, en la cual se integra el corrector ortográfico y un módulo de sugerencias al usuario. / Tesis

Desde que el Ministerio de Educación oficializó el alfabeto shipibo-konibo, existe la necesidad de generar una gran cantidad de documentos educativos y oficiales para los hablantes de esta lengua, los cuales solo se realizan actualmente mediante el apoyo de traductores o personas bilingües. Sin embargo, en el campo de la lingüística computacional existen herramientas que permiten facilitar estas labores, como es el caso de un lematizador, el cual se encarga de obtener el lema o forma base de una palabra a partir de su forma flexionada. Su realización se da comúnmente mediante dos métodos: el uso de reglas morfológicas y el uso de diccionarios. Debido a esto, este proyecto tiene como objetivo principal desarrollar una herramienta de lematización para el shipibo-konibo usando un corpus de palabras, la cual se base en los estándares de anotación utilizados en otras lenguas, y que sea fácil de utilizar mediante una librería de funciones y un servicio web. Esta herramienta final se realizó utilizando principalmente el método de clasificación de los k-vecinos más cercanos, el cual permite estimar la clase de un nuevo caso mediante la comparación de sus características con las de casos previamente clasificados y dando como resultado la clase más frecuente para valores similares. Finalmente, la herramienta de lematización desarrollada logró alcanzar una precisión de 0.736 y de esta manera superar a herramientas utilizadas en otros idiomas. / Tesis

Problemas com a escrita podem afetar o desempenho de profissionais de maneira marcante, principalmente no caso de cientistas e acadêmicos que precisam escrever com proficiência e desembaraço não somente na língua materna, mas principalmente em inglês. Durante os últimos anos, ferramentas de suporte à escrita, algumas com enfoque em textos científicos, como o AMADEUS e o SciPo foram desenvolvidas e têm auxiliado pesquisadores na divulgação de suas pesquisas. Entretanto, a criação dessas ferramentas é baseada em córpus, sendo muito custosa, pois implica em selecionar textos bem escritos, além de segmentá-los de acordo com sua estrutura esquemática. Nesse mestrado estudamos, avaliamos e implementamos métodos de detecção automática da estrutura esquemática e de avaliação automática da qualidade de escrita de resumos científicos em inglês. Investigamos o uso de tais métodos para possibilitar o desenvolvimento de dois tipos de ferramentas: de detecção de bons resumos e de crítica. Nossa abordagem é baseada em córpus e em aprendizado de máquina supervisionado. Desenvolvemos um detector automático da estrutura esquemática, que chamamos de AZEA, com taxa de acerto de 80,4% eKappa de 0,73, superiores ao estado da arte (acerto de 73%, Kappa de 0,65). Experimentamos várias combinações de algoritmos, atributos e diferentes seções de um artigo científicos. Utilizamos o AZEA na implementação de duas dimensões de uma rubrica para o gênero científico, composta de 7 dimensões, e construímos e disponibilizamos uma ferramenta de crítica da estrutura de um resumo. Um detector de erros de uso de artigo também foi desenvolvido, com precisão é de 83,7% (Kappa de 0,63) para a tarefa de decidir entre omitir ou não um artigo, com enfoque no feedback ao usuário e como parte da implementação da dimensão de erros gramaticais da rubrica. Na tarefa de detectar bons resumos, utilizamos métodos usados com sucesso na avaliação automática da qualidade de escrita de redações com as implementações da rubrica e realizamos experimentos iniciais, ainda com resultados fracos, próximos à baseline. Embora não tenhamos construído um bom avaliador automático da qualidade de escrita, acreditamos que este trabalho indica direções para atingir esta meta, e forneça algumas das ferramentas necessárias / Poor writing may have serious implications for a professional\'s career. This is even more serious in the case of scientists and academics whose job requires fluency and proficiency in their mother tongue as well as in English. This is why a number of writing tools have been developed in order to assist researchers to promote their work. Here, we are particularly interested in tools, such as AMADEUS and SciPo, which focus on scientific writing. AMADEUS and SciPo are corpus-based tools and hence they rely on corpus compilation which is by no means an easy task. In addition to the dificult task of selecting well-written texts, it also requires segmenting these texts according to their schematic structure. The present dissertation aims to investigate, evaluate and implement some methods to automatically detect the schematic structure of English abstracts and to automatically evaluate their quality. These methods have been examined with a view to enabling the development of two types of tools, namely: detection of well-written abstracts and a critique tool. For automatically detecting schematic structures, we have developed a tool, named AZEA, which adopts a corpus-based, supervised machine learning approach. AZEA reaches 80.4% accuracy and Kappa of 0.73, which is above the highest rates reported in the literature so far (73% accuracy and Kappa of 0.65). We have tested a number of different combinations of algorithms, features and different paper sections. AZEA has been used to implement two out of seven dimensions of a rubric for analyzing scientific papers. A critique tool for evaluating the structure of abstracts has also been developed and made available. In addition, our work also includes the development of a classifier for identifying errors related to English article usage. This classifier reaches 83.7% accuracy (Kappa de 0.63) in the task of deciding whether or not a given English noun phrase requires an article. If implemented in the dimension of grammatical errors of the above mentioned rubric, it can be used to give users feedback on their errors. As regards the task of detecting well-written abstracts, we have resorted to methods which have been successfully adopted to evaluate quality of essays and some preliminary tests have been carried out. However, our results are not yet satisfactory since they are not much above the baseline. Despite this drawback, we believe this study proves relevant since in addition to offering some of the necessary tools, it provides some fundamental guidelines towards the automatic evaluation of the quality of texts

Publicación a texto completo no autorizada por el autor / Presenta los fundamentos metodológicos del uso de lenguajes probabilistas para identificar sitios web más relevantes o visitados. Representa las sesiones web mediante grafos y gramáticas libres de contexto probabilísticos, de tal forma que las sesiones que tengan mayor probabilidad son consideradas las más visitadas o más preferidas, por tanto las más relevantes en relación a un tópico determinado. Realiza la especificación de una herramienta para el procesamiento de sesiones web obtenidas a partir del log de servidor representado mediante gramáticas probabilistas libres de contexto. / Tesis

O objetivo central do projeto foi investigar a questão do acento no português brasileiro por meio do uso de ferramentas computacionais, a fim de encontrar possíveis relações entre traços segmentais, prosódicos ou morfológicos com o acento. Tal análise foi realizada a partir do estudo crítico das principais soluções propostas para a questão advindas da Fonologia Teórica. Isso foi considerado o primeiro passo para desenvolver uma abordagem que traga inovação para a área. A discussão teórica foi concluída com a implementação de algoritmos que representam modelizações das propostas para o tratamento da questão do acento. Estas foram, posteriormente, testadas em corpora relevantes do português com o objetivo de analisar tanto os casos considerados como padrão pelas propostas, quanto aqueles que são considerados exceções ao comportamento do idioma. Simultaneamente, foi desenvolvido um corpus anotado de palavras acentuadas do português brasileiro, a partir do qual foram implementados os dois grupos de modelos de natureza probabilística que formam o quadro de abordagens desenhado pelo projeto. O primeiro grupo se baseia na noção de N-gramas, em que a atribuição de acento a uma palavra ocorre a partir da probabilidade das cadeias de tamanho \" que a compõem, configurando-se, assim, um modelo que enxerga padrões simples de coocorrência e que é computacionalmente eficiente. O segundo grupo de modelos foi chamado de classificador bayesiano ingênuo, que é uma abordagem probabilística mais sofisticada e exigente em termos de corpus e que leva em consideração um vetor de traços a serem definidos para, no caso, atribuir o acento de uma palavra. Esses traços englobaram tanto características morfológicas, quanto prosódicas e segmentais das palavras. / The main goal of this project was to provide insight into the behavior of stress patterns of Brazilian Portuguese using computational tools in order to find eventual relationships between segmental, prosodic or morphologic features and word stress. Such analysis was based on a critical reading of some of the main proposals from theoretical phonology regarding the matter. This was considered the first step towards an innovative approach for this field of research. Such discussion was concluded by implementing algorithms representing models of the theoretical proposals for treating the behavior of stress. Afterward, those solutions were tested in relevant corpora of Portuguese aiming to analyze both the words which fell inside what was considered standard and the words that should be considered exceptions to the typical behavior in the language. Simultaneously, a noted corpus of Brazilian Portuguese words was compiled, from which were implemented both groups of models that have probabilistic nature that completes the frame of approaches drawn from this project. The first group is composed of models based on the notion of N-grams, in which the attribution of stress to a word happens based on the probability attributed to the `n\' sized chains that compose this word, which results in a model that is sensitive to patterns of co-occurrence and computationally efficient. The second group of models is called Naive Bayes Classifier, which is a more sophisticated probabilistic approach that is more corpus demanding, this approach takes into account a vector of features that was defined in order to attribute stress to a word. Those features were morphological, prosodic and segmental characteristics of the words.

No description available.

O objetivo central do projeto foi investigar a questão do acento no português brasileiro por meio do uso de ferramentas computacionais, a fim de encontrar possíveis relações entre traços segmentais, prosódicos ou morfológicos com o acento. Tal análise foi realizada a partir do estudo crítico das principais soluções propostas para a questão advindas da Fonologia Teórica. Isso foi considerado o primeiro passo para desenvolver uma abordagem que traga inovação para a área. A discussão teórica foi concluída com a implementação de algoritmos que representam modelizações das propostas para o tratamento da questão do acento. Estas foram, posteriormente, testadas em corpora relevantes do português com o objetivo de analisar tanto os casos considerados como padrão pelas propostas, quanto aqueles que são considerados exceções ao comportamento do idioma. Simultaneamente, foi desenvolvido um corpus anotado de palavras acentuadas do português brasileiro, a partir do qual foram implementados os dois grupos de modelos de natureza probabilística que formam o quadro de abordagens desenhado pelo projeto. O primeiro grupo se baseia na noção de N-gramas, em que a atribuição de acento a uma palavra ocorre a partir da probabilidade das cadeias de tamanho \" que a compõem, configurando-se, assim, um modelo que enxerga padrões simples de coocorrência e que é computacionalmente eficiente. O segundo grupo de modelos foi chamado de classificador bayesiano ingênuo, que é uma abordagem probabilística mais sofisticada e exigente em termos de corpus e que leva em consideração um vetor de traços a serem definidos para, no caso, atribuir o acento de uma palavra. Esses traços englobaram tanto características morfológicas, quanto prosódicas e segmentais das palavras. / The main goal of this project was to provide insight into the behavior of stress patterns of Brazilian Portuguese using computational tools in order to find eventual relationships between segmental, prosodic or morphologic features and word stress. Such analysis was based on a critical reading of some of the main proposals from theoretical phonology regarding the matter. This was considered the first step towards an innovative approach for this field of research. Such discussion was concluded by implementing algorithms representing models of the theoretical proposals for treating the behavior of stress. Afterward, those solutions were tested in relevant corpora of Portuguese aiming to analyze both the words which fell inside what was considered standard and the words that should be considered exceptions to the typical behavior in the language. Simultaneously, a noted corpus of Brazilian Portuguese words was compiled, from which were implemented both groups of models that have probabilistic nature that completes the frame of approaches drawn from this project. The first group is composed of models based on the notion of N-grams, in which the attribution of stress to a word happens based on the probability attributed to the `n\' sized chains that compose this word, which results in a model that is sensitive to patterns of co-occurrence and computationally efficient. The second group of models is called Naive Bayes Classifier, which is a more sophisticated probabilistic approach that is more corpus demanding, this approach takes into account a vector of features that was defined in order to attribute stress to a word. Those features were morphological, prosodic and segmental characteristics of the words.