1 |
[en] TRANSITIONBASED DEPENDENCY PARSING APPLIED ON UNIVERSAL DEPENDENCIES / [pt] ANÁLISE DE DEPENDÊNCIA BASEADA EM TRANSIÇÃO APLICADA A UNIVERSAL DEPENDENCIESCESAR DE SOUZA BOUCAS 11 February 2019 (has links)
[pt] Análise de dependência consiste em obter uma estrutura sintática
correspondente a determinado texto da linguagem natural. Tal estrutura,
usualmente uma árvore de dependência, representa relações hierárquicas
entre palavras. Representação computacionalmente eficiente que vem sendo
utilizada para lidar com desafios que surgem com o crescente volume de
informação textual online. Podendo ser utilizada, por exemplo, para inferir
computacionalmente o significado de palavras das mais diversas línguas.
Este trabalho apresenta a análise de dependência com enfoque em uma de
suas modelagens mais populares em aprendizado de máquina: o método
baseado em transição. Desenvolvemos uma implementação gulosa deste
modelo com um classificador neural simples para executar experimentos.
Datasets da iniciativa Universal Dependencies são utilizados para treinar e
posteriormente testar o sistema com a validação disponibilizada na tarefa
compartilhada da CoNLL-2017. Os resultados mostram empiricamente que
se pode obter ganho de performance inicializando a camada de entrada
da rede neural com uma representação de palavras obtida com pré-treino.
Chegando a uma performance de 84,51 LAS no conjunto de teste da
língua portuguesa do Brasil e 75,19 LAS no conjunto da língua inglesa.
Ficando cerca de 4 pontos atrás da performance do melhor resultado para
analisadores de dependência baseados em sistemas de transição. / [en] Dependency parsing is the task that transforms a sentence into a
syntactic structure, usually a dependency tree, that represents relations
between words. This representations are useful to deal with several tasks
that arises with the increasing volume of textual online information and
the need for technologies that depends on NLP tasks to work. It can be
used, for example, to enable computers to infer the meaning of words
of multiple natural languages. This paper presents dependency parsing
with focus on one of its most popular modeling in machine learning: the
transition-based method. A greedy implementation of this model with
a simple neural network-based classifier is used to perform experiments.
Universal Dependencies treebanks are used to train and then test the system
using the validation script published in the CoNLL-2017 shared task. The
results empirically indicate the benefits of initializing the input layer of the
network with word embeddings obtained through pre-training. It reached
84.51 LAS in the Portuguese of Brazil test set and 75.19 LAS in the English
test set. This result is nearly 4 points behind the performance of the best
results of transition-based parsers.
|
2 |
[pt] APRENDIZADO ESTRUTURADO COM INDUÇÃO E SELEÇÃO INCREMENTAIS DE ATRIBUTOS PARA ANÁLISE DE DEPENDÊNCIA EM PORTUGUÊS / [en] STRUCTURED LEARNING WITH INCREMENTAL FEATURE INDUCTION AND SELECTION FOR PORTUGUESE DEPENDENCY PARSINGYANELY MILANES BARROSO 09 November 2016 (has links)
[pt] O processamento de linguagem natural busca resolver várias tarefas de complexidade crescente que envolvem o aprendizado de estruturas complexas, como grafos e sequências, para um determinado texto. Por exemplo, a análise de dependência envolve o aprendizado de uma árvore que descreve a estrutura sintática de uma sentença dada. Um método amplamente utilizado para melhorar a representação do conhecimento de domínio em esta tarefa é considerar combinações de atributos usando conjunções lógicas que codificam informação útil com um padrão não-linear. O número total de todas as combinações possíveis para uma conjunção dada cresce exponencialmente no número de atributos e pode resultar em intratabilidade computacional. Também, pode levar a overfitting. Neste cenário, uma técnica para evitar o superajuste e reduzir o conjunto de atributos faz-se necessário. Uma abordagem comum para esta tarefa baseia-se em atribuir uma pontuação a uma árvore de dependência, usando uma função linear do conjunto de atributos. Sabe-se que os modelos lineares esparsos resolvem simultaneamente o problema de seleção de atributos e a estimativa de um modelo linear, através da combinação de um pequeno conjunto de atributos. Neste caso, promover a esparsidade ajuda no controle do superajuste e na compactação do conjunto de atributos. Devido a sua exibilidade, robustez e simplicidade, o algoritmo de perceptron é um método linear discriminante amplamente usado que pode ser modificado para produzir modelos esparsos e para lidar com atributos não-lineares. Propomos a aprendizagem incremental da combinação de um modelo linear esparso com um procedimento de indução de variáveis não-lineares, num cénario de predição estruturada. O modelo linear esparso é obtido através de uma modificação do algoritmo perceptron. O método de indução é Entropy-Guided Feature Generation. A avaliação empírica é realizada usando o conjunto de dados para português da CoNLL 2006 Shared Task. O analisador resultante alcança 92,98 por cento de precisão, que é um desempenho competitivo quando comparado com os sistemas de estado- da-arte. Em sua versão regularizada, o analizador alcança uma precisão de 92,83 por cento , também mostra uma redução notável de 96,17 por cento do número de atributos binários e, reduz o tempo de aprendizagem em quase 90 por cento, quando comparado com a sua versão não regularizada. / [en] Natural language processing requires solving several tasks of increasing
complexity, which involve learning to associate structures like graphs and
sequences to a given text. For instance, dependency parsing involves learning
of a tree that describes the dependency-based syntactic structure of a
given sentence. A widely used method to improve domain knowledge
representation in this task is to consider combinations of features, called
templates, which are used to encode useful information with nonlinear
pattern. The total number of all possible feature combinations for a given
template grows exponentialy in the number of features and can result in
computational intractability. Also, from an statistical point of view, it can
lead to overfitting. In this scenario, it is required a technique that avoids
overfitting and that reduces the feature set. A very common approach to
solve this task is based on scoring a parse tree, using a linear function
of a defined set of features. It is well known that sparse linear models
simultaneously address the feature selection problem and the estimation
of a linear model, by combining a small subset of available features. In
this case, sparseness helps control overfitting and performs the selection
of the most informative features, which reduces the feature set. Due to
its
exibility, robustness and simplicity, the perceptron algorithm is one of
the most popular linear discriminant methods used to learn such complex
representations. This algorithm can be modified to produce sparse models
and to handle nonlinear features. We propose the incremental learning of
the combination of a sparse linear model with an induction procedure of
non-linear variables in a structured prediction scenario. The sparse linear
model is obtained through a modifications of the perceptron algorithm. The
induction method is the Entropy-Guided Feature Generation. The empirical
evaluation is performed using the Portuguese Dependency Parsing data set
from the CoNLL 2006 Shared Task. The resulting parser attains 92.98 per cent of
accuracy, which is a competitive performance when compared against the
state-of-art systems. On its regularized version, it accomplishes an accuracy
of 92.83 per cent, shows a striking reduction of 96.17 per cent in the number of binary
features and reduces the learning time in almost 90 per cent, when compared to
its non regularized version.
|
Page generated in 0.0237 seconds