[pt] A tarefa de resolução de correferência consiste em identificar e agrupar
trechos de um texto de acordo com as entidades do mundo real a que se
referem. Apesar de já ter sido abordada em outras conferências, a CoNLL
de 2012 é um marco pela qualidade das bases de dados, das métricas e
das soluções apresentadas. Naquela edição, o modelo vencedor utilizou um
perceptron estruturado para otimizar uma árvore latente de antecedentes,
atingindo a pontuação de 63.4 na métrica oficial para o dataset de teste em
inglês. Nos anos seguintes, as bases e métricas apresentadas na conferência
se tornaram o benchmark para a tarefa de correferência. Com novas técnicas
de aprendizado de máquina desenvolvidas, soluções mais elaboradas foram
apresentadas. A utilização de redes neurais rasas atingiu a pontuação de 68.8;
a adição de representação contextual elevou o estado da arte para 73.0; redes
neurais profundas melhoraram o baseline para 76.9 e o estado da arte atual,
que é uma combinação de várias dessas técnicas, está em 79.6. Neste trabalho
é apresentado uma análise de como as técnicas de representação de palavras
Bag of Words, GloVe, BERT e SpanBERT utilizadas com árvores latentes de
antecedentes se comparam com o modelo original de 2012. O melhor modelo
encontrado foi o que utiliza SpanBERT com uma margem muito larga, o qual
atingiu pontuação de 61.3 na métrica da CoNLL 2012, utilizando o dataset
de teste. Com estes resultados, mostramos que é possível utilizar técnicas
avançadas em estruturas mais simples e ainda obter resultados competitivos
na tarefa de correferência. Além disso, melhoramos a performance de um
framework de código aberto para correferência, a fim de contemplar soluções
com maior demanda de memória e processamento. / [en] The coreference resolution task consists of to identify and group spans of
text related to the same real-world entity. Although it has been approached
in other conferences, the 2012 CoNLL is a milestone due to the improvement
in the quality of its dataset, metrics, and the presented solutions. In that
edition, the winning model used a structured perceptron to optimize an
antecedent latent tree, achieving 63.4 on the official metric for the English
test dataset. During the following years, the metrics and dataset presented
in that conference became the benchmark for the coreference task. With new
machine learning techniques, more elaborated solutions were presented. The
use of shallow neural networks achieved 68.8; adding contextual representation
raised the state-of-the-art to 73.0; deep neural networks improved the baseline
to 76.9 and the current state-of-the-art, which is a combination of many of
these techniques, is at 79.6. This work presents an analysis of how the word
embedding mechanisms Bag of Words, GloVe, BERT and SpanBERT, used
with antecedent latent trees, are compared to the original model of 2012. The
best model found used SpanBERT with a very large margin, achieving 61.3 in
the CoNLL 2012 metric using the test dataset. With these results, we show
that it is possible to use advanced techniques in simpler structures and still
achieve competitive results in the coreference task. Besides that, we improved
the performance of an open source framework for coreference, so it can manage
solution that demand more memory and processing.
| Identifer | oai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:51292 |
| Date | 19 January 2021 |
| Creators | LEONARDO BARBOSA DE OLIVEIRA |
| Contributors | SERGIO COLCHER |
| Publisher | MAXWELL |
| Source Sets | PUC Rio |
| Language | Portuguese |
| Detected Language | English |
| Type | TEXTO |
Page generated in 0.1513 seconds