[pt] Rotular as classes gramaticais ao longo de uma sentença - part-ofspeech
tagging - é uma das primeiras tarefas de processamento de linguagem
natural, fornecendo atributos importantes para realizar tarefas de alta complexidade.
A representação de texto a nível de palavra tem sido amplamente
adotada, tanto através de uma codificação esparsa convencional, e.g. bagofwords; quanto por uma representação distribuída, como os sofisticados
modelos de word-embedding usados para descrever informações sintáticas e
semânticas. Um problema importante desse tipo de codificação é a carência
de aspectos morfológicos. Além disso, os sistemas atuais apresentam uma
precisão por token em torno de 97 por cento. Contudo, quando avaliados por sentença,
apresentam um resultado mais modesto com uma taxa de acerto em
torno de 55−57 por cento. Neste trabalho, nós demonstramos como utilizar n-grams
para derivar automaticamente atributos esparsos e morfológicos para processamento
de texto. Essa representação permite que redes neurais realizem
a tarefa de POS-Tagging a partir de uma representação a nível de caractere.
Além disso, introduzimos uma estratégia de regularização capaz de
selecionar atributos específicos para cada neurônio. A utilização de regularização
embutida em nossos modelos produz duas variantes. A primeira
compartilha os n-grams selecionados globalmente entre todos os neurônios
de uma camada; enquanto que a segunda opera uma seleção individual para
cada neurônio, de forma que cada neurônio é sensível apenas aos n-grams
que mais o estimulam. Utilizando a abordagem apresentada, nós geramos
uma alta quantidade de características que representam afeições morfossintáticas
relevantes baseadas a nível de caractere. Nosso POS tagger atinge a
acurácia de 96, 67 por cento no corpus Mac-Morpho para o Português. / [en] Part-of-speech tagging is one of the primary stages in natural language
processing, providing useful features for performing higher complexity
tasks. Word level representations have been largely adopted, either through
a conventional sparse codification, such as bag-of-words, or through a distributed
representation, like the sophisticated word embedded models used
to describe syntactic and semantic information. A central issue on these
codifications is the lack of morphological aspects. In addition, recent taggers
present per-token accuracies around 97 percent. However, when using a persentence
metric, the good taggers show modest accuracies, scoring around
55-57 percent. In this work, we demonstrate how to use n-grams to automatically
derive morphological sparse features for text processing. This representation
allows neural networks to perform POS tagging from a character-level input.
Additionally, we introduce a regularization strategy capable of selecting
specific features for each layer unit. As a result, regarding n-grams selection,
using the embedded regularization in our models produces two variants. The
first one shares globally selected features among all layer units, whereas the
second operates individual selections for each layer unit, so that each unit
is sensible only to the n-grams that better stimulate it. Using the proposed
approach, we generate a high number of features which represent relevant
morphosyntactic affection based on a character-level input. Our POS tagger
achieves the accuracy of 96.67 percent in the Mac-Morpho corpus for Portuguese.
| Identifer | oai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:28461 |
| Date | 20 December 2016 |
| Creators | EDUARDO DE JESUS COELHO REIS |
| Contributors | RUY LUIZ MILIDIU |
| Publisher | MAXWELL |
| Source Sets | PUC Rio |
| Language | Portuguese |
| Detected Language | English |
| Type | TEXTO |
Page generated in 0.0025 seconds