[pt] Aprendizado de estruturas consiste em aprender um mapeamento de variáveis de entrada para saídas estruturadas a partir de exemplos de pares entrada-saída. Vários problemas importantes podem ser modelados desta maneira. O processamento de linguagem natural provê diversas tarefas que podem ser formuladas e solucionadas através do aprendizado de estruturas. Por exemplo, parsing de dependência envolve o reconhecimento de uma árvore implícita em uma frase. Geração de atributos é uma sub-tarefa importante do aprendizado de estruturas. Geralmente, esta sub-tarefa é realizada por um especialista que constrói gabaritos de atributos complexos e discriminativos através da combinação dos atributos básicos disponíveis na entrada. Esta é uma forma limitada e cara para geração de atributos e é reconhecida como um gargalo de modelagem.
Neste trabalho, propomos um método automático para geração de atributos para problemas de aprendizado de estruturas. Este método é guiado por entropia já que é baseado na entropia condicional de variáveis locais de saída dados os atributos básicos. Comparamos experimentalmente o método proposto com dois métodos alternativos para geração de atributos: geração manual e métodos de kernel polinomial. Nossos resultados mostram que o método de geração de atributos guiado por entropia é superior aos dois métodos alternativos em diferentes aspectos. Nosso método é muito mais barato do que o método manual e computacionalmente mais rápido que o método baseado em kernel. Adicionalmente, ele permite o controle do seu poder de generalização mais facilmente do que métodos de kernel.
Nós avaliamos nosso método em nove datasets envolvendo cinco tarefas de linguística computacional e quatro idiomas. Os sistemas desenvolvidos apresentam resultados comparáveis aos melhores sistemas atualmente e, particularmente para etiquetagem morfossintática, identificação de sintagmas, extração de citações e resolução de coreferência, obtêm os melhores resultados conhecidos para diferentes idiomas como Árabe, Chinês, Inglês e Português. Adicionalmente, nosso sistema de resolução de coreferência obteve o primeiro lugar na competição Conference on Computational Natural Language Learning 2012 Shared Task. O sistema vencedor foi determinado pela média de desempenho em três idiomas: Árabe, Chinês e Inglês. Nosso sistema obteve o melhor desempenho nos três idiomas avaliados.
Nosso método de geração de atributos estende naturalmente o framework de aprendizado de estruturas e não está restrito a tarefas de processamento de linguagem natural. / [en] Structure learning consists in learning a mapping from inputs to
structured outputs by means of a sample of correct input-output pairs. Many
important problems fit into this setting. Natural language processing provides
several tasks that can be formulated and solved as structure learning problems.
Dependency parsing, for instance, involves the prediction of a tree underlying
a sentence. Feature generation is an important subtask of structure learning
which, usually, is partially solved by a domain expert that builds complex
discriminative feature templates by conjoining the available basic features.
This is a limited and expensive way to generate features and is recognized as
a modeling bottleneck.
In this work, we propose an automatic feature generation method
for structure learning problems. This method is entropy guided since it
generates complex features based on the conditional entropy of local output
variables given the available input features. We experimentally compare the
proposed method with two important alternative feature generation methods,
namely manual template generation and polynomial kernel methods. Our
experimental findings indicate that the proposed method is more attractive
than both alternatives. It is much cheaper than manual templates and
computationally faster than kernel methods. Additionally, it is simpler to
control its generalization performance than with kernel methods.
We evaluate our method on nine datasets involving five natural
language processing tasks and four languages. The resulting systems present
state-of-the-art comparable performances and, particularly on part-of-speech
tagging, text chunking, quotation extraction and coreference resolution,
remarkably achieve the best known performances on different languages
like Arabic, Chinese, English, and Portuguese. Furthermore, our coreference
resolution systems achieve the very first place on the Conference on
Computational Natural Language Learning 2012 Shared Task. The competing
systems were ranked by the mean score over three languages: Arabic,
Chinese and English. Our approach obtained the best performances among
all competitors for all the three languages.
Our feature generation method naturally extends the general structure
learning framework and is not restricted to natural language processing tasks.
| Identifer | oai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:23812 |
| Date | 17 December 2014 |
| Contributors | RUY LUIZ MILIDIU |
| Publisher | MAXWELL |
| Source Sets | PUC Rio |
| Language | English |
| Detected Language | Portuguese |
| Type | TEXTO |
Page generated in 0.0019 seconds