1 |
[pt] SUMARIZAÇÃO AUTOMÁTICA DE MULTIPLAS AVALIAÇÕES UTILIZANDO AJUSTE FINO DE MODELOS DE LINGUAGEM TRANSFORMERS / [en] UNSUPERVISED MULTI-REVIEW SUMMARIZATION USING FINE-TUNED TRANSFORMER LANGUAGE MODELSLUCAS ROBERTO DA SILVA 05 July 2021 (has links)
[pt] Sumarização automática é a tarefa de gerar resumos concisos, corretos e
com consistência factual. A tarefa pode ser aplicada a diversos estilos textuais,
dentre eles notícias, publicações acadêmicas e avaliações de produtos ou
lugares. A presente dissertação aborda a sumarização de múltiplas avaliações.
Esse tipo de aplicação se destaca por sua natureza não supervisionada e
pela necessidade de lidar com a redundância das informações presentes nas
avaliações. Os trabalhos de sumarização automática são avaliados utilizando
a métrica ROUGE, que se baseia na comparação de n-gramas entre o texto
de referência e o resumo gerado. A falta de dados supervisionados motivou a
criação da arquitetura MeanSum, que foi a primeira arquitetura de rede neural
baseada em um modelo não supervisionado para essa tarefa. Ela é baseada
em auto-encoder e foi estendida por outros trabalhos, porém nenhum deles
apresentou os efeitos do uso do mecanismo de atenção e tarefas auxiliares
durante o treinamento do modelo. O presente trabalho é dividido em duas
etapas. A primeira trata de um experimento no qual extensões à arquitetura
do MeanSum foram propostas para acomodar mecanismos de atenção e tarefas
auxiliares de classificação de sentimento. Ainda nessa etapa, explora-se o
uso de dados sintéticos para adaptar modelos supervisionados a tarefas não
supervisionadas. Na segunda etapa, os resultados obtidos anteriormente foram
utilizados para realizar um estudo sobre o uso de ajuste fino (fine-tuning)
de modelos de linguagem Transformers pré-treinados. A utilização desses
modelos mostrou ser uma alternativa promissora para enfrentar a natureza não
supervisionada do problema, apresentando um desempenho de + 4 ROUGE
quando comparado a trabalhos anteriores. / [en] Automatic summarization is the task of generating concise, correct, and
factual summaries. The task can be applied to different textual styles, including
news, academic publications, and product or place reviews. This dissertation
addresses the summary of multiple evaluations. This type of application stands
out for its unsupervised nature and the need to deal with the redundancy of
the information present in the reviews. The automatic summarization works
are evaluated using the ROUGE metric, which is based on the comparison of
n-grans between the reference text and the generated summary. The lack of
supervised data motivated the creation of the MeanSum architecture, which
was the first neural network architecture based on an unsupervised model for
this task. It is based on auto-encoder and has been extended to other works,
but none explored the effects of using the attention mechanism and auxiliary
tasks during training. The present work is divided into two parts: the first deals
with an experiment in which we make extensions to the MeanSum architecture,
adding attention mechanisms and auxiliary sentiment classification tasks. In
the same experiment, we explore synthetic data to adapt supervised models
for unsupervised tasks. In the second part, we used the results previously
obtained to carry out a second study on fine-tuning pre-trained Transformer
language models. The use of these models showed a promising alternative to
the unsupervised nature of the problem, outperforming previous works by +
4 ROUGE.
|
2 |
[en] SUMARIZATION OF HEALTH SCIENCE PAPERS IN PORTUGUESE / [pt] SUMARIZAÇÃO DE ARTIGOS CIENTÍFICOS EM PORTUGUÊS NO DOMÍNIO DA SAÚDEDAYSON NYWTON C R DO NASCIMENTO 30 October 2023 (has links)
[pt] Neste trabalho, apresentamos um estudo sobre o fine-tuning de um LLM
(Modelo de Linguagem Amplo ou Large Language Model) pré-treinado para a
sumarização abstrativa de textos longos em português. Para isso, construímos
um corpus contendo uma coleção de 7.450 artigos científicos na área de Ciências
da Saúde em português. Utilizamos esse corpus para o fine-tuning do modelo
BERT pré-treinado para o português brasileiro (BERTimbau). Em condições
semelhantes, também treinamos um segundo modelo baseado em Memória
de Longo Prazo e Recorrência (LSTM) do zero, para fins de comparação.
Nossa avaliação mostrou que o modelo ajustado obteve pontuações ROUGE
mais altas, superando o modelo baseado em LSTM em 30 pontos no F1-score.
O fine-tuning do modelo pré-treinado também se destaca em uma avaliação
qualitativa feita por avaliadores a ponto de gerar a percepção de que os resumos
gerados poderiam ter sido criados por humanos em uma coleção de documentos
específicos do domínio das Ciências da Saúde. / [en] In this work, we present a study on the fine-tuning of a pre-trained Large
Language Model for abstractive summarization of long texts in Portuguese. To
do so, we built a corpus gathering a collection of 7,450 public Health Sciences
papers in Portuguese. We fine-tuned a pre-trained BERT model for Brazilian
Portuguese (the BERTimbau) with this corpus. In a similar condition, we also
trained a second model based on Long Short-Term Memory (LSTM) from
scratch for comparison purposes. Our evaluation showed that the fine-tuned
model achieved higher ROUGE scores, outperforming the LSTM based by 30
points for F1-score. The fine-tuning of the pre-trained model also stands out in
a qualitative evaluation performed by assessors, to the point of generating the
perception that the generated summaries could have been created by humans
in a specific collection of documents in the Health Sciences domain.
|
Page generated in 0.0368 seconds