1 |
[pt] SUMARIZAÇÃO AUTOMÁTICA DE MULTIPLAS AVALIAÇÕES UTILIZANDO AJUSTE FINO DE MODELOS DE LINGUAGEM TRANSFORMERS / [en] UNSUPERVISED MULTI-REVIEW SUMMARIZATION USING FINE-TUNED TRANSFORMER LANGUAGE MODELSLUCAS ROBERTO DA SILVA 05 July 2021 (has links)
[pt] Sumarização automática é a tarefa de gerar resumos concisos, corretos e
com consistência factual. A tarefa pode ser aplicada a diversos estilos textuais,
dentre eles notícias, publicações acadêmicas e avaliações de produtos ou
lugares. A presente dissertação aborda a sumarização de múltiplas avaliações.
Esse tipo de aplicação se destaca por sua natureza não supervisionada e
pela necessidade de lidar com a redundância das informações presentes nas
avaliações. Os trabalhos de sumarização automática são avaliados utilizando
a métrica ROUGE, que se baseia na comparação de n-gramas entre o texto
de referência e o resumo gerado. A falta de dados supervisionados motivou a
criação da arquitetura MeanSum, que foi a primeira arquitetura de rede neural
baseada em um modelo não supervisionado para essa tarefa. Ela é baseada
em auto-encoder e foi estendida por outros trabalhos, porém nenhum deles
apresentou os efeitos do uso do mecanismo de atenção e tarefas auxiliares
durante o treinamento do modelo. O presente trabalho é dividido em duas
etapas. A primeira trata de um experimento no qual extensões à arquitetura
do MeanSum foram propostas para acomodar mecanismos de atenção e tarefas
auxiliares de classificação de sentimento. Ainda nessa etapa, explora-se o
uso de dados sintéticos para adaptar modelos supervisionados a tarefas não
supervisionadas. Na segunda etapa, os resultados obtidos anteriormente foram
utilizados para realizar um estudo sobre o uso de ajuste fino (fine-tuning)
de modelos de linguagem Transformers pré-treinados. A utilização desses
modelos mostrou ser uma alternativa promissora para enfrentar a natureza não
supervisionada do problema, apresentando um desempenho de + 4 ROUGE
quando comparado a trabalhos anteriores. / [en] Automatic summarization is the task of generating concise, correct, and
factual summaries. The task can be applied to different textual styles, including
news, academic publications, and product or place reviews. This dissertation
addresses the summary of multiple evaluations. This type of application stands
out for its unsupervised nature and the need to deal with the redundancy of
the information present in the reviews. The automatic summarization works
are evaluated using the ROUGE metric, which is based on the comparison of
n-grans between the reference text and the generated summary. The lack of
supervised data motivated the creation of the MeanSum architecture, which
was the first neural network architecture based on an unsupervised model for
this task. It is based on auto-encoder and has been extended to other works,
but none explored the effects of using the attention mechanism and auxiliary
tasks during training. The present work is divided into two parts: the first deals
with an experiment in which we make extensions to the MeanSum architecture,
adding attention mechanisms and auxiliary sentiment classification tasks. In
the same experiment, we explore synthetic data to adapt supervised models
for unsupervised tasks. In the second part, we used the results previously
obtained to carry out a second study on fine-tuning pre-trained Transformer
language models. The use of these models showed a promising alternative to
the unsupervised nature of the problem, outperforming previous works by +
4 ROUGE.
|
2 |
[en] ASSESSMENT OF FINE-TUNING ON END-TO-END SPEECH RECOGNITION MODELS / [pt] AVALIAÇÃO DE AJUSTE FINO EM MODELOS DE PONTA A PONTA PARA RECONHECIMENTO DE FALAJONATAS DOS SANTOS GROSMAN 04 November 2022 (has links)
[pt] Utilizar representações fornecidas por um grande modelo pré-treinado
tornou-se a principal estratégia para alcançar o estado da arte nas mais variadas
tarefas. Um grande modelo pré-treinado recentemente proposto, wav2vec
2.0, foi seminal para vários outros trabalhos sobre pré-treinamento de grandes
modelos em dados de fala. Muitos modelos estão sendo pré-treinados usando a
mesma arquitetura baseada em transformer que o wav2vec 2.0 e estão obtendo
o estado da arte em várias tarefas relacionadas à fala. No entanto, poucos trabalhos
propuseram maiores análises sobre o comportamento desses modelos
em diferentes cenários de fine-tuning. Nosso trabalho visa analisar esse modelo
sobre dois aspectos diferentes. O primeiro é sobre a transferibilidade entre línguas
desses modelos. Nossos experimentos nos mostraram que o tamanho dos
dados usados durante o pré-treinamento desses modelos não é tão crucial para
a transferibilidade quanto a diversidade. Percebemos que o desempenho das
línguas indo-europeias é superior ao das línguas não indo-europeias nos modelos
avaliados. Vimos uma transferência positiva de conhecimento entre línguas
usando modelos monolinguais, o que foi percebido em todos os idiomas que usamos,
mas foi mais evidente quando o idioma usado durante o pré-treinamento
era mais semelhante ao idioma do fine-tuning. O segundo aspecto que investigamos
em nosso trabalho é quão bem esses modelos se comportam em cenários
de desbalanceamento de dados, onde há um subconjunto mais representativo
no conjunto de dados do fine-tuning. Nossos resultados mostraram que o desbalanceamento
dos dados no fine-tuning geralmente afeta o resultado final dos modelos, com melhor desempenho nos subconjuntos mais representativos. No entanto, uma maior variabilidade no conjunto de treinamento favorece o desempenhodo modelo para um subconjunto mais representativo. Porém essamaior variabilidade nos dados não favoreceu os idiomas não vistos durante o treinamento. Observamos também que os modelos parecem mais robustos em lidar com o desbalanceamento de gênero do que idade ou sotaque. Com esses achados, esperamos ajudar a comunidade científica na utilização de modelos pré-treinados existentes, bem como auxiliar no pré-treinamento de novosmodelos. / [en] Using representations given by a large pre-trained model has become
the primary strategy to reach the state-of-the-art in the most varied tasks. A
recently proposed large pre-trained model, wav2vec 2.0, was seminal for several
other works on pre-training large models on speech data. Many models are
being pre-trained using the same transformer-based architecture as wav2vec
2.0 and are getting state-of-the-art in various speech-related tasks. However,
few works have proposed further analysis of these models in different finetuning
scenarios. Our work investigates these models concerning two different
aspects. The first is about the cross-lingual transferability of these models. Our
experiments showed us that the size of data used during the pre-training of
these models is not as crucial to the transferability as the diversity. We noticed
that the performance of Indo-European languages is superior to non-Indo-
European languages in the evaluated models. We have seen a positive crosslingual
transfer of knowledge using monolingual models, which was noticed
in all the languages we used but was more evident when the language used
during the pre-training was more similar to the downstream task language. The
second aspect we investigated in our work is how well these models perform
in data imbalance scenarios, where there is a more representative subset in
the fine-tuning dataset. Our results showed that data imbalance in fine-tuning
generally affects the final result of the models, with better performance in
the most representative subsets. However, greater variability in the training
set favors model performance for a more representative subset. Nevertheless,
this greater variability in the data did not favor languages not seen during
training. We also observed that the models seem more robust in dealing with
gender imbalance than age or accent. With these findings, we hope to help the
scientific community in the use of existing pre-trained models, as well as assist
in the pre-training of new models.
|
Page generated in 0.0378 seconds