[pt] Utilizar representações fornecidas por um grande modelo pré-treinado
tornou-se a principal estratégia para alcançar o estado da arte nas mais variadas
tarefas. Um grande modelo pré-treinado recentemente proposto, wav2vec
2.0, foi seminal para vários outros trabalhos sobre pré-treinamento de grandes
modelos em dados de fala. Muitos modelos estão sendo pré-treinados usando a
mesma arquitetura baseada em transformer que o wav2vec 2.0 e estão obtendo
o estado da arte em várias tarefas relacionadas à fala. No entanto, poucos trabalhos
propuseram maiores análises sobre o comportamento desses modelos
em diferentes cenários de fine-tuning. Nosso trabalho visa analisar esse modelo
sobre dois aspectos diferentes. O primeiro é sobre a transferibilidade entre línguas
desses modelos. Nossos experimentos nos mostraram que o tamanho dos
dados usados durante o pré-treinamento desses modelos não é tão crucial para
a transferibilidade quanto a diversidade. Percebemos que o desempenho das
línguas indo-europeias é superior ao das línguas não indo-europeias nos modelos
avaliados. Vimos uma transferência positiva de conhecimento entre línguas
usando modelos monolinguais, o que foi percebido em todos os idiomas que usamos,
mas foi mais evidente quando o idioma usado durante o pré-treinamento
era mais semelhante ao idioma do fine-tuning. O segundo aspecto que investigamos
em nosso trabalho é quão bem esses modelos se comportam em cenários
de desbalanceamento de dados, onde há um subconjunto mais representativo
no conjunto de dados do fine-tuning. Nossos resultados mostraram que o desbalanceamento
dos dados no fine-tuning geralmente afeta o resultado final dos modelos, com melhor desempenho nos subconjuntos mais representativos. No entanto, uma maior variabilidade no conjunto de treinamento favorece o desempenhodo modelo para um subconjunto mais representativo. Porém essamaior variabilidade nos dados não favoreceu os idiomas não vistos durante o treinamento. Observamos também que os modelos parecem mais robustos em lidar com o desbalanceamento de gênero do que idade ou sotaque. Com esses achados, esperamos ajudar a comunidade científica na utilização de modelos pré-treinados existentes, bem como auxiliar no pré-treinamento de novosmodelos. / [en] Using representations given by a large pre-trained model has become
the primary strategy to reach the state-of-the-art in the most varied tasks. A
recently proposed large pre-trained model, wav2vec 2.0, was seminal for several
other works on pre-training large models on speech data. Many models are
being pre-trained using the same transformer-based architecture as wav2vec
2.0 and are getting state-of-the-art in various speech-related tasks. However,
few works have proposed further analysis of these models in different finetuning
scenarios. Our work investigates these models concerning two different
aspects. The first is about the cross-lingual transferability of these models. Our
experiments showed us that the size of data used during the pre-training of
these models is not as crucial to the transferability as the diversity. We noticed
that the performance of Indo-European languages is superior to non-Indo-
European languages in the evaluated models. We have seen a positive crosslingual
transfer of knowledge using monolingual models, which was noticed
in all the languages we used but was more evident when the language used
during the pre-training was more similar to the downstream task language. The
second aspect we investigated in our work is how well these models perform
in data imbalance scenarios, where there is a more representative subset in
the fine-tuning dataset. Our results showed that data imbalance in fine-tuning
generally affects the final result of the models, with better performance in
the most representative subsets. However, greater variability in the training
set favors model performance for a more representative subset. Nevertheless,
this greater variability in the data did not favor languages not seen during
training. We also observed that the models seem more robust in dealing with
gender imbalance than age or accent. With these findings, we hope to help the
scientific community in the use of existing pre-trained models, as well as assist
in the pre-training of new models.
| Identifer | oai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:61086 |
| Date | 04 November 2022 |
| Creators | JONATAS DOS SANTOS GROSMAN |
| Contributors | HELIO CORTES VIEIRA LOPES |
| Publisher | MAXWELL |
| Source Sets | PUC Rio |
| Language | English |
| Detected Language | Portuguese |
| Type | TEXTO |
Page generated in 0.0023 seconds