Contexto: Nos últimos anos, o Comprometimento Cognitivo Leve (CCL) tem recebido uma grande atenção, pois pode representar um estágio pré-clínico da Doença de Alzheimer (DA). Em termos de distinção entre idosos saudáveis (CTL) e pacientes com CCL, vários estudos têm mostrado que a produção de discurso é uma tarefa sensível para detectar efeitos de envelhecimento e para diferenciar indivíduos com CCL dos saudáveis. Ferramentas de Processamento de Língua Natural (PLN) têm sido aplicadas em transcrições de narrativas em inglês e também em português brasileiro, por exemplo, o ambiente Coh-Metrix-Dementia. Lacunas: No entanto, a ausência de informações de limites de sentenças e a presença de disfluências em transcrições impedem a aplicação direta de ferramentas que dependem de um texto bem formado, como taggers e parsers. Objetivos: O objetivo principal deste trabalho é desenvolver métodos para segmentar as transcrições em sentenças e detectar/remover as disfluências presentes nelas, de modo que sirvam como uma etapa de pré-processamento para ferramentas subsequentes de PLN. Métodos e Avaliação: Propusemos um método baseado em redes neurais recorrentes convolucionais (RCNNs) com informações prosódicas, morfossintáticas e word embeddings para a tarefa de segmentação de sentenças (SS). Já para a detecção de disfluências (DD), dividimos o método e a avaliação de acordo com as categorias de disfluências: (i) para preenchimentos (pausas preenchidas e marcadores discursivos), propusemos a mesma RCNN com as mesmas features de SS em conjunto com uma lista pré-determinada de palavras; (ii) para disfluências de edição (repetições, revisões e recomeços), adicionamos features tradicionalmente empregadas em trabalhos relacionados e introduzimos um modelo de CRF na camada de saída da RCNN. Avaliamos todas as tarefas intrinsecamente, analisando as features mais importantes, comparando os métodos propostos com métodos mais simples, e identificando os principais acertos e erros. Além disso, um método final, chamado DeepBonDD, foi criado combinando todas as tarefas, e foi avaliado extrinsecamente com 9 métricas sintáticas do Coh-Metrix-Dementia. Conclusão: Para SS, obteve-se F1 = 0:77 em transcrições de CTL e F1 = 0:74 de CCL, caracterizando o estado-da-arte para esta tarefa em fala comprometida. Para detecção de preenchimentos, obtevese em média F1 = 0:90 para CTL e F1 = 0:92 para CCL, resultados que estão dentro da margem de trabalhos relacionados da língua inglesa. Ao serem ignorados os recomeços na detecção de disfluências de edição, obteve-se em média F1 = 0:70 para CTL e F1 = 0:75 para CCL. Na avaliação extrínseca, apenas 3 métricas mostraram diferença significativa entre as transcrições de CCL manuais e as geradas pelo DeepBonDD, sugerindo que, apesar das variações de limites de sentença e de disfluências, o DeepBonDD é capaz de gerar transcrições para serem processadas por ferramentas de PLN. / Background: In recent years, mild cognitive impairment (MCI) has received great attention because it may represent a pre-clinical stage of Alzheimers Disease (AD). In terms of distinction between healthy elderly (CTL) and MCI patients, several studies have shown that speech production is a sensitive task to detect aging effects and to differentiate individuals with MCI from healthy ones. Natural language procesing tools have been applied to transcripts of narratives in English and also in Brazilian Portuguese, for example, Coh-Metrix-Dementia. Gaps: However, the absence of sentence boundary information and the presence of disfluencies in transcripts prevent the direct application of tools that depend on well-formed texts, such as taggers and parsers. Objectives: The main objective of this work is to develop methods to segment the transcripts into sentences and to detect the disfluencies present in them (independently and jointly), to serve as a preprocessing step for the application of subsequent Natural Language Processing (NLP) tools. Methods and Evaluation: We proposed a method based on recurrent convolutional neural networks (RCNNs) with prosodic, morphosyntactic and word embeddings features for the sentence segmentation (SS) task. For the disfluency detection (DD) task, we divided the method and the evaluation according to the categories of disfluencies: (i) for fillers (filled pauses and discourse marks), we proposed the same RCNN with the same SS features along with a predetermined list of words; (ii) for edit disfluencies (repetitions, revisions and restarts), we added features traditionally employed in related works and introduced a CRF model after the RCNN output layer. We evaluated all the tasks intrinsically, analyzing the most important features, comparing the proposed methods to simpler ones, and identifying the main hits and misses. In addition, a final method, called DeepBonDD, was created combining all tasks and was evaluated extrinsically using 9 syntactic metrics of Coh-Metrix-Dementia. Conclusion: For SS, we obtained F1 = 0:77 in CTL transcripts and F1 = 0:74 in MCI, achieving the state of the art for this task on impaired speech. For the filler detection, we obtained, on average, F1 = 0:90 for CTL and F1 = 0:92 for MCI, results that are similar to related works of the English language. When restarts were ignored in the detection of edit disfluencies, F1 = 0:70 was obtained for CTL and F1 = 0:75 for MCI. In the extrinsic evaluation, only 3 metrics showed a significant difference between the manual MCI transcripts and those generated by DeepBonDD, suggesting that, despite result differences in sentence boundaries and disfluencies, DeepBonDD is able to generate transcriptions to be properly processed by NLP tools.
| Identifer | oai:union.ndltd.org:IBICT/oai:teses.usp.br:tde-05022018-090740 |
| Date | 20 December 2017 |
| Creators | Marcos Vinícius Treviso |
| Contributors | Sandra Maria Aluisio, Fábio Natanael Kepler, Leticia Lessa Mansur, Maria das Graças Volpe Nunes |
| Publisher | Universidade de São Paulo, Ciências da Computação e Matemática Computacional, USP, BR |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da USP, instname:Universidade de São Paulo, instacron:USP |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0027 seconds