Introdução: Um alto índice de concordância no julgamento perceptivo da hipernasalidade entre diferentes avaliadores é difícil de ser alcançado, devido à subjetividade deste tipo de avaliação. O treinamento prévio dos avaliadores e a padronização dos critérios de análise pode ser uma estratégia efetiva para minimizar o efeito da subjetividade do julgamento perceptivo e aumentar a concordância entre os avaliadores. Objetivo: Investigar a influência do treinamento prévio sobre a concordância entre diferentes avaliadores no julgamento perceptivo da hipernasalidade. Material e Método: Três fonoaudiólogas experientes analisaram, individualmente, em duas etapas, 77 amostras de fala gravadas em áudio, de indivíduos com fissura de palato reparada. Na primeira etapa, as avaliadoras classificaram a hipernasalidade utilizando seus próprios critérios, em uma escala de 4 pontos: 1=ausência de hipernasalidade, 2=hipernasalidade leve, 3=moderada e 4=grave. Setenta dias após, estas avaliadoras foram submetidas a um treinamento, onde foram definidas, por consenso, as amostras de fala representativas das 4 categorias da escala, as quais foram utilizadas como modelos de referência para o julgamento da hipernasalidade na etapa seguinte. Na segunda etapa, as avaliadoras, individualmente, analisaram as mesmas amostras e julgaram a hipernasalidade em escala de 4 pontos, utilizando como critério de classificação as referências definidas no treinamento. Foram estabelecidos os índices de concordância inter e intra-avaliadores nas duas etapas utilizando-se o Coeficiente Kappa. Estes índices foram comparados estatisticamente por meio do teste Z. Resultados: Verificou-se que o coeficiente de concordância quanto ao grau de hipernasalidade obtido antes do treinamento entre as três avaliadoras foi de 0,37 (regular) e após o treinamento foi de 0,54 (moderado). A análise estatística mostrou que o índice de concordância após o treinamento foi significantemente maior do que o obtido antes do treinamento (p=0,044). A análise dos índices de concordância intra-avaliadores entre as duas etapas do estudo mostrou que, para a avaliadora 1 o índice aumentou de 0,38 (regular) para 0,61 (substancial); para a avaliadora 2, aumentou de 0,39 (regular) para 0,92 (quase perfeita) e, para a avaliadora 3, reduziu de 0,76 (substancial) para 0,50 (moderada). Diferença estatisticamente significante foi encontrada somente para a avaliadora 2 (p=0,004). Conclusão: O treinamento das avaliadoras e a definição de critérios para a classificação da hipernasalidade levaram ao aumento do índice de concordância inter e intra-avaliadores. Esses resultados reforçam a importância de se estabelecer critérios padronizados a fim de minimizar a influência de padrões internos individuais no julgamento perceptivo da fala. / Introduction: A high rate of agreement in the perceptual assessment of hypernasality is hardly achieved among different examiners, due to the subjectivity of this type of analysis. Previous training of examiners and the establishment of analysis criteria may be an effective strategy to minimize the effect of subjectivity on the perceptual assessment and increase the agreement among examiners. Objective: To investigate the influence of previous training on the agreement among different examiners in the perceptual assessment of hypernasality. Material and method: Three experienced speech therapists individually analyzed 77 audio-recorded speech samples of individuals with repaired cleft palate, in two stages. In the first stage, the examiners classified hypernasality according to their own criteria in a 4-point scale: 1=absence of hypernasality, 2=mild hypernasality, 3=moderate and 4=severe. After 70 days, the examiners were submitted to training, in which speech samples representing the four categories in the scale were defined by consensus, and were used as reference models for the assessment of hypernasality in the following stage. On the second stage, the examiners individually analyzed the same samples and classified hypernasality in a 4-point scale, using as criteria the references defined during training. The inter- and intraexaminer agreements in the two stages were calculated by the Kappa coefficient. These values were statistically compared by the Z test. Results: The agreement concerning the degree of hypernasality achieved among the three examiners was 0.37 (regular) before training and 0.54 (moderate) after training. Statistical analysis revealed that the agreement after training was significantly higher than the agreement achieved before training (p=0.044). Analysis of intraexaminer agreement between the two stages revealed that, for examiner 1, the agreement was increased from 0.38 (regular) to 0.61 (substantial); for examiner 2, it was increased from 0.39 (regular) to 0.92 (almost perfect), and for examiner 3, it was reduced from 0.76 (substantial) to 0.50 (moderate). Statistically significant difference was only observed for examiner 2 (p=0.004). Conclusion: Examiner training and the definition of criteria for classification of hypernasality increased the inter- and intraexaminer agreement. These outcomes reinforce the need to establish standardized criteria to minimize the influence of individual internal standards on the perceptual assessment of speech.
| Identifer | oai:union.ndltd.org:IBICT/oai:teses.usp.br:tde-12012015-162051 |
| Date | 18 July 2014 |
| Creators | Adriana Cristina de Almeida Santos Furlan de Oliveira |
| Contributors | Renata Paciello Yamashita, Trixy Cristina Niemeyer Vilela Alves, Cristina Guedes de Azevedo Bento Gonçalves |
| Publisher | Universidade de São Paulo, Ciências da Reabilitação, USP, BR |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da USP, instname:Universidade de São Paulo, instacron:USP |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0021 seconds