Este estudo analisa os efeitos colaterais indesejados de avaliações externas quando combinadas a políticas de responsabilização (accountability) escolar no Brasil. Estes efeitos colaterais, denominados \"peiragênicos\" por Madaus e Russell, são previsíveis, indesejados e decorrem da manipulação (gaming) das regras do sistema pelos agentes envolvidos, levando à inflação de escores, vieses nos resultados reportados e interferências indevidas nos processos escolares que se pretendiam monitorar. Este estudo completa uma lacuna na literatura nacional, visando a medir a extensão de dois destes efeitos: a exclusão não aleatória de alunos de baixa proficiência de avaliações e a incidência de fraudes ingênuas, em desacordo aos protocolos de aplicação das avaliações. Duas abordagens são apresentadas. Para estimar as exclusões de alunos de baixa proficiência é proposta uma análise baseada na assimetria de distribuições de proficiência, usando distribuições normais truncadas. Para avaliar a extensão de fraudes ingênuas, definidas como a divulgação de respostas aos alunos testados sem levar em conta a existência de cadernos de itens ou permissividade com \"colas\" entre alunos, é introduzida uma abordagem baseada na contagem de blocos impróprios maximizadores. Ambos os algoritmos são aplicados à Prova Brasil, de 2013 e 2015. As medições obtidas são confrontadas com variáveis explicativas associadas às pressões da responsabilização, mediante modelos hierárquicos lineares. As pressões consideradas neste trabalho resultam de programas estaduais de bonificação docente e de acompanhamento do Indicador de Desenvolvimento da Educação Básica (Ideb), assim como variações em rankings do Ideb nos municípios. Os resultados indicam que tanto a exclusão de alunos de baixo desempenho quanto fraudes ingênuas ocorrem em associação a estas pressões. O gaming parece mais intenso em unidades da federação com políticas high-stakes, assim como em escolas com Ideb baixo verificado na avaliação anterior. Tendências de variação do Ideb, distâncias deste indicador às metas, ou mudanças em posições no ranking resultam não correlacionados significativamente às pressões. Exclusões medidas são menores em UFs com avaliações próprias para cálculo de bonificação. Um substancial aumento nas indicações de fraudes em 2015, versus 2013, pode estar associado às mudanças na participação mínima de alunos exigida nestas avaliações. Conclui-se que há necessidade dos formuladores de avaliações tomarem cuidados para controlar os dois efeitos estudados. / This survey analyzes the undesired side effects of standardized assessments when combined with accountability policies, in public schools in Brazil. These effects, identified as \"peiragenics\" by Madaus and Russell, are predictable, undesired and unplanned for, and arise from agents engaging in \"gaming the system\", leading to score inflation, biased reported results and undue interference in the schooling processes under assessment. This survey attempts to fill a void in Brazilian literature regarding the measurement of two side effects: exclusion of low performing students from assessments and undue interference of teachers or testers in the assessment protocols (cheating). To this effect, two analytic approaches are presented. To estimate non-random exclusions of low performing students from testing, a model based on the observed asymmetry of proficiency results, using truncated normal distributions, is proposed. A second model, to assess the extension of naive teacher cheating, defined as attempts to share common answers regardless of differences in test booklets or turning a blind eye to students\' copying answers from classmates, counts unexpected appearances of improper score-maximizing blocks, introduced in this study. Both algorithms are applied to Prova Brasil\'s 2013 and 2015 data sets, a federal assessment of mathematics and reading skills. Measurements are confronted with explanatory variables to test for accountability pressures and gaming-inducing drivers, using two-level hierarchical linear models. The pressures considered in this survey arise from teacher bonus programs adopted by several Brazilian states, performance tracking and rankings of the Ideb indicator (a nationwide metric of the development of elementary and middle-school public education). Results indicate that both selective exclusions of low performing students and naive teacher cheating occur, in patterns associated with pressures. Gaming behavior appears to be more intense in states with high-stakes linked to the assessment, in schools with lower Ideb ratings. Past trends and gaps versus targets in Ideb and changes in local rankings result not significantly correlated with gaming behavior. Lowest exclusion measurements occur in states where alternative assessments are used for bonus payments. A substantial increase in cheating indications in 2015 over 2013 was measured, possibly reflecting increased minimum participation requirements stressing schools to maintain performance through cheating attempts. In conclusion, the need for care in design of assessment policies to control for the two effects measured is made evident.
| Identifer | oai:union.ndltd.org:usp.br/oai:teses.usp.br:tde-13092017-145218 |
| Date | 30 August 2017 |
| Creators | Capocchi, Eduardo Rodrigues |
| Contributors | Bauer, Adriana |
| Publisher | Biblioteca Digitais de Teses e Dissertações da USP |
| Source Sets | Universidade de São Paulo |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | Dissertação de Mestrado |
| Format | application/pdf |
| Rights | Liberar o conteúdo para acesso público. |
Page generated in 0.0021 seconds