Conselho Nacional de Desenvolvimento CientÃfico e TecnolÃgico / O PrÃmio Escola Nota Dez tem como propÃsito apoiar os municÃpios cearenses na melhoria de sua rede fundamental de ensino por meio da distribuiÃÃo de bÃnus financeiros Ãs escolas cujos alunos do 2 e 5 ano do ensino fundamental atingirem pontuaÃÃes especÃficas no Sistema Permanente de AvaliaÃÃo da EducaÃÃo BÃsica do Cearà (SPAECE). Diante disso, este trabalho tem como mote avaliar o impacto desse programa de incentivos sob o desempenho das escolas contempladas. Tendo como base as notas das avaliaÃÃes de PortuguÃs e MatemÃtica da Prova Brasil de 2007 e 2011, comparou-se o desempenho das escolas cearenses beneficiÃrias e nÃo beneficiÃrias antes e depois da premiaÃÃo por meio do modelo de diferenÃas em diferenÃas. A partir dos resultados, pode-se dizer que o PrÃmio afeta positivamente a proficiÃncia mÃdia das escolas premiadas quando comparadas Ãs nÃo premiadas. AlÃm disso, as escolas apoiadas pelo PrÃmio apresentam desempenho equivalente Ãs escolas nÃo premiadas, o que sinaliza uma melhora no desempenho, haja vista que para ser apoiada esta deve figurar entre as escolas com pior desempenho na alfabetizaÃÃo. / The Escola Nota Dez award aims to support municipalities of Cearà on improving their basic education system through the distribution of financial bonuses the schools whose students of elementary school achieve specific scores Permanent Evaluation System of Basic Education Cearà (SPAECE). Thus, this work has as its objective to evaluate the impact of incentive program in the performance of schools. Based on the ratings of Portuguese and Mathematics of the Prova Brasil 2007 and 2011 comparing the performance of beneficiary and non-beneficiary of Cearà schools before and after the award by the difference in differences model. From the results, it can be said that the Award has a positive effect on the average proficiency of the winning schools compared to non-rewarded. In addition, the schools supported by Award show equivalent performance to schools not winning, which indicates an improvement in performance, considering that to be supported schools should be among the 150 worst performing in literacy.

[pt] O principal objetivo desta tese é compreender a implementação do Prêmio Escola Nota Dez (PENDEz) em quatro pares de escolas parceiras do Estado do Ceará, a partir da percepção e atuação dos agentes implementadores. O PENDEz constitui o principal instrumento de indução estadual do Pacto pela Alfabetização na Idade Certa (Paic) e premia financeiramente, todo ano, desde 2007, as 150 escolas com melhor desempenho nas avaliações estaduais do segundo ano (Spaece-Alfa) e do quinto e nono anos (Spaece) do ensino fundamental. Ao mesmo tempo, oferece auxílio financeiro às 150 escolas com menor desempenho, no valor de 50 por cento do total dos recursos financeiros destinados às escolas premiadas. Esta pesquisa focalizou a implementação do PENDEz nos anos iniciais do ensino fundamental, fez uso dos dados do Spaece-Alfa na seleção dos quatro pares de escolas e envolveu análise documental, observação e entrevistas. Foram analisadas as normas, condicionalidades e incentivos presentes nos documentos relativos à formulação do PENDEz e, por meio de entrevistas, foram investigadas as percepções dos agentes implementadores (gerentes do Paic, diretores escolares e coordenadores pedagógicos) em uma dupla direção: a das pressões e condicionalidades que o Prêmio exerce sobre suas ações e sobre as relações estabelecidas nas parcerias, e a do papel dos agentes e o uso de sua discricionariedade na adequação, interpretação e ajuste local da própria política. Também foram considerados os contextos de implementação, por meio de visitas às oito escolas parceiras e às respectivas secretarias municipais de educação. Os roteiros de entrevistas e as análise foram construídas em interlocução com estudos sobre burocracia de nível de rua e de médio escalão (LIPSKY, LOTTA, OLIVEIRA), equidade escolar (DUBET), instrumentos da ação pública (LASCOUMÉS e LE GALÉS) e accountability (AFONSO; BARROSO). O que se constatou, nos quatro pares de escolas investigados, foi que as escolas apoiadas conseguiram melhorar seus resultados, independentemente de terem recebido auxílio financeiro do governo estadual ou apoio técnico-pedagógico das escolas premiadas, como preconizam as normas do PENDez. Constatou-se, também, a importância da dimensão simbólica do Prêmio, que atua de forma a colocar as escolas premiadas e seus agentes em condição de destaque social, enquanto as escolas apoiadas e seus agentes são estigmatizados, mesmo tendo desempenhado um bom trabalho. O uso da discricionariedade foi identificado na variação dos critérios utilizados por cada escola para julgar quem, entre os diferentes agentes escolares, deveria ser considerado apto a receber a bonificação prevista no Prêmio. Sem infringir as normas, as escolas encontraram brechas para bonificarem os agentes considerados mais merecedores, por terem contribuído para a aprendizagem da turma responsável pela premiação da escola. Verificou-se, também, que, em que pese o PENDez ter como objetivos potencializar as ações do Paic, combater as desigualdades educacionais e melhorar os resultados das escolas, seu componente meritocrático, que confere prestígio social às escolas premiadas, causa impactos negativos nos agentes escolares e, principalmente, nos estudantes das escolas apoiadas, conforme relato dos agentes implementadores. / [en] The goal of this doctoral dissertation is to investigate the implementation of the Prêmio Escola Nota Dez (PENDez) - Maximum Score School Award - in four pairs of schools in Ceará state – Brazil. For this purpose this study seeks to understand how the implementation of policy occurs, based on the perception and performance of the implementing agents. PENDEz is the main instrument for state induction of the Pacto de Alfabetização na Idade Certa (Paic) - Pact for Literacy in the Right Age. Since 2007, the PENDEz has been awarding the 150 best performing schools in the Sistema Permanente de Avaliação da Educação Básica do Ceará (Basic Education Permanent Assessment System of Ceará state) – Spaece-Alfa. This program also provides financial support to the lower performing schools. This resource is equal to half of the award of the schools that reached the best results. This research focused on the implementation of PENDEz in the initial years of elementary school. There were used of Spaece-Alfa data for the selection of four pairs of schools. The analysis was based on documentary exploration, observation and interviews with the implementing agents (teachers, education administrators and managers of the PAIC). The research intends to describe the pressures and conditionalities of the PENDez on the schools and the relations established in the partnerships schools. This study also aims to show the role of the agents and the use of their discricionariety in the adequacy, interpretation and local adjustment of the policy itself. The interview scripts and analyzes were constructed in interlocution with studies of street and middle level bureaucracy (LIPSKY, LOTTA, OLIVEIRA), school equity (DUBET), public action instruments (LASCOUMÉS and LE GALÉS) and accountability AFONSO; BARROSO). The results show that the supported schools were able to improve their results, regardless of whether they received financial assistance from the state government or technical-pedagogical support from the awardwinning schools, as advocated by PENDEZ standards. It was also noted the importance of the symbolic dimension of the Prize, which acts in a way that places awarding schools and their agents in a socially prominent condition, while supported schools and their agents are stigmatized, even though they have done a good job. The use of discricionariety was identified in the variation of the criteria used by each school to judge who among the different school agents should be considered fit to receive the bonus provided in the Award. Without breaching the rules, schools found loopholes to boost the agents considered most deserving because they contributed to the learning of the class responsible for school awards. It was also verified that, in spite of the fact that PENDez aims to strengthen Paic actions, combat educational inequalities and improve school performance, its meritocratic component, which gives social prestige to the award-winning schools, has a negative impact on the agents school students and, especially, the students of the supported schools, as reported by the implementing agents.

[pt] O objetivo deste trabalho é contribuir para o debate sobre políticas de accountability educacional através da avaliação do programa cearense Prêmio Escola Nota Dez. Para tal, partimos do referencial da teoria democrática e da administração pública sob o prisma dos fundamentos de teoria social de Coleman visando construir uma abordagem analítica capaz de considerar não apenas os objetivos e resultados da política, mas seu contexto e tipos de incentivos, em um modelo de ação que leve em conta os agentes, recursos que dispõem e ações que empreenderam ao nível micro e que se agregam para modificar a realidade ao nível macro. Sendo um de dois sistemas de incentivos do PAIC - Programa Alfabetização na Idade Certa, o prêmio busca incrementar o desempenho do sistema escolar promovendo competição entre escolas por uma premiação dada às 150 primeiras de acordo com um ranking. Para moderar possíveis danos desta competição à equidade do sistema, o programa provê também um apoio, como forma de compensação, ás 150 escolas pior posicionadas. Além disso, tenta integrar as escolas beneficiadas em relações de cooperação, na qual as premiadas devem ajudar as apoiadas a cumprir suas metas. Utilizando-se de dados da Prova Brasil e do SPAECE, realizamos um estudo de série temporal com objetivo de avaliar os impactos líquidos do prêmio em relação à outras ações no âmbito do PAIC. Embora preliminares, os resultados indicam impactos em língua portuguesa no SPAECE, mas que não se reproduzem em matemática ou na Prova Brasil. No que diz respeito à equidade, observou-se que a estabilização dos indicadores de equidade da rede coincidiu com a introdução do prêmio. Mensuramos também os impactos dos incentivos pagos às escolas por meio de análise de regressão descontinua e observamos que os ganhos das escolas premiadas se concentraram na avaliação de disputa do prêmio, enquanto que os das escolas apoiadas se concentraram na avaliação de cumprimento de metas. No que diz respeito à equidade, os ganhos das escolas premiadas no SPAECE foram alcançados com aumento do percentual de alunos em nível adequado, porém com aumento da desigualdade interna, enquanto que os ganhos das escolas apoiadas indicam melhoria da equidade e aumento do percentual de alunos no nível adequado. Enquanto os efeitos positivos para as escolas apoiadas continuam a ocorrer ao longo do ciclo do prêmio, os ganhos das escolas premiadas parecem ser conjunturais e restritos à avaliação em que ocorre a competição. Por fim, concluímos que a maior lição que nos mostra o Estado do Ceará é que não basta um programa de bonificação ou distribuição de recursos: uma visão integrada que busque coordenar as ações entre agentes em diversos níveis institucionais e entes federativos pode ser um dos fatores decisivos para o sucesso das políticas cearenses. / [en] The objective of this is to contribute to the discussion about educational accountability policies through the evaluation of the program Prêmio Escola Nota Dez in the Brazilian state of Ceará. Therefore, our references como from Democratic Theory and Public Management, in the perspective of Coleman s Social Theory. Our aim is building an analytical approach able to consider the policies objectives and results, as well as its context and types of bonus, focusing on an action model that considers the agents, the resources they have and the actions they implement in a micro perspective that turns into a macro social change. There are two rewarding systems in the program Alfabetização na Idade Certa (PAIC in portuguese), and Escola Nota Dez Award is oneof them. It aims on increasing the performance of the school system by promoting competition among schools for an award given to the first 150 ones according to ranking. In order to control possible damages coming from this competition that could affect system equity, the program also provides a support, as a way of compensation, to the 150 worst-off schools in the ranking. Therefore, it tries to integrate the benefited schools into cooperative relations, in which the awarded schools must help the supported ones to fulfill their goals. Using dta from Prova Brasil and from the Basic Education Permanent Evaluation System of Ceará State (SPAECE in portuguese), we have conducted a time series analysis focusing on the impacts of this award in relation to other actions of PAIC. Even preliminary, the results indicate impacts on portuguese outcomes in SPAECE, but they do not show up in mathematics or on Prova Brasil. It was also observed that the stabilization of equity indicators of the educational system coincided with the time when the award was established. We have also measured the impacts of the prize paid to schools through the analysis of regression discontinuity, and we have observed that the benefits for the awarded schools focused on the evaluation of the competition for the prize, while the supported schools focused on assessing the goals achievement. Concerning equity, the achiavements of the awarded schools in SPAECE were accomplished in inequality inside the schools, while the achievements of the supported schools indicate an improvement in equity and an increase in the percentage of students at the satisfactory level. The positive effects for the supported schools continue to occur throughout the period of the award, while the benefits for the awarded schools seem to be temporary and restricted to the time of the competition. Finally, we conclud that the greatest lesson that Ceará state shows us is that a program of bonuses or resources distribution is not enough - an integrated vision that focuses on coordinating action among agents at different institutional levels and federative entities may be one of decisive factors for the succes of Ceará s policies.