Submitted by Gabriela Moriconi (gabi.moriconi@gmail.com) on 2012-04-12T17:31:57Z No. of bitstreams: 1 Tese_versão_para_impressão.pdf: 319623 bytes, checksum: 2442d3de6ad04399d9e4a9579d3017cd (MD5) / Approved for entry into archive by Gisele Isaura Hannickel (gisele.hannickel@fgv.br) on 2012-04-12T18:21:23Z (GMT) No. of bitstreams: 1 Tese_versão_para_impressão.pdf: 319623 bytes, checksum: 2442d3de6ad04399d9e4a9579d3017cd (MD5) / Made available in DSpace on 2012-04-12T18:22:22Z (GMT). No. of bitstreams: 1 Tese_versão_para_impressão.pdf: 319623 bytes, checksum: 2442d3de6ad04399d9e4a9579d3017cd (MD5) Previous issue date: 2012-03-21 / Given the importante of teachers to the educational process and availability of data for estimating measures of teacher effectiveness, understood as the ability to produce results in terms of student learning, this study sought to apply a value-added model to estimate and analyse the effectiveness of a sample of teachers who taught fourth grade in São Paulo’s municipal schools. We obtained evidence that variation in teacher effectiveness explains about 9% of the variation in students scores from the analysed sample, less than the variation in student background variables, aorund 15%, but more than variation in school variables, around 5%. For estimating teacher individual effects, results indicate that an increase of one standard-deviation in teacher effects would lead to a minimum increase of 0,062 standard deviation on student scores on Portuguese and 0,049 standard deviation on Mathematics, which represent 2,79 points in Portuguese and 2,20 points in Mathematics. In the analysis of factors associated to the teacher effects were found positive associations between the following variables and teacher effects: time devoted to teaching job out of the school, how often the teacher asks homework, and use of Learning and Support Workbooks. The analysis of reliability and stability of estimated teacher effect measurements indicate that this data have a limited capacity to support recommendations regarding personnel policies, but allow to identify that about 13% of the teachers had different effects from the estimated average. Given this distinction, these teachers are the ideal target to future research on their teaching practices, especially on the factors for which we observed a positive association with the estimated teacher effects. / Dadas a importância dos professores para o processo educacional e a disponibilidade de dados para a estimação de medidas de eficácia dos professores, entendida como a capacidade em produzir resultados em termos da aprendizagem dos alunos, este trabalho buscou aplicar um modelo de valor agregado para estimar e analisar a eficácia de uma amostra dos professores que lecionaram para a 4ª série da rede municipal de ensino de São Paulo no ano de 2010. Obtivemos evidências de que a variação na eficácia dos professores explicaria cerca de 9% da variação nas notas dos alunos da amostra analisada, menos do que a variação nas variáveis de background dos alunos, em torno de 15%, mas mais do que a variação nas variáveis de escola, em torno de 5%. Na estimação dos efeitos professor individuais, os resultados indicam que um aumento de um desvio-padrão nos efeitos professor levaria a um aumento de, no mínimo, 0,062 desvio-padrão na proficiência dos alunos em Língua Portuguesa e 0,049 desvio-padrão em Matemática, que correspondem a, 2,79 pontos em Língua Portuguesa e 2,20 pontos em Matemática. Na análise dos fatores associados aos efeitos professor estimados, foram encontradas associações positivas entre as seguintes variáveis e os efeitos professor: o tempo dedicado ao trabalho pedagógico fora da escola, a freqüência com que o professor passa lição de casa e o uso dos Cadernos de Apoio e Aprendizagem. As análises acerca da confiabilidade e da estabilidade das medidas de efeito professor estimadas indicam que os dados utilizados têm uma capacidade limitada para subsidiar recomendações em relação às políticas de pessoal, porém permitem identificar que cerca de 13% dos professores tiveram efeitos estimados distintos da média. Dada essa distinção, esses professores são o público ideal para pesquisas futuras sobre suas práticas docentes, em especial sobre os fatores para os quais foi observada uma associação positiva com os efeitos professor estimados.

Orientadores: Luiz Carlos de Freitas, Dalton Francisco de Andrade / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Educação / Made available in DSpace on 2018-08-24T22:44:15Z (GMT). No. of bitstreams: 1 Dalben_Adilson_D.pdf: 5011742 bytes, checksum: e9c6413b4e6fb98c276dcbdecd13440b (MD5) Previous issue date: 2014 / Resumo: Esta pesquisa é um estudo sobre a eficácia e equidade escolar que tem ganhado atenção especial nos países que usam as avaliações em larga escala a serviço da gestão do sistema educativo. No Brasil, que desde a década de 1990 colocou a avaliação educacional como recurso central em suas políticas educacionais, mas coletando dados seccionais, que são muito frágeis para essa finalidade. Essa fragilidade decorre da alta associação que os fatores extraescolares, sobretudo o nível socioeconômico do aluno, têm sobre as medidas de proficiência. Diante disso, foram usados dados longitudinais e a análise foi feita por meio de modelos lineares hierárquicos. Esta pesquisa teve como objetivo principal desenvolver um modelo estatístico capaz de identificar tais fatores para a realidade brasileira, considerando que a aprendizagem é um processo complexo, isto é, ela é influenciada simultaneamente por múltiplos fatores. Foram desenvolvidos modelos de valor agregado que não só identificam tais variáveis, como também caracterizam sua influência em alunos com distintas proficiências no início de cada período de escolarização. A base de dados utilizada nesses modelos foi fornecida pelo Projeto GERES, que, no período de 2005 a 2008, coletou dados dos mesmos alunos de 1ª a 4ª séries de uma amostra de 312 escolas em cinco grandes cidades brasileiras. Foram medidas as proficiências em Leitura e Matemática de 35.538 alunos e coletadas informações de contexto desses alunos, seus familiares, professores, diretores e escola. Após a redução do grande número de informações disponibilizadas pelo Projeto GERES, feita por meio da Análise Fatorial Exploratória (AFE), as variáveis resultantes foram reorganizadas em três arquivos usados para análise em modelos lineares hierárquicos de três níveis. Os resultados encontrados evidenciam uma significativa instabilidade nos efeitos que as variáveis têm sobre a proficiência, tanto em leitura quanto em matemática. Ao final da pesquisa, são encontrados alguns fatores que influenciam positivamente e negativamente a proficiência em Leitura e Matemática e outros que afetam especificamente cada uma dessas áreas, indicando que podem colaborar para o aumento da eficácia e da equidade das escolas. No entanto, constatam-se também algumas variáveis que têm comportamentos incoerentes com o esperado e outras com comportamentos opostos nas duas áreas. Assim, dos achados das pesquisas, comprova-se que, com base nos dados utilizados, procedimentos metodológicos e modelos estatísticos adotados, os modelos de valor agregado melhoram a confiabilidade das análises em comparação aos modelos que usam dados seccionais, mas ainda são inviáveis como ferramentas para a gestão do sistema educativo, sobretudo para o uso meritocrático de seus resultados. Dessa forma, esta pesquisa corrobora os achados de outras realizadas no âmbito internacional e permite afirmar que a qualidade da modelagem estatística depende da qualidade dos dados que busca modelar, podendo gerar distorções, estabelecer relações inesperadas ou levar a conclusões equivocadas. Em contrapartida, trata-se de recursos que podem ser usados no sistema educativo, fornecendo dados importantes para a orientação das políticas públicas numa perspectiva de avaliação formativa, com vistas ao melhoramento da qualidade de ensino oferecido pelas escolas e à melhor formação dos profissionais docentes e não-docentes que nelas trabalham / Abstract: This research is a study on school effectiveness and equality in Brazil, adding up to a number of other researches that have drawn special attention in countries that use large-scale evaluations at the service of the education system management. In the Brazil has regarded the educational evaluation as a central resource in national education policies, but using cross-sectional data, which are far more fragile for such purpose. This fragility has derived from the great influence that extra-school factors, particularly the students¿ socioeconomic status, exerts on proficiency measures. Longitudinal data was used in the analyses with hierarchical linear models. The main objective of this research was to develop a statistical model to identify such factors in the Brazilian reality, considering that learning is a complex process, i.e. it is simultaneously influenced by multiple factors. Value-added models were developed not only to identify such variables, but also to characterize their influence on students showing different proficiencies at the beginning of every school term. The data base used in those models was provided by the GERES Project, which collected data of the same students from the 1st to the 4th grade from a sample of 312 schools in five Brazilian cities from 2005 to 2008. Proficiencies of 35,538 students were measured, and information about these students¿ context, family, teachers, principals and school were gathered. After the reduction of the great amount of information made available by the GERES Project by means of Exploratory Factor Analysis (EFA), the resulting variables were reorganized in three files used for analysis in three-level hierarchical linear models. The results evidenced significant instability in the effects that the variables have on proficiency both in Reading and in Mathematics. At the end of the research, some factors that influence Reading and Mathematics proficiency either positively or negatively, as well as other factors that specifically affect one of those areas, were found, thus indicating that they may contribute to increased school effectiveness and equality. However, some variables whose behavior was inconsistent with the one expected, and others with opposite behaviors in the two areas were also found. Therefore, from the research findings, based on the data used, the methodological procedures and the statistical models adopted, it has been evidenced that value-added models improve the analysis reliability in comparison with models that use cross-sectional data, but they are still impracticable as tools for education system management, particularly for meritocratic use of their results. Hence, this research has corroborated the findings of other studies carried out over the world and has enabled us to state that the quality of the statistical modeling depends on the quality of data that it attempts to model, and it may generate distortions, establish unexpected relationships or lead to misleading conclusions. On the other hand, these resources may be used in the education system by providing important data for guiding public policies in a educative evaluation perspective, aiming at improving the quality of teaching offered by schools, teachers and other professionals that work in the school setting / Doutorado / Ensino e Práticas Culturais / Doutor em Educação