Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-06-23T11:17:26Z No. of bitstreams: 1 fernandagomesdasilva.pdf: 1345231 bytes, checksum: 95383f963d2cd2ef744355e3ac1d2edd (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-08-07T20:11:29Z (GMT) No. of bitstreams: 1 fernandagomesdasilva.pdf: 1345231 bytes, checksum: 95383f963d2cd2ef744355e3ac1d2edd (MD5) / Made available in DSpace on 2017-08-07T20:11:29Z (GMT). No. of bitstreams: 1 fernandagomesdasilva.pdf: 1345231 bytes, checksum: 95383f963d2cd2ef744355e3ac1d2edd (MD5) Previous issue date: 2014-09-29 / Esta dissertação centra-se no estudo de caso do sistema de avaliação da educação pública pertencente à Secretaria Municipal de Educação da cidade de Belo Horizonte – MG, o Avalia BH, no que concerne à implementação de testes de proficiência em Ciências da Natureza para o Ensino Fundamental. São investigadas as motivações para tal implementação e os seus efeitos na gestão do próprio sistema, na gestão escolar, no desempenho estudantil e na prática docente. Conclui-se, a partir de entrevista junto ao órgão responsável pelo programa (GAPED - Gerência de Avaliação de Políticas Educacionais) e das análises de questionários aplicados a docentes e gestores, que a inclusão da aferição de competências científicas no referido sistema repercute em ações tímidas diante dos seus resultados; apresenta, ainda, incerteza a respeito de seus procedimentos e instrumentos de medição e necessita, portanto, de reformulações. Propõe-se, assim, como Plano de Ação Educacional, uma ampliação da investigação aqui realizada a partir da meta-avaliação, a fim de sistematizar os principais pontos a serem modificados e possibilitar a criação de estratégias para tornar a política pública compensatória ao ensino de Ciências. / This dissertation focuses on the case study of the evaluation system of public education pertaining to the Municipal Education Department of the city of Belo Horizonte-MG – called Avalia BH – concerning the implementation of proficiency tests in Natural Sciences. The motivations for such an implementation and its effects on the management of the system itself, the school management, student achievement and teacher practice are investigated. It is concluded, through interviews with the agency responsible for the program (Gerência de Avaliação de Políticas Educacionais – GAPED, in Portuguese) and by the analysis of questionnaires given to teachers and educational managers, that the inclusion of measuring scientific competencies on this system resonates timid actions before their results; it also presents uncertainty about its procedures and measurement instruments, therefore in need of reformulation. It is proposed as an Educational Action Plan, an extension of the research conducted here starting from the meta-evaluation in order to systematize the main points to be modified to make compensatory public policy to Science Teaching.

O Exame Nacional do Ensino Médio (ENEM) está entre os maiores do mundo, abrangendo seis milhões de pessoas ao ano. Um de seus objetivos é permitir a comparação das escolas brasileiras, através da publicação de médias, tornando-se peça central na política brasileira de accountability escolar. Há, contudo, críticas técnicas e filosóficas ao uso do ENEM como indicador de qualidade escolar. Investigamos o potencial alcance de tais críticas, assim como possíveis efeitos benéficos do ranking de escolas. Pressupomos que o processo educativo na democracia é uma relação intersubjetiva, com finalidades e estratégias minimamente definidas pelas pessoas envolvidas. METODOLOGIA: buscamos articular uma reflexão filosófica sobre as questões sócio-políticas da escolarização com métodos quantitativos. Realizamos análise multinível dos microdados do ENEM 2009 em três níveis: indivíduo, escola e estado. Estimamos o efeito escola, o efeito estado e a variância explicada. Analisamos algumas edições do ENEM com base na Teoria Clássica dos Testes e na Teoria da Resposta ao Item. RESULTADOS: identificamos diversas concepções de inteligência e de qualidade escolar, sendo poucas delas contempladas pelos indicadores baseados em testes padronizados. Mostramos que a supervalorização desses testes cria o risco de colonização do cotidiano escolar pela razão instrumental, empobrecendo as relações intersubjetivas e as práticas pedagógicas. Identificamos riscos de se utilizar o mesmo teste para diversas finalidades. Constatamos a existência de dois modelos de ENEM, antes e depois de 2009. A análise multinível revelou um efeito escola em torno de 22%; controlando o nível socioeconômico ele reduz para 7%. Cerca de 20% da variação nas notas dos alunos foi explicada por fatores contextuais. No nível das escolas, o valor aumenta para 79%. Excluindo as notas de redação, como no ranking de 2012, a variância explicada chega a 87%, demonstrando que o desempenho da escola é altamente influenciado por fatores que não estão sob seu controle. Constatamos também que as médias entre escolas próximas no ranking não são estatisticamente diferentes. CONCLUSÕES: embora o ENEM possa avaliar o mérito dos alunos, é pouco informativo sobre o mérito das escolas, sendo inadequado para avaliar, isoladamente, a qualidade dessas instituições. Apontamos alguns limites do ranking como indicador de qualidade escolar (grande sobreposição de intervalos de confiança; supervalorização de um único exame; pouca informação sobre o mérito da escola; risco de empobrecer o currículo e as relações intersubjetivas no cotidiano escolar; risco de aumentar as desigualdades) assim como algumas possibilidades criadas por ele (referência objetiva para comparação, sinalizar para o ensino médio não focar excessivamente na quantidade de conteúdos; mobilização pela qualidade escolar; criação de outros indicadores). Disponibilizamos uma seleção das melhores instituições de ensino médio em termos de efeito escola, com objetivo de dar visibilidade àquelas que provavelmente realizam um bom trabalho dentro das condições em que se encontram. / The national secondary Brazilian examination (ENEM) is one of the largest standards in the world, covering six million people every year. One of his goals is to allow comparison of schools, thus being a central piece in the Brazilian school accountability system. However, there are technical and philosophical criticism to use ENEM as an indicator of school quality. We investigate the potential scope of such criticisms, as well as potential beneficial effects of school league tables. We assume that the educational process in democracy is an intersubjective relationship with purposes and strategies minimally defined by people involved in it. METHODS: we seek to articulate a philosophical reflection on the socio-political issues of schooling with quantitative methods. We conducted multilevel analysis of ENEM 2009 microdata at three levels: individual, school and state. We estimate the school effect, the \"state effect\" and explained variation. We analyse some ENEM exams based on Classical Test Theory and Item Response Theory. RESULTS: we identified several concepts of intelligence and school quality, few of them covered by indicators based on standards. We show that overvaluating standards creates the risk of colonizating everyday school life by instrumental rationality, making interpersonal relationships and pedagogical practices poorer. We identified risks of using the same test for different purposes. We found two ENEM models: before and after 2009. The multilevel analysis revealed a school effect around 22%; controlling socioeconomic status reduces it to 7%. About 20% of the variation in student scores was explained by contextual factors. At the school level, the figure rises to 79%. Excluding the writing test, as in 2012 league table, the explained variation reaches 87%, showing that school score is highly influenced by factors they can not control. We also showed that the averages between neighboring schools in the league table are not statistically different. CONCLUSIONS: Although ENEM can evaluate the merit of the students, it tells little about the merits of the schools. Therefore, it is inappropriate to evaluate, alone, the quality of these institutions. We point out some limitations of ENEM as school quality indicator (confidence intervals overlapping; overvaluation of a single test; few information on the merits of school; risk of impoverishing the curriculum and interpersonal relationships in school life; risk of increasing inequalities) as well as some possibilities created by it (objective reference for comparison; message to schools not overly focus on amount of contents; mobilization for school quality; creation of other indicators). Accordingly, we provide a selection of the best Brazilian high schools in school effect, aiming to give visibility to institutions that do a good job in not necessarily good conditions.

[pt] Assegurar a qualidade de uma avaliação é um grande desafio para os avaliadores. A avaliação de um processo avaliativo denomina-se meta-avaliação. No Brasil já existe uma grande preocupação com a qualidade da avaliação, contudo o conceito de meta-avaliação ainda é uma novidade. Os profissionais discutem quais são os critérios de excelência que uma verdadeira avaliação deve atender tendo como base os padrões definidos pelo Joint Committee on Standards for Educational Evaluation (1994), que estão agrupados em quatro grandes categorias: utilidade, viabilidade, ética e precisão. Este trabalho propõe uma nova metodologia para meta-avaliação utilizando os conceitos de conjuntos fuzzy e da lógica fuzzy. A metodologia é composta por um instrumental de coleta de dados (lista de checagem para meta-avaliação de programas/projetos) e por um sistema de inferência fuzzy hierárquico para o tratamento de dados referentes à metaavaliação de programas/projetos. As principais vantagens de um sistema desse tipo são: (i) a possibilidade de trabalhar com regras lingüísticas; (ii) a utilização de ferramentas adequadas para trabalhar com a imprecisão intrínseca que existe em problemas complexos, como é o caso de processos de meta- avaliação; (iii) a incorporação de conhecimento subjetivo (de especialistas); (iv) a adaptabilidade do processo de inferência a situações específicas. A metodologia ora proposta utiliza um sistema hierárquico composto por trinta e seis bases de regras organizadas em três níveis: padrão (nível 1), categoria (nível 2), e meta-avaliação (nível 3). As principais características da metodologia desenvolvida são: (i) o instrumento de coleta de dados, que permite respostas intermediárias; (ii) a capacidade de adaptação do sistema de inferência fuzzy a necessidades específicas; (iii) a transparência obtida pela utilização de regras lingüísticas, o que facilita a discussão e o entendimento de todo o processo. Acredita-se que esta metodologia facilitará os processos de meta-avaliação. Este estudo pretende ser uma contribuição para a área da avaliação e para a prática da meta-avaliação. / [en] Assuring the quality of an evaluation is a great challenge to evaluators. The evaluation of an evaluative process is called meta- evaluation. In Brazil there is a great concern about evaluation quality, although the concept of metaevaluation is new. Evaluation professionals are still discussing the criteria of excellence that a true evaluation should attend. The standards defined by the Joint Committee on Standards for Educational Evaluation (1994) that are presented in terms of utility, feasibility, ethics and accuracy, enlighten on that discussion. This study presents a new methodology for meta-evaluation that makes use of fuzzy sets and fuzzy logic concepts. The methodology is composed of an instrument for data collection (checklist for the meta-evaluation of programs/projects) and of a hierarchical fuzzy inference system for treatment of data related to the metaevaluation of projects and programs. The main advantages of using such a system are: (i) the possibility of working with linguistic rules; (ii) the use of tools that deal with the intrinsic imprecision of complex problems, as is the case of metaevaluation; (iii) the incorporation of subjective knowledge (of specialists); (iv) the adaptability of the inference process to specific situations. This new methodology makes use of a system composed of 36 rule bases organized in three levels: standard (level 1), category (level 2), and meta- evaluation (level 3). The main features of the proposed methodology are: (i) the data collection instrument, that allows intermediate answers; (ii) the fuzzy system's capability of adaptation to specific needs; (iii) the transparency provided by the use of linguistic rules, which favours understanding and discussion of the whole process. It is believed that this methodology will make the meta-evaluation process easier. This study intends to be a contribution to evaluation as a subject and to meta- evaluation practice.

Trata-se da meta-avaliação de um processo avaliativo desenvolvido por secretários e assessores técnicos municipais de uma região de saúde do estado de São Paulo, com foco nos critérios de utilidade e participação. É uma pesquisa qualitativa, cuja base empírica foi 1) o material produzido em sete oficinas realizadas com os representantes municipais, com vistas à avaliação de um aspecto da linha de cuidados em saúde sob a ótica da integralidade; e 2) as entrevistas semiestruturadas realizadas com os mesmos atores após a finalização do processo avaliativo. Para a avaliação do critério de utilidade, utilizou-se principalmente o referencial de KIRKHART (2000), com o objetivo de ampliar a análise para além do uso instrumental dos achados avaliativos e focá-la na identificação de influências múltiplas exercidas por um fenômeno complexo como um processo avaliativo. A análise do critério participação se deu com base no referencial de COUSINS e WHITMORE (1998), buscando a identificação no material empírico de decisões ou aspectos contextuais que fizeram com que a opção participativa fosse aprofundada ou limitada no processo em foco. O trabalho destaca a importância de explicitar pressupostos que baseiam a metodologia da avaliação/ meta-avaliação escolhida, e a necessidade de se buscar referenciais teóricos de análise compatíveis com a opção realizada, frisando a inexistência de posturas neutras ou estudos totalmente objetivos; e a importância de capacitar avaliadores a acompanharem a demanda dos participantes de um processo participativo com a flexibilidade necessária para conferir-lhe o maior aproveitamento possível. Conclui-se pela viabilidade, com vantagens, da realização de processos participativos locais com gestores na Saúde Pública, destacando a possibilidade de ganhos em formação e o enriquecimento dos processos de negociação em nível do território, de forma coerente à política de construção das regiões de saúde no SUS. / This study aims to meta-evaluate an evaluation process developed by policymakers and technical advisors of a Health Region of Sao Paulo, centering on criteria of utility and participation. It analyzes the feasibility and possible benefits of using a participatory methodology in Public Health evaluations, highlighting aspects that facilitate and hinder this undertaking. It is a qualitative research, which empirical basis was 1) the material produced in seven workshops with municipal representatives, aiming the evaluation of an aspect of health care from the perspective of integrity; and 2) semi-structured interviews with the same actors after completion of the evaluation process. KIRKHART´s theoretical framework (2000) was used to evaluate the utility criterion, in order to expand the analysis beyond the instrumental use of the evaluation findings, and focus it in identifying multiple influences exerted by a complex phenomenon as an evaluation process. The evaluation criterion of participation was based on references of COUSINS e WHITMORE (1998), aiming to identify decisions or contextual aspects in the empirical material that made participatory option limited or depth in the focused process. The work highlights the need to seek theoretical frameworks of analysis consistent with the methodological choice carried out in order to enhance the identification of evaluation gains and limitations, and enable evaluators to monitor the demand of participants in the evaluation process with flexibility to reach its best use, even in those cases where there are limitations on the possibilities of participation. The results confirmed the viability, with advantages, of holding local participatory processes with policymakers and managers in Public Health, highlighting the possibility of gains in education and the enrichment of the negotiation process in the territory level, consistent with the policy of building health regions in SUS.

Made available in DSpace on 2016-04-28T20:57:09Z (GMT). No. of bitstreams: 1 PED - Nelson Antonio Simao Gimenes.pdf: 789344 bytes, checksum: 63da06ff367e5a8ac14f6d1673ee8d56 (MD5) Previous issue date: 2006-10-06 / With the objective to analyze the process of auto-evaluation developed in an Institute of Higher Learning in the interior of the state of São Paulo, we carried out a meta-evaluation from the point of view of the coordinators in the area of biological-health of the institution that is being used for the study utilizing an instrument of meta-evaluation, based on the standards of Utility and Accuracy developed by the Joint Committee on Standards for Educational Evaluation and made based on a free adaptation of the Program Evaluation Models Meta-evaluation Checklist. There was a main concern, during this work, of reflecting on the public policies of evaluation, not as one more legal demand of institutions in relation to the responsible government authorities, but as a procedure able to generate essential information for Institutions of Higher Learning, with the intention of contributing to its improvement and institutional development. The results show that although the autoevaluation carried out at the Institution of Higher Learning has been, in the opinion of the respondents, satisfactory; we identified some problems, especially concerning the difficulties of the internal evaluation of promoting adequate conditions for the generation of institutional improvements; as well as the effective involvement of the community from the perspective of amplified participation. We believe this study can contribute in the debate over the role of auto-evaluation and the importance of it in the improvement of the System of Higher Learning in Brazil, as well as reflecting on the adequate standards for the development of evaluative processes that generate changes and improvements on and for the different sectors of an Institution of Higher Learning, such as teaching, research, complementary activities and management, overpassing the legal-bureaucratic demands of the regulatory agencies of this system. Finally, we believe that to overcome these problems it is necessary to develop various and efficient forms of access, dissemination and feedback of the information collected during the evaluative process, which would make possible an improved comprehension of the objectives for the different segments of the local academic community / Com o objetivo de analisar o processo de auto-avaliação desenvolvido em uma Instituição de Educação Superior do interior do estado de São Paulo, realizamos uma metaavaliação a partir do ponto de vista dos coordenadores de curso da área de Saúdebiológica da instituição em estudo utilizando um instrumento de meta-avaliação, baseado nos padrões Utilidade e Precisão desenvolvidos pelo Comitê Misto sobre Diretrizes para a Avaliação Educacional (Joint Committee on Standards for Educational Evaluation) e feito a partir de uma adaptação livre do Program Evaluation Models Metaevaluation Checklist. Houve uma preocupação central, neste trabalho, de refletir sobre as políticas públicas de avaliação, não como mais uma exigência legal das instituições em relação aos órgãos governamentais responsáveis, mas como um procedimento capaz de gerar informações essenciais para as IESs, no intuito de contribuir para seu aperfeiçoamento e desenvolvimento institucional. Os resultados apontam que embora a auto-avaliação realizada na IES tenha sido, na opinião dos respondentes, satisfatória, identificamos alguns impasses, sobretudo em relação às dificuldades da avaliação interna de promover condições adequadas para a geração de melhorias institucionais, bem como de envolvimento efetivo da comunidade a partir de uma perspectiva de participação ampliada. Entendemos que este estudo pode contribuir para o debate sobre o papel da auto-avaliação e da importância desta para o aperfeiçoamento do Sistema de Educação Superior no Brasil, bem como de se refletir sobre padrões adequados para o desenvolvimento de processos avaliativos geradores de transformações e melhorias nos e pelos diferentes setores de uma IES, como o ensino, a pesquisa, a extensão e gestão, transpondo as exigências burocrático-legais dos órgãos reguladores deste sistema. Por fim, entendemos que para a superação destes impasses faz-se necessário o desenvolvimento de formas variadas e eficientes de acesso, divulgação e retorno das informações coletadas ao longo do processo avaliativo, o que possibilitaria a melhor compreensão dos seus objetivos pelos diferentes segmentos da comunidade acadêmica local

O Exame Nacional do Ensino Médio (ENEM) está entre os maiores do mundo, abrangendo seis milhões de pessoas ao ano. Um de seus objetivos é permitir a comparação das escolas brasileiras, através da publicação de médias, tornando-se peça central na política brasileira de accountability escolar. Há, contudo, críticas técnicas e filosóficas ao uso do ENEM como indicador de qualidade escolar. Investigamos o potencial alcance de tais críticas, assim como possíveis efeitos benéficos do ranking de escolas. Pressupomos que o processo educativo na democracia é uma relação intersubjetiva, com finalidades e estratégias minimamente definidas pelas pessoas envolvidas. METODOLOGIA: buscamos articular uma reflexão filosófica sobre as questões sócio-políticas da escolarização com métodos quantitativos. Realizamos análise multinível dos microdados do ENEM 2009 em três níveis: indivíduo, escola e estado. Estimamos o efeito escola, o efeito estado e a variância explicada. Analisamos algumas edições do ENEM com base na Teoria Clássica dos Testes e na Teoria da Resposta ao Item. RESULTADOS: identificamos diversas concepções de inteligência e de qualidade escolar, sendo poucas delas contempladas pelos indicadores baseados em testes padronizados. Mostramos que a supervalorização desses testes cria o risco de colonização do cotidiano escolar pela razão instrumental, empobrecendo as relações intersubjetivas e as práticas pedagógicas. Identificamos riscos de se utilizar o mesmo teste para diversas finalidades. Constatamos a existência de dois modelos de ENEM, antes e depois de 2009. A análise multinível revelou um efeito escola em torno de 22%; controlando o nível socioeconômico ele reduz para 7%. Cerca de 20% da variação nas notas dos alunos foi explicada por fatores contextuais. No nível das escolas, o valor aumenta para 79%. Excluindo as notas de redação, como no ranking de 2012, a variância explicada chega a 87%, demonstrando que o desempenho da escola é altamente influenciado por fatores que não estão sob seu controle. Constatamos também que as médias entre escolas próximas no ranking não são estatisticamente diferentes. CONCLUSÕES: embora o ENEM possa avaliar o mérito dos alunos, é pouco informativo sobre o mérito das escolas, sendo inadequado para avaliar, isoladamente, a qualidade dessas instituições. Apontamos alguns limites do ranking como indicador de qualidade escolar (grande sobreposição de intervalos de confiança; supervalorização de um único exame; pouca informação sobre o mérito da escola; risco de empobrecer o currículo e as relações intersubjetivas no cotidiano escolar; risco de aumentar as desigualdades) assim como algumas possibilidades criadas por ele (referência objetiva para comparação, sinalizar para o ensino médio não focar excessivamente na quantidade de conteúdos; mobilização pela qualidade escolar; criação de outros indicadores). Disponibilizamos uma seleção das melhores instituições de ensino médio em termos de efeito escola, com objetivo de dar visibilidade àquelas que provavelmente realizam um bom trabalho dentro das condições em que se encontram. / The national secondary Brazilian examination (ENEM) is one of the largest standards in the world, covering six million people every year. One of his goals is to allow comparison of schools, thus being a central piece in the Brazilian school accountability system. However, there are technical and philosophical criticism to use ENEM as an indicator of school quality. We investigate the potential scope of such criticisms, as well as potential beneficial effects of school league tables. We assume that the educational process in democracy is an intersubjective relationship with purposes and strategies minimally defined by people involved in it. METHODS: we seek to articulate a philosophical reflection on the socio-political issues of schooling with quantitative methods. We conducted multilevel analysis of ENEM 2009 microdata at three levels: individual, school and state. We estimate the school effect, the \"state effect\" and explained variation. We analyse some ENEM exams based on Classical Test Theory and Item Response Theory. RESULTS: we identified several concepts of intelligence and school quality, few of them covered by indicators based on standards. We show that overvaluating standards creates the risk of colonizating everyday school life by instrumental rationality, making interpersonal relationships and pedagogical practices poorer. We identified risks of using the same test for different purposes. We found two ENEM models: before and after 2009. The multilevel analysis revealed a school effect around 22%; controlling socioeconomic status reduces it to 7%. About 20% of the variation in student scores was explained by contextual factors. At the school level, the figure rises to 79%. Excluding the writing test, as in 2012 league table, the explained variation reaches 87%, showing that school score is highly influenced by factors they can not control. We also showed that the averages between neighboring schools in the league table are not statistically different. CONCLUSIONS: Although ENEM can evaluate the merit of the students, it tells little about the merits of the schools. Therefore, it is inappropriate to evaluate, alone, the quality of these institutions. We point out some limitations of ENEM as school quality indicator (confidence intervals overlapping; overvaluation of a single test; few information on the merits of school; risk of impoverishing the curriculum and interpersonal relationships in school life; risk of increasing inequalities) as well as some possibilities created by it (objective reference for comparison; message to schools not overly focus on amount of contents; mobilization for school quality; creation of other indicators). Accordingly, we provide a selection of the best Brazilian high schools in school effect, aiming to give visibility to institutions that do a good job in not necessarily good conditions.

Trata-se da meta-avaliação de um processo avaliativo desenvolvido por secretários e assessores técnicos municipais de uma região de saúde do estado de São Paulo, com foco nos critérios de utilidade e participação. É uma pesquisa qualitativa, cuja base empírica foi 1) o material produzido em sete oficinas realizadas com os representantes municipais, com vistas à avaliação de um aspecto da linha de cuidados em saúde sob a ótica da integralidade; e 2) as entrevistas semiestruturadas realizadas com os mesmos atores após a finalização do processo avaliativo. Para a avaliação do critério de utilidade, utilizou-se principalmente o referencial de KIRKHART (2000), com o objetivo de ampliar a análise para além do uso instrumental dos achados avaliativos e focá-la na identificação de influências múltiplas exercidas por um fenômeno complexo como um processo avaliativo. A análise do critério participação se deu com base no referencial de COUSINS e WHITMORE (1998), buscando a identificação no material empírico de decisões ou aspectos contextuais que fizeram com que a opção participativa fosse aprofundada ou limitada no processo em foco. O trabalho destaca a importância de explicitar pressupostos que baseiam a metodologia da avaliação/ meta-avaliação escolhida, e a necessidade de se buscar referenciais teóricos de análise compatíveis com a opção realizada, frisando a inexistência de posturas neutras ou estudos totalmente objetivos; e a importância de capacitar avaliadores a acompanharem a demanda dos participantes de um processo participativo com a flexibilidade necessária para conferir-lhe o maior aproveitamento possível. Conclui-se pela viabilidade, com vantagens, da realização de processos participativos locais com gestores na Saúde Pública, destacando a possibilidade de ganhos em formação e o enriquecimento dos processos de negociação em nível do território, de forma coerente à política de construção das regiões de saúde no SUS. / This study aims to meta-evaluate an evaluation process developed by policymakers and technical advisors of a Health Region of Sao Paulo, centering on criteria of utility and participation. It analyzes the feasibility and possible benefits of using a participatory methodology in Public Health evaluations, highlighting aspects that facilitate and hinder this undertaking. It is a qualitative research, which empirical basis was 1) the material produced in seven workshops with municipal representatives, aiming the evaluation of an aspect of health care from the perspective of integrity; and 2) semi-structured interviews with the same actors after completion of the evaluation process. KIRKHART´s theoretical framework (2000) was used to evaluate the utility criterion, in order to expand the analysis beyond the instrumental use of the evaluation findings, and focus it in identifying multiple influences exerted by a complex phenomenon as an evaluation process. The evaluation criterion of participation was based on references of COUSINS e WHITMORE (1998), aiming to identify decisions or contextual aspects in the empirical material that made participatory option limited or depth in the focused process. The work highlights the need to seek theoretical frameworks of analysis consistent with the methodological choice carried out in order to enhance the identification of evaluation gains and limitations, and enable evaluators to monitor the demand of participants in the evaluation process with flexibility to reach its best use, even in those cases where there are limitations on the possibilities of participation. The results confirmed the viability, with advantages, of holding local participatory processes with policymakers and managers in Public Health, highlighting the possibility of gains in education and the enrichment of the negotiation process in the territory level, consistent with the policy of building health regions in SUS.

本研究之目的主要在探討國民中小學校長評鑑系統的建構及有關研究。所採用的研究方法包括：文獻分析、問卷調查與訪談法。在文獻分析方面：分別就校長評鑑系統建構的基本理念、可能的探究取向與模式、英美兩國與國內國中小校長評鑑系統的發展情形、校長評鑑系統的後設評鑑標準與可能存在的問題等加以探討。在實證研究方面：以自編調查工具，對各縣市教育行政人員、國中小校長、主任、教師、家長與教育學者，就規劃實施國中小校長評鑑系統的三階段歷程要素、後設評鑑標準與可能存在的問題等，進行問卷調查與訪談。綜合本研究的結論發現：國中小校長評鑑系統的建構有其重要性，落實校長評鑑可協助校長提升辦學效能。而校長評鑑系統建構的理論與實務已日趨完善，在規劃過程中可參考不同的探究取向與英美兩國的實務經驗，讓校長評鑑系統的規劃能更為完備。此外，「教育評鑑標準聯合委員會」所發展的「教育人員評鑑標準」，不僅可用來協助規劃設計國中小校長評鑑系統，亦可以之進行現有校長評鑑系統的後設評鑑，妥當的應用可確保校長評鑑系統符合正當性（prophey）、效益性（utility）、可行性 （feasibility）與正確性（accuracy）標準。完整的國中小校長評鑑系統可分成三個階段，各階段均有應遵循的原則。做好規劃設計階段的工作是成功的第一步；資料蒐集階段應能正確而完整的蒐集資訊並遵循評鑑倫理；評鑑結果與處理階段，亦應配合評鑑目的，務實的做好各項後續工作，並作必要的決定。而評鑑歷程中務必遵守正當程序與保密原則，妥善保管資料並規範查閱程序，以保障受評校長的權益。最後本研究依上述研究結論，分別針對教育行政機關、國中小校長及其他利害關係人，綜合提出規劃實施國中小校長評鑑系統的建議。 關鍵字：校長評鑑、評鑑系統、評鑑模式、後設評鑑、評鑑標準 / The aim of this study is mainly to investigate the construction of the principal evaluation system of elementary and junior high schools and its related issues. The research methods included document analysis, questionnaires and interviews. The analysis of documents covered the basic concepts of the construction of principal evaluation systems, possible research approaches and models, the development of school principal evaluation in Taiwan as well as in the United States and Britain, meta-evaluation standards, and potential problems. A field study was conducted to explore the factors of the three phases of the design and implementation of a principal evaluation system, the meta-evaluation standards, and potential problems. It has employed questionnaire surveys and interviews to gather information from local government education administrators, school principals, deans, teachers, parents, and education academics. It has been found that the construction of school principal evaluation systems is more important than ever, and it could help raising school effectiveness. The construction of principal evaluation systems has been maturing in both theory and practice. Consulting different theoretical approaches and the practice of the United States and Britain makes the planning of principal evaluation systems comprehensive. Furthermore, the Personnel Evaluation Standards, developed by the Joint Committee on Standards for Education Evaluation in the United States, not only can serve as criteria for designing systems for school principal evaluation, they can be used to meta-evaluate ongoing principal evaluation systems as well. Applied appropriately, they should ensure that the standards of propriety, utility, feasibility, and accuracy are maintained in the principal evaluation system. A comprehensive system for school principal evaluation consists of three phases and each has its own rules to follow. The first phase is to plan and design it deliberately. Information should be gathered accurately and completely in the phase while the evaluation ethics is abided by. The consequent works should be taken care of in line with the purpose of the evaluation in the third phase of the processing of evaluation results. Necessary decisions should be made accordingly. Due process and confidentiality should be observed when implementing the evaluation. There should be an appropriate set of rules governing procedures of access to evaluation reports and data to protect the rights of the principals evaluated. According to the conclusions above, this research has offered some propositions regarding the planning and implementation of school principal evaluation systems. These propositions are aimed at education administrations, school principals, and other stakeholders. Keywords: principal evaluation, principal appraisal, evaluation system, evaluation model, meta-evaluation, evaluation standard,

Made available in DSpace on 2016-04-04T18:32:57Z (GMT). No. of bitstreams: 1 DANIELA MUNERATO PICCOLO ARROYO.pdf: 979174 bytes, checksum: 470b7831f45f03c33b97e12c7dc568f4 (MD5) Previous issue date: 2010-02-26 / From the interest in understanding the formation of the student, focusing on the future as professionals who must be able to act differently in different situations in your professional and personal with a high social commitment, we understand that the university extension programs can fulfill important role in this regard. The extension programs aimed at, among its objectives, the training for university students taking social commitments and work towards a less unequal society. We choose then as a field of research, an outreach program at a Catholic university (here called the Center), who works for social inclusion of people with disabilities from an interdisciplinary perspective, taking his team teachers and students in different areas of their undergraduate courses. From a brief history of higher education in Brazil, the implementation of continuing education in institutions of higher education and in this context, the debate on the responsibilities of the State and the University for the development of society, emphasize the importance of assessment procedures university extension programs. From our point of view, these processes are essential to advance these programs and play an important role in the formation of student extension. We argue that the evaluation of extension programs is necessary to address the inseparability of the axes of teaching and research-extension, interdisciplinarity, and to the peculiarities of the specific study, the inclusion of people with disabilities. We develop a meta-evaluation of goals: (1) determine what are the strengths of the evaluation process conducted by the extension program put into the study, (2) ascertaining the weaknesses of this process, and (3) to reflect about which aspects of this assessment contributes to the formation of students participating in the program. This is a case study, and the methodological procedures used were document analysis of the program, literature review, and conducting semi-structured interview with the Coordinator of the program. The empirical analysis was constructed qualitatively and quantitatively. The results showed that operating a process to assess the extent is a complex and that gaps and contradictions must be analyzed carefully, may limit the contributions that the extension activities have potential for the training of students who took part. / A partir do interesse em compreender a forma??o do estudante universit?rio, focalizandoo como futuro profissional que deve ser capaz de atuar de forma diferenciada nas diversas situa??es de sua trajet?ria profissional e pessoal e com elevado compromisso social, entendemos que os programas de extens?o universit?ria podem cumprir importante papel neste sentido. Os programas de extens?o visam, dentre seus objetivos, a capacita??o para os estudantes universit?rios assumirem compromissos sociais e trabalharem por uma sociedade menos desigual. Elegemos, ent?o, como campo da pesquisa, um programa de extens?o de uma universidade cat?lica (aqui chamado de Centro), que trabalha pela inclus?o social de pessoas com defici?ncia, numa perspectiva interdisciplinar, tendo em sua equipe professores e estudantes de diferentes ?reas dos seus cursos de gradua??o. A partir um breve hist?rico sobre a educa??o superior no Brasil, a implanta??o da extens?o universit?ria nas institui??es de ensino superior e, neste contexto, do debate sobre as responsabilidades do Estado e da universidade pelo desenvolvimento da sociedade, destacamos a import?ncia dos processos de avalia??o dos programas de extens?o universit?ria. De nosso ponto de vista, estes processos s?o imprescind?veis para fazer avan?ar estes programas e t?m importante papel na forma??o dos alunos-extensionistas. Argumentamos que na avalia??o de programas de extens?o ? necess?rio abordar a indissociabilidade dos eixos ensino-pesquisa-extens?o, a interdisciplinaridade e, em fun??o das peculiaridades do programa espec?fico estudado, a inclus?o social das pessoas com defici?ncia. Desenvolvemos um trabalho de metaavalia??o, com objetivos de: (1) verificar quais s?o os pontos fortes do processo de avalia??o realizado pelo programa de extens?o colocado em estudo; (2) averiguar quais s?o as fragilidades deste processo; e (3) refletir sobre quais aspectos esta avalia??o contribui para a forma??o dos estudantes que participam do programa. Trata-se de um estudo de caso, e os procedimentos metodol?gicos utilizados foram an?lise documental do programa, revis?o bibliogr?fica, e realiza??o de entrevista semi-estruturada com a Coordenadora do programa. O material emp?rico constru?do foi analisado qualitativa e quantitativamente. Os resultados mostraram que colocar em funcionamento um processo de avalia??o da extens?o ? um trabalho complexo e que lacunas e contradi??es precisam ser analisadas com cuidado, porque podem limitar as contribui??es que as atividades extensionistas tem em potencial para a forma??o dos estudantes que delas participam.

Made available in DSpace on 2016-04-27T14:30:30Z (GMT). No. of bitstreams: 1 Marco Antonio de Jesus Machado.pdf: 724489 bytes, checksum: 05e33a764bdb5175661246e9afba9def (MD5) Previous issue date: 2010-11-10 / Conselho Nacional de Desenvolvimento Científico e Tecnológico / This thesis has as its theme the "meta-evaluation of projects in Education using ICT". Its purpose is to conduct a meta-evaluation of the Project Management School and Technology as well as the Learning Partnership program, concerning with the quality of evaluation processes. The meta-evaluation aims to improve the methodological and practical assessments of future projects involving ICT. This course was constructed on the basis of that evaluation is part of the nature of practice as to think the assessment is to think the practice as the best way to improve it. The research led to the revision of the conceptual evolution of the project until its inclusion in education, by authors such as Jean-Pierre Boutinet and Nilson José Machado. It was necessary to relate the project with the technology. For this I used the concept of technology inserted in the work of Alvaro Viera Pinto. The different conceptions of evaluation have been worked by authors such as Jean-Jacques Bonniol and Michael Vial, Elizabeth Franchi Cappelletti; Ernesto Cohen and Rolando Franco and tests organized by Maria Cecilia Noble Purple Barrier and Maria do Carmo Brant de Carvalho. Finally, to examine the use of ICT in Education, resorted to Bianconcini Elisabeth Maria de Almeida. The research chose a qualitative approach, because it is more appropriate to deal with feelings, perceptions and human attitudes, thus moving away from the rigors of rationality. The procedures adopted for the analysis were: a semi-structured interview instrument considered qualitative, suitable for the study of subjective meanings, and document analysis, used to understand reality to be researched, construct categories of analysis for the assessment and complete information derived from interviews. The data suggest the importance of the evaluative procedures in programs and projects with the use of ICT deployment, process, and also the analysis of results. The assessments examined met expectations and were useful for the audience involved, they could anticipate problems and / or propose solutions to problems encountered. The outcome of the meta-evaluation may serve as input for future projects of evaluation, provided that consideration is given to the care of the difficulties encountered, which will serve as an apprenticeship for future projects / Esta tese tem como tema a meta-avaliação de projetos em educação com o uso das TIC . Sua finalidade é realizar a meta-avaliação do Projeto Gestão Escolar e Tecnologias e do Programa Parceiros na Aprendizagem, preocupando-se com a qualidade desses processos avaliativos. A meta-avaliação objetiva o aprimoramento metodológico e prático de futuras avaliações de projetos envolvendo as TIC. Esse percurso foi construído com base no pressuposto de que a avaliação faz parte da própria natureza da prática, pois pensar a avaliação é pensar a prática enquanto melhor maneira de aperfeiçoá-la. A pesquisa conduziu à revisão da evolução do conceito de projeto até a sua inserção na educação, por meio de autores como Jean-Pierre Boutinet e Nílson José Machado. Foi necessário relacionar o projeto com a tecnologia. Para tanto utilizei o conceito de tecnologia presente na obra de Álvaro Viera Pinto. As diferentes concepções de avaliação foram trabalhadas por meio de autores como Jean- Jacques Bonniol e Michael Vial; Isabel Franchi Cappelletti; Ernesto Cohen e Rolando Franco e dos ensaios organizados por Maria Cecília Roxo Nobre Barreira e Maria do Carmo Brant de Carvalho. Por fim, para analisar o uso das TIC na área educacional, recorri a Maria Elisabeth Bianconcini de Almeida. A pesquisa optou pela abordagem qualitativa, por ser a mais adequada para lidar com sentimentos, percepções e atitudes humanas, afastando-se assim do rigor da racionalidade. Os procedimentos adotados para a análise foram: a entrevista semiestruturada, instrumento considerado qualitativo, próprio para o estudo de significados subjetivos, e a análise documental, utilizada para conhecer realidade a ser pesquisada, construir categorias de análise para a avaliação e completar informações advindas das entrevistas. Os dados apontam para a importância dos procedimentos avaliativos em programas e projetos com o uso das TIC, na implantação, no processo e também na análise dos resultados. As avaliações analisadas atenderam a expectativa e foram úteis para as audiências envolvidas. Puderam antecipar problemas e/ou propor soluções às dificuldades encontradas. Os resultados da meta-avaliação podem servir como subsídios para futuros projetos avaliativos, desde que se atente para o cuidado com as dificuldades encontradas, que servirão como ensinamento para futuros projetos