250 f. / Submitted by Suelen Reis (suziy.ellen@gmail.com) on 2013-05-06T18:20:25Z No. of bitstreams: 1 Tese_Rosineide Garcia.pdf: 1883671 bytes, checksum: df48ed201e5ea524f0b7c9405aa6cc10 (MD5) / Approved for entry into archive by Maria Auxiliadora Lopes(silopes@ufba.br) on 2013-06-11T19:29:53Z (GMT) No. of bitstreams: 1 Tese_Rosineide Garcia.pdf: 1883671 bytes, checksum: df48ed201e5ea524f0b7c9405aa6cc10 (MD5) / Made available in DSpace on 2013-06-11T19:29:53Z (GMT). No. of bitstreams: 1 Tese_Rosineide Garcia.pdf: 1883671 bytes, checksum: df48ed201e5ea524f0b7c9405aa6cc10 (MD5) Previous issue date: 2008 / A avaliação é um dos eixos estruturantes das grandes políticas educacionais contemporâneas, envolvendo, além da dimensão pedagógica; a social, política, ética e de gestão. Do mesmo modo, avaliar a avaliação (meta-avaliação) é tão necessário no cenário educacional quanto a realização da própria avaliação. É colocar em evidência uma apreciação crítica de uma avaliação já concluída ou ainda em processo, envolvendo um conjunto de pressupostos teóricos e, às vezes, empíricos que darão subsídios para qualificar e validar os processos e resultados de um determinado objeto ou fenômeno já avaliado, visando o redimensionamento das ações e aprimoramento dos processos. A emergência de uma sociedade global caracterizada pela interconectividade e seus diferentes níveis de comunicação possibilita o surgimento de novos ambientes de ensino e aprendizagem e, conseqüentemente, de novas práticas avaliativas. O objetivo da presente tese é analisar as políticas e práticas de avaliação da aprendizagem nos cursos de pós-graduação lato sensu a distância na Bahia. Um dos fatores fundamentais e, ao mesmo tempo, desafiadores na avaliação da aprendizagem é a definição de um modelo teórico de avaliação e sua aplicação. A escolha conceitual para a construção desse modelo teve como referência a ação comunicativa de Habermas, a avaliação da aprendizagem pautada na negociação comunicativa de Guba & Lincoln e os processos interativos e comunicacionais da educação a distância, com ênfase na educação on-line. Nesse aporte teórico, o diálogo foi identificado como uma estratégia essencial, orientada ao entendimento, consensos e acordos coletivos sobre as políticas e práticas de avaliação da aprendizagem na educação a distância. Nessa perspectiva comunicacional, o feedback processual é um marco para que, de fato, se possa estabelecer uma participação-intervenção entre os sujeitos da ação avaliativa, permitindo a criação e co-criação de situações de aprendizagem que visem a auto-regulação. O feedback processual é compreendido como sendo um conjunto de informações significativas sobre o desempenho dos aprendizes e comunicadas, individualmente e coletivamente, na busca de melhorias ainda no próprio percurso da aprendizagem. Essa pesquisa teve como foco a seguinte tese: “O feedback processual entre os sujeitos da ação avaliativa nos cursos de pós-graduação lato sensu a distância é um dos eixos fundamentais da avaliação da aprendizagem na perspectiva da negociação comunicativa para a construção do conhecimento e para a gestão do processo”. O recorte empírico envolveu os cinco cursos de pós-graduação lato sensu a distância, num total de onze turmas, do Serviço Nacional de Aprendizagem Comercial (SENAC/Ba). A pesquisa utilizou a abordagem predominantemente qualitativa com técnicas quantitativas, envolvendo gestores pedagógicos, educadores e aprendizes. Os resultados mostram que há uma predominância de características da avaliação da aprendizagem vinculadas à descrição detalhada sobre os objetivos alcançados em relação aos planejados (segunda geração) e julgamento de valor como elemento essencial (terceira geração), apesar de apresentar algumas características que tendem à negociação comunicativa (quarta geração), como a utilização do diálogo e de ferramentas tecnológicas pautadas em processos interativos. Constatou-se a falta de feedback durante o processo de ensino e aprendizagem nos cursos, o que pode comprometer o aprimoramento da aprendizagem e o seu processo de gestão ainda no próprio percurso da ação, além de desfavorecer a prática de auto-avaliação e, por conseguinte, a avaliação formativa. / Salvador

nÃo hà / Esta dissertaÃÃo trata da avaliaÃÃo do processo de implementaÃÃo do Exame Nacional de Desempenho de Estudantes (ENADE) na Universidade Federal do Cearà (UFC), buscando compreender as concepÃÃes e os usos que os coordenadores de cursos de graduaÃÃo concebem à prÃtica da avaliaÃÃo institucional. Para isso, realizou-se uma meta-avaliaÃÃo sob a perspectiva de uma avaliaÃÃo em profundidade (LEJANO, 2012; L. C. RODRIGUES, 2008), objetivando-se: (a) construir o percurso histÃrico do SINAES, desde suas propostas, objetivos e fins atà sua implementaÃÃo na UFC no contexto nacional das polÃticas pÃblicas para a EducaÃÃo Superior, especialmente o ENADE; (b) analisar as estratÃgias, os processos e as aÃÃes da gestÃo da UFC direcionados Ãs coordenaÃÃes de cursos de graduaÃÃo na realizaÃÃo do ENADE; (c) conhecer e compreender os usos e os significados atribuÃdos pelos gestores selecionados aos resultados e processos desencadeados pela realizaÃÃo do ENADE no desenvolvimento dos cursos de graduaÃÃo na UFC. Utilizou-se, na metodologia da pesquisa avaliativa, abordagem quantitativa e, principalmente, qualitativa, em articulaÃÃo com a discussÃo teÃrica dos conceitos avaliaÃÃo institucional, meta-avaliaÃÃo e universidade. Realizou-se a pesquisa por meio de levantamento bibliogrÃfico e documental, aplicaÃÃo de questionÃrios e entrevistas semiestruturadas. A pesquisa foi realizada com coordenadores de cursos de graduaÃÃo e gestores da PROGRAD, sendo aplicados 42 questionÃrios com questÃes fechadas e abertas e entrevistadas 13 pessoas. Os resultados da pesquisa avaliativa sugerem que o ENADE, como polÃtica pÃblica de avaliaÃÃo de instituiÃÃes de ensino superior, à ressignificado e vivenciado na UFC de modo diverso aos objetivos pelos quais foi inicialmente proposto. As conclusÃes sobre a pesquisa indicam que o ENADE na UFC à percebido e vivenciado como avaliaÃÃo institucional sob a perspectiva do monitoramento, do controle e da regulaÃÃo. / This dissertation deals with the evaluation of the implementation process of the National Examination of Student Performance (ENADE) at the Federal University of Cearà (UFC), trying to understand the concepts and the uses to which the coordinators of undergraduate courses conceive the practice of institutional evaluation. For this, we carried out a meta-evaluation from the perspective of an in-depth evaluation (LEJANO, 2012; L. C. RODRIGUES, 2008), aiming to: (a) build the historical background of SINAES from its proposals, objectives and purposes to its implementation in the context of UFC and national public policies for higher education, especially the ENADE; (b) analyze the strategies, processes and UFC managementâs actions directed to coordination of undergraduate courses in the realization of ENADE; (c) know and understand the uses and meanings attributed by managers selected to the results and processes triggered by the completion of ENADE in the development of undergraduate courses at UFC. It was used in the evaluative research methodology, quantitative and mainly qualitative approach, in conjunction with the theoretical discussion of the concepts institutional evaluation, meta-evaluation and university. We conducted the research through a literature and documentary review, questionnaires and semi-structured interviews. The survey was conducted with coordinators of undergraduate and PROGRAD managers, and applied 42 questionnaires with closed and open questions and interviewed 13 people. The results of evaluative research suggest that ENADE, as public policy of evaluation of higher education institutions, is reframed and experienced at UFC differently to the purposes for which it was originally proposed. The conclusions of the research indicate that the ENADE at UFC is perceived and experienced as institutional assessment from the perspective of monitoring, control and regulation.

Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-06-23T11:17:26Z No. of bitstreams: 1 fernandagomesdasilva.pdf: 1345231 bytes, checksum: 95383f963d2cd2ef744355e3ac1d2edd (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-08-07T20:11:29Z (GMT) No. of bitstreams: 1 fernandagomesdasilva.pdf: 1345231 bytes, checksum: 95383f963d2cd2ef744355e3ac1d2edd (MD5) / Made available in DSpace on 2017-08-07T20:11:29Z (GMT). No. of bitstreams: 1 fernandagomesdasilva.pdf: 1345231 bytes, checksum: 95383f963d2cd2ef744355e3ac1d2edd (MD5) Previous issue date: 2014-09-29 / Esta dissertação centra-se no estudo de caso do sistema de avaliação da educação pública pertencente à Secretaria Municipal de Educação da cidade de Belo Horizonte – MG, o Avalia BH, no que concerne à implementação de testes de proficiência em Ciências da Natureza para o Ensino Fundamental. São investigadas as motivações para tal implementação e os seus efeitos na gestão do próprio sistema, na gestão escolar, no desempenho estudantil e na prática docente. Conclui-se, a partir de entrevista junto ao órgão responsável pelo programa (GAPED - Gerência de Avaliação de Políticas Educacionais) e das análises de questionários aplicados a docentes e gestores, que a inclusão da aferição de competências científicas no referido sistema repercute em ações tímidas diante dos seus resultados; apresenta, ainda, incerteza a respeito de seus procedimentos e instrumentos de medição e necessita, portanto, de reformulações. Propõe-se, assim, como Plano de Ação Educacional, uma ampliação da investigação aqui realizada a partir da meta-avaliação, a fim de sistematizar os principais pontos a serem modificados e possibilitar a criação de estratégias para tornar a política pública compensatória ao ensino de Ciências. / This dissertation focuses on the case study of the evaluation system of public education pertaining to the Municipal Education Department of the city of Belo Horizonte-MG – called Avalia BH – concerning the implementation of proficiency tests in Natural Sciences. The motivations for such an implementation and its effects on the management of the system itself, the school management, student achievement and teacher practice are investigated. It is concluded, through interviews with the agency responsible for the program (Gerência de Avaliação de Políticas Educacionais – GAPED, in Portuguese) and by the analysis of questionnaires given to teachers and educational managers, that the inclusion of measuring scientific competencies on this system resonates timid actions before their results; it also presents uncertainty about its procedures and measurement instruments, therefore in need of reformulation. It is proposed as an Educational Action Plan, an extension of the research conducted here starting from the meta-evaluation in order to systematize the main points to be modified to make compensatory public policy to Science Teaching.

O Exame Nacional do Ensino Médio (ENEM) está entre os maiores do mundo, abrangendo seis milhões de pessoas ao ano. Um de seus objetivos é permitir a comparação das escolas brasileiras, através da publicação de médias, tornando-se peça central na política brasileira de accountability escolar. Há, contudo, críticas técnicas e filosóficas ao uso do ENEM como indicador de qualidade escolar. Investigamos o potencial alcance de tais críticas, assim como possíveis efeitos benéficos do ranking de escolas. Pressupomos que o processo educativo na democracia é uma relação intersubjetiva, com finalidades e estratégias minimamente definidas pelas pessoas envolvidas. METODOLOGIA: buscamos articular uma reflexão filosófica sobre as questões sócio-políticas da escolarização com métodos quantitativos. Realizamos análise multinível dos microdados do ENEM 2009 em três níveis: indivíduo, escola e estado. Estimamos o efeito escola, o efeito estado e a variância explicada. Analisamos algumas edições do ENEM com base na Teoria Clássica dos Testes e na Teoria da Resposta ao Item. RESULTADOS: identificamos diversas concepções de inteligência e de qualidade escolar, sendo poucas delas contempladas pelos indicadores baseados em testes padronizados. Mostramos que a supervalorização desses testes cria o risco de colonização do cotidiano escolar pela razão instrumental, empobrecendo as relações intersubjetivas e as práticas pedagógicas. Identificamos riscos de se utilizar o mesmo teste para diversas finalidades. Constatamos a existência de dois modelos de ENEM, antes e depois de 2009. A análise multinível revelou um efeito escola em torno de 22%; controlando o nível socioeconômico ele reduz para 7%. Cerca de 20% da variação nas notas dos alunos foi explicada por fatores contextuais. No nível das escolas, o valor aumenta para 79%. Excluindo as notas de redação, como no ranking de 2012, a variância explicada chega a 87%, demonstrando que o desempenho da escola é altamente influenciado por fatores que não estão sob seu controle. Constatamos também que as médias entre escolas próximas no ranking não são estatisticamente diferentes. CONCLUSÕES: embora o ENEM possa avaliar o mérito dos alunos, é pouco informativo sobre o mérito das escolas, sendo inadequado para avaliar, isoladamente, a qualidade dessas instituições. Apontamos alguns limites do ranking como indicador de qualidade escolar (grande sobreposição de intervalos de confiança; supervalorização de um único exame; pouca informação sobre o mérito da escola; risco de empobrecer o currículo e as relações intersubjetivas no cotidiano escolar; risco de aumentar as desigualdades) assim como algumas possibilidades criadas por ele (referência objetiva para comparação, sinalizar para o ensino médio não focar excessivamente na quantidade de conteúdos; mobilização pela qualidade escolar; criação de outros indicadores). Disponibilizamos uma seleção das melhores instituições de ensino médio em termos de efeito escola, com objetivo de dar visibilidade àquelas que provavelmente realizam um bom trabalho dentro das condições em que se encontram. / The national secondary Brazilian examination (ENEM) is one of the largest standards in the world, covering six million people every year. One of his goals is to allow comparison of schools, thus being a central piece in the Brazilian school accountability system. However, there are technical and philosophical criticism to use ENEM as an indicator of school quality. We investigate the potential scope of such criticisms, as well as potential beneficial effects of school league tables. We assume that the educational process in democracy is an intersubjective relationship with purposes and strategies minimally defined by people involved in it. METHODS: we seek to articulate a philosophical reflection on the socio-political issues of schooling with quantitative methods. We conducted multilevel analysis of ENEM 2009 microdata at three levels: individual, school and state. We estimate the school effect, the \"state effect\" and explained variation. We analyse some ENEM exams based on Classical Test Theory and Item Response Theory. RESULTS: we identified several concepts of intelligence and school quality, few of them covered by indicators based on standards. We show that overvaluating standards creates the risk of colonizating everyday school life by instrumental rationality, making interpersonal relationships and pedagogical practices poorer. We identified risks of using the same test for different purposes. We found two ENEM models: before and after 2009. The multilevel analysis revealed a school effect around 22%; controlling socioeconomic status reduces it to 7%. About 20% of the variation in student scores was explained by contextual factors. At the school level, the figure rises to 79%. Excluding the writing test, as in 2012 league table, the explained variation reaches 87%, showing that school score is highly influenced by factors they can not control. We also showed that the averages between neighboring schools in the league table are not statistically different. CONCLUSIONS: Although ENEM can evaluate the merit of the students, it tells little about the merits of the schools. Therefore, it is inappropriate to evaluate, alone, the quality of these institutions. We point out some limitations of ENEM as school quality indicator (confidence intervals overlapping; overvaluation of a single test; few information on the merits of school; risk of impoverishing the curriculum and interpersonal relationships in school life; risk of increasing inequalities) as well as some possibilities created by it (objective reference for comparison; message to schools not overly focus on amount of contents; mobilization for school quality; creation of other indicators). Accordingly, we provide a selection of the best Brazilian high schools in school effect, aiming to give visibility to institutions that do a good job in not necessarily good conditions.

[pt] Assegurar a qualidade de uma avaliação é um grande desafio para os avaliadores. A avaliação de um processo avaliativo denomina-se meta-avaliação. No Brasil já existe uma grande preocupação com a qualidade da avaliação, contudo o conceito de meta-avaliação ainda é uma novidade. Os profissionais discutem quais são os critérios de excelência que uma verdadeira avaliação deve atender tendo como base os padrões definidos pelo Joint Committee on Standards for Educational Evaluation (1994), que estão agrupados em quatro grandes categorias: utilidade, viabilidade, ética e precisão. Este trabalho propõe uma nova metodologia para meta-avaliação utilizando os conceitos de conjuntos fuzzy e da lógica fuzzy. A metodologia é composta por um instrumental de coleta de dados (lista de checagem para meta-avaliação de programas/projetos) e por um sistema de inferência fuzzy hierárquico para o tratamento de dados referentes à metaavaliação de programas/projetos. As principais vantagens de um sistema desse tipo são: (i) a possibilidade de trabalhar com regras lingüísticas; (ii) a utilização de ferramentas adequadas para trabalhar com a imprecisão intrínseca que existe em problemas complexos, como é o caso de processos de meta- avaliação; (iii) a incorporação de conhecimento subjetivo (de especialistas); (iv) a adaptabilidade do processo de inferência a situações específicas. A metodologia ora proposta utiliza um sistema hierárquico composto por trinta e seis bases de regras organizadas em três níveis: padrão (nível 1), categoria (nível 2), e meta-avaliação (nível 3). As principais características da metodologia desenvolvida são: (i) o instrumento de coleta de dados, que permite respostas intermediárias; (ii) a capacidade de adaptação do sistema de inferência fuzzy a necessidades específicas; (iii) a transparência obtida pela utilização de regras lingüísticas, o que facilita a discussão e o entendimento de todo o processo. Acredita-se que esta metodologia facilitará os processos de meta-avaliação. Este estudo pretende ser uma contribuição para a área da avaliação e para a prática da meta-avaliação. / [en] Assuring the quality of an evaluation is a great challenge to evaluators. The evaluation of an evaluative process is called meta- evaluation. In Brazil there is a great concern about evaluation quality, although the concept of metaevaluation is new. Evaluation professionals are still discussing the criteria of excellence that a true evaluation should attend. The standards defined by the Joint Committee on Standards for Educational Evaluation (1994) that are presented in terms of utility, feasibility, ethics and accuracy, enlighten on that discussion. This study presents a new methodology for meta-evaluation that makes use of fuzzy sets and fuzzy logic concepts. The methodology is composed of an instrument for data collection (checklist for the meta-evaluation of programs/projects) and of a hierarchical fuzzy inference system for treatment of data related to the metaevaluation of projects and programs. The main advantages of using such a system are: (i) the possibility of working with linguistic rules; (ii) the use of tools that deal with the intrinsic imprecision of complex problems, as is the case of metaevaluation; (iii) the incorporation of subjective knowledge (of specialists); (iv) the adaptability of the inference process to specific situations. This new methodology makes use of a system composed of 36 rule bases organized in three levels: standard (level 1), category (level 2), and meta- evaluation (level 3). The main features of the proposed methodology are: (i) the data collection instrument, that allows intermediate answers; (ii) the fuzzy system's capability of adaptation to specific needs; (iii) the transparency provided by the use of linguistic rules, which favours understanding and discussion of the whole process. It is believed that this methodology will make the meta-evaluation process easier. This study intends to be a contribution to evaluation as a subject and to meta- evaluation practice.

Trata-se da meta-avaliação de um processo avaliativo desenvolvido por secretários e assessores técnicos municipais de uma região de saúde do estado de São Paulo, com foco nos critérios de utilidade e participação. É uma pesquisa qualitativa, cuja base empírica foi 1) o material produzido em sete oficinas realizadas com os representantes municipais, com vistas à avaliação de um aspecto da linha de cuidados em saúde sob a ótica da integralidade; e 2) as entrevistas semiestruturadas realizadas com os mesmos atores após a finalização do processo avaliativo. Para a avaliação do critério de utilidade, utilizou-se principalmente o referencial de KIRKHART (2000), com o objetivo de ampliar a análise para além do uso instrumental dos achados avaliativos e focá-la na identificação de influências múltiplas exercidas por um fenômeno complexo como um processo avaliativo. A análise do critério participação se deu com base no referencial de COUSINS e WHITMORE (1998), buscando a identificação no material empírico de decisões ou aspectos contextuais que fizeram com que a opção participativa fosse aprofundada ou limitada no processo em foco. O trabalho destaca a importância de explicitar pressupostos que baseiam a metodologia da avaliação/ meta-avaliação escolhida, e a necessidade de se buscar referenciais teóricos de análise compatíveis com a opção realizada, frisando a inexistência de posturas neutras ou estudos totalmente objetivos; e a importância de capacitar avaliadores a acompanharem a demanda dos participantes de um processo participativo com a flexibilidade necessária para conferir-lhe o maior aproveitamento possível. Conclui-se pela viabilidade, com vantagens, da realização de processos participativos locais com gestores na Saúde Pública, destacando a possibilidade de ganhos em formação e o enriquecimento dos processos de negociação em nível do território, de forma coerente à política de construção das regiões de saúde no SUS. / This study aims to meta-evaluate an evaluation process developed by policymakers and technical advisors of a Health Region of Sao Paulo, centering on criteria of utility and participation. It analyzes the feasibility and possible benefits of using a participatory methodology in Public Health evaluations, highlighting aspects that facilitate and hinder this undertaking. It is a qualitative research, which empirical basis was 1) the material produced in seven workshops with municipal representatives, aiming the evaluation of an aspect of health care from the perspective of integrity; and 2) semi-structured interviews with the same actors after completion of the evaluation process. KIRKHART´s theoretical framework (2000) was used to evaluate the utility criterion, in order to expand the analysis beyond the instrumental use of the evaluation findings, and focus it in identifying multiple influences exerted by a complex phenomenon as an evaluation process. The evaluation criterion of participation was based on references of COUSINS e WHITMORE (1998), aiming to identify decisions or contextual aspects in the empirical material that made participatory option limited or depth in the focused process. The work highlights the need to seek theoretical frameworks of analysis consistent with the methodological choice carried out in order to enhance the identification of evaluation gains and limitations, and enable evaluators to monitor the demand of participants in the evaluation process with flexibility to reach its best use, even in those cases where there are limitations on the possibilities of participation. The results confirmed the viability, with advantages, of holding local participatory processes with policymakers and managers in Public Health, highlighting the possibility of gains in education and the enrichment of the negotiation process in the territory level, consistent with the policy of building health regions in SUS.

Made available in DSpace on 2016-04-28T20:57:09Z (GMT). No. of bitstreams: 1 PED - Nelson Antonio Simao Gimenes.pdf: 789344 bytes, checksum: 63da06ff367e5a8ac14f6d1673ee8d56 (MD5) Previous issue date: 2006-10-06 / With the objective to analyze the process of auto-evaluation developed in an Institute of Higher Learning in the interior of the state of São Paulo, we carried out a meta-evaluation from the point of view of the coordinators in the area of biological-health of the institution that is being used for the study utilizing an instrument of meta-evaluation, based on the standards of Utility and Accuracy developed by the Joint Committee on Standards for Educational Evaluation and made based on a free adaptation of the Program Evaluation Models Meta-evaluation Checklist. There was a main concern, during this work, of reflecting on the public policies of evaluation, not as one more legal demand of institutions in relation to the responsible government authorities, but as a procedure able to generate essential information for Institutions of Higher Learning, with the intention of contributing to its improvement and institutional development. The results show that although the autoevaluation carried out at the Institution of Higher Learning has been, in the opinion of the respondents, satisfactory; we identified some problems, especially concerning the difficulties of the internal evaluation of promoting adequate conditions for the generation of institutional improvements; as well as the effective involvement of the community from the perspective of amplified participation. We believe this study can contribute in the debate over the role of auto-evaluation and the importance of it in the improvement of the System of Higher Learning in Brazil, as well as reflecting on the adequate standards for the development of evaluative processes that generate changes and improvements on and for the different sectors of an Institution of Higher Learning, such as teaching, research, complementary activities and management, overpassing the legal-bureaucratic demands of the regulatory agencies of this system. Finally, we believe that to overcome these problems it is necessary to develop various and efficient forms of access, dissemination and feedback of the information collected during the evaluative process, which would make possible an improved comprehension of the objectives for the different segments of the local academic community / Com o objetivo de analisar o processo de auto-avaliação desenvolvido em uma Instituição de Educação Superior do interior do estado de São Paulo, realizamos uma metaavaliação a partir do ponto de vista dos coordenadores de curso da área de Saúdebiológica da instituição em estudo utilizando um instrumento de meta-avaliação, baseado nos padrões Utilidade e Precisão desenvolvidos pelo Comitê Misto sobre Diretrizes para a Avaliação Educacional (Joint Committee on Standards for Educational Evaluation) e feito a partir de uma adaptação livre do Program Evaluation Models Metaevaluation Checklist. Houve uma preocupação central, neste trabalho, de refletir sobre as políticas públicas de avaliação, não como mais uma exigência legal das instituições em relação aos órgãos governamentais responsáveis, mas como um procedimento capaz de gerar informações essenciais para as IESs, no intuito de contribuir para seu aperfeiçoamento e desenvolvimento institucional. Os resultados apontam que embora a auto-avaliação realizada na IES tenha sido, na opinião dos respondentes, satisfatória, identificamos alguns impasses, sobretudo em relação às dificuldades da avaliação interna de promover condições adequadas para a geração de melhorias institucionais, bem como de envolvimento efetivo da comunidade a partir de uma perspectiva de participação ampliada. Entendemos que este estudo pode contribuir para o debate sobre o papel da auto-avaliação e da importância desta para o aperfeiçoamento do Sistema de Educação Superior no Brasil, bem como de se refletir sobre padrões adequados para o desenvolvimento de processos avaliativos geradores de transformações e melhorias nos e pelos diferentes setores de uma IES, como o ensino, a pesquisa, a extensão e gestão, transpondo as exigências burocrático-legais dos órgãos reguladores deste sistema. Por fim, entendemos que para a superação destes impasses faz-se necessário o desenvolvimento de formas variadas e eficientes de acesso, divulgação e retorno das informações coletadas ao longo do processo avaliativo, o que possibilitaria a melhor compreensão dos seus objetivos pelos diferentes segmentos da comunidade acadêmica local

O Exame Nacional do Ensino Médio (ENEM) está entre os maiores do mundo, abrangendo seis milhões de pessoas ao ano. Um de seus objetivos é permitir a comparação das escolas brasileiras, através da publicação de médias, tornando-se peça central na política brasileira de accountability escolar. Há, contudo, críticas técnicas e filosóficas ao uso do ENEM como indicador de qualidade escolar. Investigamos o potencial alcance de tais críticas, assim como possíveis efeitos benéficos do ranking de escolas. Pressupomos que o processo educativo na democracia é uma relação intersubjetiva, com finalidades e estratégias minimamente definidas pelas pessoas envolvidas. METODOLOGIA: buscamos articular uma reflexão filosófica sobre as questões sócio-políticas da escolarização com métodos quantitativos. Realizamos análise multinível dos microdados do ENEM 2009 em três níveis: indivíduo, escola e estado. Estimamos o efeito escola, o efeito estado e a variância explicada. Analisamos algumas edições do ENEM com base na Teoria Clássica dos Testes e na Teoria da Resposta ao Item. RESULTADOS: identificamos diversas concepções de inteligência e de qualidade escolar, sendo poucas delas contempladas pelos indicadores baseados em testes padronizados. Mostramos que a supervalorização desses testes cria o risco de colonização do cotidiano escolar pela razão instrumental, empobrecendo as relações intersubjetivas e as práticas pedagógicas. Identificamos riscos de se utilizar o mesmo teste para diversas finalidades. Constatamos a existência de dois modelos de ENEM, antes e depois de 2009. A análise multinível revelou um efeito escola em torno de 22%; controlando o nível socioeconômico ele reduz para 7%. Cerca de 20% da variação nas notas dos alunos foi explicada por fatores contextuais. No nível das escolas, o valor aumenta para 79%. Excluindo as notas de redação, como no ranking de 2012, a variância explicada chega a 87%, demonstrando que o desempenho da escola é altamente influenciado por fatores que não estão sob seu controle. Constatamos também que as médias entre escolas próximas no ranking não são estatisticamente diferentes. CONCLUSÕES: embora o ENEM possa avaliar o mérito dos alunos, é pouco informativo sobre o mérito das escolas, sendo inadequado para avaliar, isoladamente, a qualidade dessas instituições. Apontamos alguns limites do ranking como indicador de qualidade escolar (grande sobreposição de intervalos de confiança; supervalorização de um único exame; pouca informação sobre o mérito da escola; risco de empobrecer o currículo e as relações intersubjetivas no cotidiano escolar; risco de aumentar as desigualdades) assim como algumas possibilidades criadas por ele (referência objetiva para comparação, sinalizar para o ensino médio não focar excessivamente na quantidade de conteúdos; mobilização pela qualidade escolar; criação de outros indicadores). Disponibilizamos uma seleção das melhores instituições de ensino médio em termos de efeito escola, com objetivo de dar visibilidade àquelas que provavelmente realizam um bom trabalho dentro das condições em que se encontram. / The national secondary Brazilian examination (ENEM) is one of the largest standards in the world, covering six million people every year. One of his goals is to allow comparison of schools, thus being a central piece in the Brazilian school accountability system. However, there are technical and philosophical criticism to use ENEM as an indicator of school quality. We investigate the potential scope of such criticisms, as well as potential beneficial effects of school league tables. We assume that the educational process in democracy is an intersubjective relationship with purposes and strategies minimally defined by people involved in it. METHODS: we seek to articulate a philosophical reflection on the socio-political issues of schooling with quantitative methods. We conducted multilevel analysis of ENEM 2009 microdata at three levels: individual, school and state. We estimate the school effect, the \"state effect\" and explained variation. We analyse some ENEM exams based on Classical Test Theory and Item Response Theory. RESULTS: we identified several concepts of intelligence and school quality, few of them covered by indicators based on standards. We show that overvaluating standards creates the risk of colonizating everyday school life by instrumental rationality, making interpersonal relationships and pedagogical practices poorer. We identified risks of using the same test for different purposes. We found two ENEM models: before and after 2009. The multilevel analysis revealed a school effect around 22%; controlling socioeconomic status reduces it to 7%. About 20% of the variation in student scores was explained by contextual factors. At the school level, the figure rises to 79%. Excluding the writing test, as in 2012 league table, the explained variation reaches 87%, showing that school score is highly influenced by factors they can not control. We also showed that the averages between neighboring schools in the league table are not statistically different. CONCLUSIONS: Although ENEM can evaluate the merit of the students, it tells little about the merits of the schools. Therefore, it is inappropriate to evaluate, alone, the quality of these institutions. We point out some limitations of ENEM as school quality indicator (confidence intervals overlapping; overvaluation of a single test; few information on the merits of school; risk of impoverishing the curriculum and interpersonal relationships in school life; risk of increasing inequalities) as well as some possibilities created by it (objective reference for comparison; message to schools not overly focus on amount of contents; mobilization for school quality; creation of other indicators). Accordingly, we provide a selection of the best Brazilian high schools in school effect, aiming to give visibility to institutions that do a good job in not necessarily good conditions.

Trata-se da meta-avaliação de um processo avaliativo desenvolvido por secretários e assessores técnicos municipais de uma região de saúde do estado de São Paulo, com foco nos critérios de utilidade e participação. É uma pesquisa qualitativa, cuja base empírica foi 1) o material produzido em sete oficinas realizadas com os representantes municipais, com vistas à avaliação de um aspecto da linha de cuidados em saúde sob a ótica da integralidade; e 2) as entrevistas semiestruturadas realizadas com os mesmos atores após a finalização do processo avaliativo. Para a avaliação do critério de utilidade, utilizou-se principalmente o referencial de KIRKHART (2000), com o objetivo de ampliar a análise para além do uso instrumental dos achados avaliativos e focá-la na identificação de influências múltiplas exercidas por um fenômeno complexo como um processo avaliativo. A análise do critério participação se deu com base no referencial de COUSINS e WHITMORE (1998), buscando a identificação no material empírico de decisões ou aspectos contextuais que fizeram com que a opção participativa fosse aprofundada ou limitada no processo em foco. O trabalho destaca a importância de explicitar pressupostos que baseiam a metodologia da avaliação/ meta-avaliação escolhida, e a necessidade de se buscar referenciais teóricos de análise compatíveis com a opção realizada, frisando a inexistência de posturas neutras ou estudos totalmente objetivos; e a importância de capacitar avaliadores a acompanharem a demanda dos participantes de um processo participativo com a flexibilidade necessária para conferir-lhe o maior aproveitamento possível. Conclui-se pela viabilidade, com vantagens, da realização de processos participativos locais com gestores na Saúde Pública, destacando a possibilidade de ganhos em formação e o enriquecimento dos processos de negociação em nível do território, de forma coerente à política de construção das regiões de saúde no SUS. / This study aims to meta-evaluate an evaluation process developed by policymakers and technical advisors of a Health Region of Sao Paulo, centering on criteria of utility and participation. It analyzes the feasibility and possible benefits of using a participatory methodology in Public Health evaluations, highlighting aspects that facilitate and hinder this undertaking. It is a qualitative research, which empirical basis was 1) the material produced in seven workshops with municipal representatives, aiming the evaluation of an aspect of health care from the perspective of integrity; and 2) semi-structured interviews with the same actors after completion of the evaluation process. KIRKHART´s theoretical framework (2000) was used to evaluate the utility criterion, in order to expand the analysis beyond the instrumental use of the evaluation findings, and focus it in identifying multiple influences exerted by a complex phenomenon as an evaluation process. The evaluation criterion of participation was based on references of COUSINS e WHITMORE (1998), aiming to identify decisions or contextual aspects in the empirical material that made participatory option limited or depth in the focused process. The work highlights the need to seek theoretical frameworks of analysis consistent with the methodological choice carried out in order to enhance the identification of evaluation gains and limitations, and enable evaluators to monitor the demand of participants in the evaluation process with flexibility to reach its best use, even in those cases where there are limitations on the possibilities of participation. The results confirmed the viability, with advantages, of holding local participatory processes with policymakers and managers in Public Health, highlighting the possibility of gains in education and the enrichment of the negotiation process in the territory level, consistent with the policy of building health regions in SUS.

<p>The research reported here is a meta-evaluative case study of project evaluation in the context of Official Development Cooperation (ODC) in the education sector in Tanzania, where the particular focus is on capturing the relative values attached to evaluation by various stakeholder groups.</p><p>Perspectives from the constructivist paradigm are adopted, implying relativist ontology, subjectivist epistemology, and naturalistic interpretive methodology. Based on these perspectives, a review is provided of development theories and evaluation theories, including the actor-oriented approach to development, participatory monitoring & evaluation, utilization-focused evaluation, and responsive-constructivist evaluation. An exploratory qualitative case study strategy is taken, combining several complementary methods e.g. in-depth interviews, questionnaires, document analysis, and observations.</p><p>Evaluation is considered as an applied social research, implying a managerial and political purpose. It is a reflective interactive process, where the relevance, effectiveness and impact of an intervention in pursuit of certain objectives are assessed, adding value in order to construct knowledge for the enhancement of decision-making. In order to facilitate understanding of the cases under study, their structural contexts are investigated: 1) ODC evaluation systems and strategies (international/ macro context); and 2) ODC in the education sector in Tanzania (national/meso context). Each case (at local/micro level) is located within these contexts and analyzed applying a meta-evaluative framework.</p><p>Integrating the perspectives of the stakeholders, the study demonstrates the strengths of, and constraints on, each case, factors which are to some extent determined by their respective time-frames. A number of significant discrepancies between theory and practice in ODC evaluation are reported. Findings indicate the significance of constructing consensus values that are based on a synthesis of multiple stakeholders’ values and perspectives complementing each others. The study also find that evaluation ought to be used as a powerful tool in which the values, needs and aspirations of various stakeholder groups can be reflected, especially those of local communities, who are now too often powerless in ODC projects in the education sector.</p>