Dissertação (mestrado)—Universidade de Brasília, Centro de Estudos Avançados Multidisciplinares, Mestrado em Desenvolvimento, Sociedade e Cooperação Internacional, 2013. / Submitted by Ana Cristina Barbosa da Silva (annabds@hotmail.com) on 2014-10-09T17:43:21Z No. of bitstreams: 1 2013_NatanaelPereiraLopesNeto.pdf: 1302741 bytes, checksum: 55c5b214db2f6b18dbdf7596717368b9 (MD5) / Approved for entry into archive by Tania Milca Carvalho Malheiros(tania@bce.unb.br) on 2014-10-16T20:30:23Z (GMT) No. of bitstreams: 1 2013_NatanaelPereiraLopesNeto.pdf: 1302741 bytes, checksum: 55c5b214db2f6b18dbdf7596717368b9 (MD5) / Made available in DSpace on 2014-10-16T20:30:23Z (GMT). No. of bitstreams: 1 2013_NatanaelPereiraLopesNeto.pdf: 1302741 bytes, checksum: 55c5b214db2f6b18dbdf7596717368b9 (MD5) / A liberdade deve ser o principal objetivo do desenvolvimento. Assim, o desenvolvimento consiste na expansão das capacidades das pessoas por meio da eliminação das privações às suas liberdades substantivas, como o trabalho infantil. E a cooperação internacional é um importante instrumento no processo de desenvolvimento dos países. Esta dissertação de mestrado tem por objetivo contribuir ao debate sobre o papel da cooperação internacional para o desenvolvimento, principalmente em países de renda média. Neste sentido, num primeiro momento é realizada uma revisão bibliográfica sobre desenvolvimento,sobre cooperação internacional e sobre trabalho infantil. Em seguida, é realizada uma análise qualitativa comparada de intervenções de cooperação internacional de combate ao trabalho infantil, implementadas no Brasil – um país de renda média alta, e na Tanzânia – um país de baixa renda. O trabalho infantil é visto como um dos principais desafios do desenvolvimento e sua eliminação significa a quebra de um dos principais processos de perpetuação da pobreza. Este trabalho explora a cooperação internacional para o desenvolvimento numa perspectiva multidisciplinar e utiliza conceitos e metodologias da avaliação e da meta-avaliação como instrumentos para a análise comparada. _______________________________________________________________________________ ABSTRACT / Freedom must be the main objective of development. Thus, development constitutes in the expansion of people’s capabilities through the elimination of the deprivations to people’s substantive freedoms, as the child labour. And the international cooperationis an important instrument in the development process of the countries. This master’s dissertation has as objective to contribute to the debate on the role of international cooperation for development, especially in the middle-income countries. In this sense, at first a literature review on development, international cooperation and child labour is performed. Then, is performed a qualitative comparative analysis ofinter national cooperation interventions of child labour combat, implemented in Brazil– an upper-middle income country, and in Tanzania – a low income country. Childlabour is seen as a major development challenge and its elimination means breakingon of the major processes of poverty perpetuation. This paper explores the international cooperation for development in a multidisciplinary perspective and uses concepts and methodologies of evaluation and meta-evaluation as tools for the comparative analysis.

Submitted by JOANA CORRÊA GOULART null (joana@ueg.br) on 2018-06-03T20:39:13Z No. of bitstreams: 1 Tese_Texto-Completo_JoanaCorreaGoulart.pdf: 1132355 bytes, checksum: 18a5e6ec72e06d0c3cd0807a6b00b554 (MD5) / Approved for entry into archive by Aline Aparecida Matias null (alinematias@fclar.unesp.br) on 2018-06-04T12:48:40Z (GMT) No. of bitstreams: 1 goulart_jc_dr_arafcl.pdf: 1132355 bytes, checksum: 18a5e6ec72e06d0c3cd0807a6b00b554 (MD5) / Made available in DSpace on 2018-06-04T12:48:40Z (GMT). No. of bitstreams: 1 goulart_jc_dr_arafcl.pdf: 1132355 bytes, checksum: 18a5e6ec72e06d0c3cd0807a6b00b554 (MD5) Previous issue date: 2018-04-23 / Esta Tese tem como objeto de estudo a avaliação institucional empreendida pelas Instituições de Ensino Superior em atendimento as exigências do Ministério da Educação, por meio do Sistema Nacional de Avaliação da Educação Superior (SINAES). Consiste na análise e discussão dos resultados da avaliação institucional interna realizada pela Universidade Estadual de Goiás (UEG) apresentados em Relatórios. Apresentou-se o seguinte questionamento: A Avaliação Institucional Interna da Universidade Estadual de Goiás (UEG) oferece resultados que possuem clareza, informações válidas e confiáveis e tem utilidade para a instituição?. Para responder essa questão apresenta-se os seguintes objetivos: Discutir as políticas e os conceitos de avaliação da educação superior e a inserção da UEG nessas políticas; Discutir os conceitos de meta-avaliação e a necessidade de sua realização; Analisar os padrões e os critérios fundamentais da meta-avaliação, apresentados na literatura sobre o tema; Analisar os Relatórios de avaliação institucional interna da UEG, com base nos conceitos dos padrões de utilidade, viabilidade e precisão, da meta-avaliação, apresentados pelo Joint Committee (2011). Foi empreendido um estudo bibliográfico com os eixos do aprofundamento teórico organizados com foco nas concepções de universidade, estado avaliador, regulação, concepções de avaliação institucional e conceituação de meta-avaliação. Caracteriza-se como uma pesquisa documental com a análise dos Relatórios de Avaliação Institucional Interna da UEG, no período de 2012 a 2014, em relação aos padrões que orientam a meta-avaliação, apresentados pelo Joint Committee (2011). Esses padrões são os indicadores que mais convergem com as orientações do SINAES e com as teorias sobre avaliação institucional. A meta-avaliação concretiza-se pela prática de reflexões sobre as atividades avaliativas. No caso em tela, uma análise sobre um os resultados finais das atividades avaliativas da UEG. A meta-avaliação determina mérito e valor da avaliação e ratifica ou não os princípios em que se inspira os procedimentos e instrumentos utilizados para realizá-la. Considerando as questões levantadas apresentou-se e confirmou a Tese de que a Meta-avaliação constitui-se em um procedimento de reflexão e qualificação da Avaliação Institucional Interna da UEG. Acredita-se que a meta-avaliação é compatível com a necessidade de reflexão e acompanhamento dos resultados apresentados pela avaliação institucional. Ressalta-se que a escolha da meta-avaliação possibilitou considerar que a avaliação institucional interna dessa Universidade, tem mérito e valor para a comunidade, no entanto, há ainda muitas dificuldades a serem superadas com relação à aplicação dos resultados das atividades avaliativas. Assim, este estudo poderá contribuir para o aprimoramento das ações institucionais na realização da avaliação interna ao desvelar os pontos considerados como acertos e as dificuldades apresentadas nas manifestações da comunidade acadêmica, traduzidos nos Relatórios de Avaliação Institucional. / This thesis aims to study the institutional evaluation undertaken by Higher Education Institutions in compliance with the requirements of the Ministry of Education, through the National System for the Evaluation of Higher Education (SINAES). It consists of the analysis and discussion of the results of the internal institutional evaluation carried out by the State University of Goiás (UEG) presented in Reports. The following question was presented: Does the Internal Institutional Evaluation of the State University of Goiás (UEG) offer results that have clarity, valid and reliable information and are useful to the institution?. To answer this question the following objectives are presented: Discuss the policies and concepts for the evaluation of higher education and the insertion of the UEG in these policies; Discuss the concepts of meta-evaluation and the need for its achievement; To analyze the standards and the fundamental criteria of the meta-evaluation, presented in the literature on the subject; Analyze the UEG's internal institutional assessment reports, based on the concepts of metrics, usability, feasibility, and accuracy, of the meta-evaluation presented by the Joint Committee (2011). A bibliographic study was carried out with the theoretical deepening axes organized with focus on the conceptions of university, state evaluator, regulation, conceptions of institutional evaluation and conceptualization of meta-evaluation. It is characterized as a documentary research with the analysis of the Internal Institutional Assessment Reports of the UEG, from 2012 to 2014, in relation to the standards that guide the meta-evaluation presented by the Joint Committee (2011). Esses padrões são os indicadores que mais convergem com as orientações do SINAES e com as teorias sobre avaliação institucional. The meta-evaluation is concretized by the practice of reflections on the evaluative activities. In the case, an analysis on a final results of the UEU evaluative activities. The meta-evaluation determines the merit and value of the evaluation and confirms or not the principles on which the procedures and instruments used to carry it out are based. Considering the issues raised, it was presented and confirmed the thesis that the Meta-evaluation constitutes a procedure for reflection and qualification of the Internal Institutional Assessment of UEG. It is believed that the meta-evaluation is compatible with the need for reflection and follow-up of the results presented by the institutional evaluation. It should be emphasized that the choice of the meta-evaluation made it possible to consider that the internal institutional evaluation of this University has merit and value to the community, however, there are still many difficulties to be overcome in relation to the application of the results of the evaluation activities. Thus, this study may contribute to the improvement of the institutional actions in the accomplishment of the internal evaluation by unveiling the points considered as correct and the difficulties presented in the manifestations of the academic community, translated in the Reports of Institutional Evaluation.

250 f. / Submitted by Suelen Reis (suziy.ellen@gmail.com) on 2013-05-06T18:20:25Z No. of bitstreams: 1 Tese_Rosineide Garcia.pdf: 1883671 bytes, checksum: df48ed201e5ea524f0b7c9405aa6cc10 (MD5) / Approved for entry into archive by Maria Auxiliadora Lopes(silopes@ufba.br) on 2013-06-11T19:29:53Z (GMT) No. of bitstreams: 1 Tese_Rosineide Garcia.pdf: 1883671 bytes, checksum: df48ed201e5ea524f0b7c9405aa6cc10 (MD5) / Made available in DSpace on 2013-06-11T19:29:53Z (GMT). No. of bitstreams: 1 Tese_Rosineide Garcia.pdf: 1883671 bytes, checksum: df48ed201e5ea524f0b7c9405aa6cc10 (MD5) Previous issue date: 2008 / A avaliação é um dos eixos estruturantes das grandes políticas educacionais contemporâneas, envolvendo, além da dimensão pedagógica; a social, política, ética e de gestão. Do mesmo modo, avaliar a avaliação (meta-avaliação) é tão necessário no cenário educacional quanto a realização da própria avaliação. É colocar em evidência uma apreciação crítica de uma avaliação já concluída ou ainda em processo, envolvendo um conjunto de pressupostos teóricos e, às vezes, empíricos que darão subsídios para qualificar e validar os processos e resultados de um determinado objeto ou fenômeno já avaliado, visando o redimensionamento das ações e aprimoramento dos processos. A emergência de uma sociedade global caracterizada pela interconectividade e seus diferentes níveis de comunicação possibilita o surgimento de novos ambientes de ensino e aprendizagem e, conseqüentemente, de novas práticas avaliativas. O objetivo da presente tese é analisar as políticas e práticas de avaliação da aprendizagem nos cursos de pós-graduação lato sensu a distância na Bahia. Um dos fatores fundamentais e, ao mesmo tempo, desafiadores na avaliação da aprendizagem é a definição de um modelo teórico de avaliação e sua aplicação. A escolha conceitual para a construção desse modelo teve como referência a ação comunicativa de Habermas, a avaliação da aprendizagem pautada na negociação comunicativa de Guba & Lincoln e os processos interativos e comunicacionais da educação a distância, com ênfase na educação on-line. Nesse aporte teórico, o diálogo foi identificado como uma estratégia essencial, orientada ao entendimento, consensos e acordos coletivos sobre as políticas e práticas de avaliação da aprendizagem na educação a distância. Nessa perspectiva comunicacional, o feedback processual é um marco para que, de fato, se possa estabelecer uma participação-intervenção entre os sujeitos da ação avaliativa, permitindo a criação e co-criação de situações de aprendizagem que visem a auto-regulação. O feedback processual é compreendido como sendo um conjunto de informações significativas sobre o desempenho dos aprendizes e comunicadas, individualmente e coletivamente, na busca de melhorias ainda no próprio percurso da aprendizagem. Essa pesquisa teve como foco a seguinte tese: “O feedback processual entre os sujeitos da ação avaliativa nos cursos de pós-graduação lato sensu a distância é um dos eixos fundamentais da avaliação da aprendizagem na perspectiva da negociação comunicativa para a construção do conhecimento e para a gestão do processo”. O recorte empírico envolveu os cinco cursos de pós-graduação lato sensu a distância, num total de onze turmas, do Serviço Nacional de Aprendizagem Comercial (SENAC/Ba). A pesquisa utilizou a abordagem predominantemente qualitativa com técnicas quantitativas, envolvendo gestores pedagógicos, educadores e aprendizes. Os resultados mostram que há uma predominância de características da avaliação da aprendizagem vinculadas à descrição detalhada sobre os objetivos alcançados em relação aos planejados (segunda geração) e julgamento de valor como elemento essencial (terceira geração), apesar de apresentar algumas características que tendem à negociação comunicativa (quarta geração), como a utilização do diálogo e de ferramentas tecnológicas pautadas em processos interativos. Constatou-se a falta de feedback durante o processo de ensino e aprendizagem nos cursos, o que pode comprometer o aprimoramento da aprendizagem e o seu processo de gestão ainda no próprio percurso da ação, além de desfavorecer a prática de auto-avaliação e, por conseguinte, a avaliação formativa. / Salvador

Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-06-23T11:17:26Z No. of bitstreams: 1 fernandagomesdasilva.pdf: 1345231 bytes, checksum: 95383f963d2cd2ef744355e3ac1d2edd (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-08-07T20:11:29Z (GMT) No. of bitstreams: 1 fernandagomesdasilva.pdf: 1345231 bytes, checksum: 95383f963d2cd2ef744355e3ac1d2edd (MD5) / Made available in DSpace on 2017-08-07T20:11:29Z (GMT). No. of bitstreams: 1 fernandagomesdasilva.pdf: 1345231 bytes, checksum: 95383f963d2cd2ef744355e3ac1d2edd (MD5) Previous issue date: 2014-09-29 / Esta dissertação centra-se no estudo de caso do sistema de avaliação da educação pública pertencente à Secretaria Municipal de Educação da cidade de Belo Horizonte – MG, o Avalia BH, no que concerne à implementação de testes de proficiência em Ciências da Natureza para o Ensino Fundamental. São investigadas as motivações para tal implementação e os seus efeitos na gestão do próprio sistema, na gestão escolar, no desempenho estudantil e na prática docente. Conclui-se, a partir de entrevista junto ao órgão responsável pelo programa (GAPED - Gerência de Avaliação de Políticas Educacionais) e das análises de questionários aplicados a docentes e gestores, que a inclusão da aferição de competências científicas no referido sistema repercute em ações tímidas diante dos seus resultados; apresenta, ainda, incerteza a respeito de seus procedimentos e instrumentos de medição e necessita, portanto, de reformulações. Propõe-se, assim, como Plano de Ação Educacional, uma ampliação da investigação aqui realizada a partir da meta-avaliação, a fim de sistematizar os principais pontos a serem modificados e possibilitar a criação de estratégias para tornar a política pública compensatória ao ensino de Ciências. / This dissertation focuses on the case study of the evaluation system of public education pertaining to the Municipal Education Department of the city of Belo Horizonte-MG – called Avalia BH – concerning the implementation of proficiency tests in Natural Sciences. The motivations for such an implementation and its effects on the management of the system itself, the school management, student achievement and teacher practice are investigated. It is concluded, through interviews with the agency responsible for the program (Gerência de Avaliação de Políticas Educacionais – GAPED, in Portuguese) and by the analysis of questionnaires given to teachers and educational managers, that the inclusion of measuring scientific competencies on this system resonates timid actions before their results; it also presents uncertainty about its procedures and measurement instruments, therefore in need of reformulation. It is proposed as an Educational Action Plan, an extension of the research conducted here starting from the meta-evaluation in order to systematize the main points to be modified to make compensatory public policy to Science Teaching.

O Exame Nacional do Ensino Médio (ENEM) está entre os maiores do mundo, abrangendo seis milhões de pessoas ao ano. Um de seus objetivos é permitir a comparação das escolas brasileiras, através da publicação de médias, tornando-se peça central na política brasileira de accountability escolar. Há, contudo, críticas técnicas e filosóficas ao uso do ENEM como indicador de qualidade escolar. Investigamos o potencial alcance de tais críticas, assim como possíveis efeitos benéficos do ranking de escolas. Pressupomos que o processo educativo na democracia é uma relação intersubjetiva, com finalidades e estratégias minimamente definidas pelas pessoas envolvidas. METODOLOGIA: buscamos articular uma reflexão filosófica sobre as questões sócio-políticas da escolarização com métodos quantitativos. Realizamos análise multinível dos microdados do ENEM 2009 em três níveis: indivíduo, escola e estado. Estimamos o efeito escola, o efeito estado e a variância explicada. Analisamos algumas edições do ENEM com base na Teoria Clássica dos Testes e na Teoria da Resposta ao Item. RESULTADOS: identificamos diversas concepções de inteligência e de qualidade escolar, sendo poucas delas contempladas pelos indicadores baseados em testes padronizados. Mostramos que a supervalorização desses testes cria o risco de colonização do cotidiano escolar pela razão instrumental, empobrecendo as relações intersubjetivas e as práticas pedagógicas. Identificamos riscos de se utilizar o mesmo teste para diversas finalidades. Constatamos a existência de dois modelos de ENEM, antes e depois de 2009. A análise multinível revelou um efeito escola em torno de 22%; controlando o nível socioeconômico ele reduz para 7%. Cerca de 20% da variação nas notas dos alunos foi explicada por fatores contextuais. No nível das escolas, o valor aumenta para 79%. Excluindo as notas de redação, como no ranking de 2012, a variância explicada chega a 87%, demonstrando que o desempenho da escola é altamente influenciado por fatores que não estão sob seu controle. Constatamos também que as médias entre escolas próximas no ranking não são estatisticamente diferentes. CONCLUSÕES: embora o ENEM possa avaliar o mérito dos alunos, é pouco informativo sobre o mérito das escolas, sendo inadequado para avaliar, isoladamente, a qualidade dessas instituições. Apontamos alguns limites do ranking como indicador de qualidade escolar (grande sobreposição de intervalos de confiança; supervalorização de um único exame; pouca informação sobre o mérito da escola; risco de empobrecer o currículo e as relações intersubjetivas no cotidiano escolar; risco de aumentar as desigualdades) assim como algumas possibilidades criadas por ele (referência objetiva para comparação, sinalizar para o ensino médio não focar excessivamente na quantidade de conteúdos; mobilização pela qualidade escolar; criação de outros indicadores). Disponibilizamos uma seleção das melhores instituições de ensino médio em termos de efeito escola, com objetivo de dar visibilidade àquelas que provavelmente realizam um bom trabalho dentro das condições em que se encontram. / The national secondary Brazilian examination (ENEM) is one of the largest standards in the world, covering six million people every year. One of his goals is to allow comparison of schools, thus being a central piece in the Brazilian school accountability system. However, there are technical and philosophical criticism to use ENEM as an indicator of school quality. We investigate the potential scope of such criticisms, as well as potential beneficial effects of school league tables. We assume that the educational process in democracy is an intersubjective relationship with purposes and strategies minimally defined by people involved in it. METHODS: we seek to articulate a philosophical reflection on the socio-political issues of schooling with quantitative methods. We conducted multilevel analysis of ENEM 2009 microdata at three levels: individual, school and state. We estimate the school effect, the \"state effect\" and explained variation. We analyse some ENEM exams based on Classical Test Theory and Item Response Theory. RESULTS: we identified several concepts of intelligence and school quality, few of them covered by indicators based on standards. We show that overvaluating standards creates the risk of colonizating everyday school life by instrumental rationality, making interpersonal relationships and pedagogical practices poorer. We identified risks of using the same test for different purposes. We found two ENEM models: before and after 2009. The multilevel analysis revealed a school effect around 22%; controlling socioeconomic status reduces it to 7%. About 20% of the variation in student scores was explained by contextual factors. At the school level, the figure rises to 79%. Excluding the writing test, as in 2012 league table, the explained variation reaches 87%, showing that school score is highly influenced by factors they can not control. We also showed that the averages between neighboring schools in the league table are not statistically different. CONCLUSIONS: Although ENEM can evaluate the merit of the students, it tells little about the merits of the schools. Therefore, it is inappropriate to evaluate, alone, the quality of these institutions. We point out some limitations of ENEM as school quality indicator (confidence intervals overlapping; overvaluation of a single test; few information on the merits of school; risk of impoverishing the curriculum and interpersonal relationships in school life; risk of increasing inequalities) as well as some possibilities created by it (objective reference for comparison; message to schools not overly focus on amount of contents; mobilization for school quality; creation of other indicators). Accordingly, we provide a selection of the best Brazilian high schools in school effect, aiming to give visibility to institutions that do a good job in not necessarily good conditions.

Trata-se da meta-avaliação de um processo avaliativo desenvolvido por secretários e assessores técnicos municipais de uma região de saúde do estado de São Paulo, com foco nos critérios de utilidade e participação. É uma pesquisa qualitativa, cuja base empírica foi 1) o material produzido em sete oficinas realizadas com os representantes municipais, com vistas à avaliação de um aspecto da linha de cuidados em saúde sob a ótica da integralidade; e 2) as entrevistas semiestruturadas realizadas com os mesmos atores após a finalização do processo avaliativo. Para a avaliação do critério de utilidade, utilizou-se principalmente o referencial de KIRKHART (2000), com o objetivo de ampliar a análise para além do uso instrumental dos achados avaliativos e focá-la na identificação de influências múltiplas exercidas por um fenômeno complexo como um processo avaliativo. A análise do critério participação se deu com base no referencial de COUSINS e WHITMORE (1998), buscando a identificação no material empírico de decisões ou aspectos contextuais que fizeram com que a opção participativa fosse aprofundada ou limitada no processo em foco. O trabalho destaca a importância de explicitar pressupostos que baseiam a metodologia da avaliação/ meta-avaliação escolhida, e a necessidade de se buscar referenciais teóricos de análise compatíveis com a opção realizada, frisando a inexistência de posturas neutras ou estudos totalmente objetivos; e a importância de capacitar avaliadores a acompanharem a demanda dos participantes de um processo participativo com a flexibilidade necessária para conferir-lhe o maior aproveitamento possível. Conclui-se pela viabilidade, com vantagens, da realização de processos participativos locais com gestores na Saúde Pública, destacando a possibilidade de ganhos em formação e o enriquecimento dos processos de negociação em nível do território, de forma coerente à política de construção das regiões de saúde no SUS. / This study aims to meta-evaluate an evaluation process developed by policymakers and technical advisors of a Health Region of Sao Paulo, centering on criteria of utility and participation. It analyzes the feasibility and possible benefits of using a participatory methodology in Public Health evaluations, highlighting aspects that facilitate and hinder this undertaking. It is a qualitative research, which empirical basis was 1) the material produced in seven workshops with municipal representatives, aiming the evaluation of an aspect of health care from the perspective of integrity; and 2) semi-structured interviews with the same actors after completion of the evaluation process. KIRKHART´s theoretical framework (2000) was used to evaluate the utility criterion, in order to expand the analysis beyond the instrumental use of the evaluation findings, and focus it in identifying multiple influences exerted by a complex phenomenon as an evaluation process. The evaluation criterion of participation was based on references of COUSINS e WHITMORE (1998), aiming to identify decisions or contextual aspects in the empirical material that made participatory option limited or depth in the focused process. The work highlights the need to seek theoretical frameworks of analysis consistent with the methodological choice carried out in order to enhance the identification of evaluation gains and limitations, and enable evaluators to monitor the demand of participants in the evaluation process with flexibility to reach its best use, even in those cases where there are limitations on the possibilities of participation. The results confirmed the viability, with advantages, of holding local participatory processes with policymakers and managers in Public Health, highlighting the possibility of gains in education and the enrichment of the negotiation process in the territory level, consistent with the policy of building health regions in SUS.

Made available in DSpace on 2016-04-28T20:57:09Z (GMT). No. of bitstreams: 1 PED - Nelson Antonio Simao Gimenes.pdf: 789344 bytes, checksum: 63da06ff367e5a8ac14f6d1673ee8d56 (MD5) Previous issue date: 2006-10-06 / With the objective to analyze the process of auto-evaluation developed in an Institute of Higher Learning in the interior of the state of São Paulo, we carried out a meta-evaluation from the point of view of the coordinators in the area of biological-health of the institution that is being used for the study utilizing an instrument of meta-evaluation, based on the standards of Utility and Accuracy developed by the Joint Committee on Standards for Educational Evaluation and made based on a free adaptation of the Program Evaluation Models Meta-evaluation Checklist. There was a main concern, during this work, of reflecting on the public policies of evaluation, not as one more legal demand of institutions in relation to the responsible government authorities, but as a procedure able to generate essential information for Institutions of Higher Learning, with the intention of contributing to its improvement and institutional development. The results show that although the autoevaluation carried out at the Institution of Higher Learning has been, in the opinion of the respondents, satisfactory; we identified some problems, especially concerning the difficulties of the internal evaluation of promoting adequate conditions for the generation of institutional improvements; as well as the effective involvement of the community from the perspective of amplified participation. We believe this study can contribute in the debate over the role of auto-evaluation and the importance of it in the improvement of the System of Higher Learning in Brazil, as well as reflecting on the adequate standards for the development of evaluative processes that generate changes and improvements on and for the different sectors of an Institution of Higher Learning, such as teaching, research, complementary activities and management, overpassing the legal-bureaucratic demands of the regulatory agencies of this system. Finally, we believe that to overcome these problems it is necessary to develop various and efficient forms of access, dissemination and feedback of the information collected during the evaluative process, which would make possible an improved comprehension of the objectives for the different segments of the local academic community / Com o objetivo de analisar o processo de auto-avaliação desenvolvido em uma Instituição de Educação Superior do interior do estado de São Paulo, realizamos uma metaavaliação a partir do ponto de vista dos coordenadores de curso da área de Saúdebiológica da instituição em estudo utilizando um instrumento de meta-avaliação, baseado nos padrões Utilidade e Precisão desenvolvidos pelo Comitê Misto sobre Diretrizes para a Avaliação Educacional (Joint Committee on Standards for Educational Evaluation) e feito a partir de uma adaptação livre do Program Evaluation Models Metaevaluation Checklist. Houve uma preocupação central, neste trabalho, de refletir sobre as políticas públicas de avaliação, não como mais uma exigência legal das instituições em relação aos órgãos governamentais responsáveis, mas como um procedimento capaz de gerar informações essenciais para as IESs, no intuito de contribuir para seu aperfeiçoamento e desenvolvimento institucional. Os resultados apontam que embora a auto-avaliação realizada na IES tenha sido, na opinião dos respondentes, satisfatória, identificamos alguns impasses, sobretudo em relação às dificuldades da avaliação interna de promover condições adequadas para a geração de melhorias institucionais, bem como de envolvimento efetivo da comunidade a partir de uma perspectiva de participação ampliada. Entendemos que este estudo pode contribuir para o debate sobre o papel da auto-avaliação e da importância desta para o aperfeiçoamento do Sistema de Educação Superior no Brasil, bem como de se refletir sobre padrões adequados para o desenvolvimento de processos avaliativos geradores de transformações e melhorias nos e pelos diferentes setores de uma IES, como o ensino, a pesquisa, a extensão e gestão, transpondo as exigências burocrático-legais dos órgãos reguladores deste sistema. Por fim, entendemos que para a superação destes impasses faz-se necessário o desenvolvimento de formas variadas e eficientes de acesso, divulgação e retorno das informações coletadas ao longo do processo avaliativo, o que possibilitaria a melhor compreensão dos seus objetivos pelos diferentes segmentos da comunidade acadêmica local

O Exame Nacional do Ensino Médio (ENEM) está entre os maiores do mundo, abrangendo seis milhões de pessoas ao ano. Um de seus objetivos é permitir a comparação das escolas brasileiras, através da publicação de médias, tornando-se peça central na política brasileira de accountability escolar. Há, contudo, críticas técnicas e filosóficas ao uso do ENEM como indicador de qualidade escolar. Investigamos o potencial alcance de tais críticas, assim como possíveis efeitos benéficos do ranking de escolas. Pressupomos que o processo educativo na democracia é uma relação intersubjetiva, com finalidades e estratégias minimamente definidas pelas pessoas envolvidas. METODOLOGIA: buscamos articular uma reflexão filosófica sobre as questões sócio-políticas da escolarização com métodos quantitativos. Realizamos análise multinível dos microdados do ENEM 2009 em três níveis: indivíduo, escola e estado. Estimamos o efeito escola, o efeito estado e a variância explicada. Analisamos algumas edições do ENEM com base na Teoria Clássica dos Testes e na Teoria da Resposta ao Item. RESULTADOS: identificamos diversas concepções de inteligência e de qualidade escolar, sendo poucas delas contempladas pelos indicadores baseados em testes padronizados. Mostramos que a supervalorização desses testes cria o risco de colonização do cotidiano escolar pela razão instrumental, empobrecendo as relações intersubjetivas e as práticas pedagógicas. Identificamos riscos de se utilizar o mesmo teste para diversas finalidades. Constatamos a existência de dois modelos de ENEM, antes e depois de 2009. A análise multinível revelou um efeito escola em torno de 22%; controlando o nível socioeconômico ele reduz para 7%. Cerca de 20% da variação nas notas dos alunos foi explicada por fatores contextuais. No nível das escolas, o valor aumenta para 79%. Excluindo as notas de redação, como no ranking de 2012, a variância explicada chega a 87%, demonstrando que o desempenho da escola é altamente influenciado por fatores que não estão sob seu controle. Constatamos também que as médias entre escolas próximas no ranking não são estatisticamente diferentes. CONCLUSÕES: embora o ENEM possa avaliar o mérito dos alunos, é pouco informativo sobre o mérito das escolas, sendo inadequado para avaliar, isoladamente, a qualidade dessas instituições. Apontamos alguns limites do ranking como indicador de qualidade escolar (grande sobreposição de intervalos de confiança; supervalorização de um único exame; pouca informação sobre o mérito da escola; risco de empobrecer o currículo e as relações intersubjetivas no cotidiano escolar; risco de aumentar as desigualdades) assim como algumas possibilidades criadas por ele (referência objetiva para comparação, sinalizar para o ensino médio não focar excessivamente na quantidade de conteúdos; mobilização pela qualidade escolar; criação de outros indicadores). Disponibilizamos uma seleção das melhores instituições de ensino médio em termos de efeito escola, com objetivo de dar visibilidade àquelas que provavelmente realizam um bom trabalho dentro das condições em que se encontram. / The national secondary Brazilian examination (ENEM) is one of the largest standards in the world, covering six million people every year. One of his goals is to allow comparison of schools, thus being a central piece in the Brazilian school accountability system. However, there are technical and philosophical criticism to use ENEM as an indicator of school quality. We investigate the potential scope of such criticisms, as well as potential beneficial effects of school league tables. We assume that the educational process in democracy is an intersubjective relationship with purposes and strategies minimally defined by people involved in it. METHODS: we seek to articulate a philosophical reflection on the socio-political issues of schooling with quantitative methods. We conducted multilevel analysis of ENEM 2009 microdata at three levels: individual, school and state. We estimate the school effect, the \"state effect\" and explained variation. We analyse some ENEM exams based on Classical Test Theory and Item Response Theory. RESULTS: we identified several concepts of intelligence and school quality, few of them covered by indicators based on standards. We show that overvaluating standards creates the risk of colonizating everyday school life by instrumental rationality, making interpersonal relationships and pedagogical practices poorer. We identified risks of using the same test for different purposes. We found two ENEM models: before and after 2009. The multilevel analysis revealed a school effect around 22%; controlling socioeconomic status reduces it to 7%. About 20% of the variation in student scores was explained by contextual factors. At the school level, the figure rises to 79%. Excluding the writing test, as in 2012 league table, the explained variation reaches 87%, showing that school score is highly influenced by factors they can not control. We also showed that the averages between neighboring schools in the league table are not statistically different. CONCLUSIONS: Although ENEM can evaluate the merit of the students, it tells little about the merits of the schools. Therefore, it is inappropriate to evaluate, alone, the quality of these institutions. We point out some limitations of ENEM as school quality indicator (confidence intervals overlapping; overvaluation of a single test; few information on the merits of school; risk of impoverishing the curriculum and interpersonal relationships in school life; risk of increasing inequalities) as well as some possibilities created by it (objective reference for comparison; message to schools not overly focus on amount of contents; mobilization for school quality; creation of other indicators). Accordingly, we provide a selection of the best Brazilian high schools in school effect, aiming to give visibility to institutions that do a good job in not necessarily good conditions.

Trata-se da meta-avaliação de um processo avaliativo desenvolvido por secretários e assessores técnicos municipais de uma região de saúde do estado de São Paulo, com foco nos critérios de utilidade e participação. É uma pesquisa qualitativa, cuja base empírica foi 1) o material produzido em sete oficinas realizadas com os representantes municipais, com vistas à avaliação de um aspecto da linha de cuidados em saúde sob a ótica da integralidade; e 2) as entrevistas semiestruturadas realizadas com os mesmos atores após a finalização do processo avaliativo. Para a avaliação do critério de utilidade, utilizou-se principalmente o referencial de KIRKHART (2000), com o objetivo de ampliar a análise para além do uso instrumental dos achados avaliativos e focá-la na identificação de influências múltiplas exercidas por um fenômeno complexo como um processo avaliativo. A análise do critério participação se deu com base no referencial de COUSINS e WHITMORE (1998), buscando a identificação no material empírico de decisões ou aspectos contextuais que fizeram com que a opção participativa fosse aprofundada ou limitada no processo em foco. O trabalho destaca a importância de explicitar pressupostos que baseiam a metodologia da avaliação/ meta-avaliação escolhida, e a necessidade de se buscar referenciais teóricos de análise compatíveis com a opção realizada, frisando a inexistência de posturas neutras ou estudos totalmente objetivos; e a importância de capacitar avaliadores a acompanharem a demanda dos participantes de um processo participativo com a flexibilidade necessária para conferir-lhe o maior aproveitamento possível. Conclui-se pela viabilidade, com vantagens, da realização de processos participativos locais com gestores na Saúde Pública, destacando a possibilidade de ganhos em formação e o enriquecimento dos processos de negociação em nível do território, de forma coerente à política de construção das regiões de saúde no SUS. / This study aims to meta-evaluate an evaluation process developed by policymakers and technical advisors of a Health Region of Sao Paulo, centering on criteria of utility and participation. It analyzes the feasibility and possible benefits of using a participatory methodology in Public Health evaluations, highlighting aspects that facilitate and hinder this undertaking. It is a qualitative research, which empirical basis was 1) the material produced in seven workshops with municipal representatives, aiming the evaluation of an aspect of health care from the perspective of integrity; and 2) semi-structured interviews with the same actors after completion of the evaluation process. KIRKHART´s theoretical framework (2000) was used to evaluate the utility criterion, in order to expand the analysis beyond the instrumental use of the evaluation findings, and focus it in identifying multiple influences exerted by a complex phenomenon as an evaluation process. The evaluation criterion of participation was based on references of COUSINS e WHITMORE (1998), aiming to identify decisions or contextual aspects in the empirical material that made participatory option limited or depth in the focused process. The work highlights the need to seek theoretical frameworks of analysis consistent with the methodological choice carried out in order to enhance the identification of evaluation gains and limitations, and enable evaluators to monitor the demand of participants in the evaluation process with flexibility to reach its best use, even in those cases where there are limitations on the possibilities of participation. The results confirmed the viability, with advantages, of holding local participatory processes with policymakers and managers in Public Health, highlighting the possibility of gains in education and the enrichment of the negotiation process in the territory level, consistent with the policy of building health regions in SUS.

Made available in DSpace on 2016-04-27T14:30:30Z (GMT). No. of bitstreams: 1 Marco Antonio de Jesus Machado.pdf: 724489 bytes, checksum: 05e33a764bdb5175661246e9afba9def (MD5) Previous issue date: 2010-11-10 / Conselho Nacional de Desenvolvimento Científico e Tecnológico / This thesis has as its theme the "meta-evaluation of projects in Education using ICT". Its purpose is to conduct a meta-evaluation of the Project Management School and Technology as well as the Learning Partnership program, concerning with the quality of evaluation processes. The meta-evaluation aims to improve the methodological and practical assessments of future projects involving ICT. This course was constructed on the basis of that evaluation is part of the nature of practice as to think the assessment is to think the practice as the best way to improve it. The research led to the revision of the conceptual evolution of the project until its inclusion in education, by authors such as Jean-Pierre Boutinet and Nilson José Machado. It was necessary to relate the project with the technology. For this I used the concept of technology inserted in the work of Alvaro Viera Pinto. The different conceptions of evaluation have been worked by authors such as Jean-Jacques Bonniol and Michael Vial, Elizabeth Franchi Cappelletti; Ernesto Cohen and Rolando Franco and tests organized by Maria Cecilia Noble Purple Barrier and Maria do Carmo Brant de Carvalho. Finally, to examine the use of ICT in Education, resorted to Bianconcini Elisabeth Maria de Almeida. The research chose a qualitative approach, because it is more appropriate to deal with feelings, perceptions and human attitudes, thus moving away from the rigors of rationality. The procedures adopted for the analysis were: a semi-structured interview instrument considered qualitative, suitable for the study of subjective meanings, and document analysis, used to understand reality to be researched, construct categories of analysis for the assessment and complete information derived from interviews. The data suggest the importance of the evaluative procedures in programs and projects with the use of ICT deployment, process, and also the analysis of results. The assessments examined met expectations and were useful for the audience involved, they could anticipate problems and / or propose solutions to problems encountered. The outcome of the meta-evaluation may serve as input for future projects of evaluation, provided that consideration is given to the care of the difficulties encountered, which will serve as an apprenticeship for future projects / Esta tese tem como tema a meta-avaliação de projetos em educação com o uso das TIC . Sua finalidade é realizar a meta-avaliação do Projeto Gestão Escolar e Tecnologias e do Programa Parceiros na Aprendizagem, preocupando-se com a qualidade desses processos avaliativos. A meta-avaliação objetiva o aprimoramento metodológico e prático de futuras avaliações de projetos envolvendo as TIC. Esse percurso foi construído com base no pressuposto de que a avaliação faz parte da própria natureza da prática, pois pensar a avaliação é pensar a prática enquanto melhor maneira de aperfeiçoá-la. A pesquisa conduziu à revisão da evolução do conceito de projeto até a sua inserção na educação, por meio de autores como Jean-Pierre Boutinet e Nílson José Machado. Foi necessário relacionar o projeto com a tecnologia. Para tanto utilizei o conceito de tecnologia presente na obra de Álvaro Viera Pinto. As diferentes concepções de avaliação foram trabalhadas por meio de autores como Jean- Jacques Bonniol e Michael Vial; Isabel Franchi Cappelletti; Ernesto Cohen e Rolando Franco e dos ensaios organizados por Maria Cecília Roxo Nobre Barreira e Maria do Carmo Brant de Carvalho. Por fim, para analisar o uso das TIC na área educacional, recorri a Maria Elisabeth Bianconcini de Almeida. A pesquisa optou pela abordagem qualitativa, por ser a mais adequada para lidar com sentimentos, percepções e atitudes humanas, afastando-se assim do rigor da racionalidade. Os procedimentos adotados para a análise foram: a entrevista semiestruturada, instrumento considerado qualitativo, próprio para o estudo de significados subjetivos, e a análise documental, utilizada para conhecer realidade a ser pesquisada, construir categorias de análise para a avaliação e completar informações advindas das entrevistas. Os dados apontam para a importância dos procedimentos avaliativos em programas e projetos com o uso das TIC, na implantação, no processo e também na análise dos resultados. As avaliações analisadas atenderam a expectativa e foram úteis para as audiências envolvidas. Puderam antecipar problemas e/ou propor soluções às dificuldades encontradas. Os resultados da meta-avaliação podem servir como subsídios para futuros projetos avaliativos, desde que se atente para o cuidado com as dificuldades encontradas, que servirão como ensinamento para futuros projetos