The Brazilian program of higher education evaluation, broadly known by the National Exam of Students\' Performance (ENADE), represents a governmental effort to gather information on undergraduate educational quality. As a product of that evaluation, reports are made available to each program evaluated; the main intent of the present research is to discover the extent to which these reports are used by undergraduate accounting program administrators and the impact of evaluation utilization on the programs\' performance. Based on the theoretical support of the literature on evaluation utilization, a web-based survey was developed and applied to collect the data. With a response rate of 62% (322 completed surveys), analyses were conducted through four steps: (1) a logistic regression to verify which factors were associated with the use of the ENADE evaluation report, (2) a descriptive verification of the incidence of use of the evaluation report among the undergraduate accounting program administrators and the most frequent types of use that they report, (3) multiple regressions to analyze the impact of the evaluation report\'s use or misuse on the programs\' performance in the subsequent evaluation, and (4) a descriptive analysis of the reasons for the nonuse of the evaluation report. The key findings of this research were as follows: the longer the program administrator\'s tenure, the higher his or her academic degree, the greater his or her involvement in the evaluation process, and the more positive his or her perception of the effectiveness of the communication between the evaluator and the programs, the greater the likelihood that the ENADE evaluation report would be used; the most frequent type of use among the administrators studied was conceptual; the main reason for nonuse was a lack of information about the online availability of the evaluation report; and finally, there was a positive correlation between the use of the ENADE evaluation report and the performance of undergraduate accounting programs in the subsequent evaluation. / O programa Brasileiro de avaliação da educação superior, largamente conhecido pelo Exame Nacional de Desempenho de Estudantes (ENADE), representa um esforço governamental para reunir informações sobre a qualidade dos cursos de graduação. Como um produto da avaliação, um relatório é disponibilizado para cada curso avaliado; e saber em que extensão esses relatórios são utilizados pelos coordenadores de cursos de graduação em ciências contábeis, assim como qual é o impacto do uso desse relatório sobre a performance dos cursos, foram os principais objetivos desse estudo. Fundamentado teoricamente na literatura sobre uso de avaliação, um questionário, que inclui uma escala para mensurar tipos de utilização, foi desenvolvido e aplicado. Com base em uma taxa de resposta de 62% (322 questionários completos), quatro diferentes aspectos foram analisados: (1) estudo dos fatores associados ao uso do relatório de avaliação do ENADE, através de regressão logística; (2) análise descritiva acerca da incidência de uso dos relatórios de avaliação, e acerca dos tipos de uso mais frequentes entre os coordenadores de cursos de ciências contábeis; (3) estudo do impacto da utilização, bem como do uso inadequado dos relatórios de avaliação, sobre o desempenho dos cursos de graduação em ciências contábeis na avaliação subsequente, por meio de regressão múltipla; e (4) análise descritiva das razões apontadas pelos coordenadores para o não uso dos relatórios de avaliação. Os principais resultados, a partir das evidências reunidas pelo presente estudo, foram: quanto maior o número de anos do coordenador no cargo, a sua titulação, o seu envolvimento no processo de avaliação e quanto mais positiva a sua percepção sobre a efetividade da comunicação entre o INEP e os cursos, maior a probabilidade de uso do relatório do ENADE; o uso conceitual foi o mais frequente entre os coordenadores pesquisados; a falta de conhecimento sobre a disponibilidade online dos relatórios de avaliação foi a principal causa de não uso verificada entre os pesquisados; e por fim, foi identificada uma correlação positiva entre o uso do relatório do ENADE e o desempenho dos cursos de graduação em ciências contábeis na avaliação subsequente.

The Brazilian program of higher education evaluation, broadly known by the National Exam of Students\' Performance (ENADE), represents a governmental effort to gather information on undergraduate educational quality. As a product of that evaluation, reports are made available to each program evaluated; the main intent of the present research is to discover the extent to which these reports are used by undergraduate accounting program administrators and the impact of evaluation utilization on the programs\' performance. Based on the theoretical support of the literature on evaluation utilization, a web-based survey was developed and applied to collect the data. With a response rate of 62% (322 completed surveys), analyses were conducted through four steps: (1) a logistic regression to verify which factors were associated with the use of the ENADE evaluation report, (2) a descriptive verification of the incidence of use of the evaluation report among the undergraduate accounting program administrators and the most frequent types of use that they report, (3) multiple regressions to analyze the impact of the evaluation report\'s use or misuse on the programs\' performance in the subsequent evaluation, and (4) a descriptive analysis of the reasons for the nonuse of the evaluation report. The key findings of this research were as follows: the longer the program administrator\'s tenure, the higher his or her academic degree, the greater his or her involvement in the evaluation process, and the more positive his or her perception of the effectiveness of the communication between the evaluator and the programs, the greater the likelihood that the ENADE evaluation report would be used; the most frequent type of use among the administrators studied was conceptual; the main reason for nonuse was a lack of information about the online availability of the evaluation report; and finally, there was a positive correlation between the use of the ENADE evaluation report and the performance of undergraduate accounting programs in the subsequent evaluation. / O programa Brasileiro de avaliação da educação superior, largamente conhecido pelo Exame Nacional de Desempenho de Estudantes (ENADE), representa um esforço governamental para reunir informações sobre a qualidade dos cursos de graduação. Como um produto da avaliação, um relatório é disponibilizado para cada curso avaliado; e saber em que extensão esses relatórios são utilizados pelos coordenadores de cursos de graduação em ciências contábeis, assim como qual é o impacto do uso desse relatório sobre a performance dos cursos, foram os principais objetivos desse estudo. Fundamentado teoricamente na literatura sobre uso de avaliação, um questionário, que inclui uma escala para mensurar tipos de utilização, foi desenvolvido e aplicado. Com base em uma taxa de resposta de 62% (322 questionários completos), quatro diferentes aspectos foram analisados: (1) estudo dos fatores associados ao uso do relatório de avaliação do ENADE, através de regressão logística; (2) análise descritiva acerca da incidência de uso dos relatórios de avaliação, e acerca dos tipos de uso mais frequentes entre os coordenadores de cursos de ciências contábeis; (3) estudo do impacto da utilização, bem como do uso inadequado dos relatórios de avaliação, sobre o desempenho dos cursos de graduação em ciências contábeis na avaliação subsequente, por meio de regressão múltipla; e (4) análise descritiva das razões apontadas pelos coordenadores para o não uso dos relatórios de avaliação. Os principais resultados, a partir das evidências reunidas pelo presente estudo, foram: quanto maior o número de anos do coordenador no cargo, a sua titulação, o seu envolvimento no processo de avaliação e quanto mais positiva a sua percepção sobre a efetividade da comunicação entre o INEP e os cursos, maior a probabilidade de uso do relatório do ENADE; o uso conceitual foi o mais frequente entre os coordenadores pesquisados; a falta de conhecimento sobre a disponibilidade online dos relatórios de avaliação foi a principal causa de não uso verificada entre os pesquisados; e por fim, foi identificada uma correlação positiva entre o uso do relatório do ENADE e o desempenho dos cursos de graduação em ciências contábeis na avaliação subsequente.

Evaluations are often an expectation that funders have for non-profit organizations such as Winnipeg’s child advocacy centre, Snowflake Place for Children and Youth (Snowflake Place). The purpose of this study was to evaluate the effectiveness of Snowflake Place through the use of a mixed methods case study evaluation employing the tenets of utilization-focused evaluation. A total of 30 interviews were conducted, with individuals from key service providing partners of Snowflake Place and non-offending caregivers of children who were forensic interviewed at Snowflake Place. This study also analyzed the data tracked by Snowflake Place on its service recipients. The results show that although the organization has only been operating for three years, Snowflake Place is able to provide consistent high quality services such as forensic interviews. Results indicate that Snowflake Place has the potential to improve upon the overall positive experiences of both service providing partners and service recipients. / February 2017

Submitted by Sheizi Freitas (sheizi.freitas@gmail.com) on 2016-05-31T13:56:11Z No. of bitstreams: 1 SheiziCalheiradeFreitas_Tese.pdf: 3550069 bytes, checksum: 9a30dfbafeb6643134d28bd5465842da (MD5) / Rejected by Marivalda Araujo (masilva@ufba.br), reason: Falta incluir a folha de aprovação.Peço que refaça o depósito e coloque a folha de aprovação. on 2016-06-02T16:59:13Z (GMT) / Submitted by Sheizi Freitas (sheizi.freitas@gmail.com) on 2016-06-23T17:49:51Z No. of bitstreams: 1 SheiziCalheiradeFreitas_Tese.pdf: 2857600 bytes, checksum: c6d365d10ee8e2e298b3af0fa1d77202 (MD5) / Approved for entry into archive by Marivalda Araujo (masilva@ufba.br) on 2016-06-29T13:42:14Z (GMT) No. of bitstreams: 1 SheiziCalheiradeFreitas_Tese.pdf: 2857600 bytes, checksum: c6d365d10ee8e2e298b3af0fa1d77202 (MD5) / Made available in DSpace on 2016-06-29T13:42:15Z (GMT). No. of bitstreams: 1 SheiziCalheiradeFreitas_Tese.pdf: 2857600 bytes, checksum: c6d365d10ee8e2e298b3af0fa1d77202 (MD5) / FAPESB, CAPES, FULBRIGHT / O programa Brasileiro de avaliação da educação superior, largamente conhecido pelo Exame Nacional de Desempenho de Estudantes (ENADE), representa um esforço governamental para reunir informações sobre a qualidade dos cursos de graduação. Como um produto da avaliação, um relatório é disponibilizado para cada curso avaliado; e saber em que extensão esses relatórios são utilizados pelos coordenadores de cursos de graduação em ciências contábeis, assim como qual é o impacto do uso desse relatório sobre a performance dos cursos, foram os principais objetivos desse estudo. Fundamentado teoricamente na literatura sobre uso de avaliação, um questionário, que inclui uma escala para mensurar tipos de utilização, foi desenvolvido e aplicado. Com base em uma taxa de resposta de 62% (322 questionários completos), quatro diferentes aspectos foram analisados: (1) estudo dos fatores associados ao uso do relatório de avaliação do ENADE, através de regressão logística; (2) análise descritiva acerca da incidência de uso dos relatórios de avaliação, e acerca dos tipos de uso mais frequentes entre os coordenadores de cursos de ciências contábeis; (3) estudo do impacto da utilização, bem como do uso inadequado dos relatórios de avaliação, sobre o desempenho dos cursos de graduação em ciências contábeis na avaliação subsequente, por meio de regressão múltipla; e (4) análise descritiva das razões apontadas pelos coordenadores para o não uso dos relatórios de avaliação. Os principais resultados, a partir das evidências reunidas pelo presente estudo, foram: quanto maior o número de anos do coordenador no cargo, a sua titulação, o seu envolvimento no processo de avaliação e quanto mais positiva a sua percepção sobre a efetividade da comunicação entre o INEP e os cursos, maior a probabilidade de uso do relatório do ENADE; o uso conceitual foi o mais frequente entre os coordenadores pesquisados; a falta de conhecimento sobre a disponibilidade online dos relatórios de avaliação foi a principal causa de não uso verificada entre os pesquisados; e por fim, foi identificada uma correlação positiva entre o uso do relatório do ENADE e o desempenho dos cursos de graduação em ciências contábeis na avaliação subsequente. / The Brazilian program of higher education evaluation, broadly known by the National Exam of Students’ Performance (ENADE), represents a governmental effort to gather information on undergraduate educational quality. As a product of that evaluation, reports are made available to each program evaluated; the main intent of the present research is to discover the extent to which these reports are used by undergraduate accounting program administrators and the impact of evaluation utilization on the programs’ performance. Based on the theoretical support of the literature on evaluation utilization, a web-based survey was developed and applied to collect the data. With a response rate of 62% (322 completed surveys), analyses were conducted through four steps: (1) a logistic regression to verify which factors were associated with the use of the ENADE evaluation report, (2) a descriptive verification of the incidence of use of the evaluation report among the undergraduate accounting program administrators and the most frequent types of use that they report, (3) multiple regressions to analyze the impact of the evaluation report’s use or misuse on the programs’ performance in the subsequent evaluation, and (4) a descriptive analysis of the reasons for the nonuse of the evaluation report. The key findings of this research were as follows: the longer the program administrator’s tenure, the higher his or her academic degree, the greater his or her involvement in the evaluation process, and the more positive his or her perception of the effectiveness of the communication between the evaluator and the programs, the greater the likelihood that the ENADE evaluation report would be used; the most frequent type of use among the administrators studied was conceptual; the main reason for nonuse was a lack of information about the online availability of the evaluation report; and finally, there was a positive correlation between the use of the ENADE evaluation report and the performance of undergraduate accounting programs in the subsequent evaluation.

Die vorliegende Arbeit beschäftigt sich mit einer klassischen aber noch immer zentralen und aktuellen Frage der Evaluationsforschung, der Hinterfragung der Verwendung bzw. Wirksamkeit von Evaluationsverfahren. Vor dem Hintergrund der seit Ende der 1990er Jahre vor allem in Europa starken Zunahme von institutionalisierten Politik-Evaluationsverfahren sowie der zugleich zunehmenden Kritik dieser Verfahren in Wissenschaft und Praxis, untersucht die Arbeit diese Wirksamkeit am Fallbeispiel der Forschungspolitik der Europäischen Union. Aufbauend auf einer Aufarbeitung des Forschungsstandes zur Evaluationsverwendungsforschung und einer Vorstellung des gewählten Politikfeldes sowie der spezifischen Evaluationspraxis, erfolgt dazu eine systematische Gegenüberstellung der zentralen Evaluationsempfehlungen und der Entwicklung im Politikfeld über die vergangenen 15 Jahre. Im Ergebnis kommt die Arbeit zu der Feststellung eines (überraschend) hohen Ausmaßes an Entsprechung der Evaluationsempfehlungen mit der Politikentwicklung im untersuchten Fallbeispiel. Auf der Basis der Untersuchung des Fallbeispiels aber auch unter Heranziehung weiterer empirischer Beiträge in der Literatur ist damit der Behauptung der fehlenden Wirksamkeit der institutionalisierten Evaluation auf die Politikgestaltung klar zu widersprechen. Eine weitergehende Diskussion des Ergebnisses der Fallstudie legt darüber hinaus nahe, dass einige spezifische Faktoren und Bedingungen die Wirksamkeit der Evaluationsverfahren im untersuchten Fallbeispiel positiv zu beeinflussen scheinen. Im Einzelnen sind dies: der Charakter und die Ausprägung der Evaluationsempfehlungen, das spezifische institutionelle Umfeld der Evaluation sowie das spezifische 'politische Klima'. Aus dem Ergebnis lässt sich andererseits aber auch folgern, dass insbesondere im Hinblick auf die Akzeptanzproblematik eine Verstärkung der Bemühungen zur Wahrnehmung der Evaluations-wirksamkeit auf Seiten aller Beteiligten geboten scheint. Die Arbeit stellt hierzu abschließend einige Vorschläge und Ideen zusammen, die diese Wahrnehmung verbessern können. / The present paper discusses a classic but still essential and prevailing problem in evaluation research, the analysis of the utilization and effects of evaluation results. Given the notable increase of institutionally conducted policy-evaluations as of the late 1990's in especially in Europe accompanied by an equally notable increase of criticism from both academics and practitioners towards the utilization of evaluation, the paper examines the actual utilization of evaluation based on the example of the European Union research policy. Following an extensive literature review on evaluation utilization research and a presentation of the selected policy field including the specific evaluation context and arrangements, the paper conducts a detailed and systematic comparison of the key evaluation recommendations and the successive development in the policy field during the past 15 years. The comparison and subsequently the paper demonstrate a (surprisingly) high degree of correlation between the evaluation recommendations and the policy development in the chosen example. Based on these results together with further empirical evidence identified in evaluation research literature, the criticism towards the general non-utilization of evaluation results is clearly to be opposed. In addition, a further discussion and analysis of the results of the case study suggests that certain factors and conditions have contributed positively to the evaluation utilization in the chosen example. In particular these are: the characteristics of the evaluation recommendations, the specific institutional context of the evaluation and the specific 'political climate' in research policy. Finally, based on the result of the study, the paper also invites to reflect on the appropriateness and further development of means to enhance the visibility and recognition of the (actual) evaluation utilization by all parties concerned. In its final section the paper therefore proposes a number of means qualified to contribute to this recognition.

p. 1-86 / Submitted by Santiago Fabio (fabio.ssantiago@hotmail.com) on 2013-04-24T19:47:01Z No. of bitstreams: 1 77777777.pdf: 486271 bytes, checksum: 893ffb12f9d627f6970fb8bc55673bdb (MD5) / Approved for entry into archive by Maria Creuza Silva(mariakreuza@yahoo.com.br) on 2013-05-04T17:32:15Z (GMT) No. of bitstreams: 1 77777777.pdf: 486271 bytes, checksum: 893ffb12f9d627f6970fb8bc55673bdb (MD5) / Made available in DSpace on 2013-05-04T17:32:15Z (GMT). No. of bitstreams: 1 77777777.pdf: 486271 bytes, checksum: 893ffb12f9d627f6970fb8bc55673bdb (MD5) Previous issue date: 2009 / Como parte de uma política de institucionalização da avaliação, o Ministério da Saúde desenvolveu a proposta de “Avaliação para a Melhoria da Qualidade da Estratégia Saúde da Família - AMQ”, que se apresenta como uma metodologia de gestão interna dos serviços. A proposta caracteriza-se, como um processo participativo, que inclui os diversos atores envolvidos com a intervenção e com direcionamento para a utilização dos resultados. Este estudo analisa a proposta AMQ, buscando identificar elementos que possam favorecer a utilização dos resultados. Neste sentido, analisou-se a evolução histórica das práticas avaliativas e identificou-se na proposta de avaliadores de quarta geração e na discussão sobre meta-avaliação significativa atenção com a finalidade e utilidade da avaliação, numa perspectiva de aumento do valor de uso no âmbito dos processos de tomada de decisões. A avaliação com foco na utilização foi identificada como uma das principais abordagens que valorizam estes aspectos. Desta forma, realizou-se uma aproximação entre a avaliação com foco na utilização e a proposta AMQ, procurando reconhecer nesta última o nível de valorização existente da abordagem avaliativa com foco na utilização e o uso potencial dos seus elementos orientadores. / Salvador