Os pressupostos da teoria de avaliação de programas orientada ao consumidor estabelecem que o avaliador tem que identificar os resultados dos programas e seus valores sob a perspectiva das necessidades dos usuários. A avaliação deve ajudar os usuários a escolher entre programas concorrentes por meio de informações. Tendo por base esse arcabouço teórico, o objetivo geral desta pesquisa foi analisar as variáveis de avaliação de programas de especialização prevalecentes segundo a visão de especialistas que são aderentes aos modelos de decisão e de avaliação dos participantes. Concluiu-se que as melhores práticas de avaliação educacional sobre qualidade atendem às necessidades dos alunos no processo de decisão por programa de especialização para executivos a cursar e na avaliação dos programas em curso no contexto brasileiro. Essa constatação foi possível por meio do estudo das hipóteses da pesquisa, com a análise dos resultados da técnica Delphi, entrevistas e aplicação de questionários. Os constructos identificados na teoria de avaliação educacional e levantados na aplicação da técnica Delphi são internos (Corpo Docente, Qualidade das Disciplinas, Perfil da Turma, Infra-Estrutura, Biblioteca, Estudos de Casos, Gestão do Programa, Forma de Ingresso e Monografia) e externos (Reputação, Mercado de Trabalho, Análise de Valor, Classificação em Rankings, Satisfação do Empregador, Internacionalização e Custo). Especialistas, administradores de programas e professores criticam os rankings de melhores instituições de ensino, mas admitem que ainda dão visibilidade e credibilidade ao programa na percepção de alunos e empregadores. O desenvolvimento, a aplicação, os objetivos e os benefícios da avaliação educacional não são completamente compreendidos pelos interessados em programas de especialização. Esse fato é justificado pela carência de recursos no país para a formação específica na área e pouca produção científica sobre o assunto. O grande número de programas de especialização para executivos foi considerado prejudicial à qualidade percebida pelos empregadores e alunos, e causador da confusão entre programas lato e stricto sensus. Administradores de programas, professores, alunos, empregadores e especialistas atribuíram importância elevada aos constructos Reputação, Corpo Docente e Qualidade das Disciplinas. Para a avaliação educacional, o Custo foi considerado o de menor importância por especialistas, administradores de programas, professores e alunos. Entretanto, o mesmo constructo teve importância significativa para alunos no momento de escolha por um programa de especialização a cursar. Os constructos Monografia e Forma de Ingresso foram considerados de pouca importância pelos respondentes tanto para a avaliação educacional quanto para o modelo de decisão por programa de especialização a cursar. A hipótese de que os professores percebem mais valor nos constructos internos do que os alunos, administradores de programas e empregadores não foi aceita como verdadeira. A segunda hipótese, que sugeriu que especialistas percebem mais valor nos constructos internos do que alunos, administradores de programas e empregadores não foi aceita como verdadeira. A terceira hipótese sugeriu que os alunos percebem mais valor nos constructos externos do que professores, administradores de programas e especialistas. Constatou-se que os alunos percebem mais valor ao Mercado de Trabalho, Classificação em Rankings, Custo e Reputação para avaliação educacional do que os professores. A quarta hipótese sugeriu que os empregadores percebem mais valor nos constructos externos do que especialistas e professores, mas nenhuma diferença significativa foi apontada pelos testes. A quinta hipótese (alunos ingressantes percebem mais valor nos constructos externos do que nos internos para o modelo de decisão por programa de especialização a cursar) e a sexta (alunos percebem mais valor nos constructos internos do que nos externos para a avaliação educacional) não foram aceitas, pois nenhuma diferença significativa foi identificada entre as médias dos constructos. / The assumptions pertaining to consumer oriented program evaluation theory establish that the evaluator must identify the programs results and their values under the perspective of users necessities. The evaluation must help users choose between competitor programs with information. Based on this theoretical framework, this research aimed at analyzing specialization program evaluations variables that prevail under the specialists points of view that are sticking to the participants models of decision and of evaluation. The conclusion is that the best practices of quality education evaluation attend the students necessities to choose one executive specialization program to follow and to performance program evaluation in Brazils context. This conclusion was possible with the study of researchs suppositions, with the analysis of Delphis results, interviews and questionnaires. The elements identified by education evaluation theory and raised with Delphi are internal (Teaching Staff, Quality of Disciplines, Students Profile, Infrastructure, Library, Case Studies, Programs Management, Selection of Students and Monograph) and external (Reputation, Labor Market, Value Analysis, Classification in Rankings, Employers Satisfaction, Internationalization and Cost). Specialists, programs managers and teachers criticize the best schools rankings, but they admit that rankings give visibility and credibility to the program under the perceptions of students and employers. The development, the application, the objectives and the benefits of education evaluation are not completely understood by the specialization programs users. This fact is justified by the lack of resources in Brazil addressed to education research on evaluation and lack of scientific production. The great number of existing executive specialization programs was considered harmful to the quality perceived by employers and students, and responsible for the confusion between lato and stricto sensu programs. Programs managers, teachers, students, employers and specialists attributed high importance to Reputation, Teaching Staff and Quality of Disciplines. For the education evaluation, Cost received the smallest importance from specialists, programs managers, teachers and students. However, Cost had significant importance to students at the moment of choosing a specialization program to follow. Monograph and Selection of Students were considered little important to both education evaluation and to the decision model used to choose a specialization program to follow. The supposition that suggested that teachers attribute more value to internal elements than students, programs managers and employers was not accepted. The second supposition, that suggested that specialists attribute more value to internal elements than students, programs managers and employers was not accepted. The third supposition suggested that students attribute more value to external elements than teachers, programs managers and specialists. It was proved that students attribute more value to Labor Market, Classification in Rankings, Cost and Reputation than teachers to education evaluation. The fourth supposition suggested that employers attribute more value to external elements than specialists and teachers, but it was no found significant difference during the tests. The fifth supposition (new students attribute more value to external elements than to internal elements to the decision model used to choose a specialization program to follow) and the sixth supposition (students attribute more value to internal elements than to external elements to education evaluation) were not accepted, because it was not found significant difference between elements means.

Os pressupostos da teoria de avaliação de programas orientada ao consumidor estabelecem que o avaliador tem que identificar os resultados dos programas e seus valores sob a perspectiva das necessidades dos usuários. A avaliação deve ajudar os usuários a escolher entre programas concorrentes por meio de informações. Tendo por base esse arcabouço teórico, o objetivo geral desta pesquisa foi analisar as variáveis de avaliação de programas de especialização prevalecentes segundo a visão de especialistas que são aderentes aos modelos de decisão e de avaliação dos participantes. Concluiu-se que as melhores práticas de avaliação educacional sobre qualidade atendem às necessidades dos alunos no processo de decisão por programa de especialização para executivos a cursar e na avaliação dos programas em curso no contexto brasileiro. Essa constatação foi possível por meio do estudo das hipóteses da pesquisa, com a análise dos resultados da técnica Delphi, entrevistas e aplicação de questionários. Os constructos identificados na teoria de avaliação educacional e levantados na aplicação da técnica Delphi são internos (Corpo Docente, Qualidade das Disciplinas, Perfil da Turma, Infra-Estrutura, Biblioteca, Estudos de Casos, Gestão do Programa, Forma de Ingresso e Monografia) e externos (Reputação, Mercado de Trabalho, Análise de Valor, Classificação em Rankings, Satisfação do Empregador, Internacionalização e Custo). Especialistas, administradores de programas e professores criticam os rankings de melhores instituições de ensino, mas admitem que ainda dão visibilidade e credibilidade ao programa na percepção de alunos e empregadores. O desenvolvimento, a aplicação, os objetivos e os benefícios da avaliação educacional não são completamente compreendidos pelos interessados em programas de especialização. Esse fato é justificado pela carência de recursos no país para a formação específica na área e pouca produção científica sobre o assunto. O grande número de programas de especialização para executivos foi considerado prejudicial à qualidade percebida pelos empregadores e alunos, e causador da confusão entre programas lato e stricto sensus. Administradores de programas, professores, alunos, empregadores e especialistas atribuíram importância elevada aos constructos Reputação, Corpo Docente e Qualidade das Disciplinas. Para a avaliação educacional, o Custo foi considerado o de menor importância por especialistas, administradores de programas, professores e alunos. Entretanto, o mesmo constructo teve importância significativa para alunos no momento de escolha por um programa de especialização a cursar. Os constructos Monografia e Forma de Ingresso foram considerados de pouca importância pelos respondentes tanto para a avaliação educacional quanto para o modelo de decisão por programa de especialização a cursar. A hipótese de que os professores percebem mais valor nos constructos internos do que os alunos, administradores de programas e empregadores não foi aceita como verdadeira. A segunda hipótese, que sugeriu que especialistas percebem mais valor nos constructos internos do que alunos, administradores de programas e empregadores não foi aceita como verdadeira. A terceira hipótese sugeriu que os alunos percebem mais valor nos constructos externos do que professores, administradores de programas e especialistas. Constatou-se que os alunos percebem mais valor ao Mercado de Trabalho, Classificação em Rankings, Custo e Reputação para avaliação educacional do que os professores. A quarta hipótese sugeriu que os empregadores percebem mais valor nos constructos externos do que especialistas e professores, mas nenhuma diferença significativa foi apontada pelos testes. A quinta hipótese (alunos ingressantes percebem mais valor nos constructos externos do que nos internos para o modelo de decisão por programa de especialização a cursar) e a sexta (alunos percebem mais valor nos constructos internos do que nos externos para a avaliação educacional) não foram aceitas, pois nenhuma diferença significativa foi identificada entre as médias dos constructos. / The assumptions pertaining to consumer oriented program evaluation theory establish that the evaluator must identify the programs results and their values under the perspective of users necessities. The evaluation must help users choose between competitor programs with information. Based on this theoretical framework, this research aimed at analyzing specialization program evaluations variables that prevail under the specialists points of view that are sticking to the participants models of decision and of evaluation. The conclusion is that the best practices of quality education evaluation attend the students necessities to choose one executive specialization program to follow and to performance program evaluation in Brazils context. This conclusion was possible with the study of researchs suppositions, with the analysis of Delphis results, interviews and questionnaires. The elements identified by education evaluation theory and raised with Delphi are internal (Teaching Staff, Quality of Disciplines, Students Profile, Infrastructure, Library, Case Studies, Programs Management, Selection of Students and Monograph) and external (Reputation, Labor Market, Value Analysis, Classification in Rankings, Employers Satisfaction, Internationalization and Cost). Specialists, programs managers and teachers criticize the best schools rankings, but they admit that rankings give visibility and credibility to the program under the perceptions of students and employers. The development, the application, the objectives and the benefits of education evaluation are not completely understood by the specialization programs users. This fact is justified by the lack of resources in Brazil addressed to education research on evaluation and lack of scientific production. The great number of existing executive specialization programs was considered harmful to the quality perceived by employers and students, and responsible for the confusion between lato and stricto sensu programs. Programs managers, teachers, students, employers and specialists attributed high importance to Reputation, Teaching Staff and Quality of Disciplines. For the education evaluation, Cost received the smallest importance from specialists, programs managers, teachers and students. However, Cost had significant importance to students at the moment of choosing a specialization program to follow. Monograph and Selection of Students were considered little important to both education evaluation and to the decision model used to choose a specialization program to follow. The supposition that suggested that teachers attribute more value to internal elements than students, programs managers and employers was not accepted. The second supposition, that suggested that specialists attribute more value to internal elements than students, programs managers and employers was not accepted. The third supposition suggested that students attribute more value to external elements than teachers, programs managers and specialists. It was proved that students attribute more value to Labor Market, Classification in Rankings, Cost and Reputation than teachers to education evaluation. The fourth supposition suggested that employers attribute more value to external elements than specialists and teachers, but it was no found significant difference during the tests. The fifth supposition (new students attribute more value to external elements than to internal elements to the decision model used to choose a specialization program to follow) and the sixth supposition (students attribute more value to internal elements than to external elements to education evaluation) were not accepted, because it was not found significant difference between elements means.

Este estudo relata a geraÃÃo e sistematizaÃÃo de conhecimentos, levando a reflexÃes conceituais, teÃricas e aplicadas da avaliaÃÃo de programas educacionais e de educaÃÃo corporativa. A problemÃtica envolve duas perguntas: 1) Que modelos de avaliaÃÃo de programas educacionais e de educaÃÃo corporativa vÃm sendo divulgados e descritos na literatura em lÃngua portuguesa e inglesa, a partir do modelo apresentado por Kirkpatrick (1959)?; e 2) Esses modelos tÃm demonstrado consistÃncia teÃrica, em termos de elementos e fases que os compÃem, ou hà novas formas de avaliar programas de educaÃÃo corporativa? O objetivo geral desta dissertaÃÃo envolve a apresentaÃÃo, anÃlise e comparaÃÃo dos modelos de avaliaÃÃo de programas educacionais e de educaÃÃo corporativa presentes na literatura em lÃngua portuguesa e inglesa, produzidos a partir de 1959, e que tÃm sido apresentados como instrumentos voltados para avaliaÃÃo de programas educacionais e educaÃÃo corporativa. Esta dissertaÃÃo foi elaborada com base na metodologia quadripolar, composta dos pÃlos: epistemolÃgico, teÃrico, morfolÃgico e tÃcnico. O pÃlo epistemolÃgico fundamenta-se na filosofia Bachelardiana, a qual admite que a ciÃncia e seu objeto nÃo sÃo dados, mas se encontram em construÃÃo; logo, o objeto a ser analisado à flexÃvel a revisÃes e proposiÃÃes de melhoria. O pÃlo teÃrico aponta que a avaliaÃÃo de programas de educaÃÃo corporativa faz parte de um campo de estudo recente, com contribuiÃÃes em maior quantidade nos efeitos da aprendizagem no desempenho dos treinandos, pouco se investigando sobre os efeitos no grupo, unidades de trabalho e organizaÃÃes. Apresenta, tambÃm, contribuiÃÃes mais recentes da literatura em lÃngua inglesa aos modelos de avaliaÃÃo de programas de educaÃÃo corporativa a partir de Kirkpatrick e Hamblin. No pÃlo morfolÃgico sÃo descritos seis modelos de avaliaÃÃo de programas educacionais, quinze modelos de avaliaÃÃo de programas de educaÃÃo corporativa e um modelo de avaliaÃÃo de programas multinÃvel. O pÃlo tÃcnico apresenta a metodologia empregada (pesquisa bibliogrÃfica, com anÃlise de conteÃdos), a anÃlise dos modelos de avaliaÃÃo de programas de educaÃÃo e educaÃÃo corporativa, e cinco estudos secundÃrios. As consideraÃÃes finais referendam os pressupostos abordados neste trabalho, assinalando que: (1) pesquisas secundÃrias confirmaram que o sucesso de um curso em determinado nÃvel nÃo necessariamente produz o mesmo resultado nos nÃveis subseqÃentes, questionando-se, assim, o pressuposto teÃrico que supÃe relaÃÃes de causalidade ou correlaÃÃes positivas e estatisticamente significativas entre os diferentes nÃveis de avaliaÃÃo de programas educacionais dos modelos de Kirkpatrick e Hamblin; (2) constatou-se a inexistÃncia de estudos procurando explicar as ligaÃÃes entre os diferentes tipos de anÃlise (indivÃduo, equipe e organizaÃÃo). Para alcanÃar essa compreensÃo, seria necessÃria uma abordagem multinÃvel, confirmando-se, desse modo, o pressuposto de que hà outros modelos que explicam as relaÃÃes de causalidade e correlaÃÃes entre os diferentes nÃveis de avaliaÃÃo de programas de educaÃÃo corporativa; e, ainda, que (3) apesar dos modelos de avaliaÃÃo de programas educacionais serem diferentes, trazem no seu arcabouÃo os modelos referenciais de Kirkpatrick e Hamblin, validando-se, assim, o pressuposto de que ambos os modelos continuam servindo de base para a formulaÃÃo dos demais. / This study reports on the generation and systematization of knowledge, leading to conceptual reflections, both theoretical and applied, regarding the evaluation of educational programs and of corporative education. The issue involves two questions: 1) Which models of evaluation of educational programs and of corporative education have been brought to light and described in Portuguese and English literature since the model presented by Kirkpatrick (1959)? and 2) Have these models shown theoretical consistency as for the elements and phases that they comprise, or there are new ways to evaluate programs in corporative education? The overall objective of this dissertation involves the presentation, analysis and comparison of the models of the evaluation of both educational programs and programs in corporative education present in Portuguese and English literature, produced since 1959, and which have been presented as instruments aimed at the evaluation of educational programs and programs in corporative education. This dissertation was carried out on the basis of âquadripolarâ methodology which was composed of the following poles: epistemological, theoretical, morphological and technical. The epistemological pole is based on Bachelardian philosophy which assumes that science and its object are not given, but are on the process of being constructed; thus the object to be analyzed is flexible to be reexamined and open to propositions toward its betterment. The theoretical pole indicates that the evaluation of programs in corporative education is part of a field of recent study, with more significant contributions to learning effects on the performance of trainees, paying less attention to the investigation of the effects on the group, the work units and the organizations alike. Further, it presents more recent contributions in English literature to the models of evaluation of programs in corporative education from Kirkpatrick and Hamblin. At the morphological pole, six evaluation models of educational programs, fifteen models of evaluation of corporative education programs and one model of evaluation of multilevel programs are described. The technical pole presents the methodology used (bibliographic review, with content analysis), the analysis of evaluation models of programs in education and in corporative education, as well as five secondary studies. The final considerations confirm the assumptions studied in this work, by underlining that: (1) secondary research works have substantiated that success in a program at a given level does not necessarily bring about the same successful result at the subsequent levels, calling into question the theoretical assumption that causality relations or positive correlations, and statistically significant, among the different levels of evaluation of the educational programs in Kirkpatrick and Hamblinâs models; 2) it has been found out the nonexistence of studies attempting to explain the connections among the different types of analysis (individual, group and organizational). To reach such an understanding, it would be necessary to adopt a multilevel approach to confirm, in this manner, the assumption that there are other models that explain the relations of causality and correlations among the different levels of evaluation of programs in corporate education; and, further, that (3) even though the models of evaluation of educational programs may be different, they bring within their cores the referential models of Kirkpatrick and Hamblinâs, confirming thus the assumption that both models continue serving as the basis for the formulation of the others.