[pt] Assegurar a qualidade de uma avaliação é um grande desafio
para os
avaliadores. A avaliação de um processo avaliativo
denomina-se meta-avaliação.
No Brasil já existe uma grande preocupação com a qualidade
da avaliação,
contudo o conceito de meta-avaliação ainda é uma novidade.
Os profissionais
discutem quais são os critérios de excelência que uma
verdadeira avaliação deve
atender tendo como base os padrões definidos pelo Joint
Committee on Standards
for Educational Evaluation (1994), que estão agrupados em
quatro grandes
categorias: utilidade, viabilidade, ética e precisão. Este
trabalho propõe uma nova
metodologia para meta-avaliação utilizando os conceitos de
conjuntos fuzzy e da
lógica fuzzy. A metodologia é composta por um instrumental
de coleta de dados
(lista de checagem para meta-avaliação de
programas/projetos) e por um sistema
de inferência fuzzy hierárquico para o tratamento de dados
referentes à metaavaliação
de programas/projetos. As principais vantagens de um
sistema desse
tipo são: (i) a possibilidade de trabalhar com regras
lingüísticas; (ii) a utilização de
ferramentas adequadas para trabalhar com a imprecisão
intrínseca que existe em
problemas complexos, como é o caso de processos de meta-
avaliação; (iii) a
incorporação de conhecimento subjetivo (de especialistas);
(iv) a adaptabilidade
do processo de inferência a situações específicas. A
metodologia ora proposta
utiliza um sistema hierárquico composto por trinta e seis
bases de regras
organizadas em três níveis: padrão (nível 1), categoria
(nível 2), e meta-avaliação
(nível 3). As principais características da metodologia
desenvolvida são: (i) o
instrumento de coleta de dados, que permite respostas
intermediárias; (ii) a
capacidade de adaptação do sistema de inferência fuzzy a
necessidades
específicas; (iii) a transparência obtida pela utilização
de regras lingüísticas, o que
facilita a discussão e o entendimento de todo o processo.
Acredita-se que esta
metodologia facilitará os processos de meta-avaliação.
Este estudo pretende ser
uma contribuição para a área da avaliação e para a prática
da meta-avaliação. / [en] Assuring the quality of an evaluation is a great challenge
to evaluators.
The evaluation of an evaluative process is called meta-
evaluation. In Brazil there
is a great concern about evaluation quality, although the
concept of metaevaluation
is new. Evaluation professionals are still discussing the
criteria of
excellence that a true evaluation should attend. The
standards defined by the Joint
Committee on Standards for Educational Evaluation (1994)
that are presented in
terms of utility, feasibility, ethics and accuracy,
enlighten on that discussion. This
study presents a new methodology for meta-evaluation that
makes use of fuzzy
sets and fuzzy logic concepts. The methodology is composed
of an instrument for
data collection (checklist for the meta-evaluation of
programs/projects) and of a
hierarchical fuzzy inference system for treatment of data
related to the metaevaluation
of projects and programs. The main advantages of using
such a system
are: (i) the possibility of working with linguistic rules;
(ii) the use of tools that
deal with the intrinsic imprecision of complex problems,
as is the case of metaevaluation;
(iii) the incorporation of subjective knowledge (of
specialists); (iv) the
adaptability of the inference process to specific
situations. This new methodology
makes use of a system composed of 36 rule bases organized
in three levels:
standard (level 1), category (level 2), and meta-
evaluation (level 3). The main
features of the proposed methodology are: (i) the data
collection instrument, that
allows intermediate answers; (ii) the fuzzy system's
capability of adaptation to
specific needs; (iii) the transparency provided by the use
of linguistic rules, which
favours understanding and discussion of the whole process.
It is believed that this
methodology will make the meta-evaluation process easier.
This study intends to
be a contribution to evaluation as a subject and to meta-
evaluation practice.
| Identifer | oai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:8159 |
| Date | 20 April 2006 |
| Creators | ANA CAROLINA LETICHEVSKY |
| Contributors | MARLEY MARIA BERNARDES REBUZZI VELLASCO |
| Publisher | MAXWELL |
| Source Sets | PUC Rio |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | TEXTO |
Page generated in 0.0022 seconds