La popularité croissante des approches participatives représente une tendance lourde dans le champ de l’évaluation des politiques. La prolifération des définitions et des termes utilisés pour désigner la participation génère cependant beaucoup de confusion chez les chercheurs et praticiens du domaine. Il n’existe en outre aucun instrument de mesure adéquat de la participation, ce qui freine l’avancement des connaissances. Trois questions de recherche structurent cette thèse : 1) Qu’est-ce que la participation à l’évaluation?; 2) Comment traduire ce concept en un instrument de mesure opérationnel?; et 3) Est-ce que cet instrument mesure la participation de manière fidèle et valide?
Une conceptualisation cohérente de l’évaluation participative s’inscrivant dans la foulée des travaux de Cousins et Whitmore (1998) est d’abord proposée. Cette conceptualisation, fondée sur la logique des conditions nécessaires et suffisantes, est opérationnalisée en un instrument de mesure de la participation.
L’instrument (Participatory Evaluation Measurement Instrument – PEMI) fait ensuite l’objet d’une validation empirique à partir d’un échantillon de 40 cas d’évaluation tirés de la littérature et d’un sondage auprès de leurs auteurs. Trois éléments sont appréciés quantitativement : 1) la fidélité intercodeur; 2) la convergence des scores des codeurs et des auteurs sur le PEMI; et 3) la convergence des scores des auteurs sur le PEMI et un instrument de mesure alternatif. De manière générale, cette étude suggère que le PEMI génère des scores dont la fidélité et la validité sont d’un niveau acceptable.
Troisièmement, une étude de validation du PEMI combinant méthodes qualitatives et quantitatives est présentée. Le recours aux méthodes mixtes a généré un cycle inattendu – mais bénéfique – de révision de l’instrument et de validation quantitative supplémentaire. Les résultats de validation suggèrent que la version révisée du PEMI, désormais fondée sur une structure conceptuelle hybride, est plus en phase avec l’opinion des répondants quant au niveau de participation des cas d’évaluation. La valeur ajoutée des méthodes mixtes à des fins de validation est également discutée.
Une réflexion sur le potentiel scientifique de l’instrument de mesure, en particulier dans le cadre de recherches empiriques sur la relation entre participation et utilisation de l’évaluation, vient conclure cette thèse. / The growing popularity of participatory approaches represents an important trend in the field of program evaluation. The proliferation of definitions and terms used to designate stakeholder participation, however, generates a lot of confusion among researchers and practitioners. Moreover, the dearth of adequate instruments to measure participation hinders knowledge accumulation. This dissertation is structured around three research questions: 1) What is stakeholder participation in evaluation? 2) How is this concept translated into an operational measurement instrument? and 3) Does this instrument allow for the reliable and valid measurement of stakeholder participation?
A systematic and coherent conceptualization of participatory evaluation is first proposed based on the work of Cousins and Whitmore (1998). This conceptualization, which is based on the logic of necessary and sufficient conditions, is operationalized in a measurement instrument.
The instrument (Participatory Evaluation Measurement Instrument – PEMI) is then empirically validated using a sample of 40 evaluation cases from the literature and a survey of their authors. Three elements are quantitatively assessed: 1) intercoder reliability; 2) convergence between coders’ and authors’ scores on the PEMI; and 3) convergence between authors’ scores on the PEMI and an alternative measurement instrument. Considered globally, this study suggests that the PEMI can generate reliable and valid scores.
Finally, a validation study combining qualitative and quantitative methods is presented. The use of mixed methods has generated an unexpected but most welcome cycle of instrument revision and further quantitative validation. The validation results suggest that the revised version of the PEMI, now based on a hybrid conceptual structure, is more in line with our respondents’ opinions with respect to the level of stakeholder participation in their particular evaluation case. The added value of mixed methods for validation purposes is also discussed using counterfactual reasoning.
Reflections on the scientific and practical potential of the measurement instrument, on the relationship between stakeholder participation and evaluation use in particular, conclude this dissertation.
| Identifer | oai:union.ndltd.org:LACETR/oai:collectionscanada.gc.ca:QQLA.2012/29096 |
| Date | 08 1900 |
| Creators | Daigneault, Pierre-Marc |
| Contributors | Jacob, Steve, Ouimet, Mathieu |
| Publisher | Université Laval |
| Source Sets | Library and Archives Canada ETDs Repository / Centre d'archives des thèses électroniques de Bibliothèque et Archives Canada |
| Language | French |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation |
| Format | application/pdf |
| Rights | © Pierre-Marc Daigneault, 2012 |
Page generated in 0.0023 seconds