Au fil des générations, l'évaluation de programme a traversé de nombreux changements (nécessaires), qui l'ont conduite à devenir une activité à la fois technique et sociopolitique. Aujourd'hui, elle est d'une indéniable complexité du fait notamment de la nature des situations évaluatives rencontrées, dont les caractéristiques influencent la faisabilité, la fiabilité et l'utilité de l'évaluation. Des situations animées de contraintes sociopolitiques et organisationnelles importantes, de problèmes sur le plan des intrants disponibles, de l'accessibilité des données, etc. En outre, la qualité de l'évaluation est tributaire de la capacité de l'évaluateur à mobiliser des savoirs pratiques en situation, son expertise, et son jugement afin d'entreprendre les choix méthodologiques les plus appropriés.
Inscrite dans une perspective interprétative, cette étude explore et tente de comparer les choix méthodologiques opérés par des évaluateurs novices et experts œuvrant dans des cabinets de conseil (n=8) lors de la réalisation de leurs évaluations de programme ; et la façon dont ils appréhendent et gèrent les contraintes situationnelles. Elle mobilise deux types d'activités reconnues pour l'analyse des pratiques professionnelles des évaluateurs de programmes : 1. la métaévaluation d'un projet tierce rapportée durant un entretien non dirigé ; et 2. l'entretien d'explicitation centré sur un projet d'évaluation passé avec, en amont, l'analyse des devis évaluatifs faisant l'objet de l'exercice d'explicitation. À partir de ces deux types d'activités, il devient possible d'examiner et croiser les bonnes pratiques et les pratiques réelles des participants. Les résultats s'inscrivent dans le contexte de l'évaluation externe de programmes publics fédéraux sous la direction d'un chef d'évaluation interne responsable de la planification initiale et la suppression de l'évaluation, et la consultation d'un comité interne composé d'utilisateurs ciblés. Au sein des équipes évaluatives externes, on observe une certaine hiérarchie dans l'organisation du travail. L'évaluateur expert est le gestionnaire de l'évaluation et il est chargé d'activités cruciales comme la conception et la communication de l'évaluation. L'évaluateur novice peut exercer dans une capacité d'exécutant/exécutant avancé de tâches de collecte et d'analyse de données (travail en silo), ou de collaborateur et participer à l'évaluation dès sa conception. Ultimement, les choix méthodologiques sont du ressort de l'évaluateur expert.
Les pratiques réelles des évaluateurs novices sont ancrées dans le développement de leurs compétences méthodologiques et de leurs capacités analytiques, ce qui transparaît sur le plan de leurs bonnes pratiques. L'articulation de leurs pratiques se centre sur une logique technique/méthodologique de production de connaissances quant aux objets évalués. Pour eux, il est essentiel de démontrer le caractère approprié de la démarche d'évaluation, l'effort de rigueur, la fiabilité et la représentativité de la méthodologie évaluative (c.-à-d. l'alignement du contenu du cadre d'évaluation, le caractère systématique des procédures, la représentativité des sources d'information, la transparence du raisonnement évaluatif, etc.). Si dans le cadre de l'analyse critique d'un devis tierce, les évaluateurs novices reconnaissent l'influence de différents facteurs contextuels sur l'évaluation, leur analyse demeure superficielle et décontextualisée comparativement aux évaluateurs experts. En effet, les pratiques réelles tout comme les pratiques recommandées des évaluateurs experts sont influencées par la situation évaluative réelle et centrée sur les résultats. La priorité, pour eux, est de veiller au caractère approprié et faisable du devis d'évaluation à la lumière des caractéristiques de l'objet évalué ou evaluand (complexité de la théorie de programme, envergure des objectifs, caractère facilement observable de ses résultats ou non, etc.), des exigences politico-organisationnelles (la Politique évaluative fédérale, ses directives méthodologiques et ses normes, la collaboration avec le chef de l'évaluation interne, etc.), et des ressources disponibles (temps, argent, données probantes existantes et accessibles, etc.). Et ce, tout en assurant la fiabilité, la représentativité et l'utilité de l'évaluation. Il s'agit d'un raisonnement que les évaluateurs novices semblent commencer à s'approprier dès lors qu'ils ont l'occasion de participer à l'évaluation dès la phase de conception.
Les résultats montrent que la pertinence du devis d'évaluation repose sur la capacité des évaluateurs à réaliser un diagnostic efficace de la situation évaluative rencontrée afin de revoir et opérationnaliser les paramètres de l'évaluation initialement prescrits par les clients, et de s'assurer de la faisabilité et de la légitimité de l'évaluation. Cette entreprise nécessite la mobilisation de savoirs méthodologiques procéduraux et expérientiels, de connaissances spécifiques à l'environnement professionnel (programmes publics, système politico-organisationnel du gouvernement fédéral, politique évaluative, gouvernance de l'évaluation externe de programmes publics, etc.), de savoir-faire relationnels, et de savoir-faire cognitifs acquis dans et par l'expérience (indispensables à l'analyse de la situation et à la résolution de problèmes, à la conception et à la réalisation de l'évaluation). Les résultats soulignent ici l'incidence du niveau d'expertise de l'évaluateur de programme externe sur sa capacité à anticiper, identifier, comprendre et gérer efficacement les contraintes situationnelles afin de concevoir une évaluation fiable et utile. Ils montrent l'importance d'offrir le plus tôt possible aux évaluateurs novices l'occasion de participer à des projets d'évaluation du début à la fin, d'accroître les occasions d'observation et de contribution sur le plan de la conception et de la gestion de l'évaluation dans le cadre de petits projets où le devis est plutôt simple. Des tâches cruciales qui, dans le présent contexte de pratique, sont réalisées par les évaluateurs experts.
| Identifer | oai:union.ndltd.org:uottawa.ca/oai:ruor.uottawa.ca:10393/45546 |
| Date | 16 October 2023 |
| Creators | Mediell, Maud |
| Contributors | Dionne, Eric |
| Publisher | Université d'Ottawa / University of Ottawa |
| Source Sets | Université d’Ottawa |
| Language | French |
| Detected Language | French |
| Type | Thesis |
| Format | application/pdf |
Page generated in 0.002 seconds