L’évaluation critériée a pris beaucoup d’expansion au cours des dernières années. Toutefois, les critères d’évaluation sont parfois employés à l’encontre des recommandations des experts. Cette étude a pour but d’explorer l’utilisation peu documentée de critères d’évaluation par les professeurs universitaires à la formation à l’enseignement. Une analyse qualitative basée sur des entrevues, des protocoles oraux et des analyses de documents a permis d’identifier les critères présents dans le processus d’évaluation de quatre professeurs. D'une part, des critères d’évaluation propres à chaque participant et d’autre part 7 critères présents chez 3 participants ou plus ont été identifiés ainsi qu’un seul critère implicite. Cependant, les critères d’évaluation identifiés ne se limitent pas tous à l’évaluation du rendement scolaire. La présence de documents facultaires a eu un impact sur les résultats. Cette étude a aussi décelé de nouvelles problématiques à explorer comme les influences dans l’utilisation des critères et l’appréciation des travaux eux-mêmes.

L’évaluation critériée a pris beaucoup d’expansion au cours des dernières années. Toutefois, les critères d’évaluation sont parfois employés à l’encontre des recommandations des experts. Cette étude a pour but d’explorer l’utilisation peu documentée de critères d’évaluation par les professeurs universitaires à la formation à l’enseignement. Une analyse qualitative basée sur des entrevues, des protocoles oraux et des analyses de documents a permis d’identifier les critères présents dans le processus d’évaluation de quatre professeurs. D'une part, des critères d’évaluation propres à chaque participant et d’autre part 7 critères présents chez 3 participants ou plus ont été identifiés ainsi qu’un seul critère implicite. Cependant, les critères d’évaluation identifiés ne se limitent pas tous à l’évaluation du rendement scolaire. La présence de documents facultaires a eu un impact sur les résultats. Cette étude a aussi décelé de nouvelles problématiques à explorer comme les influences dans l’utilisation des critères et l’appréciation des travaux eux-mêmes.

Considéré comme un pionnier en matière de procédure d'évaluation des impacts des projets, le Québec a pris un retard certain en ce qui a trait à l'évaluation environnementale de ses politiques, plans et programmes. Nous croyons toutefois que le contexte actuel au Québec présente les conditions favorables à l'adoption d'un cadre formel sous la forme d'une Directive. En effet, l'avant-projet de loi sur le développement durable et le projet de Plan de développement durable du Québec annoncés en novembre 2004 par le ministre de l'Environnement du Québec prévoient des mesures qui « concourent à mieux intégrer la recherche d'un développement durable dans les politiques, les programmes et les actions de l'Administration, ainsi qu'à assurer, notamment par l'adoption d'une stratégie de développement durable, la cohérence des actions gouvernementales en ce domaine ». Pour atteindre cet objectif de cohérence tout en assurant l'efficacité des actions gouvernementales et en respectant les attentes de la population relativement à la transparence, il convient de définir un ensemble de règles auxquelles les ministères et organismes seront assujettis lorsqu'ils présenteront de nouvelles politiques, plans et programmes ou encore des modifications à ceux-ci. L'objectif de la recherche est de proposer un cadre formel d'évaluation environnementale des politiques, plans et programmes applicable au Québec. Pour étayer nos recommandations, nous avons utilisé un cadre de référence composé de directives existantes, des particularités du système québécois, notamment sa procédure d'évaluation environnementale et les mécanismes de consultation du public ainsi que des résultats de travaux de différents auteurs. La Directive proposée comporte les étapes suivantes: tri préliminairè, cadrage, évaluation, participation et validation, décision et contrôle. Chacune de ces étapes a fait l'objet d'une analyse en fonction du cadre de référence et des recommandations spécifiques ont été formulées. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Directive, Évaluation, Environnement, Politique, Programme, Stratégique.

L'évaluation de programme est de plus en plus utilisée pour mesurer la qualité de programmes de tous genres. Paradoxalement, elle fait face à de constantes et nombreuses critiques, notamment sur sa fonction première, soit générer un jugement suffisamment crédible pour être accepté des clients et aider au processus de prise de décisions des activités futures du programme. D'ailleurs, l'étude de Toulemonde (2005) révèle que les clients de l'évaluation utilisent très peu les résultats issus des rapports d'évaluation parce qu'ils ne répondent pas à leurs attentes. Bien que durant les trente dernières années, plusieurs théoriciens ont proposé des processus servant à guider et à structurer la démarche évaluative, ceux-ci ne trouvent pas écho dans la pratique (Stake et al., 1997). Stake et Schwandt (2006) jettent un nouveau regard sur la façon de générer un jugement crédible en introduisant les notions de qualité mesurée et de qualité appréciée. La présente étude, de type exploratoire, appuie son corpus théorique sur l'apport de ces deux auteurs et tente de recueillir la perception des personnes directement concernées par l'évaluation sur les éléments et les procédures liés à la pratique évaluative qui sont requis pour générer un jugement satisfaisant. Au total, six entrevues individuelles ont été réalisées auprès d'évaluateurs chevronnés et de clients de l'évaluation sélectionnés de façon intentionnelle. Les résultats de cette étude semblent démontrer qu'un jugement satisfaisant doit s'appuyer sur deux types d'arguments, soit sur des données planifiées, c'est-à-dire recueillies à partir d'une méthodologie bien définie et aussi sur des informations pertinentes qui émergent au cours de l'évaluation. De plus, le jugement doit être utile aux détenteurs d'enjeux, surtout quand vient le temps de prendre des décisions sur les orientations futures du programme. Ensuite, les répondants soutiennent que le jugement doit être explicite pour que les personnes qui le reçoivent le comprennent facilement. Enfin, les résultats de l'étude font aussi ressortir l'importance de solliciter la participation des différents détenteurs d'enjeux tout au long de la démarche évaluative afin de recueillir les diverses perspectives aussi bien au niveau des besoins que des opinions. Ainsi, il semble que les conclusions de notre étude appuient les propos de Stake et Schwandt (2006), à savoir l'urgence que la pratique en évaluation de programme reconnaisse autant l'espace scientifique que l'espace politique dans la formulation d'un jugement. En d'autres termes, une vision plus démocratique de l'évaluation où les détenteurs d'enjeux occupent un rôle important dans le processus évaluatif. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Jugement évaluatif, Évaluation de programme, Pratiques évaluatives, Raisonnement évaluatif.

Cette recherche vise, d'un point de vue scientifique, à valider la structure d'argumentation interprétative de Kane (2006) par l'application de cette structure à l'analyse de politiques institutionnelles d'évaluation des apprentissages (PIEA) du réseau collégial québécois. Elle vise aussi, d'un point de vue pratique, à identifier des moyens que peuvent mettre en place les institutions pour permettre d'assurer l'argumentation de la validité des inférences au regard des apprentissages des étudiants. Une analyse de contenu de politiques institutionnelles d'évaluation des apprentissages (PIEA) est réalisée à partir de la structure d'argumentation interprétative de Kane (2006). Une modélisation schématique des moyens identifiés dans les politiques institutionnelles d'évaluation des apprentissages (PIEA) est produite, menant à l'élaboration de lignes directrices permettant de chercher à assurer l'argumentation de la validité des inférences d'évaluation en évaluation des apprentissages au collégial. Cette recherche a aussi permis de générer des hypothèses quant à l'exhaustivité, l'exclusivité et la pertinence des catégories du modèle de Kane (2006) dans ce contexte, tout en apportant une suggestion en complément à ce modèle théorique. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Structure d'argumentation interprétative, Validité, Inférence d'évaluation, Évaluation des apprentissages, Politiques institutionnelles d'évaluation des apprentissages (PIEA).

Omniprésente dans les organisations, la propension des gestionnaires à surévaluer délibérément le rendement de leurs employés mine la crédibilité des systèmes de gestion du rendement, crée des perceptions d'iniquité et nuit à la qualité des décisions opérationnelles et stratégiques (Tziner et al., 2005). Selon un cadre théorique inspiré de la théorie sociocognitive (Bandura 1986), cette étude, réalisée en milieu organisationnel, poursuit trois principaux objectifs ayant trait à l'influence unique et simultanée des variables individuelles et contextuelles sur la propension des gestionnaires à surévaluer le rendement. Le premier but consiste à examiner le rôle de la personnalité (agréabilité et conscience) et du sentiment d'efficacité personnelle des évaluateurs dans la prédiction de leur tendance à apprécier plus favorablement le rendement de leurs employés. Afin d'apporter un éclairage supplémentaire au lien entre les prédispositions personnelles et l'attitude clémente des gestionnaires, l'effet médiateur de l'efficacité personnelle dans la relation entre la conscience et la surévaluation du rendement est vérifié. L'incidence de trois dimensions contextuelles, soit la valorisation de l'évaluation du rendement, la politisation du processus d'évaluation du rendement et la culture de rétroaction, sur la surévaluation du rendement constitue le second but de l'étude. Finalement, l'interaction entre les variables individuelles et contextuelles et, plus particulièrement, l'effet modérateur du contexte organisationnel dans la relation entre les caractéristiques individuelles des évaluateurs et leur tendance à être indulgents face à un faible rendement est examinée empiriquement. Les 122 gestionnaires qui ont participé à la recherche oeuvrent au sein d'entreprises du secteur financier et de la sécurité publique et ont tous apprécié formellement le rendement de leur personnel depuis au moins un an. Les questionnaires, dont l'Inventaire de personnalité révisé NEO (Costa et McCrae, 1992, adaptation française par Rolland, 1998b), ont été complétés en deux temps afin d'éviter la problématique de variance commune entre les méthodes. Au terme de la vérification empirique, il semble que la propension des gestionnaires à surévaluer le rendement soit réelle et principalement motivée par des intentions bienveillantes à l'égard des employés, telles qu'encourager un employé qui connaît temporairement une baisse de rendement ou reconnaître l'effort même si les objectifs fixés n'ont pas été atteints. Les résultats des analyses de régression hiérarchique corroborent les évidences empiriques antérieures voulant que les gestionnaires plus consciencieux et qui s'estiment efficaces dans l'exercice de leur rôle d'évaluateurs sont moins enclins à surévaluer le rendement. Il semble également que l'efficacité personnelle des évaluateurs agisse à titre de médiateur de la relation entre leur nature consciencieuse et leur propension à être complaisants. Quant à l'agréabilité, son influence sur la surévaluation du rendement n'a pu être démontrée clairement. Dans le même ordre d'idée, les hypothèses postulant l'effet direct des variables contextuelles sur la propension des gestionnaires à surévaluer le rendement n'ont pu être honorées que partiellement. Le rôle modérateur du contexte organisationnel entre les variables individuelles et la surévaluation du rendement semble également mitigé. Des analyses réalisées a posteriori tendent à démontrer que seul un climat de confiance, sous-dimension de la valorisation du processus d'évaluation du rendement, modère la relation entre l'agréabilité des gestionnaires et leur tendance à surévaluer le rendement, et ce, dans la direction opposée à celle postulée. Cette recherche offre une meilleure compréhension de l'origine des comportements politiques des gestionnaires dans le cadre du processus d'évaluation du rendement et relance le débat entourant l'importance de tenir compte de leurs prédispositions individuelles. Les contributions théoriques de la recherche ont notamment trait à la clarification conceptuelle et à l'opérationnalisation de la culture de rétroaction et de l'efficacité personnelle des évaluateurs à gérer les réactions émotives des employés lors de l'entretien d'évaluation du rendement. Bien qu'il soit impossible d'éradiquer la dimension « politique » inhérente au processus d'évaluation du rendement (Levy et Williams, 2004), diverses applications pratiques sont mises en lumière afin d'orienter les interventions organisationnelles visant à accroître la qualité et l'efficacité de la démarche de gestion du rendement. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Surévaluation du rendement, Personnalité, Agréabilité, Conscience, Sentiment d'efficacité personnelle, Culture de rétroaction, Valorisation du processus d'évaluation du rendement, Politisation du processus d'évaluation du rendement.

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

L’évaluation critériée a pris beaucoup d’expansion au cours des dernières années. Toutefois, les critères d’évaluation sont parfois employés à l’encontre des recommandations des experts. Cette étude a pour but d’explorer l’utilisation peu documentée de critères d’évaluation par les professeurs universitaires à la formation à l’enseignement. Une analyse qualitative basée sur des entrevues, des protocoles oraux et des analyses de documents a permis d’identifier les critères présents dans le processus d’évaluation de quatre professeurs. D'une part, des critères d’évaluation propres à chaque participant et d’autre part 7 critères présents chez 3 participants ou plus ont été identifiés ainsi qu’un seul critère implicite. Cependant, les critères d’évaluation identifiés ne se limitent pas tous à l’évaluation du rendement scolaire. La présence de documents facultaires a eu un impact sur les résultats. Cette étude a aussi décelé de nouvelles problématiques à explorer comme les influences dans l’utilisation des critères et l’appréciation des travaux eux-mêmes.

L’évaluation critériée a pris beaucoup d’expansion au cours des dernières années. Toutefois, les critères d’évaluation sont parfois employés à l’encontre des recommandations des experts. Cette étude a pour but d’explorer l’utilisation peu documentée de critères d’évaluation par les professeurs universitaires à la formation à l’enseignement. Une analyse qualitative basée sur des entrevues, des protocoles oraux et des analyses de documents a permis d’identifier les critères présents dans le processus d’évaluation de quatre professeurs. D'une part, des critères d’évaluation propres à chaque participant et d’autre part 7 critères présents chez 3 participants ou plus ont été identifiés ainsi qu’un seul critère implicite. Cependant, les critères d’évaluation identifiés ne se limitent pas tous à l’évaluation du rendement scolaire. La présence de documents facultaires a eu un impact sur les résultats. Cette étude a aussi décelé de nouvelles problématiques à explorer comme les influences dans l’utilisation des critères et l’appréciation des travaux eux-mêmes.

Un nombre croissant d’organismes centrés sur l’action communautaire envisagent de recourir à l’évaluation afin de stimuler l’apprentissage collectif et de soutenir la prise de décisions. Pourtant, encore peu d’études documentent de manière systématique et cohérente les caractéristiques et les composantes qui influencent concrètement les capacités en évaluation de ces organisations. Pour pallier à cette lacune, cette recherche effectuée au Québec visait un double objectif : d’une part, adapter le cadre conceptuel et l’instrument de mesure des capacités en évaluation de Bourgeois et Cousins (2013) aux particularités des organismes d’action communautaire et, d’autre part, repérer les caractéristiques et les composantes qui ont une incidence positive sur l’utilisation de l’évaluation aux fins d'apprentissage et de prise de décisions à l’interne. La méthodologie adoptée dans la présente étude a comporté trois étapes successives. La première étape visait à identifier à partir de la littérature les caractéristiques organisationnelles qui influencent les capacités en évaluation (CÉ) des organismes communautaires (OC). Ces caractéristiques ont ensuite été analysées par le cadre conceptuel de Bourgeois et Cousins (2013). La deuxième étape a fait appel à un comité consultatif (n=13) et des entretiens cognitifs (n=12) auprès d’acteurs du milieu afin de réviser et d’adapter le cadre conceptuel retenu au contexte précis des organismes d’action communautaire. Enfin, la troisième étape de l’étude consistait en des analyses par régression logistique des données d’un sondage effectué auprès d’acteurs communautaires (n=144) pour identifier les caractéristiques organisationnelles ayant une incidence positive sur l’utilisation de l’évaluation au sein de l'organisation. Cette étude ajoute à la littérature actuelle un cadre conceptuel et une grille d’analyse empiriquement constitués pour analyser et mesurer les CÉ au contexte précis des OC axés sur l’action communautaire. Plus précisément, l’adaptation du cadre conceptuel et de l’instrument de mesure de Bourgeois et Cousins (2013) permet l’analyse et la mesure des six composantes qui influencent concrètement les capacités en évaluation des organismes d’action communautaire: les ressources humaines, les ressources organisationnelles, la planification des activités en matière d’évaluation, les connaissances organisationnelles en évaluation, la prise de décision organisationnelle et l’apprentissage organisationnel. Chacune des composantes contient un ensemble de sous-composantes, permettant d’identifier plus concrètement les caractéristiques organisationnelles qui les influencent. L’étude révèle également les caractéristiques et les composantes qui favorisent l’utilisation continue de l’évaluation dans une perspective d’apprentissage collectif et d’appui à la prise de décisions au sein de l'organisme. Ces caractéristiques comprennent un climat organisationnel sain, un leadership positif, l’utilisation d’outils et de gabarits afin de soutenir la planification de l’évaluation, la présence de guides et d’outils pour appuyer la conception et la mise en œuvre de l’évaluation, l’accès à une communauté de pratique constituée de partenaires communautaires, une implication forte et équitable des parties concernées aux démarches d’évaluation, ainsi que l’intégration du dispositif d’évaluation dans la planification stratégique. Cette étude apporte ainsi une contribution originale et significative à l’avancement des connaissances en évaluation considérant que les capacités en évaluation de ces organisations n’avaient pas encore été documentées de manière rigoureuse et systématique. Des recherches supplémentaires seraient nécessaires afin d’étoffer le cadre conceptuel et de le valider à d’autres contextes.