L'évaluation de programme est de plus en plus utilisée pour mesurer la qualité de programmes de tous genres. Paradoxalement, elle fait face à de constantes et nombreuses critiques, notamment sur sa fonction première, soit générer un jugement suffisamment crédible pour être accepté des clients et aider au processus de prise de décisions des activités futures du programme. D'ailleurs, l'étude de Toulemonde (2005) révèle que les clients de l'évaluation utilisent très peu les résultats issus des rapports d'évaluation parce qu'ils ne répondent pas à leurs attentes. Bien que durant les trente dernières années, plusieurs théoriciens ont proposé des processus servant à guider et à structurer la démarche évaluative, ceux-ci ne trouvent pas écho dans la pratique (Stake et al., 1997). Stake et Schwandt (2006) jettent un nouveau regard sur la façon de générer un jugement crédible en introduisant les notions de qualité mesurée et de qualité appréciée. La présente étude, de type exploratoire, appuie son corpus théorique sur l'apport de ces deux auteurs et tente de recueillir la perception des personnes directement concernées par l'évaluation sur les éléments et les procédures liés à la pratique évaluative qui sont requis pour générer un jugement satisfaisant. Au total, six entrevues individuelles ont été réalisées auprès d'évaluateurs chevronnés et de clients de l'évaluation sélectionnés de façon intentionnelle. Les résultats de cette étude semblent démontrer qu'un jugement satisfaisant doit s'appuyer sur deux types d'arguments, soit sur des données planifiées, c'est-à-dire recueillies à partir d'une méthodologie bien définie et aussi sur des informations pertinentes qui émergent au cours de l'évaluation. De plus, le jugement doit être utile aux détenteurs d'enjeux, surtout quand vient le temps de prendre des décisions sur les orientations futures du programme. Ensuite, les répondants soutiennent que le jugement doit être explicite pour que les personnes qui le reçoivent le comprennent facilement. Enfin, les résultats de l'étude font aussi ressortir l'importance de solliciter la participation des différents détenteurs d'enjeux tout au long de la démarche évaluative afin de recueillir les diverses perspectives aussi bien au niveau des besoins que des opinions. Ainsi, il semble que les conclusions de notre étude appuient les propos de Stake et Schwandt (2006), à savoir l'urgence que la pratique en évaluation de programme reconnaisse autant l'espace scientifique que l'espace politique dans la formulation d'un jugement. En d'autres termes, une vision plus démocratique de l'évaluation où les détenteurs d'enjeux occupent un rôle important dans le processus évaluatif. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Jugement évaluatif, Évaluation de programme, Pratiques évaluatives, Raisonnement évaluatif.

Cette recherche vise, d'un point de vue scientifique, à valider la structure d'argumentation interprétative de Kane (2006) par l'application de cette structure à l'analyse de politiques institutionnelles d'évaluation des apprentissages (PIEA) du réseau collégial québécois. Elle vise aussi, d'un point de vue pratique, à identifier des moyens que peuvent mettre en place les institutions pour permettre d'assurer l'argumentation de la validité des inférences au regard des apprentissages des étudiants. Une analyse de contenu de politiques institutionnelles d'évaluation des apprentissages (PIEA) est réalisée à partir de la structure d'argumentation interprétative de Kane (2006). Une modélisation schématique des moyens identifiés dans les politiques institutionnelles d'évaluation des apprentissages (PIEA) est produite, menant à l'élaboration de lignes directrices permettant de chercher à assurer l'argumentation de la validité des inférences d'évaluation en évaluation des apprentissages au collégial. Cette recherche a aussi permis de générer des hypothèses quant à l'exhaustivité, l'exclusivité et la pertinence des catégories du modèle de Kane (2006) dans ce contexte, tout en apportant une suggestion en complément à ce modèle théorique. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Structure d'argumentation interprétative, Validité, Inférence d'évaluation, Évaluation des apprentissages, Politiques institutionnelles d'évaluation des apprentissages (PIEA).

Omniprésente dans les organisations, la propension des gestionnaires à surévaluer délibérément le rendement de leurs employés mine la crédibilité des systèmes de gestion du rendement, crée des perceptions d'iniquité et nuit à la qualité des décisions opérationnelles et stratégiques (Tziner et al., 2005). Selon un cadre théorique inspiré de la théorie sociocognitive (Bandura 1986), cette étude, réalisée en milieu organisationnel, poursuit trois principaux objectifs ayant trait à l'influence unique et simultanée des variables individuelles et contextuelles sur la propension des gestionnaires à surévaluer le rendement. Le premier but consiste à examiner le rôle de la personnalité (agréabilité et conscience) et du sentiment d'efficacité personnelle des évaluateurs dans la prédiction de leur tendance à apprécier plus favorablement le rendement de leurs employés. Afin d'apporter un éclairage supplémentaire au lien entre les prédispositions personnelles et l'attitude clémente des gestionnaires, l'effet médiateur de l'efficacité personnelle dans la relation entre la conscience et la surévaluation du rendement est vérifié. L'incidence de trois dimensions contextuelles, soit la valorisation de l'évaluation du rendement, la politisation du processus d'évaluation du rendement et la culture de rétroaction, sur la surévaluation du rendement constitue le second but de l'étude. Finalement, l'interaction entre les variables individuelles et contextuelles et, plus particulièrement, l'effet modérateur du contexte organisationnel dans la relation entre les caractéristiques individuelles des évaluateurs et leur tendance à être indulgents face à un faible rendement est examinée empiriquement. Les 122 gestionnaires qui ont participé à la recherche oeuvrent au sein d'entreprises du secteur financier et de la sécurité publique et ont tous apprécié formellement le rendement de leur personnel depuis au moins un an. Les questionnaires, dont l'Inventaire de personnalité révisé NEO (Costa et McCrae, 1992, adaptation française par Rolland, 1998b), ont été complétés en deux temps afin d'éviter la problématique de variance commune entre les méthodes. Au terme de la vérification empirique, il semble que la propension des gestionnaires à surévaluer le rendement soit réelle et principalement motivée par des intentions bienveillantes à l'égard des employés, telles qu'encourager un employé qui connaît temporairement une baisse de rendement ou reconnaître l'effort même si les objectifs fixés n'ont pas été atteints. Les résultats des analyses de régression hiérarchique corroborent les évidences empiriques antérieures voulant que les gestionnaires plus consciencieux et qui s'estiment efficaces dans l'exercice de leur rôle d'évaluateurs sont moins enclins à surévaluer le rendement. Il semble également que l'efficacité personnelle des évaluateurs agisse à titre de médiateur de la relation entre leur nature consciencieuse et leur propension à être complaisants. Quant à l'agréabilité, son influence sur la surévaluation du rendement n'a pu être démontrée clairement. Dans le même ordre d'idée, les hypothèses postulant l'effet direct des variables contextuelles sur la propension des gestionnaires à surévaluer le rendement n'ont pu être honorées que partiellement. Le rôle modérateur du contexte organisationnel entre les variables individuelles et la surévaluation du rendement semble également mitigé. Des analyses réalisées a posteriori tendent à démontrer que seul un climat de confiance, sous-dimension de la valorisation du processus d'évaluation du rendement, modère la relation entre l'agréabilité des gestionnaires et leur tendance à surévaluer le rendement, et ce, dans la direction opposée à celle postulée. Cette recherche offre une meilleure compréhension de l'origine des comportements politiques des gestionnaires dans le cadre du processus d'évaluation du rendement et relance le débat entourant l'importance de tenir compte de leurs prédispositions individuelles. Les contributions théoriques de la recherche ont notamment trait à la clarification conceptuelle et à l'opérationnalisation de la culture de rétroaction et de l'efficacité personnelle des évaluateurs à gérer les réactions émotives des employés lors de l'entretien d'évaluation du rendement. Bien qu'il soit impossible d'éradiquer la dimension « politique » inhérente au processus d'évaluation du rendement (Levy et Williams, 2004), diverses applications pratiques sont mises en lumière afin d'orienter les interventions organisationnelles visant à accroître la qualité et l'efficacité de la démarche de gestion du rendement. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Surévaluation du rendement, Personnalité, Agréabilité, Conscience, Sentiment d'efficacité personnelle, Culture de rétroaction, Valorisation du processus d'évaluation du rendement, Politisation du processus d'évaluation du rendement.

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

L’évaluation critériée a pris beaucoup d’expansion au cours des dernières années. Toutefois, les critères d’évaluation sont parfois employés à l’encontre des recommandations des experts. Cette étude a pour but d’explorer l’utilisation peu documentée de critères d’évaluation par les professeurs universitaires à la formation à l’enseignement. Une analyse qualitative basée sur des entrevues, des protocoles oraux et des analyses de documents a permis d’identifier les critères présents dans le processus d’évaluation de quatre professeurs. D'une part, des critères d’évaluation propres à chaque participant et d’autre part 7 critères présents chez 3 participants ou plus ont été identifiés ainsi qu’un seul critère implicite. Cependant, les critères d’évaluation identifiés ne se limitent pas tous à l’évaluation du rendement scolaire. La présence de documents facultaires a eu un impact sur les résultats. Cette étude a aussi décelé de nouvelles problématiques à explorer comme les influences dans l’utilisation des critères et l’appréciation des travaux eux-mêmes.

L’évaluation critériée a pris beaucoup d’expansion au cours des dernières années. Toutefois, les critères d’évaluation sont parfois employés à l’encontre des recommandations des experts. Cette étude a pour but d’explorer l’utilisation peu documentée de critères d’évaluation par les professeurs universitaires à la formation à l’enseignement. Une analyse qualitative basée sur des entrevues, des protocoles oraux et des analyses de documents a permis d’identifier les critères présents dans le processus d’évaluation de quatre professeurs. D'une part, des critères d’évaluation propres à chaque participant et d’autre part 7 critères présents chez 3 participants ou plus ont été identifiés ainsi qu’un seul critère implicite. Cependant, les critères d’évaluation identifiés ne se limitent pas tous à l’évaluation du rendement scolaire. La présence de documents facultaires a eu un impact sur les résultats. Cette étude a aussi décelé de nouvelles problématiques à explorer comme les influences dans l’utilisation des critères et l’appréciation des travaux eux-mêmes.

Un nombre croissant d’organismes centrés sur l’action communautaire envisagent de recourir à l’évaluation afin de stimuler l’apprentissage collectif et de soutenir la prise de décisions. Pourtant, encore peu d’études documentent de manière systématique et cohérente les caractéristiques et les composantes qui influencent concrètement les capacités en évaluation de ces organisations. Pour pallier à cette lacune, cette recherche effectuée au Québec visait un double objectif : d’une part, adapter le cadre conceptuel et l’instrument de mesure des capacités en évaluation de Bourgeois et Cousins (2013) aux particularités des organismes d’action communautaire et, d’autre part, repérer les caractéristiques et les composantes qui ont une incidence positive sur l’utilisation de l’évaluation aux fins d'apprentissage et de prise de décisions à l’interne. La méthodologie adoptée dans la présente étude a comporté trois étapes successives. La première étape visait à identifier à partir de la littérature les caractéristiques organisationnelles qui influencent les capacités en évaluation (CÉ) des organismes communautaires (OC). Ces caractéristiques ont ensuite été analysées par le cadre conceptuel de Bourgeois et Cousins (2013). La deuxième étape a fait appel à un comité consultatif (n=13) et des entretiens cognitifs (n=12) auprès d’acteurs du milieu afin de réviser et d’adapter le cadre conceptuel retenu au contexte précis des organismes d’action communautaire. Enfin, la troisième étape de l’étude consistait en des analyses par régression logistique des données d’un sondage effectué auprès d’acteurs communautaires (n=144) pour identifier les caractéristiques organisationnelles ayant une incidence positive sur l’utilisation de l’évaluation au sein de l'organisation. Cette étude ajoute à la littérature actuelle un cadre conceptuel et une grille d’analyse empiriquement constitués pour analyser et mesurer les CÉ au contexte précis des OC axés sur l’action communautaire. Plus précisément, l’adaptation du cadre conceptuel et de l’instrument de mesure de Bourgeois et Cousins (2013) permet l’analyse et la mesure des six composantes qui influencent concrètement les capacités en évaluation des organismes d’action communautaire: les ressources humaines, les ressources organisationnelles, la planification des activités en matière d’évaluation, les connaissances organisationnelles en évaluation, la prise de décision organisationnelle et l’apprentissage organisationnel. Chacune des composantes contient un ensemble de sous-composantes, permettant d’identifier plus concrètement les caractéristiques organisationnelles qui les influencent. L’étude révèle également les caractéristiques et les composantes qui favorisent l’utilisation continue de l’évaluation dans une perspective d’apprentissage collectif et d’appui à la prise de décisions au sein de l'organisme. Ces caractéristiques comprennent un climat organisationnel sain, un leadership positif, l’utilisation d’outils et de gabarits afin de soutenir la planification de l’évaluation, la présence de guides et d’outils pour appuyer la conception et la mise en œuvre de l’évaluation, l’accès à une communauté de pratique constituée de partenaires communautaires, une implication forte et équitable des parties concernées aux démarches d’évaluation, ainsi que l’intégration du dispositif d’évaluation dans la planification stratégique. Cette étude apporte ainsi une contribution originale et significative à l’avancement des connaissances en évaluation considérant que les capacités en évaluation de ces organisations n’avaient pas encore été documentées de manière rigoureuse et systématique. Des recherches supplémentaires seraient nécessaires afin d’étoffer le cadre conceptuel et de le valider à d’autres contextes.

La présente étude porte sur le processus de construction d'un réseau de services intégrés destiné aux jeunes âgés de 5 à 17 ans atteints d'un TDAH et à leurs parents. L'implantation des réseaux de services intégrés est complexe (Contandriopoulos, Denis, Touati, et Rodriguez, 2001; MSSS, 2004; Fleury, 2006; Fleury, Grenier et Ouadahi, 2007; MSSS, 2008a). Donc, afin de comprendre ce qui mène à l'implantation d'un RSI, nous avons observé ce processus pendant plus d'une année selon une perspective evaluative développementale (Patton, 1997, 2005, 2007). Selon une méthodologie qualitative, nous avons déployé différents techniques de collecte des données (focus groups, entrevues individuelles, observation et revue documentaire) et rencontré soixante-six participants en provenance de plus de six organisations différentes. L'analyse de nos résultats, étayée de la théorie de la structuration de Giddens (2005), met en lumière le contexte dans lequel se déroule ce processus ainsi que les forces et les défis qui en découlent, l'intentionnalité des acteurs et les conditions nécessaires à leur action. Nos réflexions indiquent que ce processus est itératif, incrémental, continu et inachevé. Dans ce cadre, le réseau est à la fois le moyen et le résultat de la conduite des acteurs en présence. En ce sens, nous réitérons l'importance d'ancrer les projets d'organisation des services de santé dans leur contexte plutôt que de préconiser la prescription de modèles théoriques. Enfin, des recommandations ont été élaborées afin de guider la suite du développement du projet TDAH et le déploiement d'initiatives similaires.

En avril 2016, la Clinique universitaire de physiothérapie (CUP) de l’Université Laval ouvre ses portes et vise deux objectifs pédagogiques : fournir des expériences de formation clinique et développer des approches novatrices en supervision. L’objectif de la présente étude était d’évaluer la performance de la CUP pendant ses huit premiers mois d’activité, en ciblant l’atteinte des valeurs, la production de services, l’atteinte des objectifs et la capacité à s’adapter aux changements. La performance de la CUP a été évaluée en utilisant un devis multiméthode, incluant des approches quantitatives et qualitatives, ainsi que quatre sources de données (indicateurs de performance, groupes de discussion, entrevues individuelles semi-structurées et des entrevues téléphoniques structurées). Ces données ont été recueillies auprès de quatre échantillons tirés d’autant de population, soit les six membres du personnel de la CUP, 11 stagiaires, six référents ainsi que 41 usagers. Les valeurs de professionnalisme et d’excellence ont été observées par les membres du personnel et les stagiaires. La CUP a été ouverte 858 heures et 41 étudiants ont pu effectuer 1277 traitements. Les clients étaient satisfaits ou très satisfaits des services reçus dans une proportion de 93,1%. Dans l’ensemble, les référents ont estimé que la CUP avait pu s’ajuster à leurs besoins, à l’exception de ceux liés à la communication. Les valeurs identifiées lors de la conception de la CUP ont pu être observées par les stagiaires et les membres du personnel. La CUP répond également adéquatement aux besoins de placements cliniques, fournissant 12,5% de tous les stages offerts au programme de physiothérapie pendant la période d’évaluation. La prestation de services de physiothérapie est également satisfaisante puisqu’à chaque heure d’ouverture, 1,5 rendez-vous était effectué. Des améliorations restent à actualiser en lien avec la coordination des services et la communication avec les partenaires. / In April 2016, Université Laval's Clinique Universitaire de Physiothérapie (CUP) opened its doors with two educational objectives: to provide clinical training experiences and to develop innovative approaches to supervision. The objective of this study was to evaluate the performance of the CUP during its first eight months of operation, targeting the achievement of values, the production of services, the attainment of objectives and the ability to adapt to changes. The performance of the CUP was evaluated using a multi-method design, including quantitative and qualitative approaches, as well as four data sources (performance indicators, focus groups, semi-structured individual interviews and structured telephone interviews). These data were collected from four samples, namely the six members of CUP staff, 11 trainees, six referrals and 41 users. Values of professionalism and excellence were observed by staff members and trainees. The CUP was open for 858 hours and 41 students were able to perform 1277 treatments during the evaluation period. Clients were satisfied or very satisfied with the services received in a proportion of 93.1%. Overall, the referees felt that the CUP had been able to adjust to their needs, with the exception of that of communication. The values established during the design of the CUP were observed by trainees and staff members. The CUP also adequately meets clinical placement needs, providing 12.5% of all placements offered in the physiotherapy program during the evaluation period. The provision of physiotherapy services is also satisfactory since at each opening hour, 1.5 appointments were made. Improvements remain to be made regadring the coordination of services and communication with partners.

Les organisations de traumatologie reconnues à l'échelle internationale émettent des directives contenant des recommandations sur les pratiques cliniques à éviter car elles sont inefficaces et qualifiées à faible valeur à l'échelle de la santé des populations ; cependant nous manquons de données sur la manière dont ces recommandations sont appliquées dans la pratique. Nous avons identifié les pratiques cliniques à faible valeur conformément aux lignes directrices de ces organisations. Afin de mesurer leurs fréquences et d'évaluer leurs variations entre les hôpitaux, nous avons conduit une étude de cohorte populationnelle, rétrospective, multicentrique avec 117 847 patients, victimes d'un traumatisme, admis dans les 57 centres de traumatologie au Québec entre 2010 et 2017. Neuf algorithmes ont été développés et validés à l'aide des données du registre des traumatismes du Québec. Les trois pratiques cliniques à faible valeur présentant les fréquences absolues et relatives les plus élevées étaient la radiographie du bassin chez les patients ayant une blessure pelvienne contondante stable avec un examen physique négatif (n=370/863) (42,9%); la tomodensitométrie de la tête chez les adultes présentant une blessure mineure à la tête sans aucun critère de décisions cliniques (n=2524/10410) (24,2%) et la radiographie thoracique chez les patients stables avec un examen physique négatif (n=127/1841) (6,9%). Nous avons observé une forte variation inter-hospitalière dans l'indication de la prise en charge chirurgicale des lésions cervicales pénétrantes sans signes de gravité, avec un coefficient de corrélation intra-classe (CCI) à 27%. Les résultats de cette étude font progresser les connaissances sur les pratiques à faible valeur en soins aigus de traumatologie et peuvent être utilisées afin d'améliorer la qualité des soins. / Internationally recognized trauma organizations issue guidelines with recommendations on clinical practices to avoid because they are ineffective and low-value qualified at the population health level; however, we lack data on how these recommendations are applied in practice. We identified low value clinical practices in accordance with the guidelines of these organizations. In order to measure their frequencies and to evaluate their variations between hospitals, we conducted a population-based, retrospective, multicenter cohort study with 117,847 trauma patients admitted to the 57 trauma centers in Quebec between 2010 and 2017. Nine algorithms have been developed and validated using data from the Quebec Trauma Registry. The three lowest-value clinical practices with the highest absolute and relative frequencies were pelvic radiography in patients with stable blunt pelvic injury with a negative physical examination (n=370/863) (42.9%); CT scan of the head in adults with minor head injury with no clinical decision criteria (n = 2524/10 410) (24.2%) and chest X-ray in stable patients with a negative physical examination (n=127/1841) (6.9%). We observed a strong inter-hospital variation in the indication of the surgical management of a penetrating cervical lesion without signs of seriousness, with an intra-class correlation coefficient (ICC) at 27%. The results of this study advance knowledge of low value practices in acute trauma care and can be used to improve the quality of care.