Au début des années 2000, alors que le système d'éducation québécois subissait de grands changements avec l'implantation des nouveaux programmes par compétences, les enseignants durent faire preuve d'une grande adaptabilité. Malgré les diverses oppositions, les modifications des pratiques d'enseignement et d'évaluation furent indispensables. Nous nous questionnions donc à savoir, depuis la mise en œuvre de la réforme, quelles sont les pratiques évaluatives déclarées des enseignants de science et technologie au regard de la compétence 1? Plus précisément, nous voulions savoir si l'évaluation de l'investigation scientifique dans le cadre des laboratoires en salle de classe s'aligne réellement avec la démarche évaluative. Pour ce faire, dans une optique descriptive, nous avons mis sur pied un questionnaire autorapporté auquel ont répondu 49 enseignants de science 4e secondaire provenant de 15 régions administratives différentes. Les résultats ont permis de démontrer que les enseignants de science de notre échantillon appliquent en général les recommandations ministérielles, mais que la charge du programme et le manque de temps sont des facteurs déterminants à l'adhésion au programme par compétences. Tout d'abord, il a été déterminé que très peu d’enseignants utilisent la planification à rebours et que très peu d'évaluations permettent aux élèves de faire des choix, de formuler des conjectures, de faire des essais, de partir de leurs propres questions ou de concevoir leur propre protocole. Heureusement, la collecte de données a révélé que les enseignants utilisent davantage l'évaluation formative. De plus, la majorité des enseignants utilisent l'interprétation critériée en comparant les élèves à leurs critères personnels ou aux critères du programme. Les enseignants communiquent alors régulièrement les résultats des évaluations, de même que de la rétroaction, aux élèves et à leurs parents. Malgré tout, il semblerait que le contexte pandémique n'ait influencé que très peu les pratiques évaluatives des enseignants. Finalement, des suggestions à cet effet sont proposées.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

La popularité croissante des approches participatives représente une tendance lourde dans le champ de l’évaluation des politiques. La prolifération des définitions et des termes utilisés pour désigner la participation génère cependant beaucoup de confusion chez les chercheurs et praticiens du domaine. Il n’existe en outre aucun instrument de mesure adéquat de la participation, ce qui freine l’avancement des connaissances. Trois questions de recherche structurent cette thèse : 1) Qu’est-ce que la participation à l’évaluation?; 2) Comment traduire ce concept en un instrument de mesure opérationnel?; et 3) Est-ce que cet instrument mesure la participation de manière fidèle et valide? Une conceptualisation cohérente de l’évaluation participative s’inscrivant dans la foulée des travaux de Cousins et Whitmore (1998) est d’abord proposée. Cette conceptualisation, fondée sur la logique des conditions nécessaires et suffisantes, est opérationnalisée en un instrument de mesure de la participation. L’instrument (Participatory Evaluation Measurement Instrument – PEMI) fait ensuite l’objet d’une validation empirique à partir d’un échantillon de 40 cas d’évaluation tirés de la littérature et d’un sondage auprès de leurs auteurs. Trois éléments sont appréciés quantitativement : 1) la fidélité intercodeur; 2) la convergence des scores des codeurs et des auteurs sur le PEMI; et 3) la convergence des scores des auteurs sur le PEMI et un instrument de mesure alternatif. De manière générale, cette étude suggère que le PEMI génère des scores dont la fidélité et la validité sont d’un niveau acceptable. Troisièmement, une étude de validation du PEMI combinant méthodes qualitatives et quantitatives est présentée. Le recours aux méthodes mixtes a généré un cycle inattendu – mais bénéfique – de révision de l’instrument et de validation quantitative supplémentaire. Les résultats de validation suggèrent que la version révisée du PEMI, désormais fondée sur une structure conceptuelle hybride, est plus en phase avec l’opinion des répondants quant au niveau de participation des cas d’évaluation. La valeur ajoutée des méthodes mixtes à des fins de validation est également discutée. Une réflexion sur le potentiel scientifique de l’instrument de mesure, en particulier dans le cadre de recherches empiriques sur la relation entre participation et utilisation de l’évaluation, vient conclure cette thèse. / The growing popularity of participatory approaches represents an important trend in the field of program evaluation. The proliferation of definitions and terms used to designate stakeholder participation, however, generates a lot of confusion among researchers and practitioners. Moreover, the dearth of adequate instruments to measure participation hinders knowledge accumulation. This dissertation is structured around three research questions: 1) What is stakeholder participation in evaluation? 2) How is this concept translated into an operational measurement instrument? and 3) Does this instrument allow for the reliable and valid measurement of stakeholder participation? A systematic and coherent conceptualization of participatory evaluation is first proposed based on the work of Cousins and Whitmore (1998). This conceptualization, which is based on the logic of necessary and sufficient conditions, is operationalized in a measurement instrument. The instrument (Participatory Evaluation Measurement Instrument – PEMI) is then empirically validated using a sample of 40 evaluation cases from the literature and a survey of their authors. Three elements are quantitatively assessed: 1) intercoder reliability; 2) convergence between coders’ and authors’ scores on the PEMI; and 3) convergence between authors’ scores on the PEMI and an alternative measurement instrument. Considered globally, this study suggests that the PEMI can generate reliable and valid scores. Finally, a validation study combining qualitative and quantitative methods is presented. The use of mixed methods has generated an unexpected but most welcome cycle of instrument revision and further quantitative validation. The validation results suggest that the revised version of the PEMI, now based on a hybrid conceptual structure, is more in line with our respondents’ opinions with respect to the level of stakeholder participation in their particular evaluation case. The added value of mixed methods for validation purposes is also discussed using counterfactual reasoning. Reflections on the scientific and practical potential of the measurement instrument, on the relationship between stakeholder participation and evaluation use in particular, conclude this dissertation.

L’évaluation des programmes a été introduite dans la gestion des programmes publics en Haïti en 1978. Cependant, quatre décennies plus tard, le pays n’a pas fait de progrès significatifs dans son institutionnalisation. Pour comprendre pourquoi, une étude approfondie des obstacles à l’intégration de l’évaluation de programme dans la culture des organisations publiques en Haïti a été entreprise. Cette question est également pertinente pour d’autres pays en développement comme Haïti. L’étude s’est appuyée sur des approches néo-institutionnelles et organisationnelles comme base théorique, et les données ont été collectées par le biais d’une enquête sur le terrain utilisant des méthodes mixtes et des techniques de triangulation. Les résultats de l’étude suggèrent qu’il serait opportun de redéfinir les relations entre les parties prenantes de la mise en œuvre et de l’évaluation des programmes et des politiques publiques, y compris les partenaires financiers internationaux et les bénéficiaires, en termes d’augmentation de l’implication des agences de mise en œuvre dans le processus d’évaluation. La recherche a également montré que la restructuration organisationnelle avant l’institutionnalisation, le renforcement des capacités des parties prenantes nationales et la sensibilisation aux avantages de l’évaluation sont des conditions préalables importantes pour la cohérence du processus d’institutionnalisation. Enfin, ce document s’aligne sur la position des sociologues néo-institutionnalistes qui pensent que la culture est une force naturelle avec laquelle il faut compter lorsqu’il s’agit d’institutionnaliser de nouvelles approches. Notre contribution est à la fois empirique et méthodologique. Les données ont été collectées dans des organisations gouvernementales chargées de la mise en œuvre, de l’évaluation et de l’audit des politiques et programmes publics. En plus des entretiens semi-structurés, nous avons utilisé des outils de diagnostic de la culture organisationnelle couramment utilisés dans le secteur privé, associés à d’autres utilisés dans les organisations publiques, communautaires et à but non lucratif. Cela nous a permis de ne pas perdre de vue les normes des sciences de gestion, tout en gardant à l’esprit l’objectif de l’action publique. Enfin, l’étude appelle à une réflexion théorique sur des flexibilités conceptuelles pour des outils de gestion qui peuvent ne pas être adaptés à un contexte culturel donné.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal. / But : Évaluer les effets du programme de formation en gestion du stress de l'Institut de Cardiologie de Montréal, administré au cours de l'année 1997, constitue le but principal poursuivi par la présente étude. Hypothèses : Nous vérifions 2 hypothèses à l'aide de 22 variables. L'hypothèse nulle est à l'effet que les variations de stress occupationnel, de bien-être psychologique ou d'absentéisme sont égales entre les groupes traitement et témoin et entre les deux périodes de temps mesurées. Si tel est le cas, le programme de formation n'aura produit aucun effet. L'hypothèse alternative est à l'effet que les variations ne sont pas toutes égales et vont dans le bon sens. Si tel est le cas, il faudra alors accepter l'hypothèse alternative et conclure à l'efficacité du programme de formation. Méthodologie : La recherche est de type évaluative et longitudinale. Le devis comporte 2 périodes où sont opposés un groupe témoin apparié à un groupe traitement non probabiliste. Un schéma d'analyse post-test est utilisé pour la mesure du stress occupationnel et du bien-être psychologique. La collecte des données est réalisée dans le cadre de 2 enquêtes par questionnaire. Un schéma d'analyse prétest et post-test est utilisé pour la mesure de l'absentéisme. Les données d'absence sont extraites des fiches de présences complétées par les sujets de l'étude pour les fins de leur rémunération. Divers tests statistiques sont réalisés pour contrôler la représentativité de l'échantillon, assurer la fidélité du questionnaire utilisé et vérifier les hypothèses forrnulées. Résultats principaux : Dans le cadre du devis post-test, la comparaison des moyennes indique que le programme de formation semble avoir des effets significatifs qui vont dans le sens d'une amélioration à long terme du groupe traitement sur les variables « stress qualitatif et quantitatif » et « instabilité de charge » et ne pas avoir l'effet escompté sur les 17 autres variables ayant fait l'objet de mesure. Par ailleurs, l'interaction observée au chapitre de l’anxiété va dans le mauvais sens. Également, nous observons pour les variables « décisions urgentes » et « insatisfaction à l'égard du travail » que le groupe traitement s'est amélioré alors que le groupe témoin s'est détérioré. Les évolutions vont dans le bon sens quoique non suffisamment pour être significatives (à 14 % et à 11 % respectivement). Dans le cadre du devis prétest et post-test, la comparaison des moyennes indique que le groupe traitement présente une réduction de la moyenne des fréquences de la gravité et du coït direct d'absence au temps, par rapport au temps ti . Les évolutions vont dans le bon sens, quoique non suffisamment pour être significatives. Conclusions générales Les résultats nous amènent à reconnaître la portée et les limites du programme de formation ou les limites de notre analyse de données. Les résultats escomptés se réalisent peu, pas du tout ou n'ont pu être mis en évidence en raison de la petite taille de notre échantillon. Il y aurait lieu de répliquer l'évaluation en assurant la participation d'un échantillon de plus grande taille et d'un schéma de mesure plus puissant pour la mesure du stress occupationnel et du bien-être psychologique. Au chapitre de l'absentéisme, il y aurait lieu de mesurer une période de deux années afin de comparer des périodes identiques et pour tenir compte du phénomène de la saisonnalité.

Contexte : À l'Université Laval, un cours de ± Formation interprofessionnelle en santé ¿ (FIS) a été créé. Objectif: Recommander des modifications à partir de la perception qu'ont les étudiant(e)s des facteurs liés au cours influençant le développement de leurs compétences pour le travail en collaboration interprofessionnelle. Méthode : À l'aide d'un sous-modèle élaboré à partir du modèle conceptuel "Interdisciplinary Education For Collaborative, Patient-Centred Practice" créé par D'Amour et Oandasan (2005) et de la revue de la littérature, un canevas d'entrevue a été bâti. Des entrevues qualitatives ont été réalisées auprès des étudiant(e)s qui avaient suivi les trois modules de ce cours à la session d'été 2008. Résultats : Les étudiant(e)s attribuent plusieurs éléments positifs au cours tels les méthodes d'apprentissage utilisées, la mise en pratique par des cas et des problématiques réelles, les démarches reflexives et les animateurs. Par ailleurs, certains facteurs sont perçus comme pouvant être bonifiés. Par exemple certains modes d'évaluation, la synergie de groupe et la redondance entre les trois modules seraient à revoir. Analyse : Les constats des étudiant(e)s vont dans le même sens que les éléments qui se retrouvent dans le sous-modèle et la littérature. Entre autres, tous nomment l'importance d'avoir des animateurs pour accompagner les étudiant(e)s lors de la mise en pratique, l'utilisation de cas et de problématiques réelles, les démarches reflexives, la stabilité et l'équilibre entre les membres de l'équipe et le fait de rendre la FIS obligatoire pour tous les programmes en santé. En entrevue, certains facteurs ont été développés d'avantage illustrant des exemples concrets pour les méthodes d'apprentissage et les modes d'évaluation. Discussion Un sous-modèle a été créé ce qui a permis de cerner les facteurs importants pour la FIS. La contrainte de temps a joué sur le recrutement, tant pour la sélection des participants, la représentativité de ceux-ci que sur le choix de la méthode pour la collecte de données. De plus, les créateurs des cours y ont grandement été impliqués. Conclusion En regard du sous-modèle, les entrevues individuelles ont fait la lumière sur les éléments favorables et les manques dans dispensation de la FI pour favoriser le développement des compétences. Avec ces données, les enseignants sauront mieux orienter leurs modifications et offrir des cours plus adaptés au développement des compétences en CI.

L'évaluation alimentaire, basée sur des données déclarées, est sujette à l'introduction de nombreux biais. Cette problématique, largement répandue, concerne l'ensemble de la population, mais une prévalence accrue des biais de déclaration a été rapportée chez les adolescents. En raison de son rôle crucial pour la croissance ainsi que dans la prévention et la prise en charge des maladies chroniques liées aux habitudes de vie, la pertinence d'évaluer l'alimentation des adolescents semble faire consensus autant en recherche qu'en santé publique. Afin de minimiser l'impact de certains facteurs associés aux biais de déclaration des apports alimentaires, tels que la capacité d'estimer la grosseur des portions et la motivation, plusieurs méthodes d'évaluation intégrant la technologie ont récemment fait leur apparition dans la littérature. Ce mémoire présente les résultats d'une étude ayant permis de valider l'utilisation d'un journal alimentaire photographique de trois jours dans le but d'évaluer les apports alimentaires des adolescents.