Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

La mise en œuvre d’activités de prévention de la consommation de substances psychoactives (SPA) (tabac, alcool et cannabis) en milieu scolaire est une stratégie couramment utilisée pour rejoindre un grand nombre de jeunes. Ces activités s’inspirent, soit de programmes existant, soit d’innovations dictées par le contexte d’implantation ou l’existence de données de recherche. Dans un cas comme dans l’autre, l’évaluation de ces programmes représente la meilleure voie pour mesurer leur efficacité et/ou connaître comment ceux-ci sont implantés. C’est cet impératif qui a motivé une commission scolaire du Québec a recommandé l’évaluation de l’Intervention en Réseau (IR), un programme développé en vue de retarder l’âge d’initiation et de réduire la consommation problématique de SPA chez les élèves. Ce programme adopte une approche novatrice avec pour principal animateur un intervenant pivot (IP) qui assure le suivi des élèves de la 5e année du primaire jusqu’en 3e secondaire. Inspiré des modèles en prévention de la santé et de l’Approche École en santé (AES), le rôle de l’IP ici se démarque de ceux-ci. Certes, il est l’interface entre les différents acteurs impliqués et les élèves mais dans le cadre du programme IR, l’IP est intégré dans les écoles primaires et secondaires qu’il dessert. C’est cet intervenant qui assure la mobilisation des autres acteurs pour la mise en œuvre des activités. Cette thèse vise à rendre compte de ce processus d’évaluation ainsi que des résultats obtenus. L’approche d’évaluation en est une de type participatif et collaboratif avec des données quantitatives et qualitatives recueillies par le biais de questionnaires, d’entrevues, de groupes de discussion, d’un journal de bord et de notes de réunions. Les données ont été analysées dans le cadre de trois articles dont le premier concerne l’étude d’évaluabilité (ÉÉ) du programme. Les participants de cette ÉÉ sont des acteurs-clés du programme (N=13) rencontrés en entrevues. Une analyse documentaire (rapports et journal de bord) a également été effectuée. Cette ÉÉ a permis de clarifier les intentions des initiateurs du programme et les objectifs poursuivis par ces derniers. Elle a également permis de rendre la théorie du programme plus explicite et de développer le modèle logique, deux éléments qui ont facilité les opérations d’évaluation qui ont suivi. Le deuxième article porte sur l’évaluation des processus en utilisant la théorie de l’acteur-réseau (TAR) à travers ses quatre moments du processus de traduction des innovations (la problématisation, l’intéressement, l’enrôlement et la mobilisation des alliés), l’analyse des controverses et du rôle des acteurs humains et non-humains. Après l’analyse des données obtenues par entrevues auprès de 19 informateurs-clés, les résultats montrent que les phases d’implantation du programme passent effectivement par les quatre moments de la TAR, que la gestion des controverses par la négociation et le soutien était nécessaire pour la mobilisation de certains acteurs humains. Cette évaluation des processus a également permis de mettre en évidence le rôle des acteurs non-humains dans le processus d’implantation du programme. Le dernier article concerne une évaluation combinée des effets (volet quantitatif) et des processus (volet qualitatif) du programme. Pour le volet quantitatif, un devis quasi-expérimental a été adopté et les données ont été colligées de façon longitudinale par questionnaires auprès de 901 élèves de 5e et 6e année du primaire et leurs enseignants de 2010 à 2014. L’analyse des données ont montré que le programme n’a pas eu d’effets sur l’accessibilité et les risques perçus, l’usage problématique d’alcool et la polyconsommation (alcool et cannabis) chez les participants. Par contre, les résultats suggèrent que le programme pourrait favoriser la réduction du niveau de consommation et retarder l’âge d’initiation à l’alcool et au cannabis. Ils suggèrent également un effet potentiellement positif du programme sur l’intoxication à l’alcool chez les élèves. Quant au volet qualitatif, il a été réalisé à l’aide d’entrevues avec les intervenants (N=17), de groupes de discussion avec des élèves du secondaire (N=10) et d’une analyse documentaire. Les résultats montrent que le programme bénéficie d’un préjugé favorable de la part des différents acteurs ayant participé à l’évaluation et est bien acceptée par ces derniers. Cependant, le roulement fréquent de personnel et le grand nombre d’écoles à suivre peuvent constituer des obstacles à la bonne marche du programme. En revanche, le leadership et le soutien des directions d’écoles, la collaboration des enseignants, les qualités de l’IP et la flexibilité de la mise en œuvre sont identifiés comme des éléments ayant contribué au succès du programme. Les résultats et leur implication pour les programmes et l’évaluation sont discutés. Enfin, un plan de transfert des connaissances issues de la recherche évaluative est proposé. / Implementation of school-based substance use prevention activities is a widespread strategy to reach out to a significant number of young people. These activities are based either on existing programs or innovations dictated by the context of implantation or the existence of research data. In one case or another, evaluation of these programs is the best way to measure their effectiveness and/or to know how they operate. It is this need that motivated a school board in Quebec to recommend the evaluation of the Intervention Network (IR), a program developed to delay the age of substance use onset and to reduce problematic use of substances among students. This program takes an innovative approach with a patient navigator (PN) as the main implementation actor who keeps track of students from grade 5th to 9th. Inspired by such models in the fields of health prevention and the Healthy Schools Approach (HSA), the role of the PN here differs from those fields. S/he serves as an interface between the various stakeholders and students but in the IR program, the PN is integrated in primary and secondary schools involved in the program. The PN is also the one who ensures mobilization of other actors for the implementation of the program activities. This thesis aims to provide an account of the evaluation process and the results obtained. The evaluation approach is participatory and collaborative and combines both quantitative and qualitative data collected through questionnaires, interviews, focus groups, a logbook and meeting notes. Data were analyzed in the framework of three articles, the first being an evaluability assessment (EA) of the program. Participants of this EA are key-informants involved in the program implementation (n=13). A document review (report, logbook) was also conducted. The EA was helpful to clarify the intentions and objectives of the initiators of the program. It helped provide explicit information on the program theory and develop the logic model, two elements that facilitated subsequent evaluation operations. The second article is a process evaluation that uses Actor-Network Theory (ANT) as analytical framework, through the four moments of innovation translation (problematization, interessment, enrollment and mobilization of allies), controversies analysis, and the role of human and non-human actors. After analysis of the 19 interviews and available documents, results showed that the program implementation phases adequately follow the four moments of the ANT, that management of controversies by negotiation and support was needed for the mobilization of some human actors. This process evaluation also highlighted the role of non-human actors in the implementation process. The last article is a combined evaluation of the effects (quantitative component) and the process (qualitative component) of the program. For the quantitative component, a quasi-experimental design was used and data were collected longitudinally by questionnaires from 901 students of 5th and 6th grades and their teachers from 2010 to 2014. Data analysis indicated that the program had no effect on the accessibility and perceived risk, problematic use of alcohol and use of both alcohol and cannabis among participants. On the other hand, results suggest that the program could help reduce the level of consumption and delay the age of onset of alcohol and cannabis. These results also suggest a potentially positive effect of the program on alcohol intoxication among students. As for the qualitative component, stakeholder interviews (N = 17) and focus groups with high school students (N = 10) were conducted. Program documents were also analyzed. Results of this second process evaluation showed that the program is highly viewed and positively appreciated by the different actors involved in the program. However, frequent staff turnover and the number of schools to follow can be obstacles to the smooth running of the program. Nevertheless, the leadership role and support from the principals, teacher’s collaboration, the quality of the PN and flexibility in the implementation process are identified as factors contributing to the success of the program. All the results and their implication for program implementation and evaluation are discussed. Finally, to ensure greater access to the results, this thesis concludes with a plan for transferring knowledge drawn from the evaluation research.