Volume 14 of publication series EINGEBETTETE, SELBSTORGANISIERENDE SYSTEME is devoted to the structure oriented evaluation of e-learning. For future knowledge society, beside creation of intelligent technologies, adapted methods of knowledge transfer are required. In this context e-learning becomes a key technology for development of any education system. E-learning is a complex process into which many different groups with specific tasks and roles are included. The dynamics of an e-learning process requires adjusted quality management. For that corresponding evaluation methods are needed. In the present work, Dr.Tudevdagva develops a new evaluation approach for e-learning. The advantage of her method is that in contrast to linear evaluation methods no weight factors are needed and the logical goal structure of an elearning process can be involved into evaluation. Based on general measure theory structure oriented score calculation rules are derived. The so obtained score function satisfies the same calculation rules as they are known from normalised measures. In statistical generalisation, these rules allow the structure oriented calculation of empirical evaluation scores based on checklist data. By these scores the quality can be described by which an e-learning has reached its total goal. Moreover, a consistent evaluation of embedded partial processes of an e-learning becomes possibly. The presented score calculation rules are part of a eight step evaluation model which is illustrated by pilot samples. U. Tudevdagva’s structure oriented evaluation model (SURE model) is by its embedding into the general measure theory quite universal applicable. In similar manner, an evaluation of efficiency of administration or organisation processes becomes possible.

No description available.

La mise en œuvre d’activités de prévention de la consommation de substances psychoactives (SPA) (tabac, alcool et cannabis) en milieu scolaire est une stratégie couramment utilisée pour rejoindre un grand nombre de jeunes. Ces activités s’inspirent, soit de programmes existant, soit d’innovations dictées par le contexte d’implantation ou l’existence de données de recherche. Dans un cas comme dans l’autre, l’évaluation de ces programmes représente la meilleure voie pour mesurer leur efficacité et/ou connaître comment ceux-ci sont implantés. C’est cet impératif qui a motivé une commission scolaire du Québec a recommandé l’évaluation de l’Intervention en Réseau (IR), un programme développé en vue de retarder l’âge d’initiation et de réduire la consommation problématique de SPA chez les élèves. Ce programme adopte une approche novatrice avec pour principal animateur un intervenant pivot (IP) qui assure le suivi des élèves de la 5e année du primaire jusqu’en 3e secondaire. Inspiré des modèles en prévention de la santé et de l’Approche École en santé (AES), le rôle de l’IP ici se démarque de ceux-ci. Certes, il est l’interface entre les différents acteurs impliqués et les élèves mais dans le cadre du programme IR, l’IP est intégré dans les écoles primaires et secondaires qu’il dessert. C’est cet intervenant qui assure la mobilisation des autres acteurs pour la mise en œuvre des activités. Cette thèse vise à rendre compte de ce processus d’évaluation ainsi que des résultats obtenus. L’approche d’évaluation en est une de type participatif et collaboratif avec des données quantitatives et qualitatives recueillies par le biais de questionnaires, d’entrevues, de groupes de discussion, d’un journal de bord et de notes de réunions. Les données ont été analysées dans le cadre de trois articles dont le premier concerne l’étude d’évaluabilité (ÉÉ) du programme. Les participants de cette ÉÉ sont des acteurs-clés du programme (N=13) rencontrés en entrevues. Une analyse documentaire (rapports et journal de bord) a également été effectuée. Cette ÉÉ a permis de clarifier les intentions des initiateurs du programme et les objectifs poursuivis par ces derniers. Elle a également permis de rendre la théorie du programme plus explicite et de développer le modèle logique, deux éléments qui ont facilité les opérations d’évaluation qui ont suivi. Le deuxième article porte sur l’évaluation des processus en utilisant la théorie de l’acteur-réseau (TAR) à travers ses quatre moments du processus de traduction des innovations (la problématisation, l’intéressement, l’enrôlement et la mobilisation des alliés), l’analyse des controverses et du rôle des acteurs humains et non-humains. Après l’analyse des données obtenues par entrevues auprès de 19 informateurs-clés, les résultats montrent que les phases d’implantation du programme passent effectivement par les quatre moments de la TAR, que la gestion des controverses par la négociation et le soutien était nécessaire pour la mobilisation de certains acteurs humains. Cette évaluation des processus a également permis de mettre en évidence le rôle des acteurs non-humains dans le processus d’implantation du programme. Le dernier article concerne une évaluation combinée des effets (volet quantitatif) et des processus (volet qualitatif) du programme. Pour le volet quantitatif, un devis quasi-expérimental a été adopté et les données ont été colligées de façon longitudinale par questionnaires auprès de 901 élèves de 5e et 6e année du primaire et leurs enseignants de 2010 à 2014. L’analyse des données ont montré que le programme n’a pas eu d’effets sur l’accessibilité et les risques perçus, l’usage problématique d’alcool et la polyconsommation (alcool et cannabis) chez les participants. Par contre, les résultats suggèrent que le programme pourrait favoriser la réduction du niveau de consommation et retarder l’âge d’initiation à l’alcool et au cannabis. Ils suggèrent également un effet potentiellement positif du programme sur l’intoxication à l’alcool chez les élèves. Quant au volet qualitatif, il a été réalisé à l’aide d’entrevues avec les intervenants (N=17), de groupes de discussion avec des élèves du secondaire (N=10) et d’une analyse documentaire. Les résultats montrent que le programme bénéficie d’un préjugé favorable de la part des différents acteurs ayant participé à l’évaluation et est bien acceptée par ces derniers. Cependant, le roulement fréquent de personnel et le grand nombre d’écoles à suivre peuvent constituer des obstacles à la bonne marche du programme. En revanche, le leadership et le soutien des directions d’écoles, la collaboration des enseignants, les qualités de l’IP et la flexibilité de la mise en œuvre sont identifiés comme des éléments ayant contribué au succès du programme. Les résultats et leur implication pour les programmes et l’évaluation sont discutés. Enfin, un plan de transfert des connaissances issues de la recherche évaluative est proposé. / Implementation of school-based substance use prevention activities is a widespread strategy to reach out to a significant number of young people. These activities are based either on existing programs or innovations dictated by the context of implantation or the existence of research data. In one case or another, evaluation of these programs is the best way to measure their effectiveness and/or to know how they operate. It is this need that motivated a school board in Quebec to recommend the evaluation of the Intervention Network (IR), a program developed to delay the age of substance use onset and to reduce problematic use of substances among students. This program takes an innovative approach with a patient navigator (PN) as the main implementation actor who keeps track of students from grade 5th to 9th. Inspired by such models in the fields of health prevention and the Healthy Schools Approach (HSA), the role of the PN here differs from those fields. S/he serves as an interface between the various stakeholders and students but in the IR program, the PN is integrated in primary and secondary schools involved in the program. The PN is also the one who ensures mobilization of other actors for the implementation of the program activities. This thesis aims to provide an account of the evaluation process and the results obtained. The evaluation approach is participatory and collaborative and combines both quantitative and qualitative data collected through questionnaires, interviews, focus groups, a logbook and meeting notes. Data were analyzed in the framework of three articles, the first being an evaluability assessment (EA) of the program. Participants of this EA are key-informants involved in the program implementation (n=13). A document review (report, logbook) was also conducted. The EA was helpful to clarify the intentions and objectives of the initiators of the program. It helped provide explicit information on the program theory and develop the logic model, two elements that facilitated subsequent evaluation operations. The second article is a process evaluation that uses Actor-Network Theory (ANT) as analytical framework, through the four moments of innovation translation (problematization, interessment, enrollment and mobilization of allies), controversies analysis, and the role of human and non-human actors. After analysis of the 19 interviews and available documents, results showed that the program implementation phases adequately follow the four moments of the ANT, that management of controversies by negotiation and support was needed for the mobilization of some human actors. This process evaluation also highlighted the role of non-human actors in the implementation process. The last article is a combined evaluation of the effects (quantitative component) and the process (qualitative component) of the program. For the quantitative component, a quasi-experimental design was used and data were collected longitudinally by questionnaires from 901 students of 5th and 6th grades and their teachers from 2010 to 2014. Data analysis indicated that the program had no effect on the accessibility and perceived risk, problematic use of alcohol and use of both alcohol and cannabis among participants. On the other hand, results suggest that the program could help reduce the level of consumption and delay the age of onset of alcohol and cannabis. These results also suggest a potentially positive effect of the program on alcohol intoxication among students. As for the qualitative component, stakeholder interviews (N = 17) and focus groups with high school students (N = 10) were conducted. Program documents were also analyzed. Results of this second process evaluation showed that the program is highly viewed and positively appreciated by the different actors involved in the program. However, frequent staff turnover and the number of schools to follow can be obstacles to the smooth running of the program. Nevertheless, the leadership role and support from the principals, teacher’s collaboration, the quality of the PN and flexibility in the implementation process are identified as factors contributing to the success of the program. All the results and their implication for program implementation and evaluation are discussed. Finally, to ensure greater access to the results, this thesis concludes with a plan for transferring knowledge drawn from the evaluation research.

Abstract Coping at work and job retention have been on the list of priorities of European countries for some decades. Vocational rehabilitation is a key measure for preventing work disability, but its possibilities have remained unused in many respects. Moreover, rehabilitation tasks are defined differently depending on the perspective taken. The purpose of this thesis is to determine the possibilities that arise from defining work-related rehabilitation tasks in a way that combines different perspectives and interests. The research questions are: 1) What were the impacts on working career and psychosocial factors of an intervention for long-term unemployed people with disabilities? 2) What kind of processes and mechanisms promoted the working careers and other outcomes of the employed people during the interventions? 3) What forms of collaboration took place between the rehabilitees and different stakeholders, and to what extent did the rehabilitees have opportunities to choose and act during the process? The empirical data for the study were collected from two vocational rehabilitation research projects. The research design was a multiple case study from multiple perspectives combined with mixed methods. The materials were collected through surveys, individual and group interviews, documents, and register follow-up. We found the contextual mechanism through which the outcomes of the work-related rehabilitation emerged. The process was promoted or hindered by actions taken by all stakeholders. The promoting or hindering mechanisms were born through the actions taken by the supervisor in particular, the occupational health service and rehabilitation service provider, and the individual’s life situation factors. Similar factors promoted and hindered the re-employment and staying or returning to work outcomes. Enhancing the rehabilitees’ own agency is also important, regardless of how weak it is at the beginning. I also present a new way of assigning rehabilitation tasks, which structures the complexity of the field of work-related rehabilitation and helps manage it. Work-related rehabilitation is a combination of societal and individual actions. The results of this study will help all actors involved in rehabilitation to improve the outcomes of work-related rehabilitation by developing opportunities for the rehabilitees’ own agency and collaboration / Tiivistelmä Työurien jatkaminen on keskeinen eurooppalaisten yhteiskuntien selviämisen haaste. Kuntoutus on riittämättömästi hyödynnetty resurssi työurien pidentämiseksi. Lisäksi kuntoutuksen tehtävät määrittyvät eri näkökulmista eri tavalla. Tutkimuksen tavoitteena on tarkastella, miten työikäisten kuntoutuksen tehtävää voitaisiin määritellä eri toimijoiden intressejä ja päämääriä yhdistäen. Tutkimuskysymyksiä oli kolme: 1) Mitkä olivat monimuotoisen ammatillisen kuntoutuksen vaikutukset pitkäaikaistyöttömien työuraan ja muihin psykososiaalisiin tekijöihin? 2) Millaiset prosessit ja mekanismit edistivät työuria työllisten monimuotoisen ammatillisen kuntoutuksen interventiossa? 3) Minkälaisia yhteistyömuotoja työhön kytkeytyvässä kuntoutuksessa kuntoutujan ja eri toimijoiden välillä toteutui, ja missä määrin kuntoutujat pystyivät vaikuttamaan omiin valinta- ja toimintamahdollisuuksiinsa prosessin aikana? Aineisto koostui kahden ammatillisen kuntoutuksen kehittämishankkeen arviointitutkimusaineistoista. Tutkimusasetelma oli monitapaustutkimus, joka oli toteutettu moninäkökulmaisena mixed method –tutkimuksena. Aineistot oli koottu kyselyiden, yksilö- ja ryhmähaastatteluiden, dokumenttien ja rekisteriseurannan avulla. Aineistojen analyysejä oli tehty aineistokokonaisuuksittain analysoiden kvantitatiiviset ja kvalitatiiviset aineistot erikseen sekä yhdistämällä aineistoja tapaustutkimuksen keinoin. Tutkimuksessa löytyi mekanismi, jonka kautta kuntoutuksen tulokset syntyivät tai jäivät syntymättä. Edistävät ja estävät mekanismit liittyivät erityisesti esimiehen, työterveyshuollon ja kuntoutuksen palvelutuottajan toimintaan ja kuntoutujan elämäntilanteeseen. Samanlaiset tekijät edistivät ja estivät työttömillä ja työllisillä kuntoutumista. Lisäksi työhön kytkeytyvässä kuntoutuksessa kuntoutujan oman toimijuuden tukeminen on tärkeää, vaikka se alkuvaiheessa olisi vähäinen. Tutkimuksessa kuvataan työikäisten kuntoutuksen tehtävät uuden mallin avulla. Tämä jäsentää ammatillisen kuntoutuksen kentän kompleksisuutta ja auttaa hallitsemaan sitä. Työhön kytkeytyvä kuntoutus muodostuu yhteiskuntaan ja yksilöön kohdistuvista toimista, joilla mahdollistetaan työelämään paluu ja osallistuminen. Tulosten avulla kuntoutuksen toteuttajat, tutkijat ja viranomaiset voivat parantaa kuntoutuksen työuravaikutuksia kehittämällä kuntoutujan osallistumismahdollisuuksia ja yhteistoimintaa.

en català:Un camp de recerca important dins del paradigma del Computer-Supported Collaborative Learning (CSCL) és la importància en la gestió eficaç de la informació d'esdeveniments generada durant l'activitat de l'aprenentatge col·laboratiu virtual, per a proporcionar coneixement sobre el comportament dels membres del grup. Aquesta visió és especialment pertinent en l'escenari educatiu actual que passa d'un paradigma tradicional - centrat en la figura d'un instructor magistral - a un paradigma emergent que considera els estudiants com actors centrals en el seu procés d'aprenentatge. En aquest nou escenari, els estudiants aprenen, amb l'ajuda de professors, la tecnologia i els altres estudiants, el que potencialment necessitaran per a desenvolupar les seves activitats acadèmiques o professionals futures.Els principals aspectes a tenir en compte en aquest context són, primer de tot, com dissenyar una plataforma sota el paradigma del CSCL, que es pugui utilitzar en situacions reals d'aprenentatge col·laboratiu complexe i a llarg termini, basades en el model d'aprenentatge de resolució de problemes. I que permet al professor una anàlisi del grup més eficaç així com donar el suport adequat als estudiants quan sigui necessari. En segon lloc, com extreure coneixement pertinent de la col·laboració per donar consciència i retorn als estudiants a nivell individual i de rendiment del grup, així com per a propòsits d'avaluació. L'assoliment d'aquests objectius impliquen el disseny d'un model conceptual d'interacció durant l'aprenentatge col·laboratiu que estructuri i classifiqui la informació generada en una aplicació col·laborativa en diferents nivells de descripció. A partir d'aquesta aproximació conceptual, els models computacionals hi donen resposta per a proporcionar una extracció eficaç del coneixement produït per l'individu i per l'activitat del grup, així com la possibilitat d'explotar aquest coneixement com una eina metacognitiva pel suport en temps real i regulat del procés d'aprenentatge col·laboratiu.A més a més, les necessitats dels entorns CSCL han evolucionat en gran mesura durant els darrers anys d'acord amb uns requisits pedagògics i tecnològics cada cop més exigents. Els entorns d'aprenentatge col·laboratius virtuals ara ja no depenen de grups d'estudiants homogenis, continguts i recursos d'aprenentatge estàtics, ni pedagogies úniques, sinó que exigeixen una forta personalització i un alt grau de flexibilitat. En aquest nou escenari, les organitzacions educatives actuals necessiten estendre's i moure's cap a paradigmes d'ensenyament altament personalitzats, amb immediatesa i constantment, on cada paradigma incorpora el seu propi model pedagògic, el seu propi objectiu d'aprenentatge i incorpora els seus propis recursos educatius específics. Les demandes de les organitzacions actuals també inclouen la integració efectiva, en termes de cost i temps, de sistemes d'aprenentatge llegats i externs, que pertanyen a altres institucions, departaments i cursos. Aquests sistemes llegats es troben implementats en llenguatges diferents, suportats per plataformes heterogènies i distribuïdes arreu, per anomenar alguns dels problemes més habituals. Tots aquests problemes representen certament un gran repte per la comunitat de recerca actual i futura. Per tant, els propers esforços han d'anar encarats a ajudar a desenvolupadors, recercaires, tecnòlegs i pedagogs a superar aquests exigents requeriments que es troben actualment en el domini del CSCL, així com proporcionar a les organitzacions educatives solucions ràpides i flexibles per a potenciar i millorar el rendiment i resultats de l'aprenentatge col·laboratiu. Aquesta tesi proposa un primer pas per aconseguir aquests objectius. / An important research topic in Computer Supported Collaborative Learning (CSCL) is to explore the importance of efficient management of event information generated from group activity in collaborative learning practices for its further use in extracting and providing knowledge on interaction behavior. The essential issue here is first how to design a CSCL platform that can be used for real, long-term, complex collaborative problem solving situations and which enables the instructor to both analyze group interaction effectively and provide an adequate support when needed. Secondly, how to extract relevant knowledge from collaboration in order to provide learners with efficient awareness and feedback as regards individual and group performance and assessment. The achievement of these tasks involve the design of a conceptual framework of collaborative learning interaction that structures and classifies the information generated in a collaborative application at several levels of description. Computational models are then to realize this conceptual approach for an efficient management of the knowledge produced by the individual and group activity as well as the possibility of exploiting this knowledge further as a metacognitive tool for real-time coaching and regulating the collaborative learning process.In addition, CSCL needs have been evolving over the last years accordingly with more and more demanding pedagogical and technological requirements. On-line collaborative learning environments no longer depend on homogeneous groups, static content and resources, and single pedagogies, but high customization and flexibility are a must in this context. As a result, current educational organizations' needs involve extending and moving to highly customized learning and teaching forms in timely fashion, each incorporating its own pedagogical approach, each targeting a specific learning goal, and each incorporating its specific resources. These entire issues certainly represent a great challenge for current and future research in this field. Therefore, further efforts need to be made that help developers, technologists and pedagogists overcome the demanding requirements currently found in the CSCL domain as well as provide modern educational organizations with fast, flexible and effective solutions for the enhancement and improvement of the collaborative learning performance and outcomes. This thesis proposes a first step toward these goals.Índex foliat:The main contribution in this thesis is the exploration of the importance of an efficient management of information generated from group activity in Computer-Supported Collaborative Learning (CSCL) practices for its further use in extracting and providing knowledge on interaction behavior. To this end, the first step is to investigate a conceptual model for data analysis and management so as to identify the many kinds of indicators that describe collaboration and learning and classify them into high-level potential categories of effective collaboration. Indeed, there are more evident key discourse elements and aspects than those shown by the literature, which play an important role both for promoting student participation and enhancing group and individual performance, such as, the impact and effectiveness of students' contributions, among others, that are explored in this work. By making these elements explicit, the discussion model proposed accomplishes high students' participation rates and contribution quality in a more natural and effective way. This approach goes beyond a mere interaction analysis of asynchronous discussion in the sense that it builds a multi-functional model that fosters knowledge sharing and construction, develops a strong sense of community among students, provides tutors with a powerful tool for students' monitoring, discussion regulation, while it allows for peer facilitation through self, peer and group awareness and assessment.The results of the research described so far motivates the development of a computational system as the translation from the conceptual model into a computer system that implements the management of the information and knowledge acquired from the group activity, so as to be efficiently fed back to the collaboration. The achievement of a generic, robust, flexible, interoperable, reusable computational model that meets the fundamental functional needs shared by any collaborative learning experience is largely investigated in this thesis. The systematic reuse of this computational model permits a fast adaptation to new learning and teaching requirements, such as learning by discussion, by relying on the most advanced software engineering processes and methodologies from the field of software reuse, and thus important benefits are expected in terms of productivity, quality, and cost.Therefore, another important contribution is to explore and extend suitable software reuse techniques, such as Generic Programming, so as to allow the computational model to be successfully particularized in as many as situations as possible without losing efficiency in the process. In particular, based on domain analysis techniques, a high-level computational description and formalization of the CSCL domain are identified and modeled. Then, different specific-platform developments that realize the conceptual description are provided. It is also explored a certain level of automation by means of advanced techniques based on Service-Oriented Architectures and Web-services while passing from the conceptual specification to the desired realization, which greatly facilitates the development of CSCL applications using this computational model.Based on the outcomes of these investigations, this thesis contributes with computational collaborative learning systems, which are capable of managing both qualitative and quantitative information and transforming it into useful knowledge for all the implicated parties in an efficient and clear way. This is achieved by both the specific assessment of each contribution by the tutor who supervises the discussion and by rich statistical information about student's participation. This statistical data is automatically provided by the system; for instance, statistical data sheds light on the students' engagement in the discussion forum or how much interest drew the student's intervention in the form of participation impact, level of passivity, proactivity, reactivity, and so on. The aim is to provide both a deeper understanding of the actual discussion process and a more objective assessment of individual and group activity.This information is then processed and analyzed by means of a multivariate statistical model in order to extract useful knowledge about the collaboration. The knowledge acquired is communicated back to the members of the learning group and their tutor in appropriate formats, thus providing valuable awareness and feedback of group interaction and performance as well as may help identify and assess the real skills and intentions of participants. The most important benefit expected from the conceptual model for interaction data analysis and management is a great improvement and enhancement of the learning and teaching collaborative experiences.Finally, the possibilities of using distributed and Grid technology to support real CSCL environments are also extensively explored in this thesis. The results of this investigation lead to conclude that the features provided by these technologies form an ideal context for supporting and meeting demanding requirements of collaborative learning applications. This approach is taken one step further for enhancing the possibilities of the computational model in the CSCL domain and it is successfully adopted on an empirical and application basis. From the results achieved, it is proved the feasibility of distributed technologies to considerably enhance and improve the collaborative learning experience. In particular, the use of Grid computing is successfully applied for the specific purpose of increasing the efficiency of processing a large amount of information from group activity log files.

La vaccination qui est le sujet sur lequel porte cette recherche est une des questions de santé publique les plus importantes; elle fait néanmoins l’objet de nombreuses controverses. Dans le contexte de cette thèse, c’est plutôt l’accès à la vaccination qui est mis en question. La présente recherche vise à analyser une stratégie d’amélioration de la couverture vaccinale à l’aide d’une évaluation de processus extensive en trois étapes faisant suite à une documentation approfondie du contexte. En effet, la recherche analyse les perceptions et les facteurs d’influence de la couverture vaccinale avant l’intervention, les assises conceptuelles et théoriques de cette intervention, l’implantation et la réception de l’intervention et enfin les résultats et les mécanismes mis en œuvre pour les atteindre. Les résultats indiquent que la vaccination s’insère dans l’ensemble des stratégies locales de protection fondées sur des notions endogènes du risque. Ces éléments culturels associés à des facteurs socioéconomiques et aux rapports entre parents et services de santé concourent à expliquer un niveau relativement bas de couverture vaccinale complète de 50% avant l’intervention. L’analyse exploratoire de l’intervention indique que celle-ci intègre une théorie initiale implicite et une philosophie. L’intervention finale était évaluable; cependant, la validation de sa théorie a été compromise par des écarts dans l’implantation. L’approche descriptive montre des taux de réalisation d’activités assez élevés, une atteinte de plus de 95% des cibles et un niveau de réception acceptable, ce qui indique que l’intervention est une stratégie réalisable mais à améliorer. La couverture vaccinale après l’intervention est de 87%; elle est influencée positivement par les niveaux de connaissance élevés des parents et le fait pour les enfants d’être nés dans un centre de santé, et négativement par l’éloignement par rapport au site de vaccination. L’atteinte des résultats suit la procédure principale d’amélioration du niveau de connaissance des parents. Celle-ci est basée sur un mécanisme latent qui est la perception des « opportunités » que fournit la vaccination pour prévenir divers risques sanitaires, sociaux et économiques. Cependant, des approches complémentaires tentent de maximiser les effets de l’intervention en utilisant les pouvoirs conférés aux relais communautaires féminins et la coercition sociale. Cette recherche contribue à éclairer la relation entre l’évaluation du processus et l’analyse de l’évaluabilité, à conceptualiser et opérationnaliser autrement les notions de doses d’intervention administrées et de doses reçues. Sur le plan de la pratique, la recherche contribue à proposer l’amélioration des profils de personnel pour les activités de vaccination et la vulgarisation de la stratégie. Des propositions sont faites pour l’amélioration de l’intervention et l’information des institutions de financement des interventions. / Immunization is one of the most important subjects in public health despite constant on-going controversies. In the context of this research it is more its accessibility that is at issue. This particular research is situated in the perspective of the comprehensive approaches to evaluation and analyses an immunization improvement strategy using a three steps process evaluation after documenting its context. The perceptions and factors influencing immunization coverage before the intervention are assessed, as well as the conceptual and theoretical foundations of the intervention, the implementation and reception of the intervention and mechanisms used to attain the results. The results indicate that immunization is integrated into the local strategies used for protection and grounded in the local concept of risk. Results show also that the context associated with socioeconomic factors and the relations between parents and health services contribute to explain the relatively low complete immunization coverage rate (50.3%) before the intervention. The exploratory analysis indicates that the intervention had an implicit theory and a philosophy. Although the intervention was adequate for an evaluation, discrepancies in the implantation compromised the possibilities of validating its initial theory and philosophy. The descriptive analysis showed that more than 95% of the recipients were reached by the intervention and the received dose of intervention was acceptable indicating that the intervention is a workable strategy that needs to be improved. The complete immunization coverage after the intervention was 87.3%; it was influenced positively by factors including parents’ level of knowledge and the fact that the child was born in a health center, and negatively by the long distances from household to immunization place. The strategies involved in the attainment of the results used parents’ knowledge improvement as a principal procedure. This contains an underlying mechanism mainly related to the perception of the opportunities that immunization permits for preventing various health, social and economic risks. However, complementary approaches tend to maximize intervention outcome by using the power given to female community immunization facilitators and social coercion. The research contributes to highlight the relationship between evaluability assessment and process evaluation, to propose a new conceptual and operational understanding of dose of intervention administered and dose of intervention received. On practical grounds, this research recommended the improvement of the immunization activities staff profile and the widespread adoption of the strategy after it improvement. Indications are provided to improve the intervention and to inform founding agencies.

No description available.

La transition du milieu de soins pédiatrique au milieu adulte est un processus exigeant pour les jeunes atteints de maladies chroniques, puisqu’elle a lieu durant une période de leur vie où beaucoup de changements se produisent simultanément. N’étant pas encore tout à fait autonomes, les jeunes doivent apprendre à prendre soin d’eux-mêmes alors qu’ils se retrouvent parachutés dans un nouvel environnement, au sein d’une nouvelle équipe médicale. La diminution de l’encadrement peut en mener certains à prendre leur médication de manière erratique ou à manquer des rendez-vous. En transplantation rénale, une baisse de l’observance thérapeutique peut avoir pour conséquences des épisodes de rejet qui conduisent parfois à la perte du greffon. Pour pallier ces problèmes, deux néphrologues du CHU Sainte-Justine et une néphrologue du Centre hospitalier de l’Université de Montréal (CHUM) se sont consultées afin de mettre en place une clinique de jeunes adultes greffés du rein. Cette clinique s’adresse spécifiquement aux jeunes adultes, tant ceux ayant vécu la transition que ceux greffés à l’âge adulte. L’objectif de cette thèse est de mener l’évaluation des processus ainsi que l’évaluation des effets médicaux et psychosociaux de la clinique des jeunes (CDJ), en comparant le groupe de patients qui y sont suivis aux jeunes patients suivis à la clinique adulte régulière (CAR). Dans le premier article, qui présente l’évaluation des processus, des entrevues semi-structurées sont réalisées auprès de 10 patients de la CDJ, afin de décrire leur expérience de la clinique et d’identifier les composantes contribuant à son succès ainsi que des pistes d’amélioration du service. L’analyse thématique propose six thèmes caractérisant l’expérience des patients: (a) le soutien à l’autonomie versus la surprotection, (b) les garanties de sécurité à travers l’incertitude, (c) l’identification et le sentiment d’appartenance, (d) la complémentarité des approches entre les milieux de soins pédiatrique et adulte, (e) un environnement s’harmonisant avec le mode de vie des jeunes adultes et (f) les raisons de non-adhérence au traitement. Dans le deuxième article, qui présente l’évaluation des effets, une méthodologie mixte quantitative et qualitative est utilisée afin de mettre en contraste l’expérience de 17 patients de la CDJ avec celle de 16 patients de la CAR, de vérifier l’efficacité de la CDJ et de vérifier l’utilité de la théorie de l’auto-détermination (TAD) dans notre contexte. Les analyses quantitatives comparatives révèlent que la CDJ semble efficace surtout dans la période critique post-transition ou post-greffe en milieu adulte. Le fait d’être suivi à la CDJ semble minimiser l’incidence des complications médicales, améliorer l’adhérence au traitement et la qualité de vie physique des patients. Les analyses corrélationnelles établissent des liens entre les variables de la TAD (perception de soutien à l’autonomie, motivation autonome ou contrôlée, sentiment de compétence), l’adhérence au traitement et la qualité de vie. L’analyse thématique met en lumière quatre thèmes: (a) la résilience, (b) les besoins relationnels et l’alliance thérapeutique, (c) la quête d’équilibre et (d) la quête de normalité. Sur la base des résultats présentés dans les deux articles, des recommandations sont formulées afin d’améliorer le service à la CDJ et de servir de lignes directrices pour le développement d’initiatives similaires en transition. / Transition from pediatric to adult care is a demanding process for chronically ill young patients, because it takes place during a period of their life when many changes happen simultaneously. Because they are not entirely autonomous yet, youths must learn to take care of themselves while they are being parachuted in a new environment, within a new medical team. The lack of guidance can lead some to take their medicines erratically or to miss appointments. In kidney transplantation, decreased treatment adherence rates can have consequences such as rejection episodes, which sometimes lead to graft loss. To mitigate these problems, two nephrologists from the CHU Sainte-Justine and one nephrologist from the Centre hospitalier de l’Université de Montréal (CHUM) consulted one another to set up a young adult clinic for kidney transplant recipients. This clinic is specifically destined to young adults, those who transitioned as well as those transplanted as adults. This thesis aims to conduct the process evaluation as well as the evaluation of the clinical and psychosocial outcomes of the young adult clinic (YAC), by comparing its group of patients to the young patients who are attending the regular adult clinic (RAC). In the first article, which presents the process evaluation, semi-structured interviews are conducted with 10 YAC patients, to describe their experience of the clinic and identify its key components as well as possible areas of improvement. Thematic analysis highlights six themes that characterize patients’ experience: (a) autonomy support versus overprotection, (b) stability anchors through uncertainty, (c) identification and belongingness, (d) complementarity of approaches between pediatric and adult care settings, (e) an environment matching young adults’ lifestyles and (f) reasons for non-adherence. In the second article, which presents the outcome evaluation, a quantitative and qualitative mixed methodology is used to contrast the experience of 17 YAC patients with the experience of 16 RAC patients, to verify the YAC’s efficiency and to check if self-determination theory (SDT) is relevant in our context. Comparative quantitative analyses reveal that the YAC seems efficient especially during the critical period post-transition or post-transplant in adult setting. Attending the YAC seems to minimize the incidence of medical complications, to improve treatment adherence and patients’ physical quality of life. Correlational analyses establish relationships between SDT variables (perceived autonomy support, autonomous or controlled motivation, perceived competence), treatment adherence and quality of life. Thematic analysis highlights four themes: (a) resilience, (b) relational needs and the therapeutic alliance, (c) quest for balance and (d) quest for normalcy. On the basis of the findings presented in the two articles, recommendations are formulated in order to improve the YAC services and to serve as guidelines for the development of similar transition initiatives.

La santé publique fondée sur des données probantes doit être basée sur les meilleures preuves disponibles pour prendre des décisions éclairées, afin de mettre en place des interventions dirigées vers le maintien et l’amélioration de la santé, ainsi que vers le bien-être de toute la population. Les essais contrôlés randomisés (ECR) sont souvent utilisés en recherche clinique pour tester les effets d’un médicament, d’une thérapie ou d’une intervention sur un groupe expérimental qui bénéficiera de l’intervention, en le comparant à un groupe contrôle qui recevra un placebo ou aucun traitement. Bien que le débat persiste, les essais randomisés constituent une source importante et, apparemment, de haute qualité pour évaluer l’efficacité des interventions en santé. Dû à de multiples facteurs, les essais randomisés en grappes (ERG) sont largement utilisés pour évaluer la prestation des services de santé et des interventions en santé publique. Dans ce type d’essai, ce ne sont plus des individus qui sont randomisés, mais des groupes d’individus tels que les familles, les médecins, les villages qui vont recevoir l’intervention. Ces interventions peuvent varier pendant la mise en œuvre en raison de divers facteurs liés à la conception de l’intervention, aux participants, aux intervenants ainsi qu’aux facteurs du contexte qui influencent les résultats. Ces facteurs doivent être pris en compte au moment de l’évaluation, et avant la réplication dans d’autres contextes. L’évaluation de la fidélité de la mise en œuvre, outil clé de l’évaluation du processus et élément essentiel du processus de mise à l’échelle, vise à mesurer le degré selon lequel une intervention a été implantée telle que conçue par les concepteurs. Cette thèse a comme objectif principal examiner la fidélité de la mise en œuvre des interventions en santé publique dans le cadre des essais randomisés en grappes, pour savoir si les interventions mises en place sous un modèle contrôlé doivent prendre en compte ce type d’évaluation pour renforcer ces résultats et faciliter leur réplication à grande échelle. Cette thèse comporte deux volets : une revue systématique et une étude de cas unique à trois unités d’analyse selon une approche mixte concomitante. Le premier article évalue la pratique de la fidélité de la mise en œuvre des interventions en santé publique dans le cadre des essais randomisés en grappes des études publiées qui ont été identifiées et incluses dans la révision systématique. La révision systématique met en lumière que les interventions mises en place sous ce modèle ne tiennent pas compte de cette évaluation de façon systématique, que la façon de la faire est très hétérogène, et que l’évaluation n’est pas bien documentée. Les deuxième et troisième articles sont les résultats de recherche de l’évaluation d’une intervention, à travers une étude de cas comme méthode de recherche, qui a été menée, dans un premier temps, pour examiner la plausibilité de la théorie de l’intervention, et, dans un deuxième temps, pour évaluer leur fidélité de la mise en œuvre et leur acceptabilité auprès des participants dans le but de l’améliorer, si nécessaire, avant sa mise en place à grande échelle. L’évaluation de l’intervention met en lumière plusieurs aspects. D’abord, la théorie sous-jacente et le modèle de l’intervention évaluée sont bien conçus pour parvenir aux résultats visés. L’évaluation fournit des points clés et des actions à prendre en considération, pendant le développement des interventions, pour servir les communautés difficiles à atteindre, et pour améliorer les résultats en matière de santé. Ensuite, les résultats ont démontré une fidélité de mise en œuvre élevée. La clarté de la théorie de l'intervention, la motivation et l'engagement des intervenants, ainsi que les réunions périodiques des superviseurs avec les intervenants-terrain expliquent largement le haut niveau de fidélité obtenu. Des facteurs contextuels tels que la distance géographique, l'accès à un téléphone portable, le niveau d'éducation et les normes de genre ont contribué à l'hétérogénéité de la participation du groupe cible de l’intervention. Finalement, cette évaluation souligne que la plateforme mobile combinée à la mobilisation communautaire, composantes clés de l’intervention, ont été bien accueillies par les participants, et pourraient être mis en place à grand échelle. Cette thèse contribue au développement des connaissances sur le plan méthodologique concernant l’évaluation de la fidélité de la mise en œuvre des interventions en santé publique en mettant en relief des lacunes dans ce domaine, et en suggérant un outil pour faire avancer cette pratique évaluative. Cette thèse participe également au renforcement de la recherche dans les sciences de l’implémentation, et apporte sur le plan empirique des éléments clés essentiels pour évaluer la fidélité de la mise en œuvre de ce type d’intervention à l’aide des essais randomisés en grappes, évaluation de cette fidélité qui est l’objet de cette recherche doctorale. / Evidence-based public health should be based on the best available evidence to make informed decisions and to implement interventions aimed at maintaining and improving the health and well-being of all people. Randomized controlled trials (RCTs) are often used in clinical research to test the effects of a drug, therapy, or intervention on an experimental group that may benefit from the intervention, comparing it to a control group that received either a placebo or no intervention treatment. Although the debate persists, randomized controlled trials are an important and objectively high quality method for evaluating the effectiveness of health interventions. Due to multiple factors, cluster randomized trials (CRTs) are widely used to assess the delivery of health services and public health interventions. In this type of trial, it is no longer individuals who are randomized, but groups of individuals such as families, doctors, and village communities who receive the intervention. These interventions may differ during implementation as a result of various factors related to the complexity of the intervention design, context, participants, and stakeholders involved. These factors should be considered at the time of assessment and before replication in other contexts. Implementation fidelity assessment, a key tool in process evaluation, examines study processes to assess the extent to which the intervention was carried out as originally intended. The fidelity of implementation is an essential part of the scale-up process. This thesis aimed to examine the fidelity of implementation of public health interventions in the context of cluster randomized trials, to determine whether the interventions implemented under a controlled model should consider this type of evaluation to strengthen their results and facilitate their replication on a large scale. This thesis has two parts: a systematic review and a single case study with three units of analysis using a mixed triangulated approach. The first article assessed the implementation fidelity of public health interventions in the context of cluster randomized trials. The systematic review highlighted the finding that public health interventions implemented under this model did not systematically consider this type of evaluation, that the way of doing it was very heterogeneous, and that the evaluation was not adequately documented. The second and third articles were the research findings of the evaluation of an intervention, using a case study as the research method, that was conducted to first examine the plausibility of the intervention theory and to better understand the design and context of the intervention being evaluated, and second, to evaluate implementation fidelity and its acceptability among the participants with the aim of making improvements (if necessary) before large-scale replication. The evaluation of the case study highlighted several key findings. First, the results of the evaluation reflected that the underlying theory and model of the public health intervention were well designed to achieve the desired results. The evaluation provided key points and actions to consider during intervention development to serve hard-to-reach communities and improve health outcomes. Further, it was shown that the results demonstrated a high degree of implementation fidelity. The clarity of the theory of the intervention, the motivation and commitment of the stakeholders as well as the periodic meetings of supervisors with the field team largely explained the high level of fidelity obtained. Contextual factors such as geographical distance to the intervention, access to a mobile phone, level of education, and gender norms contributed to the heterogeneity of the participation of the intervention target group. Finally, this evaluation underlined the finding that the mobile platform coupled with community mobilization, both key components of the intervention, were well received by the participants and may be an effective means of improving health knowledge and changing health-related behaviors. This thesis contributes to the development of methodological knowledge concerning the evaluation of the fidelity of implementation of public health interventions by identifying gaps in this field, and by suggesting a tool that facilitates advancing this evaluation practice. This thesis also contributes to the strengthening of research in implementation sciences, and empirically provides key elements essential to assess the fidelity of the implementation of this type of intervention using CRT studies and evaluation of this fidelity, which is the subject of this doctoral research.

Text in English / Given the high rates of male homicides, victimisation and the perpetration of violence by men in South Africa, the prevention of interpersonal violence among males constitutes a major public health priority. The lack of effective strategies to address the onset and effects of exposure to violence foregrounds the need for innovative strategies to address this problem in South Africa. Within this context, this doctoral study’s primary research objective was to evaluate the processes and steps used to plan, design and develop a community-based violence prevention intervention that mobilised spiritual capacity and religious assets to promote positive forms of masculinity, and peace and safety. This doctoral research was part of a broader study entitled, ‘Spiritual Capacity and Religious Assets for Transforming Community Health by Mobilising Males for Peace and Safety’ (SCRATCHMAPS), which aimed to identify and mobilise spiritual capacity and religious assets, in particular communities in South Africa and the USA, in order to address interpersonal violence. This study was framed by a critical public health lens, and was guided by a Community-based Participatory Research (CBPR) orientation and community engagement strategy throughout every step of the development of the intervention and the initial evaluation of the manual development process. The overall research design was a participatory process evaluation. Methods used for this process evaluation included community asset mapping, surveys, focus group discussions, research-based workshops, diary reflections, a photo-documentary, meeting minutes, process notes and participatory observations. The analysis of the multiple sets of data was conducted appropriately, relevant to the particular data collection methods pursued and the demands of both qualitative and quantitative methods of analysis. Findings from this study confirm the utility and efficacy of using a critical public health framework enacted through CBPR for developing an intervention that addresses the complexity of violence. The results further demonstrated that a strength or asset-based, gender-sensitive approach, with men working alongside women, is conducive to promoting positive forms of masculinity to create safety and peace. / Psychology / Ph. D. (Psychology)