Large-scale assessment results for schools, school boards/districts, and entire provinces or states are commonly reported as the percentage of students achieving a standard – that is, the percentage of students scoring above the cut score that defines the standard on the assessment scale. Recent research has shown that this method of reporting is sensitive to small changes in the cut score, especially when comparing results across years or between groups. This study extends that work by investigating the effects of reporting group size on the stability of results. For each of ten group sizes, 1000 samples with replacement were drawn from the May 2009 Ontario Grade 6 Assessment of Reading, Writing and Mathematics. The results showed that for small group sizes – analogous to small schools – there is little confidence and that extreme caution must be taken when interpreting differences observed between years or groups.

This study explores the relationship between students’ missing responses on a large-scale assessment and their cognitive skill profiles and characteristics. Data from the 48 multiple-choice items on the 2006 Ontario Secondary School Literacy Test (OSSLT), a high school graduation requirement, were analyzed using the item response theory (IRT) three-parameter logistic model and the Reduced Reparameterized Unified Model, a Cognitive Diagnostic Model. Missing responses were analyzed by item and by student. Item-level analyses examined the relationships among item difficulty, item order, literacy skills targeted by the item, the cognitive skills required by the item, the percent of students not answering the item, and other features of the item. Student-level analyses examined the relationships among students’ missing responses, overall performance, cognitive skill mastery profiles, and characteristics such as gender and home language. Most students answered most items: no item was answered by fewer than 98.8% of the students and 95.5% of students had 0 missing responses, 3.2% had 1 missing response, and only 1.3% had more than 1 missing responses). However, whether students responded to items was related to the student’s characteristics, including gender, whether the student had an individual education plan and language spoken at home, and to the item’s characteristics such as item difficulty and the cognitive skills required to answer the item. Unlike in previous studies of large-scale assessments, the missing response rates were not higher for multiple-choice items appearing later in the timed sections. Instead, the first two items in some sections had higher missing response rates. Examination of the student-level missing response rates, however, showed that when students had high numbers of missing responses, these often represented failures to complete a section of the test. Also, if nonresponse was concentrated in items that required particular skills, the accuracy of the estimates for those skills was lower than for other skills. The results of this study have implications for test designers who seek to improve provincial large-scale assessments, and for teachers who seek to help students improve their cognitive skills and develop test taking strategies.

Large-scale assessment results for schools, school boards/districts, and entire provinces or states are commonly reported as the percentage of students achieving a standard – that is, the percentage of students scoring above the cut score that defines the standard on the assessment scale. Recent research has shown that this method of reporting is sensitive to small changes in the cut score, especially when comparing results across years or between groups. This study extends that work by investigating the effects of reporting group size on the stability of results. For each of ten group sizes, 1000 samples with replacement were drawn from the May 2009 Ontario Grade 6 Assessment of Reading, Writing and Mathematics. The results showed that for small group sizes – analogous to small schools – there is little confidence and that extreme caution must be taken when interpreting differences observed between years or groups.

Les jeux sérieux sont des jeux vidéo spécifiques adaptés à l’enseignement (Prensky, 2000 ; Johnson, 2005 ; Alvarez, 2007). Les dimensions ludiques, informationnelles et communicationnelles sont ainsi censées s’articuler aux dimensions pédagogiques, didactiques, et instrumentales pour en faire des instruments facilitant l’apprentissage (Ortega et Caron, 2011). Ainsi, leurs potentialités en font un nouveau marché en pleine expansion (Yasmine, 2012). Étant donné que la formation continue du personnel des entreprises est une question qui revêt de plus en plus d’importance, celles-ci doivent trouver un compromis entre la formation de leur personnel et la productivité, afin de rester compétitives. Plusieurs entreprises se tournent ainsi naturellement vers les jeux sérieux. Depuis plus de quinze ans, Hydro-Québec organise annuellement des formations en présentiel d’initiation au code de sécurité des travaux et aux risques d’électrocution au personnel des entreprises contractuelles intervenant sur son installation électrique. Hydro-Québec veut s’inscrire dans cette mouvance, en choisissant d’intégrer une formation mixte constituée d’une journée en présentiel et d’un jeu sérieux présentant un meilleur coût d’opportunité par rapport à la formation présentielle de trois jours pour son personnel. L’objectif de la recherche consiste à produire une analyse comparative des deux modalités de formation, en se basant sur une recension de la littérature. Ce cadre d’analyse inclut notamment des éléments en lien avec l’apprentissage, la pédagogie, la motivation et le développement des compétences. L'étude est menée selon une approche quantitative, et repose sur un protocole quasi expérimental visant à comparer deux groupes : un groupe témoin et un groupe expérimental d’échantillons respectifs de 74 et 89 participants, choisis par convenance et issus d’une même population. Les résultats obtenus ont fait état d’une meilleure performance et d’un niveau plus élevé de motivation des participants à la formation mixte que ceux à la formation présentielle. Les résultats confirment également les affirmations théoriques de la corrélation positive de la motivation et de la performance des participants (Vallerand et al. 1989). Un modèle prédictif de la performance des participants met également en lumière le niveau modeste du pouvoir explicatif des connaissances antérieures, de la motivation des participants et du type de formation. Compte tenu du fait que l’étude veut apporter une réponse fondée sur une base scientifique aux gestionnaires du programme de formation, la recommandation de l’exploitation de l’application interactive pour la formation des intervenants dans les installations d’HQ trouve sa justification au regard des résultats ainsi obtenus. / Serious games are specific video games adapted to teaching (Prensky, 2000; Johnson, 2005; Alvarez, 2007). The playful, informational and communicative dimensions articulated with pedagogical, didactic and instrumental dimensions in order to forge instruments sustaining learning (Ortega and Caron, 2011). Thus, the potentialities create a new market in full expansion (Yasmine, 2012). As continuing education of personnel in various professional environments is a question of greater importance, we must find a compromise between the training of staff members and productivity to stay competitive. Many companies use Serious games for training staff. Fifteen years ago, Hydro-Québec began organizing yearly introductory training courses on the work safety code and the risks of electrocution for staff of contracted companies working on its electrical installations. Hydro-Québec wants to integrate a mixed training consisting of day classes and independent practice using Serious game with a better opportunity cost compared to the three-day classroom training for its staff. The aim of this study is to compare two training modalities, based on a literature review. The analysis includes the elements related to learning, pedagogy, motivation and skills development. The study used a quantitative approach and based on a quasi-experimental protocol comparing two groups: a control group and an experimental group of samples of 74 and 89 participants respectively, chosen for convenience and from the same population. Data analyses demonstrated better performance with higher motivation for participants of the mixed training than those who participated in the classroom training. The results also confirm the theoretical assertions of the participant’s motivation and performance (Vallerand & al. 1989). A regression model indicated that participant’s performance depended upon their knowledge base, motivation and the type of training at a modest level. Considering the fact, that the study would like to provide a scientific foundation for training program managers, it would be advantageous to utilize the interactive application for the training of intermediary staff operating within Hydro-Quebec installations, according to the results thus obtained.

La malhonnêteté académique au cours d’épreuves présente des enjeux importants quant à l’intégrité des évaluations. La présence des TIC étant de plus en plus importante en cours de passation dans les épreuves, il est important avec ce mode de récolte de données d’assurer un niveau de sécurité égal ou même supérieur à celui présent lorsqu’un mode de récolte de données traditionnel, le papier-crayon, est utilisé. Il existe plusieurs recherches sur l’utilisation des TIC dans l’évaluation, mais peu d’entre elles traitent des modalités de sécurité lors de l’utilisation des TIC. Dans ce mémoire, treize organisations québécoises ont été rencontrées: six qui utilisaient les TIC dans la passation, cinq qui utilisaient le papier-crayon dans la passation mais qui désiraient utiliser les TIC et deux qui utilisaient le papier-crayon et qui ne désiraient pas utiliser les TIC. Les organisations sont des établissements d’enseignement (primaire, secondaire, collégial, universitaire), des entreprises privées, des organismes gouvernementaux ou municipaux et des ordres professionnels. Des entrevues semi-structurées et une analyse qualitative par présence ou absence de différentes caractéristiques ont permis de documenter les modalités de sécurité liées à la récolte de données en vue de l’évaluation en utilisant les TIC. Ces modalités ont été comparées à celles utilisées lors de l’utilisation du papier-crayon dans la récolte de données en vue de l’évaluation afin de voir comment elles varient lors de l’utilisation des TIC. Les résultats révèlent que l’utilisation des TIC dans la passation complexifie et ajoute des étapes à la préparation des épreuves pour assurer un niveau de sécurité adéquat. Cependant elle permet également de nouvelles fonctions en ce qui concerne le type de questions, l’intégration de multimédia, l’utilisation de questions adaptatives et la génération aléatoire de l’épreuve qui permettent de contrer certaines formes de malhonnêteté académiques déjà présentes avec l’utilisation du papier-crayon dans la passation et pour lesquelles il était difficile d’agir. Toutefois, l’utilisation des TIC dans la passation peut aussi amener de nouvelles possibilités de malhonnêteté académique. Mais si ces dernières sont bien prises en considération, l’utilisation des TIC permet un niveau de sécurité des épreuves supérieur à celui où les données sont récoltées au traditionnel papier-crayon en vue de l’évaluation. / Academic dishonesty in assessments presents important issues regarding its integrity. The presence of ICT being increasingly important in the examinations, it is important with this method of data collection to ensure a level of safety equal to or even higher than the one present when the traditional method of collecting data, the paper and pencil, is used. There are several studies on the use of ICT in assessment, but few of them talks about the security arrangements in the use of ICT. In this study, thirteen Quebec’s organizations were encountered, six of them who used ICT in the assessment, five who used paper and pencil in the assessment but who wished to use ICT and two who used paper and pencil and did not wish to use ICT. The organizations are educational institutions (elementary, high school, college, university), private companies, government or municipal agencies and professional associations. Semi-structured interviews and a qualitative analysis by the presence or absence of different characteristics documented the security arrangements related to data collection for the assessment using ICT. These modalities were compared with those used when there is utilization of paper and pencil in the collection of data to see how they vary when using ICT. The results show that the use of ICT in the assessment makes it more complex and adds steps to the preparation of the examination to ensure an adequate level of security. However, it also allows new features regarding the type of questions, the integration of multimedia, the use of adaptive questions and random generation of test that can counter some forms of academic dishonesty already present with the use of paper and pencil in the assessment and for which it was difficult to act. However, the use of ICT in assessment can also bring new opportunities for academic dishonesty. If these are taken into consideration, the use of ICT allows a higher security level than the assessment where the data were collected with traditional paper-and-pencil.

Cette recherche s’inscrit dans le cadre de l’évaluation des compétences langagières en français chez des adultes immigrants en vue de leur placement dans des cours de français. Elle porte sur la dimensionnalité, de même que sur la difficulté objective et subjective de tâches discrètes ou intégrées de compréhension écrite, à différents niveaux de maîtrise. Elle propose des analyses de l’estimation de la maîtrise linguistique en fonction de l’appartenance des candidats à des groupes linguistiques distincts. Pour mener à bien la recherche, un test de six textes et de 30 items a été créé. Il a été administré à 118 immigrants. Ces immigrants suivaient les cours de français proposés par le Ministère de l’immigration et des communautés culturelles du Québec (MICC) dans les écoles de langues de l’Université de Montréal et de l’Université du Québec à Montréal. Après administration, ce test a été soumis à des analyses portant sur la dimensionnalité et la difficulté des tâches discrètes et intégrées ainsi que sur les interactions entre ces tâches et les différents groupes de candidats. Des études plus précises ont été faites sur l’interaction entre le type de tâche, l’appartenance à un groupe linguistique pour des candidats et des items de niveau similaire. Enfin, des analyses ont permis d’étudier la perception de la difficulté des tâches par les candidats. L’étude, même si elle porte sur un test en rodage, permet de distinguer la dimensionnalité de tâches discrètes de celle de tâches intégrées. Elle permet également de constater les différences de fonctionnement entre ces deux types de tâches. Enfin, elle permet de comprendre l’interprétation de la difficulté par les candidats et, par ricochet, leur vision du test. In fine, des propositions sont formulées quant à l’opportunité d’utiliser des tâches discrètes et intégrées dans un test de positionnement adaptatif en français langue seconde. / This research has been conducted within the assessment procedure of the language competence of adult immigrants, for placement purposes in French courses. It relates to the dimensionality as well as the objective and subjective difficulty of discrete or integrated reading tasks at different proficiency levels. Analyses of linguistic proficiency estimates are proposed in relation with candidates’ linguistic groups. In order to conduct this study successfully, a 6-text and 30-item test has been constructed and administered to 118 immigrants. These immigrants were enrolled in French courses offered by the Ministry of Immigration and Cultural Communities (MICC) in language schools at the Université de Montreal and the Université du Québec à Montréal. After the administration, analyses have been made on the dimensionality and difficulty of the discrete and integrated tasks and on the interactions between the tasks and different groups of candidates. More detailed analyses have been made on candidates and items at similar levels. Finally, we were able to study the candidates’ perceptions of task difficulty. Although the study is based on a provisional test, the dimensionality of discrete and integrated tasks has been distinguished. Differences in the way the 2 types of task work have been shown. Finally, the candidates’ interpretation of difficulty and therefore, their view of the test, are better understood. In fine, proposals are made in regard with the proper use of discrete and integrated tasks in an adaptive placement test in second language.

En 2007, le Collège des médecins du Québec a résolu d’adopter le plan d’autogestion du développement professionnel continu (DPC) comme outil de maintien de la compétence professionnelle. Bien que la plupart des médecins reconnaissent la nécessité de demeurer à la fine pointe des connaissances et des découvertes médicales, certains considèrent le plan d’autogestion comme une corvée administrative. Afin de mieux comprendre leurs perceptions à l’égard du plan de DPC, une recherche qualitative a été menée à l’été 2010, par le biais d’entretiens individuels semi-structurés, auprès d’un échantillon de vingt-sept médecins québécois. Un échantillonnage mixte, utilisant la technique « boule de neige » et faisant appel à des informateurs clés et à des cas dits « négatifs », a permis d’atteindre un bon niveau de diversification de l’échantillon et la saturation empirique des données. Bien que les médecins interrogés soient généralement favorables au principe d’un plan d’autogestion de DPC, les commentaires et suggestions formulés par certains d’entre eux devraient inciter le Collège à apporter certaines améliorations à ce plan. Certains irritants tels que la nécessité de tenir à jour un registre des activités de DPC et d’en rendre compte au Collège ont été soulevés. Par contre, la majorité des médecins interrogés considèrent que le plan de DPC d’un médecin témoigne des efforts qu’ils déploient pour rester à la fine pointe des progrès scientifiques et technologiques dans le domaine de la santé. Finalement, tous les médecins interrogés considèrent que le maintien de leur compétence professionnelle est une obligation morale et déontologique. / In 2007, the Collège des médecins du Québec adopted the Continuing professional development plan (CPD) as a tool to maintain professional competency. Despite the fact that most physicians agree on the obligation to keep their knowledge up to date and to apply state-of-the-art medical techniques, treatments and procedures, some of them have a negative opinion about the CPD plan. To better understand the perceptions of Quebec physicians, a qualitative research was carried out in the summer of 2010, through a series of semi-structured interviews conducted with 27 physicians. Purposeful sampling was used to select key informants and physicians with a potentially negative opinion towards the CPD plan (“negative” cases). The remaining participants were identified through snowball and opportunistic sampling. Combining these recruitment methods allowed us to get a wide diversity of opinions and to achieve a high level of empirical data saturation. Although a majority of the physicians interviewed agree with the idea of having a CPD plan, comments and suggestions mentioned by some participants should help the Collège des médecins du Québec improve its plan. Some irritants were mentioned, like having to maintain a CPD portfolio of activities, a task considered tedious and cumbersome by some participants. In contrast, the majority of participants are of the opinion that the CPD plan reflects the efforts made by a physician to keep up to date with medical advances. Finally, they all agree with the fact that maintaining their professional competency is a moral as well as deontological obligation for all physicians.

L'enseignement, l'apprentissage et l'évaluation du raisonnement clinique en sciences infirmières est un défi pour les éducateurs de cette profession et leurs étudiants. Depuis plusieurs décennies, les chercheurs et les éducateurs dans le domaine des sciences de la santé ont travaillé pour élaborer des instruments d'évaluation dans le but de pouvoir mesurer le raisonnement clinique (Charlin, Bordage & Van der Vleuten, 2003). Plusieurs études semblent appuyer le test de concordance de script (TCS) en termes de validité, fiabilité, faisabilité et applicabilité pour plusieurs disciplines et différents contextes (Carrière & al, 2009). Deschênes et ses collaborateurs (2006; Deschênes, Charlin, Gagnon & Goudreau, 2011) ont mis au point et validé un TCS spécifiquement pour le raisonnement clinique en sciences infirmières (RCI). Comme l'évaluation a un impact important sur les stratégies d'apprentissage des étudiants (Sibert et al, 2001; Durak, Caliskan & Bor, 2007), les outils d'évaluation valides et fiables qui permettraient l'identification des problèmes spécifiques dans le développement du raisonnement clinique en sciences infirmières seraient très utiles pour guider les décisions concernant l'éducation (Gierl, 2007). Nous avons donc mené une étude pour explorer le potentiel diagnostique des questions d'un TCS. La question de recherche est la suivante: «Dans quelle mesure chaque question d’un TCS visant à évaluer le RCI peut-elle être reliée à des catégories et des stratégies de pensée spécifiques?" Avec une sous-question: «Comment peut-on décrire le potentiel diagnostique d’un TCS pour évaluer le RCI?". Nous avons fait une deuxième analyse de contenu des données qui ont été obtenues dans une étude précédente dans laquelle cinq vignettes (15 questions) du TCS de Deschênes (2006) ont été utilisées. Les résultats ont montré les catégories et stratégies de pensées utilisées pour répondre à certaines questions du TCS selon les groupes de participants. Aussi, nos résultats ont permis de découvrir des disparités importantes entre les groupes, notamment que le RCI des expertes est si différent des étudiantes, qu’il ne peut servir de référence. Enfin, cette étude démontre que le TCS a un potentiel diagnostique niveau par niveau (1ère, 2e, 3e année et expertes) et non d’un niveau à un autre. / Teaching, learning and assessing clinical nursing reasoning is a challenge for both nurse educators and their students. For several decades, researchers and educators in the field of health sciences, worked to develop assessment instruments that would effectively measure clinical reasoning (Charlin, Bordage & Van der Vleuten, 2003). Several studies seem to support the script concordance test (SCT) in terms of validity, reliability, feasibility and applicability in different disciplines and contexts (Carrière & al, 2009). Deschênes and her collaborators (2006; Deschênes, Charlin, Gagnon & Goudreau, 2011) developed and validated one SCT specifically for clinical nursing reasoning. Since evaluation has a great impact on students’ learning strategies (Sibert & al, 2001; Durak, Caliskan & Bor, 2007), valid and reliable assessment instruments that would allow the identification of specific problems in the development of clinical nursing reasoning would be very useful to guide educational decisions (Gierl, 2007). We therefore conducted a study to explore the diagnostic potential issues of SCT. The research question is: "To what extent each issue of SCT to assess clinical nursing reasoning can it be linked to categories and specific thinking strategies?" with a sub-question: "How can we describe the diagnostic potential of SCT to evaluate the clinical nursing reasoning?”. We did a second content analysis on think aloud data that were obtained in a previous study in which five vignettes (15 items) from Deschênes’ (2006) SCT were used. The results showed categories thoughts and strategies used to address issues of TCS by groups of participants. Thus, our results revealed significant differences between the groups, such that the clinical nursing reasoning is so different from expert students, it can’t serve as a reference. Finally, this study demonstrates that TCS has a diagnostic potential but level by level (1st, 2nd, 3rd year and experts).

Depuis quelques années, plusieurs didacticiens du français se penchent sur l’enseignement et l’évaluation de l’oral, mais peu d’informations sont encore disponibles concernant les pratiques effectives des enseignants à cet égard. Notre recherche vise à décrire les croyances de deux enseignants de français au secondaire et leurs pratiques au sujet de l’évaluation de l’oral, plus particulièrement de l’oral dans une situation d’interaction entre pairs. Une entrevue dirigée a permis d’avoir accès à leurs croyances et à leurs pratiques déclarées, alors que le think-aloud a été employé pour observer leur pratique d’évaluation, à l’étape du jugement, d’une situation d’interaction entre pairs. Nos résultats montrent que, du point de vue de leurs croyances, les enseignants ont tous deux des préoccupations concernant les tâches et les instruments d’évaluation, et que leurs pratiques d’évaluation déclarées sont assez semblables en ce qui a trait aux tâches retenues, à leur fréquence et à l’intention poursuivie. Du côté de leurs pratiques d’évaluation observées à l’étape du jugement, nous exposons de façon détaillée les gestes d’enseignants en situation authentique, en identifiant les principaux processus cognitifs et métacognitifs impliqués dans cette tâche complexe. Des divergences entre les deux enseignants ont été observées relativement à leurs croyances, pratiques déclarées et pratiques observées durant le jugement. Tout d’abord, les critères retenus pour l’évaluation (pratique déclarée) ne tiennent pas toujours compte de ce qu’ils croient important d’enseigner en classe (croyance). De plus, malgré une pratique déclarée positive concernant l’autoévaluation, ces enseignants n’y ont peu ou pas eu recours durant leur jugement. Enfin, les gestes de l’un, durant le jugement, tendaient vers la posture d’instructeur-contrôleur, alors que ceux de l’autre s’inscrivaient davantage dans la posture de conseiller-didacticien. De façon générale, nous constatons que les pratiques de ces enseignants sont plus influencées par les situations rencontrées en tant qu’élèves et les traditions d’enseignement de la discipline que par le programme en vigueur. / In recent years, several researchers have studied the teaching and assessment of oral communication, but little information is yet available about the actual practices of teachers in this regard. The purpose of this study is to describe the beliefs and practices of two teachers regarding oral communication and its assessment in L1 French teaching in high school, as well as their actual assessment practices of oral interaction. A structured interview allowed us to collect data on their beliefs and practices, while the think-aloud technique was used to observe their actual assessment practices of oral interaction. Analysis of the interviews showed that, in terms of their beliefs, teachers have concerns about the assessment of oral communication, mainly with respect to both tasks and assessment tools. In terms of their practices, we discovered that their assessment practices of oral communication are quite similar with respect to selected tasks, their frequency and their purpose. In terms of their observed practices, our study presents in detail the actions of teachers in authentic assessment situation, identifying cognitive and metacognitive processes involved in this complex task. Differences between the two teachers were observed with respect to their beliefs, practices and actual assessment practices. First, the criteria for evaluation (practice) does not always reflect what they believe to be important to teach in the classroom (belief). Moreover, despite a positive attitude regarding self-evaluation, these teachers have little or no interest in using it while assessing their students. Lastly, one of the teacher’s actions resembled the instructor-controller assessor’s type, while those of the other teacher resembled more the advisor educationalist. In general, we find that the practices of these teachers are more influenced by the situations they encountered when they were students and by the teaching traditions of their discipline than by the current curriculum.

La pratique de l’hématologie, comme celle de toute profession, implique l’acquisition d’un raisonnement adéquat. Se basant sur une théorie de psychologie cognitive, le test de concordance de script (TCS) a été développé et validé comme un instrument permettant d’évaluer le raisonnement clinique dans diverses spécialités médicales. Le but de cette étude était d’examiner l’utilité et les paramètres psychométriques d’un TCS en hématologie. Nous avons construit un TCS composé de 60 questions que nous avons administré à 15 résidents juniors (R1 à R3 en médecine interne), 46 résidents séniors (R4, R5 et R6 en hématologie) et 17 hématologues à travers le Canada. Après optimisation, le TCS comptait 51 questions. Sa consistance interne mesurée par le coefficient de Cronbach alpha était 0.83. Le test était en mesure de discriminer entre les résidents selon leur niveau de formation. Les questions contenant des images (n=10) semblaient avoir un potentiel discriminatoire plus élevé. Les scores obtenus par les résidents séniors corrélaient modéremment avec ceux obtenus à un test conventionnel d’hématologie composé de questions à choix multiples et à courte réponse (r de Pearson = 0.42; p=0.02). Le TCS a été complété en 36 minutes en moyenne et a été bien reçu par les participants. Le TCS est un instrument d’évaluation utile et valide en hématologie. Il peut être utilisé à des fins formatives en aidant au suivi de la progression des résidents. Il pourrait aussi être combiné à d’autres instruments d’évaluation à des fins sanctionnelles, ou encore, en éducation médicale continue. / The practice of hematology, like any other profession, requires the acquisition of adequate judgment. Based on cognitive psychology theory, the script concordance test (SCT) has been developed and validated as an instrument capable of evaluation clinical judgement in various medical specialties. The goal of this study was to examine the usefulness and the psychometric qualities of the SCT in hematology. We constructed a SCT composed of 60 questions and we administered it to 15 junior residents (R1 to R3 in internal medicine), 46 senior residents (R4, R5 and R6) and 17 hematologists from across Canada. After item optimization, the test comprised 51 questions. Its internal consistency measured by Cronbach alpha was 0.83. The test was able to discriminate between residents according to their year of training. Questions containing an image (n=10) seemed to offer a stronger discriminative potential. Scores obtained by the senior residents correlated moderately with those obtained on a conventional hematology exam made of multiple choice questions and short-answers (Pearson r: 0.42; p=0.02). The SCT was completed in an average of 36 minutes and was well received by participants. The SCT is a useful and valid evaluation instrument in hematology. It may be used during training to monitor resident progression. It may also be combined to other evaluation tools and used for summative purposes or in continuing medical education.