The goal of this study was to determine if performance -based tests should be routinely administered to students in computer application courses. The purpose was to determine the most appropriate mode of testing for individuals taking a computer applications course. The study is divided into areas of assessment, personality traits, and computer attitudes.

Este estudo analisa os efeitos colaterais indesejados de avaliações externas quando combinadas a políticas de responsabilização (accountability) escolar no Brasil. Estes efeitos colaterais, denominados \"peiragênicos\" por Madaus e Russell, são previsíveis, indesejados e decorrem da manipulação (gaming) das regras do sistema pelos agentes envolvidos, levando à inflação de escores, vieses nos resultados reportados e interferências indevidas nos processos escolares que se pretendiam monitorar. Este estudo completa uma lacuna na literatura nacional, visando a medir a extensão de dois destes efeitos: a exclusão não aleatória de alunos de baixa proficiência de avaliações e a incidência de fraudes ingênuas, em desacordo aos protocolos de aplicação das avaliações. Duas abordagens são apresentadas. Para estimar as exclusões de alunos de baixa proficiência é proposta uma análise baseada na assimetria de distribuições de proficiência, usando distribuições normais truncadas. Para avaliar a extensão de fraudes ingênuas, definidas como a divulgação de respostas aos alunos testados sem levar em conta a existência de cadernos de itens ou permissividade com \"colas\" entre alunos, é introduzida uma abordagem baseada na contagem de blocos impróprios maximizadores. Ambos os algoritmos são aplicados à Prova Brasil, de 2013 e 2015. As medições obtidas são confrontadas com variáveis explicativas associadas às pressões da responsabilização, mediante modelos hierárquicos lineares. As pressões consideradas neste trabalho resultam de programas estaduais de bonificação docente e de acompanhamento do Indicador de Desenvolvimento da Educação Básica (Ideb), assim como variações em rankings do Ideb nos municípios. Os resultados indicam que tanto a exclusão de alunos de baixo desempenho quanto fraudes ingênuas ocorrem em associação a estas pressões. O gaming parece mais intenso em unidades da federação com políticas high-stakes, assim como em escolas com Ideb baixo verificado na avaliação anterior. Tendências de variação do Ideb, distâncias deste indicador às metas, ou mudanças em posições no ranking resultam não correlacionados significativamente às pressões. Exclusões medidas são menores em UFs com avaliações próprias para cálculo de bonificação. Um substancial aumento nas indicações de fraudes em 2015, versus 2013, pode estar associado às mudanças na participação mínima de alunos exigida nestas avaliações. Conclui-se que há necessidade dos formuladores de avaliações tomarem cuidados para controlar os dois efeitos estudados. / This survey analyzes the undesired side effects of standardized assessments when combined with accountability policies, in public schools in Brazil. These effects, identified as \"peiragenics\" by Madaus and Russell, are predictable, undesired and unplanned for, and arise from agents engaging in \"gaming the system\", leading to score inflation, biased reported results and undue interference in the schooling processes under assessment. This survey attempts to fill a void in Brazilian literature regarding the measurement of two side effects: exclusion of low performing students from assessments and undue interference of teachers or testers in the assessment protocols (cheating). To this effect, two analytic approaches are presented. To estimate non-random exclusions of low performing students from testing, a model based on the observed asymmetry of proficiency results, using truncated normal distributions, is proposed. A second model, to assess the extension of naive teacher cheating, defined as attempts to share common answers regardless of differences in test booklets or turning a blind eye to students\' copying answers from classmates, counts unexpected appearances of improper score-maximizing blocks, introduced in this study. Both algorithms are applied to Prova Brasil\'s 2013 and 2015 data sets, a federal assessment of mathematics and reading skills. Measurements are confronted with explanatory variables to test for accountability pressures and gaming-inducing drivers, using two-level hierarchical linear models. The pressures considered in this survey arise from teacher bonus programs adopted by several Brazilian states, performance tracking and rankings of the Ideb indicator (a nationwide metric of the development of elementary and middle-school public education). Results indicate that both selective exclusions of low performing students and naive teacher cheating occur, in patterns associated with pressures. Gaming behavior appears to be more intense in states with high-stakes linked to the assessment, in schools with lower Ideb ratings. Past trends and gaps versus targets in Ideb and changes in local rankings result not significantly correlated with gaming behavior. Lowest exclusion measurements occur in states where alternative assessments are used for bonus payments. A substantial increase in cheating indications in 2015 over 2013 was measured, possibly reflecting increased minimum participation requirements stressing schools to maintain performance through cheating attempts. In conclusion, the need for care in design of assessment policies to control for the two effects measured is made evident.

Este estudo analisa os efeitos colaterais indesejados de avaliações externas quando combinadas a políticas de responsabilização (accountability) escolar no Brasil. Estes efeitos colaterais, denominados \"peiragênicos\" por Madaus e Russell, são previsíveis, indesejados e decorrem da manipulação (gaming) das regras do sistema pelos agentes envolvidos, levando à inflação de escores, vieses nos resultados reportados e interferências indevidas nos processos escolares que se pretendiam monitorar. Este estudo completa uma lacuna na literatura nacional, visando a medir a extensão de dois destes efeitos: a exclusão não aleatória de alunos de baixa proficiência de avaliações e a incidência de fraudes ingênuas, em desacordo aos protocolos de aplicação das avaliações. Duas abordagens são apresentadas. Para estimar as exclusões de alunos de baixa proficiência é proposta uma análise baseada na assimetria de distribuições de proficiência, usando distribuições normais truncadas. Para avaliar a extensão de fraudes ingênuas, definidas como a divulgação de respostas aos alunos testados sem levar em conta a existência de cadernos de itens ou permissividade com \"colas\" entre alunos, é introduzida uma abordagem baseada na contagem de blocos impróprios maximizadores. Ambos os algoritmos são aplicados à Prova Brasil, de 2013 e 2015. As medições obtidas são confrontadas com variáveis explicativas associadas às pressões da responsabilização, mediante modelos hierárquicos lineares. As pressões consideradas neste trabalho resultam de programas estaduais de bonificação docente e de acompanhamento do Indicador de Desenvolvimento da Educação Básica (Ideb), assim como variações em rankings do Ideb nos municípios. Os resultados indicam que tanto a exclusão de alunos de baixo desempenho quanto fraudes ingênuas ocorrem em associação a estas pressões. O gaming parece mais intenso em unidades da federação com políticas high-stakes, assim como em escolas com Ideb baixo verificado na avaliação anterior. Tendências de variação do Ideb, distâncias deste indicador às metas, ou mudanças em posições no ranking resultam não correlacionados significativamente às pressões. Exclusões medidas são menores em UFs com avaliações próprias para cálculo de bonificação. Um substancial aumento nas indicações de fraudes em 2015, versus 2013, pode estar associado às mudanças na participação mínima de alunos exigida nestas avaliações. Conclui-se que há necessidade dos formuladores de avaliações tomarem cuidados para controlar os dois efeitos estudados. / This survey analyzes the undesired side effects of standardized assessments when combined with accountability policies, in public schools in Brazil. These effects, identified as \"peiragenics\" by Madaus and Russell, are predictable, undesired and unplanned for, and arise from agents engaging in \"gaming the system\", leading to score inflation, biased reported results and undue interference in the schooling processes under assessment. This survey attempts to fill a void in Brazilian literature regarding the measurement of two side effects: exclusion of low performing students from assessments and undue interference of teachers or testers in the assessment protocols (cheating). To this effect, two analytic approaches are presented. To estimate non-random exclusions of low performing students from testing, a model based on the observed asymmetry of proficiency results, using truncated normal distributions, is proposed. A second model, to assess the extension of naive teacher cheating, defined as attempts to share common answers regardless of differences in test booklets or turning a blind eye to students\' copying answers from classmates, counts unexpected appearances of improper score-maximizing blocks, introduced in this study. Both algorithms are applied to Prova Brasil\'s 2013 and 2015 data sets, a federal assessment of mathematics and reading skills. Measurements are confronted with explanatory variables to test for accountability pressures and gaming-inducing drivers, using two-level hierarchical linear models. The pressures considered in this survey arise from teacher bonus programs adopted by several Brazilian states, performance tracking and rankings of the Ideb indicator (a nationwide metric of the development of elementary and middle-school public education). Results indicate that both selective exclusions of low performing students and naive teacher cheating occur, in patterns associated with pressures. Gaming behavior appears to be more intense in states with high-stakes linked to the assessment, in schools with lower Ideb ratings. Past trends and gaps versus targets in Ideb and changes in local rankings result not significantly correlated with gaming behavior. Lowest exclusion measurements occur in states where alternative assessments are used for bonus payments. A substantial increase in cheating indications in 2015 over 2013 was measured, possibly reflecting increased minimum participation requirements stressing schools to maintain performance through cheating attempts. In conclusion, the need for care in design of assessment policies to control for the two effects measured is made evident.

Ce travail est une étude du processus de production de connaissances réalisée avec le Programme international pour le suivi des acquis des élèves (PISA) tel que l'effectue la Direction de l'Éducation de l'OCDE. On trouve, au centre de ce travail, les mécanismes et stratégies de l'objectivation de l'enquête PISA et de la légitimation de l'OCDE dans le rôle de coordinateur et producteur de connaissances mais aussi, les pratiques et stratégies de traitement, analyse, interprétation et communication des données de la Direction de l'Éducation. Acteur autonome, la Direction de l'Éducation de l'OCDE qui dirige, interprète et diffuse les résultats PISA de manière spécifique n'a guerre fait l'objet de recherches scientifiques. Cependant, de par sa portée globale, le taux élevé de produits PISA et leur usage répandu dans les sciences, la politique et les médias, l'OCDE est un acteur important qui influence l'interprétation et l'usage des données et des résultats PISA. Par l'examen de l'action et de l'argumentation de la Direction de l'Éducation avec PISA, ce travail veut contribuer à expliquer l'influence globale de l'OCDE sur les politiques en éducation internationales. Ce travail se fonde sur une approche ethnographique. Il se base sur les connaissances et expériences que la chercheuse a obtenu par une participation observante dans la Direction de l'Éducation de l'OCDE ainsi que sur les connaissances obtenues avec des entretiens d'experts du personnel de la Direction de l'Éducation. En outre, avec l'analyse de documents des publications PISA, les spécificités du processus de production de connaissances de l'OCDE sont étudiées. Les résultats de ce travail montrent une production de connaissances croissante, à partir des données PISA, au Secrétariat de l'OCDE entre 2001 et 2014, qui s'accompagne d'un nombre croissant de publications et de matériaux, des nouvelles formes d'analyse de données ainsi qu'une communication des résultats en direction d'un public croissant, afin d'augmenter l'influence politique, pratique et sociale de l'enquête et de ses résultats. L'exigence de la Direction de l'Éducation d'augmenter son attractivité auprès des politiques, des pratiques éducatives et de la société au sens large, est en partie en contradiction avec l'exigence d'une rigueur scientifique des résultats et conclusions de l'enquête PISA. En resumé, les résultats de ce travail plaident pour une politisation croissante de la production des connaissances avec PISA dans la Direction de l'Éducation depuis la première publication des résultats en 2001. / This study examines the process of knowledge production through the OECD Directorate for Education's Programme of International Student Assessment. The focus is on the mechanisms and strategies of objectivisation of the study and legitimatisation of the OECD as co-ordinator and knowledge producer with PISA, as well as the practices and strategies of data treatment, analysis, interpretation and communication in the OECD Directorate for Education. The OECD Directorate for Education, as an independent actor with a specific thematic orientation, interpretation and diffusion of PISA results has hardly been the focus of scholarly research. Yet, due to its global outreach, its high output rate of PISA products and the widespread use of its products in science, politics and media, the OECD is an important actor in shaping the interpretation and use of PISA data and results. By studying the acting and reasoning of the OECD Directorate for Education with PISA, this study intends to make a contribution to the understanding of the global influence of the OECD in international education policies. This study uses an ethnographic approach. It draws on knowledge and experiences which the researcher has gained through “observing participation” (Soulé, 2007) in the OECD Directorate for Education as well as on knowledge obtained from expert interviews with OECD staff members. Features of the knowledge production of the OECD were also studied by doing document analysis of PISA publications. The findings of this study show an increasing knowledge production with PISA data in the OECD Secretariat between 2001 and 2014, visible in the growing number of publications and materials, but also in new forms of data analysis as well as in public oriented data communication with the aim of raising the relevance of the study and its results in politics, educational practice and society. The pretension of the OECD Directorate for Education to achieve the highest possible attention from society, media and politics is partly in contradiction with the claim for scientific rigour of the results and inferences. Overall, the findings of this thesis suggest a growing politicisation of the knowledge production with PISA in the OECD's Directorate for Education since the publication of first PISA results in 2001. / Die Forschungsarbeit untersucht den Prozess der Erkenntnisproduktion mit dem Programme of International Student Assessment (PISA), der sich innerhalb des OECD-Bildungsdirektorat vollzieht. Im Zentrum stehen Mechanismen und Strategien zur Objektivierung der Studie und zur Legitimierung der OECD als Koordinator von und Wissensproduzent mit PISA, sowie Praktiken und Strategien der Datenaufbereitung, -analyse, -interpretation und -kommunikation im OECD-Bildungsdirektorat. Das OECD-Bildungsdirektorat als eigenständig handelnder Akteur mit einer spezifischen inhaltlichen Ausrichtung, Interpretation und Verbreitung von PISA-Ergebnissen stand bisher kaum im Fokus der Forschung. Dabei ist die OECD aufgrund ihrer globalen Reichweite, ihrer hohen Output Rate an PISA Produkten und der weit verbreiteten Nutzung ihrer Produkte in Wissenschaft, Politik und Medien ein bedeutender Akteur, der die Öffentlichkeit hinsichtlich der Deutung und Nutzung von PISA-Daten und Erkenntnissen prägt. Durch die Untersuchung des Handelns und Räsonierens des OECD-Bildungsdirektorat mit PISA möchte diese Arbeit einen Beitrag dazu leisten, den weltweiten Einfluss der OECD auf die internationale Bildungspolitik zu erklären. Der Arbeit liegt ein ethnographischer Ansatz zu Grunde. Sie stützt sich auf Kenntnisse und Erfahrungen, die von der Forscherin im Rahmen einer beobachtenden Teilnahme im OECD-Bildungsdirektorat erworben wurden sowie auf Wissen, das mittels Experteninterviews mit Angestellten des OECD-Bildungsdirektorats gewonnen wurde. Zudem wurden mittels Dokumentenanalyse anhand von PISA-Publikationen Besonderheiten in der Erkenntnisproduktion der OECD untersucht. Ergebnisse dieser Arbeit zeigen eine wachsende Erkenntnisproduktion mit PISA-Daten im OECD Sekretariat im Zeitraum von 2001 bis 2014, sichtbar in einer zunehmenden Anzahl an Publikationen und Materialien, neuer Arten von Datenanalyse sowie einer zunehmend öffentlichkeitswirksamen Datenkommunikation um den politischen, bildungspraktischen und gesellschaftlichen Einfluss der Studie und ihrer Ergebnisse auszubauen. Der Anspruch des OECD-Bildungsdirektorats mit PISA möglichst hohe gesellschaftliche, mediale und politische Aufmerksamkeit auf sich zu ziehen steht zum Teil im Widerspruch mit dem Anspruch an die wissenschaftliche Güte der Ergebnisse und ihren Schlussfolgerungen. Insgesamt sprechen die Ergebnisse für eine zunehmende Politisierung der Erkenntnisproduktion mit PISA im OECD-Bildungsdirektorat seit Veröffentlichung der ersten Ergebnisse im Jahr 2001.