This diploma thesis is focused on proposal and implementation of automatized user testing in StartupJobs.cz project. It describes it from theoretical preparation through implemenation to evaluation of this project after first year. It is divided into two main parts. First one is about description of company which is implementing the testing. It describes reasons and expectations from testing implementation. It also creates a theoretical background by describing Classical Test Theory (CTT), Item Reposnse Theory (IRT) and more others. End of this part is consists of review of relevant literary sources. In second, practical part is the thesis focused on using these theories in praxis. How to use them for company's purposes. It is followed by description of system implementation and main part of the thesis is focused on evaluation of user testing implementation using data collected through the first year. Goal of this thesis is to validate hypothesis which are related to testing implementation (relationship between having tests and success rate of candidates). Main contribution of this work is complex overview on this field from theories to practical implementation which created during first year a lot of unique data presented in this paper.

This article explains what we mean by the unidimensionality of a measurement instrument, therefore we present some definitions and  theoretical contributions about this subject. Factor analysis is proposed as one of the many methods for assessing the unidimensionality of a measurement instrument. The use of Pearson correlations matrices on item-level factor analysis is identified as an important problem. Those correlations are problematic because items didn’t carry out the necessary assumptions in order to apply the Pearson correlation: interval-level measurement and normal distribution of the variable. As an alternative we propose and exemplify the use of tetrachoric and polychoric correlations. / Este artículo explica qué es lo que implica la unidimensionalidad de un instrumento de medición. Para ello se presentan algunas definiciones y aportes teóricos sobre el tema. Luego, el análisis factorial es propuesto como uno de los métodos para evaluar la dimensionalidad de un instrumento de medición. Se señala como un problema importante el uso de las matrices de correlaciones de Pearson en los análisis factoriales a nivel de ítems. Estas correlaciones son problemáticas porque los ítems no cumplen con los supuestos necesarios para aplicar la correlación de Pearson: nivel de medición de intervalo y distribución normal de la variable. Como alternativa se postula y ejemplifica el uso de las correlaciones tetracóricas y policóricas.

Den Gemensamma Europeiska Referensramen för Språk (GERS) har haft en betydande inverkan påutvärderingen av språkkunskaper i Europa. Denna studie fokuserar på två nationellaspråkfärdighetstester med avgörande konsekvenser för testtagarna, vilkas utfärdade GERS-nivå kananvändas för antagning till utbildningsprogram, medborgarskap och certifiering i två olika europeiskaländer: CILS i Italien och Swedex i Sverige. Det som testerna avser testa och hur deras innehållåterspeglar detta analyseras i relation till GERS standardnivåer. I analysen fokuseras på inferensernaEvaluation och Explanation i Kanes (1992, 2002, 2013) och Chapelles m. fl. (2008, 2021)tolkningsargument (interpretative argument) som utgörs av sju olika inferenser som används för attanalysera de antaganden som görs om testtagarens språknivå vid tolkning av testresultat ochutvärdering av språktesters användbarhet (figur 1, s. 9, bilaga 2). Resultaten används som en del avett större validitetsargument för språktester kopplade till GERS för att underbygga antaganden omtesternas konstrukt och innehållsrelaterade validitet och konsekvenserna av testernas användning.Den genomgripande frågeställningen är hur den europeiska referensramen tillämpas mellan olikaspråkfärdighetstester och huruvida användningen av en gemensam referensram leder till en jämliktolkning och tillämpning av GERS standardnivåer och en rättvis europeisk språkbedömning. Genomanalysen utkristalliserar sig testernas starka och svaga punkter i relation till grunddokumentet GERS,och vilka sociala konsekvenser testernas användning kan medföra. Resultaten visar att testernauppvisar bristande innehållsvaliditet inom de undersökta områdena, samt att det förekommer faktorersom ligger utanför de konstrukt som testerna avser testa, vilka kan påverka testtagarens testprestation.

Este trabalho apresenta uma proposta para o ensino da Estatística e Probabilidade nas séries finais do Ensino Fundamental II. Seu objetivo é mostrar que a metodologia aqui adotada possibilita a aquisição de conceitos estatísticos e probabilísticos, assim como o desenvolvimento de habilidades pessoais e interpessoais. Trata de um projeto fundamentado em Planejamento de Experimentos com respaldo na aprendizagem ativa. Na sequência didática do projeto os alunos realizaram um experimento com aviões de papel no qual tiveram que responder, na prática, a seguinte questão \"Quais alterações podem ser feitas em um modelo de avião de papel para que ele permaneça mais tempo no ar?\". Para atestar a efetividade da sequência didática, foi construído e validado um Teste de Proficiência em Estatística e Probabilidade (TEPEP) com base nos fundamentos da Psicometria. A análise das características do teste foi feita por meio da Teoria Clássica dos Testes e da Teoria de Resposta ao Item. Foram sujeitos da pesquisa 391 alunos de escolas públicas e particulares da região do Vale do Paraíba, Estado de São Paulo. Desse total, 374 auxiliaram na validação do instrumento e os 17 alunos restantes participaram do projeto. Os resultados deste trabalho mostraram que o uso de Planejamento de Experimentos favoreceu a aprendizagem da Estatística e Probabilidade, desenvolvendo também outras competências. Em relação à validação do TEPEP, concluiu-se que os métodos psicométricos empregados têm grande potencial e devem ser mais explorados. Esta pesquisa apresenta, como produtos finais, a metodologia desenvolvida e o teste de proficiência construído, oferecendo ambos a professores e pesquisadores. / This work presents a proposal for teaching of Statistics and Probability, for the last years of Elementary School. Its objective is to show that the methodology adopted here allows the acquisition of statistical and probabilistic concepts, as well as the development of personal and interpersonal skills. It\'s a project with a didactic sequence grounded in Designs of Experiments, supported in active learning. In the didactic sequence of the project the students carried out an experiment with paper airplanes in which they had to answer, in practice, the following question \"What changes can be made to a paper airplane model so that it stays longer in the air?\". To attest the effectiveness of the didactic sequence, it was developed and validated a Proficiency Test in Statistics and Probability (PTSP), this using Psychometry. The analysis of the characteristics of the test was made through the Classical Test Theory and the Item Response Theory. The research subjects were a total of 391 students from public and private schools in the Vale do Paraíba region, State of São Paulo. Of this total, 17 students participated in the project. The other students (374) assisted in the test validation. The results of this research showed that the use of Design of Experiments favored the learning of Statistic and Probability, also to develop others competences. Regarding the validation of PTSP, it could be concluded that the psychometric methods used have potential and they should be more explored. This research acclaims, as final products, the developed methodology and the Proficiency test validated, both offered to teachers and researchers.

It is argued that developmental psychology is the "third discipline of scientific psychology" , emphasizing the formal aspect of behavioral continuity/change. Constructs elaborating this aspect are semantical and not empty mathematical models or fuzzy common sense concepts. Assessment is comprehensively describcd as a matrix of four components (test theory, constructs, tests, diagnostica! proces) by three levels (common sense, scientific constructs, mathematical models). Developmental psychology and assessment are confronted to conquer and extend the meaning of continuity/change, as in "convergent" and "discriminant" construct validation. Test theory, tests and the diagnostica! proces respective! y offer models, instruments and a program for assessing behavior. / Se sostiene que la psicología del desarrollo es la "tercera disciplina de la psicología científica", enfatizándose el aspecto formal de la continuidad/cambio conductual. Los constructos que elaboran este aspecto son semánticos y no modelos matemáticos vacíos o borrosos conceptos de sentido común. Se describe comprensivamente la evaluación como una matriz de cuatro componentes (teoría de los tests, constructos, tests, proceso diagnóstico) por tres niveles (sentido común, constructos científicos, modelos matemáticos). Se confrontan la psicología del desarrollo y la evaluación con la finalidad de captar y ampliar el significado de continuidad/cambio, como en la validación de constructos "convergentes" y "discriminantes". La teoría de los tests, los tests y el proceso diagnóstico ofrecen,  respectivamente, modelos, instrumentos y un programa para evaluar la conducta.

MAIA, José Leudo. Uso da Teoria Clássica dos Testes – TCT e da Teoria de Resposta ao Item – TRI na avaliação da qualidade métrica de testes de seleção. 2009. 325f. Tese (Doutorado em Educação) – Universidade Federal do Ceará, Faculdade de Educação, Programa de Pós-Graduação em Educação Brasileira, Fortaleza-CE, 2009. / Submitted by Maria Josineide Góis (josineide@ufc.br) on 2012-07-10T11:42:58Z No. of bitstreams: 1 2009_Tese_JLMaia.pdf: 4582126 bytes, checksum: 35b2f8279baa21b052a910889b5a7001 (MD5) / Approved for entry into archive by Maria Josineide Góis(josineide@ufc.br) on 2012-07-13T11:49:37Z (GMT) No. of bitstreams: 1 2009_Tese_JLMaia.pdf: 4582126 bytes, checksum: 35b2f8279baa21b052a910889b5a7001 (MD5) / Made available in DSpace on 2012-07-13T11:49:37Z (GMT). No. of bitstreams: 1 2009_Tese_JLMaia.pdf: 4582126 bytes, checksum: 35b2f8279baa21b052a910889b5a7001 (MD5) Previous issue date: 2009 / sse trabalho doutoral tem como proposta fazer uso da Teoria Clássica dos Testes – TCT e da Teoria de Resposta ao Item – TRI como instrumentos na avaliação da qualidade métrica de testes de seleção, sob quatro aspectos de investigação: Análise da Validez do Construto; Análise Psicométrica dos Itens; Funcionamento Diferencial dos Itens – DIF; e Função de Informação. Para tanto, foram utilizados dados dos resultados das provas de Português e Matemática do concurso vestibular da Universidade Estadual do Estado do Ceará – UECE, de 2007, em que participaram 20.016 candidatos a 38 Cursos de Graduação, somente na Capital do Estado. Para o tratamento desses dados, foram utilizados os seguintes softwares: SPSS, v15; BILOG-MG, v3.0; MULTILOG FOR WINDOWS, v1.0; e o TESTFACT v4.0. A primeira providência foi verificar a dimensionaidade dessas provas. Para tanto se utilizou o Método de Kaiser-Guttman, Scree-plot, e o Método das Cargas Fatoriais e das Comunalidades da Matriz de Fatores. A constatação foi de que a prova de Português apresentava características multidimensionais, sendo, portanto, descartada, por não atender aos pressupostos básicos da Unidimensionalidade e Independência Local dos Itens. A prova de Matemática, no entanto, por apresentar comportamento unidimensional, se tornou o foco deste trabalho. A análise da Validez do Construto foi realizada por meio dos coeficientes Alpha de Cronbach e Kuder-Richardson, tendo gerado valores iguais a 0,685, além da utilização, também, do método das Cargas Fatoriais, com cargas entre 0,837 e 0,960, indicando intensa consistência interna. A análise psicométrica dos itens foi realizada por meio dos índices de dificuldade, discriminação e acerto ao acaso, para ambas as teorias, indicando ser essa uma prova de dificuldade mediana, com bom comportamento discriminativo e baixo índice de acerto ao acaso. A análise do DIF foi realizada, segundo o gênero dos candidatos, pelos métodos Delta-plot, Maentel-Haenszel, Regressão Logística e Comparação dos Betas, indicando resultados estatísticamente não significativos, no que se concluiu não apresentar, a prova, comportamento diferenciado, segundo o gênero. A análise da Função de Informação da prova permitiu se observar que esta é particularmente válida para candidatos com aptidão em torno de 0,8750 e que, a um nível de confiança de 95%, 49,3% dos candidatos atenderiam a essa indicação. Observou-se também que 90,6% dos candidatos, em ambos os processos, apresentaram o mesmo nível de aptidão, indicando uma convergência bastante razoável entre os resultados gerados pela TCT e TRI, no entanto, no estudo amostral, a TRI identificou que 9,4% dos candidatos apresentaram maior aptidão para a realização de um curso superior que os selecionados pela TCT.

FundaÃÃo de Amparo à Pesquisa do Estado do Cearà / Esse trabalho doutoral tem como proposta fazer uso da Teoria ClÃssica dos Testes â TCT e da Teoria de Resposta ao Item â TRI como instrumentos na avaliaÃÃo da qualidade mÃtrica de testes de seleÃÃo, sob quatro aspectos de investigaÃÃo: AnÃlise da Validez do Construto; AnÃlise PsicomÃtrica dos Itens; Funcionamento Diferencial dos Itens â DIF; e FunÃÃo de InformaÃÃo. Para tanto, foram utilizados dados dos resultados das provas de PortuguÃs e MatemÃtica do concurso vestibular da Universidade Estadual do Estado do Cearà â UECE, de 2007, em que participaram 20.016 candidatos a 38 Cursos de GraduaÃÃo, somente na Capital do Estado. Para o tratamento desses dados, foram utilizados os seguintes softwares: SPSS, v15; BILOG-MG, v3.0; MULTILOG FOR WINDOWS, v1.0; e o TESTFACT v4.0. A primeira providÃncia foi verificar a dimensionaidade dessas provas. Para tanto se utilizou o MÃtodo de Kaiser-Guttman, Scree-plot, e o MÃtodo das Cargas Fatoriais e das Comunalidades da Matriz de Fatores. A constataÃÃo foi de que a prova de PortuguÃs apresentava caracterÃsticas multidimensionais, sendo, portanto, descartada, por nÃo atender aos pressupostos bÃsicos da Unidimensionalidade e IndependÃncia Local dos Itens. A prova de MatemÃtica, no entanto, por apresentar comportamento unidimensional, se tornou o foco deste trabalho. A anÃlise da Validez do Construto foi realizada por meio dos coeficientes Alpha de Cronbach e Kuder-Richardson, tendo gerado valores iguais a 0,685, alÃm da utilizaÃÃo, tambÃm, do mÃtodo das Cargas Fatoriais, com cargas entre 0,837 e 0,960, indicando intensa consistÃncia interna. A anÃlise psicomÃtrica dos itens foi realizada por meio dos Ãndices de dificuldade, discriminaÃÃo e acerto ao acaso, para ambas as teorias, indicando ser essa uma prova de dificuldade mediana, com bom comportamento discriminativo e baixo Ãndice de acerto ao acaso. A anÃlise do DIF foi realizada, segundo o gÃnero dos candidatos, pelos mÃtodos Delta-plot, Maentel-Haenszel, RegressÃo LogÃstica e ComparaÃÃo dos Betas, indicando resultados estatÃsticamente nÃo significativos, no que se concluiu nÃo apresentar, a prova, comportamento diferenciado, segundo o gÃnero. A anÃlise da FunÃÃo de InformaÃÃo da prova permitiu se observar que esta à particularmente vÃlida para candidatos com aptidÃo em torno de 0,8750 e que, a um nÃvel de confianÃa de 95%, 49,3% dos candidatos atenderiam a essa indicaÃÃo. Observou-se tambÃm que 90,6% dos candidatos, em ambos os processos, apresentaram o mesmo nÃvel de aptidÃo, indicando uma convergÃncia bastante razoÃvel entre os resultados gerados pela TCT e TRI, no entanto, no estudo amostral, a TRI identificou que 9,4% dos candidatos apresentaram maior aptidÃo para a realizaÃÃo de um curso superior que os selecionados pela TCT.

Este trabalho apresenta uma proposta para o ensino da Estatística e Probabilidade nas séries finais do Ensino Fundamental II. Seu objetivo é mostrar que a metodologia aqui adotada possibilita a aquisição de conceitos estatísticos e probabilísticos, assim como o desenvolvimento de habilidades pessoais e interpessoais. Trata de um projeto fundamentado em Planejamento de Experimentos com respaldo na aprendizagem ativa. Na sequência didática do projeto os alunos realizaram um experimento com aviões de papel no qual tiveram que responder, na prática, a seguinte questão \"Quais alterações podem ser feitas em um modelo de avião de papel para que ele permaneça mais tempo no ar?\". Para atestar a efetividade da sequência didática, foi construído e validado um Teste de Proficiência em Estatística e Probabilidade (TEPEP) com base nos fundamentos da Psicometria. A análise das características do teste foi feita por meio da Teoria Clássica dos Testes e da Teoria de Resposta ao Item. Foram sujeitos da pesquisa 391 alunos de escolas públicas e particulares da região do Vale do Paraíba, Estado de São Paulo. Desse total, 374 auxiliaram na validação do instrumento e os 17 alunos restantes participaram do projeto. Os resultados deste trabalho mostraram que o uso de Planejamento de Experimentos favoreceu a aprendizagem da Estatística e Probabilidade, desenvolvendo também outras competências. Em relação à validação do TEPEP, concluiu-se que os métodos psicométricos empregados têm grande potencial e devem ser mais explorados. Esta pesquisa apresenta, como produtos finais, a metodologia desenvolvida e o teste de proficiência construído, oferecendo ambos a professores e pesquisadores. / This work presents a proposal for teaching of Statistics and Probability, for the last years of Elementary School. Its objective is to show that the methodology adopted here allows the acquisition of statistical and probabilistic concepts, as well as the development of personal and interpersonal skills. It\'s a project with a didactic sequence grounded in Designs of Experiments, supported in active learning. In the didactic sequence of the project the students carried out an experiment with paper airplanes in which they had to answer, in practice, the following question \"What changes can be made to a paper airplane model so that it stays longer in the air?\". To attest the effectiveness of the didactic sequence, it was developed and validated a Proficiency Test in Statistics and Probability (PTSP), this using Psychometry. The analysis of the characteristics of the test was made through the Classical Test Theory and the Item Response Theory. The research subjects were a total of 391 students from public and private schools in the Vale do Paraíba region, State of São Paulo. Of this total, 17 students participated in the project. The other students (374) assisted in the test validation. The results of this research showed that the use of Design of Experiments favored the learning of Statistic and Probability, also to develop others competences. Regarding the validation of PTSP, it could be concluded that the psychometric methods used have potential and they should be more explored. This research acclaims, as final products, the developed methodology and the Proficiency test validated, both offered to teachers and researchers.

Dynamic assessment, as manner of alternative process-based assessment, is currently at a cross-roads chiefly characterised by, at times, vague conceptualisation of terminology, blurred demarcation as to its model and theory status and at times ill-defined fundamental philosophy. As a movement in modern psychological assessment within the broader field of intelligence, dynamic assessment does not present with a coherent unifying theory as such and due to its lack of clarity in a number of key areas its eventual disuse might well be the final outcome of this method and its unique history and methodology. In pursuit of this study’s main goal, dynamic assessment models and theories are critically explored by means of a meta-theory largely inspired by the work K.B. Madsen, a Danish meta-theorist and pioneer in theoretical psychology. Madsen’s meta-theory is attenuated in order to suit the nature and purposes of this study; so as to better analyse dynamic assessment within intelligence research and assessment. In its primary aim, this study builds on a foundation of epistemological and ontological considerations within science in general, the social sciences and psychology in particular. In keeping with Madsen’s method of meta-theory analysis, the author’s predilections are stated at the outset in order to place the progression of analyses of the various models and theories within dynamic assessment. Dynamic assessment and intelligence are discussed and a brief digression into the history of Soviet psychology is offered as it is pertinent to the work of Lev Vygotsky and its subsequent influence within process-based assessment. Theory and model development within science and the social sciences are described from a philosophy-of-science vantage point. Psychological assessment’s prime considerations are critically explored and the discussion highlights the role played by the philosophical aspects of mathematics and statistical foundations as leveraging measurement within assessment. Particular attention is paid to the perennial controversy surrounding null hypothesis significance testing and the possible future directions that can be explored by and within dynamic assessment which lends itself to approaches less restrictive than those offered by mainstream statistics. The obvious and not so obvious aspects within the mathematical, statistical and measurement foundations are critically explored in terms of how best dynamic assessment can manoeuvre within the current mainstream psychological assessment system and how new models of item response theory suited to change-based assessment can be explored as possible manner of handling the gain score issue; itself a paradoxical state of affairs within classical and modern test theory. Dynamic assessment’s past has in large part been dictated by mainstream considerations in the areas mentioned and in order to place itself on an alternative path these considerations are critically assessed in terms of dynamic assessment’s future path. Dynamic assessment and its place within the broader intelligence assessment field is then investigated by means of the meta-theory developed. It is envisaged that the intuitive appeal of dynamic assessment will continue to garner support from practitioners across the globe, specifically those trained in countries outside the traditional stronghold of Western psychological theory. However, the position taken in this argument is that in order to ensure its survival it will need to make a decision in terms of its future progress: either to branch off from mainstream assessment altogether or to become fused within mainstream assessment. The “best of both worlds” scenario has obviously not worked out as it was originally hoped. The study concludes with the meta-theoretical exploration of dynamic assessment within intelligence by utilising a small selection of current models. The application of the attenuated Madsenian framework seeks to explore, place and ascertain the nature of each model regarding the ontological and philosophical status of the approach; the nature of the hypothetical terminology, scientific hypotheses and hypothesis system utilised and lastly the nature of the abstract data, concrete data and prime considerations as implicit concerns within the varied approaches. An HQ score is calculated for each such model and is a partial indicator of the testability (verifiability or falsifiability) of the model in question. The models are thus couched in meta, hypothetical and data strata and can be positioned on a continuum of sorts according to which tentative claims can be made regarding the veracity of the approach behind each model. The study concludes with two appendices; a meta-analysis which was conducted on South African research in the field of dynamic assessment (1961-2002) and which cumulated in a significant effect size evidencing an overall positive effect that dynamic assessment has had as an alternative intervention technique in comparison to conventional or static based assessment models. In order to encourage replication of this study, all details pertaining to the studies included for consideration in the meta-analyses are attached in section 2 of this appendix. Secondly, an informal content analysis was conducted on eleven responses to questionnaires that were originally delivered to one hundred dynamic assessment practitioners and researchers across the globe. The purpose of the questionnaire was to ascertain information on core issues within dynamic assessment, as these fundamental issues were considered as pivotal in the future of this approaches’ eventual development or stagnation. The analysis concluded that dynamic assessment is indeed perceived to be at a crossroads of sorts and thus supported the initial hypothesis stated above. It is hoped that this theoretical study will aid in aligning dynamic assessment in a manner such that its eventual place in psychological assessment will be solidly grounded, theoretically defensible and viable as alternative manner of assessment. / Thesis (PhD (Psychology))--University of Pretoria, 2007. / Psychology / PhD / PhD / unrestricted

This thesis explores item response theory (IRT) in the Personal Profile Analysis (PPA) from Thomas International. The study contains two parts (Part 1 and Part II) for which two sample groups were collected. For Part I of the research 650 participants were collected via the old form (CPPA25/C7) in the Beijing office of Thomas International in China (male=323, Female=267, missing=60). Part II of the research used the amended form in the same area and collected a sample of 307 (male=185, female=119, missing=3). The study postulates that IRT methods are applicable to forced-choice psychometrics. The results of Part I showed that the current CPPA form functions, to some extent, according to PPA’s original constructs. Part I of the research identified 16 items that need to be amended (called Amend A in this research). The amended form was returned to China for the collection of samples for Part II, and the results are deemed acceptable. The study concludes with a research protocol for PPA-IRT research generated from the current research. The research protocol suggests four levels of analysis for forced choice (FC) psychometrics, namely: 1. Textual analysis, 2. Functional analysis, 3. Dynamic analysis, and 4. Construct analysis. / Psychology / M.A. (Psychology)