Magíster en Ciencias de la Ingeniería, Mención Matemáticas Aplicadas. Ingeniera Civil Matemática / La construcción de preguntas para pruebas estandarizadas, como la Prueba de Selección Universitaria (PSU), supone un gran desafío y enfrentarlo requiere un análisis continuo por parte de instituciones especializadas, a través del uso de teorías de medición que constituyen el marco teórico para el diseño e implementación de estos instrumentos. Actualmente, el análisis y desarrollo de la PSU se realiza a través de la denominada teoría clásica, con una creciente incorporación de la teoría de respuesta al ítem (IRT). Sin embargo, son conocidas las limitaciones de la teoría clásica y es deseable el estudio y la implemen- tación de otros modelos que permitan efectuar análisis más completos de esta prueba. En particular, la implementación de un modelo avanzado permitiría obtener más información de las preguntas utilizadas y de las habilidades de los alumnos, además de generar preguntas enfocadas en habilidades específicas. En este contexto se enmarca el presente trabajo de tesis, donde se realiza un estudio deta- llado y un análisis crítico de los modelos estándar de IRT que complementan los resultados de la teoría clásica. El objetivo es estudiar si se cumplen los supuestos para la aplicación de estos modelos. Se aplican distintos modelos IRT unidimensionales a los datos de la PSU de matemática y se contrastan los resultados obtenidos. Además, se estudian extensiones multidimensionales de IRT, donde los supuestos necesarios son menos restrictivos. Los resultados obtenidos con estos modelos extendidos son comparados con los modelos originales. Finalmente, en el caso de la PSU de matemática, la evidencia indica que no se cumplen los supuestos para poder aplicar los modelos IRT unidimensionales. Por otra parte, los mo- delos multidimensionales abordan aspectos que escapan del alcance de la teoría clásica y de los modelos IRT convencionales, por lo que su utilización podría entregar información sig- nificativa para comprender el comportamiento de grupos particulares de estudiantes o para la creación de preguntas que potencien habilidades específicas. Sin embargo, es necesario el estudio, comprensión e interpretación de los parámetros que definen a los modelos MIRT para complementar los análisis actuales de la PSU.

La presente investigación, dentro del contexto de la Teoría de Respuesta al Ítem (TRI), estudia un modelo multidimensional logístico compensatorio de dos parámetros (M2PL) para ítems dicotómicos. Para ello, se explican teóricamente los métodos de estimación más conocidos para los parámetros de los ítems y de los rasgos latentes de las personas, priorizando el método bayesiano mediante Cadenas de Markov de Monte Carlo (MCMC). Estos métodos de estimación se exploran mediante implementaciones computacionales con el software R y R2WinBUGS. La calidad de las respectivas estimaciones de los parámetros se analiza mediante un estudio de simulación, en el cual se comprueba que el método de estimación más robusto para el modelo propuesto es el bayesiano mediante MCMC. Finalmente, el modelo y el método de estimación elegidos se ilustran mediante una aplicación que usa un conjunto de datos sobre actitudes hacia la estadística en estudiantes de una universidad privada de Colombia. / Tesis

En este trabajo se presenta el Modelo Secuencial para datos politómicos ordinales de la teoría de respuesta al ítem y sus características. De forma específi ca se estudia el Modelo Secuencial Logístico de 2 parámetros (2PL-SM). La estimación de este modelo se realiza utilizando Métodos de Cadenas de Markov de Montecarlo (MCMC), los cuales fueron implementados en R y WinBUGS. Se realizó un estudio de simulación con el objetivo de estudiar la precisión en la recuperación de parámetros observándose resultados apropiados según los índices de precisión utilizados. El Modelo Secuencial en estudio fue luego aplicado a la prueba de escritura de la Evaluación Muestral 2013 del Ministerio de Educación, evaluación que fue aplicada a una muestra de 4327 estudiantes de sexto grado de primaria de todo el país. Con la aplicación del modelo a la prueba se pudo determinar que en general esta contiene ítems cuyas di ficultades son bajas y que, para los estudiantes, el enfrentarse a esta prueba no debería resultarles complicado. / Tesis

This thesis focuses its e orts on presenting and studying the Nominal Response Model or NRM (Bock, 1972, 1997), in the context of the Item Response Theory (IRT). Simulation studies are carried out to determine the quality of the recovery of the parameters of the model, under the Classic (MML) and Bayesian (MCMC) aproach and nally, the studied model was applied to an random, representative and anonymous sample of 1641 teachers from the Basic Regular Education modality of the english specialty, who were exposed to the Reading-Comprehension sub-test of the \Concurso de Nombramiento 2015". Related to the simulation, we found the bayesian method is a good substitute for the classic counterpart, because it recovers in a similarly satisfactory fashion the parameters of the items; however, the main disadvantage was that the process was between 620 to 14; 100 times slower than the classical approach, despite the special emphasis on making the MCMC processes parrallel. Related to the results of the implementation of the model on real data, the NRM: (i) it facilitates the recovery of a greater proportion of information available in the items, compared to dichotomous response models (Bock, 1972; Thissen, 1976; Levine y Drasgow, 1983; Thissen y Steinberg, 1984), (ii) it allows to nd the implicit order in initially not ordered categorical data (Samejima, 1988; Bock, 1997) and (iii) it provided relevant information for the examination of the quality of an item (Thissen et al., 1989), specially in two fronts: (a) it allowed the identi cation of useless or forced alternatives and (b) it allowed the identi cation of alternatives that could be collapsed, given that these alternatives registered a similar topics. / La presente tesis centra sus esfuerzos en presentar y estudiar el Modelo de Respuesta Nominal o NRM por sus siglas en inglés (Bock, 1972, 1997), en el contexto de la Teoría de Respuesta al ítem (IRT, por sus siglas en inglés). Se realizaron estudios de simulación para determinar la calidad de la recuperación de los parámetros del modelo, bajo la metodología clásica (MML) y bayesiana (MCMC) y finalmente, se aplicó el modelo estudiado en una muestra anónima, aleatoria y representativa de 1641 docentes de la modalidad de Educación Básica Regular de la especialidad de inglés, que fueron expuestos a la sub-prueba de Compresión Lectora del Concurso de Nombramiento 2015. En relación a la simulación, encontramos que el método bayesiano es un buen sustituto de su contraparte clásica, debido a que el mismo recupera de manera similarmente satisfactoria los parámetros de los ítems; sin embargo, la principal desventaja es que fue entre 620 a 14100 veces más lento que los métodos clásicos, pese a que se puso especial énfasis en hacer paralelos los procesos MCMC. En relación a los resultados de la aplicación se tiene que el NRM: (i) facilita la recuperación de una mayor proporción información disponible en los ítems, frente a los modelos de respuestas dicotómicas (Bock, 1972; Thissen, 1976; Levine y Drasgow, 1983; Thissen y Steinberg, 1984), (ii) permite hallar el ordenamiento implícito en datos categóricos inicialmente no ordenados (Samejima, 1988; Bock, 1997) y (iii) brinda información relevante para la valoración de la calidad de un ítem (Thissen et al., 1989), especialmente en dos puntos: (a) les permitía identificar alternativas inservibles o forzadas y (b) les permita identificar alternativas que se podían colapsar, dado que estas alternativas registraban similar temática.

En este trabajo se presenta el Modelo Secuencial para datos politómicos ordinales de la teoría de respuesta al ítem y sus características. De forma específi ca se estudia el Modelo Secuencial Logístico de 2 parámetros (2PL-SM). La estimación de este modelo se realiza utilizando Métodos de Cadenas de Markov de Montecarlo (MCMC), los cuales fueron implementados en R y WinBUGS. Se realizó un estudio de simulación con el objetivo de estudiar la precisión en la recuperación de parámetros observándose resultados apropiados según los índices de precisión utilizados. El Modelo Secuencial en estudio fue luego aplicado a la prueba de escritura de la Evaluación Muestral 2013 del Ministerio de Educación, evaluación que fue aplicada a una muestra de 4327 estudiantes de sexto grado de primaria de todo el país. Con la aplicación del modelo a la prueba se pudo determinar que en general esta contiene ítems cuyas di ficultades son bajas y que, para los estudiantes, el enfrentarse a esta prueba no debería resultarles complicado.

La presente investigación, dentro del contexto de la Teoría de Respuesta al Ítem (TRI), estudia un modelo multidimensional logístico compensatorio de dos parámetros (M2PL) para ítems dicotómicos. Para ello, se explican teóricamente los métodos de estimación más conocidos para los parámetros de los ítems y de los rasgos latentes de las personas, priorizando el método bayesiano mediante Cadenas de Markov de Monte Carlo (MCMC). Estos métodos de estimación se exploran mediante implementaciones computacionales con el software R y R2WinBUGS. La calidad de las respectivas estimaciones de los parámetros se analiza mediante un estudio de simulación, en el cual se comprueba que el método de estimación más robusto para el modelo propuesto es el bayesiano mediante MCMC. Finalmente, el modelo y el método de estimación elegidos se ilustran mediante una aplicación que usa un conjunto de datos sobre actitudes hacia la estadística en estudiantes de una universidad privada de Colombia.