Ingeniero Civil Industrial / El objetivo de este este trabajo es establecer una metodología de evaluación de los sostenedores municipales a partir de indicadores de gestión que monitoreen los vicios que se identifican en el sistema educacional. Para ello se proponen tres indicadores de gestión, uno para medir la gestión en un producto específico del sostenedor, y dos para medir el resultado de la gestión municipal, uno de efectividad medido por medio del resultado educativo bruto y otro de impacto, creado a partir de las brechas. Por disponibilidad de datos se utilizan los dos últimos para determinar el desempeño de los sostenedores. Producto del desempeño en los indicadores propuestos, se agrupan sostenedores urbanos y rurales en 4 grupos: consistentes, buenos, insuficientes y deficientes. Se propone que para cada región se efectúen estudios comparativos de los resultados obtenidos, para poder levantar prácticas que propician la efectividad y el impacto de la gestión municipal. Para evaluar la relación existente entre los indicadores y las variables que representan vicios del sistema, se utilizan regresiones lineales mixtas incorporando interceptos aleatorios por sostenedor. Del análisis estadístico es posible decir que a mayor capacidad del sostenedor, medida por la relación entre sus ingresos propios municipales y el gasto en personal de educación, mejor es el desempeño. Por otro lado, la cantidad de establecimientos administrados tiene un efecto negativo en la gestión de la brecha educacional. Finalmente, no es claro que un mayor costo medio anual de la hora docente se relaciona con un mejor desempeño de los sostenedores, sin embargo aquellos sostenedores consistentes presentan sistemáticamente valores mayores en dicha variable que los otros tres grupos. Tampoco es clara la relación entre desempeño del sostenedor urbano y los alumnos por asistente de la educación, pero ocurre el mismo fenómeno.

[EN] Multilevel modelling has become a powerful tool in the research of school effectiveness. Particularly, finding those factors that influences student achievement in diverse contexts. Recently, Spain has registered an improvement in the research field of Education, but limited in the methodology developed. There are a lot of issues on multilevel models to explore, because most of the models applied in Spanish educative research has been univariate. The aim of this work was to determine the new contributions of multivariate multilevel models adjusting simultaneously two responses. The data was collected from the General Evaluation Diagnostic applied by the Institute of Evaluation on Education in Spain at 2009, which has the purpose to examine the results in Language and Mathematics competences from students coursing fourth grade of elementary education. The sample used was integrated by 28.708 students, 884 teachers, 898 principals, 27.541 parents and 900 schools centers. We had the achievement in each competence by each student, as well as the variables gathered from the survey applied to teachers, parents and directors. The models specified include three levels (Student, classroom and school center), one model for each competence, and one multivariate model in order to compare the results and finding new approaches of using this methodology in the understanding of school effectiveness. We compared the results of the estimators, their standard errors, residuals and variance and covariance matrix. The main conclusion is that there are still sides to take advantage from multilevel multivariate models, which result more integrated models and more powerful to provide information about scholar effectiveness. / [ES] La modelación multinivel se ha convertido en una poderosa herramienta de análisis dentro del campo de la investigación escolar, especialmente en la identificación de factores que contribuyen a explicar el rendimiento de los estudiantes en una pluralidad de contextos. Recientemente, en España se ha avanzado en esta línea pero con un limitado nivel en el desarrollo metodológico. Falta explorar nuevas posibilidades para el análisis de datos anidados, pues la mayoría de investigaciones españolas en eficacia escolar que se han hecho, se han limitado a la aplicación de modelos multinivel univariados. El propósito de este trabajo fue mostrar las nuevas aportaciones que tienen los modelos multinivel multivariados, al ajustar simultáneamente dos o más respuestas, utilizando datos de la Evaluación General de Diagnóstico 2009, aplicada por el Instituto de Evaluación Educativa en España y que tiene por objetivo medir el rendimiento en las competencias básicas del alumnado de cuarto grado de educación básica. Se trabajó con una muestra de 28.708 alumnos, 884 profesores, 898 directores, 25.741 padres de familia y 900 centros escolares de toda España, de la que se obtuvo la información sobre el rendimiento en la competencia lingüística y matemáticas de los alumnos, así como de las variables explicativas para cada nivel, a través de las encuestas que respondieron los padres, profesores y directores de las escuelas. Se especificaron 3 modelos de tres niveles (alumno, aula, escuela), uno para cada competencia por separado (lingüística y matemática) y un modelo multivariado de cuatro niveles que incluye ambas respuestas simultáneamente. Se compararon los resultados de los estimadores, de los errores estándar, los gráficos de los residuos y la matriz de varianzas y covarianzas, así como los efectos asociados a cada uno de los niveles. Se concluye que los modelos multivariantes multinivel ofrecen pruebas más potentes y mayor información en su matriz de varianzas para comprender el fenómeno educativo. / [CA] La modelització multinivell s'ha convertit en una poderosa eina d'anàlisi dins del camp de la investigació' escolar, especialment en la identificació de factors que contribueixen a explicar el rendiment dels estudiants en una pluralitat de contextos. Recentment, en Espanya se ha avançat en aquesta línia però amb un limitat nivell en el desenvolupament metodològic. Falta explorar noves possibilitats per a l'anàlisi de dades niades, doncs la majoria de recerques espanyoles en eficàcia escolar que s'han fet, s'han limitat a l'aplicació de models multinivell univariats. El propòsit d'aquest treball va ser mostrar les noves aportacions que tenen els models multinivell multivariats, en ajustar simultàniament dues o mes respostes, utilitzant dades de l'Avaluació' General de Diagnòstic 2009, aplicada per l'Institut d'Avaluació' Educativa en Espanya i que té per objectiu mesurar el rendiment en les competències bàsiques de l'alumnat de quart grau d'educació' bàsica. Es va treballar amb una mostra de 28.708 alumnes, 884 professors, 898 directors, 25.741 pares de família i 900 centres escolars de tota Espanya, de la qual es va obtenir la informació' sobre el rendiment en la competència lingüística i matemàtiques dels alumnes, així com de les variables explicatives per a cada nivell, a traves de les enquestes que van respondre els pares, professors i directors de les escoles. Es van especificar 3 models de tres nivells (alumne, aula, escola), un per a cada competència per separat (lingüística i matemàtiques) i un model multivariat de quatre nivells que inclou ambdues respostes simultàniament. Es van comparar els resultats dels estimadors, dels errors estàndard, els gràfics dels residus i la matriu de variàncies i covariàncies, així com els efectes associats a cadascun dels nivells. Es conclou que els models multivariantes multinivell ofereixen proves mes potents i major informació' en la seua matriu de variàncies per a comprendre el fenomen educatiu. / Tapia Blásquez, PA. (2016). Algunas contribuciones a la modelación multinivel en la Investigación Escolar en España [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/67388

The overall aim of this thesis is to contribute to an understanding of the pathways through which structural and intermediary determinants influence child health in Colombia and how they operate through the context where children live in a more comprehensive way than has been determined to date. Colombia has made significant progress in child health in the last few decades and it is currently on track to meet the Millennium Development Goals (MDG). Nearly 90% of the goals on global malnutrition, infant mortality rate and under-five mortality rate have been achieved. However, despite the progress, national averages remain masking huge territorial disparities. While some regions present figures similar to those of a developed country, others report indicators similar to those of a very poor African country. Some municipalities, for example, record no stunted children, whereas in others, the prevalence of chronic malnutrition is greater than 50%. In this context, empirical research that enhances our understanding of socioeconomic determinants of child health and guide policy-making is crucial in order to reduce place-based health inequities in Colombia. This thesis is based on three research articles. The data used in these studies are drawn from the 2010 Colombian Demographic and Health Survey (DHS). The DHS is a large survey programme designed to collect high-quality nationally representative data on population, health and nutrition for developing countries. The DHS are widely recognised as the most important source of information for the analysis of health inequities in the developing world. Firstly, intermediary determinants of early childhood health have been analysed through the construction of a composite index (Chapter 3). The intermediary determinants are the most immediate mechanisms through which socioeconomic position influence child health inequities. Therefore, their identification should contribute to the drafting of intervention policies at this level, given the importance of these factors in programmes aimed at improving maternal and child care. The index allowed us to identify key immediate determinants of child health and their relative importance among Colombian departments (administrative subdivisions). The index was constructed using a more sophisticated methodological approach than that commonly used in the literature, termed polychoric principal component analysis (PCA). A hierarchical cluster analysis was also carried out in order to identify how departments cluster based on the health of their children rather than their geographic proximity. The results showed that the largest differences in intermediary determinants of child health are associated with health care before and during delivery. Furthermore, the departments that perform relatively better in the most immediate determinants of child health are located in the centre of the country. In contrast, those departments that perform worse are located in the peripheral region. This region has a per capita gross domestic product (GDP) well below the national average, little state presence, a hostile environment and a large proportion of the ethnic minorities. Our index provides very useful information in terms of public policy since it facilitates measuring, visualizing and monitoring of child health indicators, and may, therefore, help identify potential intervention strategies for improving the well-being of Colombian children. Secondly, this thesis examines the effect of individual, family and community socioeconomic conditions on different indices representing intermediary determinants of child health, using a coherent conceptual framework (Chapter 4). Using a weighted multilevel approach, the results indicate that whilst community socioeconomic context can exert a greater influence on factors linked directly to health, in the case of psychosocial factors and parent’s behaviours, the family context can be more important. In addition, the results indicate that a significant percentage of the variability in the overall index of intermediary determinants of child health is explained by the community context, even after controlling for individual, family and community characteristics. This study provides evidence that community socioeconomic context is a key component for improving child health in Colombia. However, the role played by context may vary according to the category of the intermediary determinants of child health analysed, highlighting the importance of distinguishing between community and family intervention programmes. Thirdly, the influence of education of other women in the community and family socioeconomic characteristics on child nutrition outcomes, as well as their interactions, was investigated (Chapter 5). The contextual effects of education on child health were studied using weighted multilevel models. This study takes into account important methodological issues such as sample weights and second level endogeneity in multilevel modelling, which have not been addressed in the empirical literature and can lead to biases in the estimates. Different ways through which community education can substitute for the effect of family characteristics on child nutrition were found, suggesting that child care programmes should focus not only on individuals but should also target the broader context of communities. In particular, those communities with less educated mothers and with low female autonomy are those that could benefit more from intervention policies that focus on encouraging female education. To conclude, previous studies on the social determinants of child health in Colombia are limited. Most of them have covered the issue from the perspective of the individual and little attention has been paid to the effect of context. In this vein, understanding the structural and intermediary determinants of child health inequities, as well as the role played by community socioeconomic context, is essential for the design, monitoring and tracking of public child care policies in Colombia. / El objetivo de esta tesis es contribuir a un entendimiento de los mecanismos a través de los cuales los determinantes estructurales e intermediarios de la salud influencian la salud de los niños en Colombia y como estos operan a través del contexto donde los niños viven, de una manera más completa que la que se ha hecho hasta ahora. Esta tesis se base en tres artículos de investigación. Los datos usados en estos estudios son de la “Demographic and Health Survey” (DHS) para Colombia en el año 2010. En primer lugar, los determinantes intermediarios de salud infantil se analizan a través de un indicador compuesto. El indicador permite identificar determinantes intermediarios claves de salud infantil y su importancia relativa entre departamentos colombianos. En segundo lugar, esta tesis examina el efecto de las condiciones socioeconómicas de la comunidad, la familia y los individuos sobre diferentes índices que representan determinantes intermediarios de salud infantil. Por último, se analiza la influencia de la educación de otras mujeres en la comunidad y de características socioeconómicas de las familias sobre la nutrición infantil, así como sus interacciones. Se utilizan diferentes enfoques metodológicos. Para la construcción de los indicadores compuestos se utiliza un análisis de componentes principales usando correlaciones policóricas, con el fin de analizar cómo se agrupan los departamentos de acuerdo a la salud de sus niños se hace un análisis de cluster jerarquico. Finalmente, con el fin de medir efectos contextuales se utilizan modelos multinivel de regresión lineal ponderados. Los resultados de esta tesis demuestran que el contexto de la comunidad es un componente clave en la determinación de determinantes intermediarios de salud infantil, así como de indicadores de nutrición de los niños, tanto en el mediano como en el largo plazo en Colombia. Por lo tanto, es necesario que los gobiernos municipales y departamentales involucren no sólo a los individuos, sino que también tengan en cuenta el contexto de las comunidades para el desarrollo, ejecución, monitoreo y evaluación de las políticas de cuidado infantil.

[pt] Neste trabalho apresentamos algumas contrubuições ao estudo dos modelos de avaliação estatística usados nas ciências sociais. As contribuições originais são: i ) uma descrição unificada sobre como a teoria da medição evoluiu nas diversas disciplinas científicas; ii ) uma resenha abrangente sobre os métodos de estimação por máxima verossimilhança empregados na medição estatística; iii ) uma formulação geral do métodos da máxima verossimilhan ça tendo em vista a aplicação em modelos não-lineares; e principalmente, iv ) a apresentação do método da aproximação estocástica na estimação dos modelos estatísticos de avaliação e medição. Os modelos não-lineares ocorrem freqüentemente nas ciências sociais onde é importante a modelagem de variáveis de resposta dicotômicas ou ordinais. Em particular, este trabalho trata dos modelos da teoria da resposta ao item, dos modelos de regressão logística e dos modelos de componentes aleatórias em geral. A estimação destes modelos ainda é objeto de intensa pesquisa. Não se pode afirmar que exista um método de estimação inteiramente confiável. Os métodos aproximados produzem estimativas com viés acentuado nas componentes de variância, enquanto os métodos de integração numérica e os métodos bayesianos podem apresentar problemas de convergência em muitos casos. O método da aproximação estocástica se baseia na maximização da verossimilhança e emprega o algoritmo de Robbins- Monro para resolver a equação do escore. Como um método estocástico ele gera um processo de Markov que se aproxima das estimativas desejadas e portanto pode ser considerado um MCMC (Monte Carlo Markov chain) freqüentista. Nas simulações realizadas o método apresentou um bom desempenho, produzindo estimativas com viés pequeno, precisão razoável e raros problemas de convergência. / [en] This work presents a study of statistical models used for assessment and measurement in the social sciences. The main contributions are: i ) a unified description of how evaluation, assessment, and the theory of measurement evolved within several branches of science; ii ) a review of estimation methods currently employed in nonlinear models; iii ) a general formulation of the maximum likelihood estimation method; and particularly, iv the presentation of the stochastic approximation method for estimation of non linear statistical models in measurement and assessment. Non linear models occurs frequently in the social sciences where it is important to model binary or ordinal response variables. This work deals with item response theory models, logistic regression models and general models with random components. The estimation of these models has been the subject of several recent simulation studies. One cannot say there is a best estimation method. The approximate methods are known to produce biased estimates, numerical integration methods and bayesian methods can present convergence problems in many cases. Stochastic approximation method is a maximum likelihood method that uses the Robbins-Monro algorithm to solve the score equation. As a stochastic approximation method it generates a Markov chain that converges to the desired estimates and can be considered a frequentist MCMC. A simulation study and a comparative estimation study show a good performance, the method producing small bias for the estimates, good precision, and very rare convergence problems.

[ES] En las últimas décadas, la intensificación del uso de las tecnologías de la información y la comunicación (TIC) ha supuesto grandes cambios en nuestra forma de vida. En este contexto de intensa y creciente digitalización, esta tesis doctoral estudia el papel que juegan las TIC como un factor determinante del rendimiento académico de los estudiantes de educación secundaria, así como los factores que propician el uso de las TIC en el aula por parte de los docentes. La tesis se compone de tres capítulos: (1) en el primero de ellos, se analiza la relación entre distintos tipos de uso de las TIC en el contexto social y educativo y el rendimiento académico; (2) en el capítulo dos, se centra la atención en el impacto que tiene sobre el rendimiento académico el uso de las TIC en el aula para realizar tareas y ejercicios; (3) y en el capítulo tres se analizan los factores que determinan la frecuencia de uso de las TIC en el aula por parte de los docentes. Para realizar estos análisis, se estudian datos procedentes de evaluaciones educativas internacionales y nacionales mediante la aplicación de distintos métodos estadísticos: modelos multinivel, método de variables instrumentales, método de emparejamiento por puntaje de propensión, regresiones cuantílicas y técnica de imputación multivariante por ecuaciones encadenadas. Los resultados alcanzados en las distintas investigaciones proporcionan evidencia empírica novedosa que permite elaborar recomendaciones en materia de política educativa, así como abrir futuras líneas de investigación que permitirán complementar los resultados de esta tesis doctoral. / [CA] En les últimes dècades, la intensificació de l'ús de les tecnologies de la informació i la comunicació (TIC) ha suposat grans canvis en la nostra forma de vida. En aquest context d'intensa i creixent digitalització, aquesta tesi doctoral estudia el paper que juguen les TIC com un factor determinant del rendiment acadèmic dels estudiants d'educació secundària, així com els factors que propicien l'ús de les TIC a l'aula per part dels docents. La tesi es compon de tres capítols: (1) en el primer d'ells, s'analitza la relació entre diferents tipus d'ús de les TIC en el context social i educatiu i el rendiment acadèmic; (2) en el capítol dos, se centra l'atenció en l'impacte que té sobre el rendiment acadèmic l'ús de les TIC a l'aula per a fer tasques i exercicis; (3) i en el capítol tres s'analitzen els factors que determinen la freqüència d'ús de les TIC a l'aula per part dels docents. Per a realitzar aquestes anàlisis, s'estudien dades procedents d'avaluacions educatives internacionals i nacionals mitjançant l'aplicació de diferents mètodes estadístics: models multinivell, mètode de variables instrumentals, mètode d'aparellament per puntuació de propensió, regressió quantílica i tècnica d'imputació multivariant per equacions encadenades. Els resultats aconseguits en les diferents investigacions proporcionen evidència empírica nova que permet elaborar recomanacions en matèria de política educativa, així com obrir futures línies d'investigació que permetran complementar els resultats d'aquesta tesi doctoral. / [EN] In recent decades, the intensification of the use of information and communication technologies (ICT) has brought about major changes in our way of life. In this context of intense and increasing digitalization, this doctoral thesis studies the role of ICT as a determinant of the academic performance of secondary school students, as well as the factors that favour the use of ICT in the classroom by teachers. The thesis consists of three chapters: (1) in the first one, the relationship between different types of ICT use in the social and educational context and academic performance is analysed; (2) in chapter two, attention is focused on the impact on academic performance of the use of ICT in the classroom to carry out tasks and exercises; (3) and in chapter three, the factors that determine the frequency of ICT use in the classroom by teachers are analysed. In order to carry out these analyses, data from international and national educational assessments are studied by applying different statistical methods: multilevel models, instrumental variables method, propensity score matching method, quantile regressions and multivariate imputation technique by chained equations. The results achieved in the different investigations provide novel empirical evidence that allows us to elaborate recommendations for educational policy, as well as to open future lines of research that will allow us to complement the results of this doctoral thesis. / Mi agradecimiento al Ministerio de Universidades por su apuesta en la financiación de mi proyecto de investigación mediante el contrato FPU16/04571 y por permitirme dedicarme durante estos cuatro años exclusivamente a la investigación y a la docencia universitaria. Agradezco también al Ministerio de Economía y Competitividad y al doctor Jorge Calero, investigador principal del proyecto “Evaluación de intervenciones educativas para la mejora de la calidad educativa”, por permitirme participar como miembro del equipo de trabajo en el proyecto EDU2016-76414-R y financiar la presentación de mis investigaciones en congresos nacionales e internacionales. Igualmente, agradezco a la Fundación Sabadell por otorgarme una ayuda a la investigación científica en la convocatoria 2020-2021. / Gómez Fernández, NM. (2022). Use of Statistical Methods for the Analysis of Educational Data: the Role of ICTs in the Educational Context [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181000