Consideramos a predição ótima de valores latentes com base em dados sujeitos a erros de medida endógenos e exógenos, obtidos a partir de uma amostra aleatória de uma população finita. Consideramos o modelo misto para populações finitas (MMPF) com erros de medida exógenos e endógenos usando o enfoque proposto por Stanek et al. (2004) e Stanek & Singer (2004), e calculamos o melhor preditor linear não enviesado (BLUP) do valor latente da i-ésima unidade selecionada na amostra. Quando as variâncias endógenas são heterocedásticas, o preditor obtido sob o MMPF é diferente do preditor obtido sob o modelo misto usual, pois a constante de encolhimento depende da média das variâncias individuais. Utilizamos simulação para comparar o preditor obtido sob o modelo misto usual (utilizado conforme a interpretação usual) com o preditor obtido sob o MMPF, mostrando que apesar do primeiro ser enviesado, ele geralmente apresenta erro quadrático médio (EQM) menor (ou ligeiramente maior) do que aquele obtido sob o MMPF. Adicionalmente, mostramos como utilizar dois pacotes de \\emph estatístico (Proc MIXED do SAS e lme(nlme) do R), construídos sob o modelo misto usual, para ajustar corretamente modelos em situações com erros exógenos e endógenos, heterocedásticos ou homocedásticos. / We consider optimal estimation and prediction of latent values based on data subject to endogenous and exogenous measurement errors, obtained via simple random sample from a finite population. We consider a finite population mixed model (FPMM) with endogenous and exogenous measurement errors proposed by Stanek III et al. (2004) and Stanek III & Singer (2004) and obtained the best linear unbiased predictor (BLUP) of the latent value of the i-th unit selected in the sample. When the endogenous variances are heteroscedastic, the predictor obtained under the FPMM is different than the predictor obtained with the usual mixed model, because the shrinkage constant depends on the average of the individual variances. We consider simulation studies to compare the predictor obtained under the usual mixed model (used according to the usual interpretation) with the predictor obtained under the FPMM, and show that the former is biased, but usually presents smaller (or slightly larger) mean squared error (MSE) than the predictor obtained under the FPMM. Additionally, we indicate how two commonly used statistical software packages (SAS\'s Proc MIXED and R\'s lme(nlme) ) may be employed to fit mixed models in situations with heteroscedastic or homoscedastic exogenous and endogenous errors.

Consideramos a predição ótima de valores latentes com base em dados sujeitos a erros de medida endógenos e exógenos, obtidos a partir de uma amostra aleatória de uma população finita. Consideramos o modelo misto para populações finitas (MMPF) com erros de medida exógenos e endógenos usando o enfoque proposto por Stanek et al. (2004) e Stanek & Singer (2004), e calculamos o melhor preditor linear não enviesado (BLUP) do valor latente da i-ésima unidade selecionada na amostra. Quando as variâncias endógenas são heterocedásticas, o preditor obtido sob o MMPF é diferente do preditor obtido sob o modelo misto usual, pois a constante de encolhimento depende da média das variâncias individuais. Utilizamos simulação para comparar o preditor obtido sob o modelo misto usual (utilizado conforme a interpretação usual) com o preditor obtido sob o MMPF, mostrando que apesar do primeiro ser enviesado, ele geralmente apresenta erro quadrático médio (EQM) menor (ou ligeiramente maior) do que aquele obtido sob o MMPF. Adicionalmente, mostramos como utilizar dois pacotes de \\emph estatístico (Proc MIXED do SAS e lme(nlme) do R), construídos sob o modelo misto usual, para ajustar corretamente modelos em situações com erros exógenos e endógenos, heterocedásticos ou homocedásticos. / We consider optimal estimation and prediction of latent values based on data subject to endogenous and exogenous measurement errors, obtained via simple random sample from a finite population. We consider a finite population mixed model (FPMM) with endogenous and exogenous measurement errors proposed by Stanek III et al. (2004) and Stanek III & Singer (2004) and obtained the best linear unbiased predictor (BLUP) of the latent value of the i-th unit selected in the sample. When the endogenous variances are heteroscedastic, the predictor obtained under the FPMM is different than the predictor obtained with the usual mixed model, because the shrinkage constant depends on the average of the individual variances. We consider simulation studies to compare the predictor obtained under the usual mixed model (used according to the usual interpretation) with the predictor obtained under the FPMM, and show that the former is biased, but usually presents smaller (or slightly larger) mean squared error (MSE) than the predictor obtained under the FPMM. Additionally, we indicate how two commonly used statistical software packages (SAS\'s Proc MIXED and R\'s lme(nlme) ) may be employed to fit mixed models in situations with heteroscedastic or homoscedastic exogenous and endogenous errors.

Este trabalho tem como objetivo estudar os erros de medida na estimativa das proficiências de leitura e resolução de problemas da Prova Brasil 2013 e suas influências no cálculo do Ideb para os anos finais do ensino fundamental das escolas da Rede Municipal de Ensino de São Paulo. O Ideb, criado em 2007, é um dos indicadores de maior influência nas políticas educacionais brasileiras sobre a qualidade da educação com base na medição de proficiências. No desenvolvimento do trabalho, questionase o conceito de qualidade da educação e, especialmente, a influência dos erros das medidas utilizadas, ainda que parcialmente, para se avaliar a qualidade de escolas e redes de ensino. O erro de uma medida significa o quanto essa medida pode variar em torno de um determinado valor, sobretudo, quando se trata de medida de traços latentes, não diretamente observáveis e condicionados pelo próprio instrumento de coleta das informações. Para investigar o erro de medida da Prova Brasil 2013, procedeu-se um estudo dos resultados de cada um dos alunos do 9º ano do ensino fundamental dessa Rede para dimensioná-lo na estimativa de suas proficiências e, consequentemente, calcular o erro do Ideb de cada escola, admitindo-se a taxa de aprovação divulgada pelo Inep. Adicionalmente, o tratamento dos dados estendeu-se às metas projetadas para cada escola com a realização de algumas comparações entre escolas que com o mesmo Ideb possuem erros de medida diferentes, permitindo questionar a precisão deste indicador e apontando para a necessidade de estudos mais apurados quanto a indicadores de qualidade da educação. Acredita-se que este estudo possa contribuir para o aprimoramento das avaliações externas para que seus resultados sejam melhor utilizados pelas políticas educacionais. / The present paper aims to study the measurement errors in the proficiency estimation in reading and in the resolution of problems of Prova Brasil 2013 and theirs influences over the calculation of Ideb for the final years of middle school of the Department of Education of São Paulo City. The Ideb, created in 2007, is one of the most influential indicators in Brazilian educational policies about the quality of education based on proficiency measurement. In the development of this paper, the concept of quality of education is questioned as well as the influencies of measurement erros used, in special, although partially, for evaluate the quality of schools and the quality of educational networks. A measurement error means how much this measure can vary around a certain value, especially when it is a measure of latent traits which are not directly observable and conditioned by its own instrument of information collection. In order to investigate the measurement error of Prova Brasil 2013, it was developed the analysis of the proficiencies of each student of the final year of the middle school of this educational network in this measurement to dimension, and, consequently, to calculate the Ideb error of each school, assuming the approval rate disclosed by Inep. In addition, the data treatment was extended to the projected goals for each school from the realization of some comparisons between schools which had the same Ideb but had at the same time different measurement errors, allowing to question the precision of this indicator, pointing out to the need for a more accurated study in relation to Indicators of quality of education. It is supposed that this study could contribute to the improvement of the external evaluations for their results will be used as better as they could by educational policies.

Este trabalho tem como objetivo estudar os erros de medida na estimativa das proficiências de leitura e resolução de problemas da Prova Brasil 2013 e suas influências no cálculo do Ideb para os anos finais do ensino fundamental das escolas da Rede Municipal de Ensino de São Paulo. O Ideb, criado em 2007, é um dos indicadores de maior influência nas políticas educacionais brasileiras sobre a qualidade da educação com base na medição de proficiências. No desenvolvimento do trabalho, questionase o conceito de qualidade da educação e, especialmente, a influência dos erros das medidas utilizadas, ainda que parcialmente, para se avaliar a qualidade de escolas e redes de ensino. O erro de uma medida significa o quanto essa medida pode variar em torno de um determinado valor, sobretudo, quando se trata de medida de traços latentes, não diretamente observáveis e condicionados pelo próprio instrumento de coleta das informações. Para investigar o erro de medida da Prova Brasil 2013, procedeu-se um estudo dos resultados de cada um dos alunos do 9º ano do ensino fundamental dessa Rede para dimensioná-lo na estimativa de suas proficiências e, consequentemente, calcular o erro do Ideb de cada escola, admitindo-se a taxa de aprovação divulgada pelo Inep. Adicionalmente, o tratamento dos dados estendeu-se às metas projetadas para cada escola com a realização de algumas comparações entre escolas que com o mesmo Ideb possuem erros de medida diferentes, permitindo questionar a precisão deste indicador e apontando para a necessidade de estudos mais apurados quanto a indicadores de qualidade da educação. Acredita-se que este estudo possa contribuir para o aprimoramento das avaliações externas para que seus resultados sejam melhor utilizados pelas políticas educacionais. / The present paper aims to study the measurement errors in the proficiency estimation in reading and in the resolution of problems of Prova Brasil 2013 and theirs influences over the calculation of Ideb for the final years of middle school of the Department of Education of São Paulo City. The Ideb, created in 2007, is one of the most influential indicators in Brazilian educational policies about the quality of education based on proficiency measurement. In the development of this paper, the concept of quality of education is questioned as well as the influencies of measurement erros used, in special, although partially, for evaluate the quality of schools and the quality of educational networks. A measurement error means how much this measure can vary around a certain value, especially when it is a measure of latent traits which are not directly observable and conditioned by its own instrument of information collection. In order to investigate the measurement error of Prova Brasil 2013, it was developed the analysis of the proficiencies of each student of the final year of the middle school of this educational network in this measurement to dimension, and, consequently, to calculate the Ideb error of each school, assuming the approval rate disclosed by Inep. In addition, the data treatment was extended to the projected goals for each school from the realization of some comparisons between schools which had the same Ideb but had at the same time different measurement errors, allowing to question the precision of this indicator, pointing out to the need for a more accurated study in relation to Indicators of quality of education. It is supposed that this study could contribute to the improvement of the external evaluations for their results will be used as better as they could by educational policies.

Estudamos o problema de obtenção de estimadores/preditores ótimos para combinações lineares de respostas coletadas de uma população finita por meio de amostragem aleatória simples. Nesse contexto, estendemos o modelo misto para populações finitas proposto por Stanek, Singer & Lencina (2004, Journal of Statistical Planning and Inference) para casos em que se incluem erros de medida (endógenos e exógenos) e informação auxiliar. Admitindo que as variâncias são conhecidas, mostramos que os estimadores/preditores propostos têm erro quadrático médio menor dentro da classe dos estimadores lineares não viciados. Por meio de estudos de simulação, comparamos o desempenho desses estimadores/preditores empíricos, i.e., obtidos com a substituição das componentes de variância por estimativas, com aquele de competidores tradicionais. Também, estendemos esses modelos para análise de estudos com estrutura do tipo pré-teste/pós-teste. Também por intermédio de simulação, comparamos o desempenho dos estimadores empíricos com o desempenho do estimador obtido por meio de técnicas clássicas de análise de medidas repetidas e com o desempenho do estimador obtido via análise de covariância por meio de mínimos quadrados, concluindo que os estimadores/ preditores empíricos apresentaram um menor erro quadrático médio e menor vício. Em geral, sugerimos o emprego dos estimadores/preditores empíricos propostos para dados com distribuição assimétrica ou amostras pequenas. / We consider optimal estimation of finite population parameters with data obtained via simple random samples. In this context, we extend a finite population mixed model proposed by Stanek, Singer & Lencina (2004, Journal of Statistical Planning and Inference) by including measurement errors (endogenous or exogenous) and auxiliary information. Assuming that variance components are known, we show that the proposed estimators/predictors have the smallest mean squared error in the class of unbiased estimators. Using simulation studies, we compare the performance of the empirical estimators/predictors obtained by replacing variance components with estimates with the performance of a traditional estimator. We also extend the finite population mixed model to data obtained via pretest-posttest designs. Through simulation studies, we compare the performance of the empirical estimator of the difference in gain between groups with the performance of the usual repeated measures estimator and with the performance of the usual analysis of covariance estimator obtained via ordinary least squares. The empirical estimator has smaller mean squared error and bias than the alternative estimators under consideration. In general, we recommend the use of the proposed estimators/ predictors for either asymmetric response distributions or small samples.

Neste trabalho de tese propomos um modelo de regressão beta com erros de medida. Esta proposta é uma área inexplorada em modelos não lineares na presença de erros de medição. Abordamos metodologias de estimação, como máxima verossimilhança aproximada, máxima pseudo-verossimilhança aproximada e calibração da regressão. O método de máxima verossimilhança aproximada determina as estimativas maximizando diretamente o logaritmo da função de verossimilhança. O método de máxima pseudo-verossimilhança aproximada é utilizado quando a inferência em um determinado modelo envolve apenas alguns mas não todos os parâmetros. Nesse sentido, dizemos que o modelo apresenta parâmetros de interesse como também de perturbação. Quando substituímos a verdadeira covariável (variável não observada) por uma estimativa da esperança condicional da variável não observada dada a observada, o método é conhecido como calibração da regressão. Comparamos as metodologias de estimação mediante um estudo de simulação de Monte Carlo. Este estudo de simulação evidenciou que os métodos de máxima verossimilhança aproximada e máxima pseudo-verossimilhança aproximada tiveram melhor desempenho frente aos métodos de calibração da regressão e naïve (ingênuo). Utilizamos a linguagem de programação Ox (Doornik, 2011) como suporte computacional. Encontramos a distribuição assintótica dos estimadores, com o objetivo de calcular intervalos de confiança e testar hipóteses, tal como propõem Carroll et. al.(2006, Seção A.6.6), Guolo (2011) e Gong e Samaniego (1981). Ademais, são utilizadas as estatísticas da razão de verossimilhanças e gradiente para testar hipóteses. Num estudo de simulação realizado, avaliamos o desempenho dos testes da razão de verossimilhanças e gradiente. Desenvolvemos técnicas de diagnóstico para o modelo de regressão beta com erros de medida. Propomos o resíduo ponderado padronizado tal como definem Espinheira (2008) com o objetivo de verificar as suposições assumidas ao modelo e detectar pontos aberrantes. Medidas de influência global, tais como a distância de Cook generalizada e o afastamento da verossimilhança, são utilizadas para detectar pontos influentes. Além disso, utilizamos a técnica de influência local conformal sob três esquemas de perturbação (ponderação de casos, perturbação da variável resposta e perturbação da covariável com e sem erros de medida). Aplicamos nossos resultados a dois conjuntos de dados reais para exemplificar a teoria desenvolvida. Finalmente, apresentamos algumas conclusões e possíveis trabalhos futuros. / In this thesis, we propose a beta regression model with measurement error. Among nonlinear models with measurement error, such a model has not been studied extensively. Here, we discuss estimation methods such as maximum likelihood, pseudo-maximum likelihood, and regression calibration methods. The maximum likelihood method estimates parameters by directly maximizing the logarithm of the likelihood function. The pseudo-maximum likelihood method is used when the inference in a given model involves only some but not all parameters. Hence, we say that the model under study presents parameters of interest, as well as nuisance parameters. When we replace the true covariate (observed variable) with conditional estimates of the unobserved variable given the observed variable, the method is known as regression calibration. We compare the aforementioned estimation methods through a Monte Carlo simulation study. This simulation study shows that maximum likelihood and pseudo-maximum likelihood methods perform better than the calibration regression method and the naïve approach. We use the programming language Ox (Doornik, 2011) as a computational tool. We calculate the asymptotic distribution of estimators in order to calculate confidence intervals and test hypotheses, as proposed by Carroll et. al (2006, Section A.6.6), Guolo (2011) and Gong and Samaniego (1981). Moreover, we use the likelihood ratio and gradient statistics to test hypotheses. We carry out a simulation study to evaluate the performance of the likelihood ratio and gradient tests. We develop diagnostic tests for the beta regression model with measurement error. We propose weighted standardized residuals as defined by Espinheira (2008) to verify the assumptions made for the model and to detect outliers. The measures of global influence, such as the generalized Cook\'s distance and likelihood distance, are used to detect influential points. In addition, we use the conformal approach for evaluating local influence for three perturbation schemes: case-weight perturbation, respose variable perturbation, and perturbation in the covariate with and without measurement error. We apply our results to two sets of real data to illustrate the theory developed. Finally, we present our conclusions and possible future work.

Neste trabalho de tese propomos um modelo de regressão beta com erros de medida. Esta proposta é uma área inexplorada em modelos não lineares na presença de erros de medição. Abordamos metodologias de estimação, como máxima verossimilhança aproximada, máxima pseudo-verossimilhança aproximada e calibração da regressão. O método de máxima verossimilhança aproximada determina as estimativas maximizando diretamente o logaritmo da função de verossimilhança. O método de máxima pseudo-verossimilhança aproximada é utilizado quando a inferência em um determinado modelo envolve apenas alguns mas não todos os parâmetros. Nesse sentido, dizemos que o modelo apresenta parâmetros de interesse como também de perturbação. Quando substituímos a verdadeira covariável (variável não observada) por uma estimativa da esperança condicional da variável não observada dada a observada, o método é conhecido como calibração da regressão. Comparamos as metodologias de estimação mediante um estudo de simulação de Monte Carlo. Este estudo de simulação evidenciou que os métodos de máxima verossimilhança aproximada e máxima pseudo-verossimilhança aproximada tiveram melhor desempenho frente aos métodos de calibração da regressão e naïve (ingênuo). Utilizamos a linguagem de programação Ox (Doornik, 2011) como suporte computacional. Encontramos a distribuição assintótica dos estimadores, com o objetivo de calcular intervalos de confiança e testar hipóteses, tal como propõem Carroll et. al.(2006, Seção A.6.6), Guolo (2011) e Gong e Samaniego (1981). Ademais, são utilizadas as estatísticas da razão de verossimilhanças e gradiente para testar hipóteses. Num estudo de simulação realizado, avaliamos o desempenho dos testes da razão de verossimilhanças e gradiente. Desenvolvemos técnicas de diagnóstico para o modelo de regressão beta com erros de medida. Propomos o resíduo ponderado padronizado tal como definem Espinheira (2008) com o objetivo de verificar as suposições assumidas ao modelo e detectar pontos aberrantes. Medidas de influência global, tais como a distância de Cook generalizada e o afastamento da verossimilhança, são utilizadas para detectar pontos influentes. Além disso, utilizamos a técnica de influência local conformal sob três esquemas de perturbação (ponderação de casos, perturbação da variável resposta e perturbação da covariável com e sem erros de medida). Aplicamos nossos resultados a dois conjuntos de dados reais para exemplificar a teoria desenvolvida. Finalmente, apresentamos algumas conclusões e possíveis trabalhos futuros. / In this thesis, we propose a beta regression model with measurement error. Among nonlinear models with measurement error, such a model has not been studied extensively. Here, we discuss estimation methods such as maximum likelihood, pseudo-maximum likelihood, and regression calibration methods. The maximum likelihood method estimates parameters by directly maximizing the logarithm of the likelihood function. The pseudo-maximum likelihood method is used when the inference in a given model involves only some but not all parameters. Hence, we say that the model under study presents parameters of interest, as well as nuisance parameters. When we replace the true covariate (observed variable) with conditional estimates of the unobserved variable given the observed variable, the method is known as regression calibration. We compare the aforementioned estimation methods through a Monte Carlo simulation study. This simulation study shows that maximum likelihood and pseudo-maximum likelihood methods perform better than the calibration regression method and the naïve approach. We use the programming language Ox (Doornik, 2011) as a computational tool. We calculate the asymptotic distribution of estimators in order to calculate confidence intervals and test hypotheses, as proposed by Carroll et. al (2006, Section A.6.6), Guolo (2011) and Gong and Samaniego (1981). Moreover, we use the likelihood ratio and gradient statistics to test hypotheses. We carry out a simulation study to evaluate the performance of the likelihood ratio and gradient tests. We develop diagnostic tests for the beta regression model with measurement error. We propose weighted standardized residuals as defined by Espinheira (2008) to verify the assumptions made for the model and to detect outliers. The measures of global influence, such as the generalized Cook\'s distance and likelihood distance, are used to detect influential points. In addition, we use the conformal approach for evaluating local influence for three perturbation schemes: case-weight perturbation, respose variable perturbation, and perturbation in the covariate with and without measurement error. We apply our results to two sets of real data to illustrate the theory developed. Finally, we present our conclusions and possible future work.

Estudamos o problema de obtenção de estimadores/preditores ótimos para combinações lineares de respostas coletadas de uma população finita por meio de amostragem aleatória simples. Nesse contexto, estendemos o modelo misto para populações finitas proposto por Stanek, Singer & Lencina (2004, Journal of Statistical Planning and Inference) para casos em que se incluem erros de medida (endógenos e exógenos) e informação auxiliar. Admitindo que as variâncias são conhecidas, mostramos que os estimadores/preditores propostos têm erro quadrático médio menor dentro da classe dos estimadores lineares não viciados. Por meio de estudos de simulação, comparamos o desempenho desses estimadores/preditores empíricos, i.e., obtidos com a substituição das componentes de variância por estimativas, com aquele de competidores tradicionais. Também, estendemos esses modelos para análise de estudos com estrutura do tipo pré-teste/pós-teste. Também por intermédio de simulação, comparamos o desempenho dos estimadores empíricos com o desempenho do estimador obtido por meio de técnicas clássicas de análise de medidas repetidas e com o desempenho do estimador obtido via análise de covariância por meio de mínimos quadrados, concluindo que os estimadores/ preditores empíricos apresentaram um menor erro quadrático médio e menor vício. Em geral, sugerimos o emprego dos estimadores/preditores empíricos propostos para dados com distribuição assimétrica ou amostras pequenas. / We consider optimal estimation of finite population parameters with data obtained via simple random samples. In this context, we extend a finite population mixed model proposed by Stanek, Singer & Lencina (2004, Journal of Statistical Planning and Inference) by including measurement errors (endogenous or exogenous) and auxiliary information. Assuming that variance components are known, we show that the proposed estimators/predictors have the smallest mean squared error in the class of unbiased estimators. Using simulation studies, we compare the performance of the empirical estimators/predictors obtained by replacing variance components with estimates with the performance of a traditional estimator. We also extend the finite population mixed model to data obtained via pretest-posttest designs. Through simulation studies, we compare the performance of the empirical estimator of the difference in gain between groups with the performance of the usual repeated measures estimator and with the performance of the usual analysis of covariance estimator obtained via ordinary least squares. The empirical estimator has smaller mean squared error and bias than the alternative estimators under consideration. In general, we recommend the use of the proposed estimators/ predictors for either asymmetric response distributions or small samples.