Το στατιστικό μοντέλο είναι μία τυποποίηση στοχαστικών σχέσεων μεταξύ μεταβλητών σε μορφή μαθηματικών εξισώσεων με σκοπό την όσο το δυνατόν πιο ακριβή περιγραφή ενός συστήματος (φαινομένου ή γεγονότος). Σχεδόν σε κάθε σύστημα, υπάρχουν μεταβλητές ποσότητες που αλλάζουν. Ένα ενδιαφέρον ζήτημα είναι η μελέτη των επιδράσεων που αυτές οι μεταβλητές ασκούν (ή φαίνεται να ασκούν) πάνω σε άλλες. Η μελέτη αυτή είναι το αντικείμενο της ανάλυσης παλινδρόμησης, μίας ευρέως χρησιμοποιούμενης στατιστικής τεχνικής, την οποία χρησιμοποιούμε για να ανιχνεύσουμε και να μοντελοποιήσουμε σχέσεις και εξαρτήσεις μεταξύ μεταβλητών. Όταν οι σχέσεις μεταξύ των μεταβλητών είναι γραμμικές, προκύπτουν τα λεγόμενα γραμμικά παλινδρομικά μοντέλα. Τα στατιστικά μοντέλα παλινδρόμησης, βασίζονται σε κάποιες βασικές υποθέσεις, τις οποίες υποχρεούμαστε να ελέγχουμε πριν την ανάλυση του μοντέλου. Στην πράξη, όμως, οι υποθέσεις αυτές συχνά παραβιάζονται. Όταν δε, έχουμε να κάνουμε με δεδομένα του πραγματικού κόσμου, η παραβίαση των υποθέσεων αυτών είναι τόσο συχνή που αποτελεί στη συντριπτική πλειοψηφία τον κανόνα παρά την εξαίρεση. Η παρούσα διπλωματική εργασία πραγματεύεται το σημαντικότατο θέμα που ανακύπτει σε περιπτώσεις στις οποίες κάποιες από τις βασικές υποθέσεις που διέπουν το γραμμικό μοντέλο παλινδρόμησης παραβιάζονται. Σκοπός της εργασίας αυτής είναι : α)να αναλυθούν οι αιτίες που προκαλούν την κάθε παραβίαση και οι επιπτώσεις που έχει αυτή στο μοντέλο, β)να καταγραφούν οι βασικότεροι τρόποι ανίχνευσης των παραβιάσεων στο υπόδειγμα, γ)να βρεθούν τρόποι αντιμετώπισης των "προβληματικών καταστάσεων". Τα αποτελέσματα δείχνουν ότι ο συνδυασμός της καθεστηκυίας γνώσης (του θεωρητικού υποβάθρου) για το αντικείμενο και των σύγχρονων μεθόδων και ιδεών μπορούν να μειώσουν σημαντικά τις δυσμενείς επιπτώσεις που επιφέρουν οι παραβιάσεις των κανόνων στο μοντέλο, και παράλληλα μας επιτρέπει να "περισώσουμε" ικανοποιητικό ποσό πληροφορίας. / The statistical model is a standarization of stochastic relationships between variables in a form of mathematical equations in order to accurately describe a system, either phenomena, or facts. Almost every system includes some variable amounts that change.The interesting question is to investigate the effects those variables have (or appear to have) on other variables. This kind of investigation is the object of the regression analysis,a widely used statistical technic, which is used so as to detect relations and dependences between variables. Linear regression models are created when there are linear relations between variables. In addition, statistical models are based on some significant assumptions, that we are obliged to validate before we analyze the model. However, these assumptions are often violated in practise. Especially when we have to face with <<real world>> data, the violation is too frecuent that ends to be the rule instead the exception. The current thesis addresses the important subject which arises when some basic assumptions of the linear regression model are violated.The purpose of writing this thesis is : a)to analyse the reasons why the basic assumptions are violated and how these violations effect to our model b)to report the main methods in order to scan the model for violations c)to find ways to fight the problems The investigation results to the fact that if we combine the theoretical backround and the modern methods and techniques, we can reduce the adverse consecuences -and occasionally even reverse the damages- that the violations breed to the model, with simultaneous <<salvation>> of a quite satisfactory amount of information.

Title: Influence of errors to regression model Author: Bc. Vlasta Poliačková Department: Department of Probability and Mathematical Statistics Supervisor: doc. RNDr. Petr Lachout, CSc. Supervisor's e-mail address: Petr.Lachout@mff.cuni.cz Abstract: The submitted work deals with the regression model, and the influence of errors to regression. Thesis describes different types of violations of assumptions re- quired to the error term and their impact to the properties of the regression model. In the next part, there are discussed various statistical approaches applicable in the case of violation assumptions of regression model such as heteroscedasticity or autocor- relation of the residuals. In the application part, there is used mainly knowledge of Box - Jenkins methodology. In this section it is described in detail how to build a Box - Jenkins models and forecasts of future values for various real financial time series. In processing of the data are used models of ARMA, ARIMA and SARIMA. In an example, forecasts of the models are compared to real future values of the time series. Keywords: regression, violation of assumptions, error term, Box-Jenkins methodo- logy, time series

Durante os anos 70, os sistemas de produção evoluíram de planos de produção em massa para planos flexíveis, capazes de prover para cada consumidor produtos ou serviços diferenciados através de um processo ágil, flexível e integrado com baixo custo. O aumento de opções do menu de escolha por parte dos clientes resulta na produção de pequenos lotes de produtos e, consequentemente, dados em volume insuficiente para estimar os parâmetros do processo necessários para o monitoramento da característica de qualidade. A literatura reconhece que não existem métodos capazes de tratar o pro- blema do monitoramento de ferramentas de qualidade em sistemas de produção flexíveis e customizados. O objetivo deste trabalho é propor ferramentas de controle estatístico do processo para este tipo de ambiente. Verifica-se que cenários de produção customi- zados sujeitos à produção em pequenos lotes são suscetíveis a violações de suposições e estimativas imprecisas dos parâmetros do processo. Além disso, as ações adotadas pelos engenheiros de qualidade na fase I da implantação de cartas de controle nas empresas visitadas é conflitante com o que é sugerido na literatura. Verificação dos pressupostos de normalidade e independência não são executados, mesmo quando cartas de controle são implantadas. Os principais procedimentos de controle de qualidade do atual estado da arte são apresentados para verificar alternativas para a implantação de ferramentas de controle estatístico do processo em ambientes onde as estratégias atuais de produção causaram o aumento da necessidade de flexibilidade. Nestes casos, a característica da qualidade costuma ser a mesma, mas para diferentes produtos, o que significa que se tem uma única observação para cada produto em cada momento, no mesmo processo. Discussões sobre a viabilidade em implantar as principais metodologias neste contexto são apresentadas. Entre os métodos levantados no estado da arte, uma única abordagem ca- paz é a carta que utiliza o desvio do alvo no instante t, apresentada por Del Castillo et. al. (1996), porém não é aplicável ao problema de pesquisa apresentado nesta tese, pois exige uma fase retrospectiva de análise. Além disso, a inclusão de um novo produto ou uma mudança significativa no processo antigo em um ambiente flexível não pode ser tratada pelos métodos apresentados. Uma carta de controle multivariada de auto-inicialização baseada no filtro de Kalman para o sistema de múltiplos setups é proposta além de adap- tações da carta de auto-inicialização de Shewhart e da carta de controle de Quesenberry (1991) com média e variância desconhecidos. O modelo baseado no filtro de Kalman foi escolhido depois de um estudo de simulação que comparou o desempenho preditivo dos modelos ARIMA, Regressão PLS e Estrutural Básico. O desempenho das abordagens de controle estatístico do processo propostas foi comparado através de medidas de ARL e a análise considerou a implantação das ferramentas em uma série de dados real e em séries simuladas de ambientes sujeitos à violação das suposições básicas das cartas tradicionais. Como benchmark, foi utilizada a análise retrospectiva da carta de resíduos apresentada por Del Castillo et. al. (1996). Os resultados mostram que a hipótese de violação da nor- malidade é a que mais deteriora o desempenho das cartas de controle. Efeitos de violação da independência e da suposição de homocedasticidade não são significativos ao nível de 5%, de acordo com a análise de variância realizada. Conclui-se que, dos cinco procedimentos propostos, os adaptados obtiveram resultados similares ao benchmark, podendo ser tratados como alternativas para lidar com o problema de monitoramento da qualidade em ambientes organizados com sistemas de produção customizados. / During the 70s, production systems have evolved from mass production plans to flexible plans, able to provide for each constumer differentiated products or services with low cost through an agile, flexible and integrated process. The number increase of choi- ces results in production of small batches of products, and therefore insufficient volume data to estimate the required process parameters for the monitoring of quality characte- ristics. The literature shows that there are no methods to treat the problem of quality monitoring in flexible and customized production systems. The objective of this thesis is to propose tools for this type of environment. It is verified that customized scenarios are subject to small-batch production and are also susceptible to violation of assumpti- ons and inaccurate estimate of process parameters. In addition, actions taken by quality engineers in Phase I implementation of control charts in visited companies is conflicting with what is suggested in the literature. Verification of assumptions such as normality or independence are not performed, even when control charts are implemented. The state of art quality control procedures are presented in order to verify how to implement quality control tools in environments where the current strategies of production has increasing flexibility. In these cases, the quality characteristic is usually the same, but for different products, which means that it has an observation for each product in each time frame for the same process. Discussion on the feasibility of implementing the main methodologies are presented in this context. Among the methods considered the state of the art, the chart which uses the deviation from the target at time t, presented by Del Castillo et al. (1996) is the only that could be able to work in this problem, but shall be not applied to the research problem presented in this thesis, since it requires a Phase I of retrospective analysis. Moreover, the inclusion of a new product or significant change in old process in a flexible environment can not be treated by the methods presented. A self-start multivariate control chart based on Kalman filter for multiple setups is proposed, as well as the adaptations of the self-start Shewhart control chart and the self-start Quesenberry’s control chart (1991). The model based on the Kalman filter was chosen after a simulation study that compared the predictive performance of ARIMA, PLS Regression and Struc- tural Basic models. The performance of the proposed quality control approaches was compared with measures of ARL and the analysis considered the implementation of tools in series of real data and simulated data subject to violation of the traditional charts’ basic assumptions. As a benchmark, we used a retrospective analysis of the chart presented by Del Castillo et al. (1996). The results show that the assumption of normality violation is the one that most deteriorates the performance of control charts. Effects of independence and homoscedasticity violation of assumptions are not significant at 5%, according to the analysis of variance performed. We conclude that, among the five proposed procedures, the adapted ones obtained similar results to the benchmark and can be treated as alter- natives to deal with the problem of quality monitoring in environments with customized production systems.

Durante os anos 70, os sistemas de produção evoluíram de planos de produção em massa para planos flexíveis, capazes de prover para cada consumidor produtos ou serviços diferenciados através de um processo ágil, flexível e integrado com baixo custo. O aumento de opções do menu de escolha por parte dos clientes resulta na produção de pequenos lotes de produtos e, consequentemente, dados em volume insuficiente para estimar os parâmetros do processo necessários para o monitoramento da característica de qualidade. A literatura reconhece que não existem métodos capazes de tratar o pro- blema do monitoramento de ferramentas de qualidade em sistemas de produção flexíveis e customizados. O objetivo deste trabalho é propor ferramentas de controle estatístico do processo para este tipo de ambiente. Verifica-se que cenários de produção customi- zados sujeitos à produção em pequenos lotes são suscetíveis a violações de suposições e estimativas imprecisas dos parâmetros do processo. Além disso, as ações adotadas pelos engenheiros de qualidade na fase I da implantação de cartas de controle nas empresas visitadas é conflitante com o que é sugerido na literatura. Verificação dos pressupostos de normalidade e independência não são executados, mesmo quando cartas de controle são implantadas. Os principais procedimentos de controle de qualidade do atual estado da arte são apresentados para verificar alternativas para a implantação de ferramentas de controle estatístico do processo em ambientes onde as estratégias atuais de produção causaram o aumento da necessidade de flexibilidade. Nestes casos, a característica da qualidade costuma ser a mesma, mas para diferentes produtos, o que significa que se tem uma única observação para cada produto em cada momento, no mesmo processo. Discussões sobre a viabilidade em implantar as principais metodologias neste contexto são apresentadas. Entre os métodos levantados no estado da arte, uma única abordagem ca- paz é a carta que utiliza o desvio do alvo no instante t, apresentada por Del Castillo et. al. (1996), porém não é aplicável ao problema de pesquisa apresentado nesta tese, pois exige uma fase retrospectiva de análise. Além disso, a inclusão de um novo produto ou uma mudança significativa no processo antigo em um ambiente flexível não pode ser tratada pelos métodos apresentados. Uma carta de controle multivariada de auto-inicialização baseada no filtro de Kalman para o sistema de múltiplos setups é proposta além de adap- tações da carta de auto-inicialização de Shewhart e da carta de controle de Quesenberry (1991) com média e variância desconhecidos. O modelo baseado no filtro de Kalman foi escolhido depois de um estudo de simulação que comparou o desempenho preditivo dos modelos ARIMA, Regressão PLS e Estrutural Básico. O desempenho das abordagens de controle estatístico do processo propostas foi comparado através de medidas de ARL e a análise considerou a implantação das ferramentas em uma série de dados real e em séries simuladas de ambientes sujeitos à violação das suposições básicas das cartas tradicionais. Como benchmark, foi utilizada a análise retrospectiva da carta de resíduos apresentada por Del Castillo et. al. (1996). Os resultados mostram que a hipótese de violação da nor- malidade é a que mais deteriora o desempenho das cartas de controle. Efeitos de violação da independência e da suposição de homocedasticidade não são significativos ao nível de 5%, de acordo com a análise de variância realizada. Conclui-se que, dos cinco procedimentos propostos, os adaptados obtiveram resultados similares ao benchmark, podendo ser tratados como alternativas para lidar com o problema de monitoramento da qualidade em ambientes organizados com sistemas de produção customizados. / During the 70s, production systems have evolved from mass production plans to flexible plans, able to provide for each constumer differentiated products or services with low cost through an agile, flexible and integrated process. The number increase of choi- ces results in production of small batches of products, and therefore insufficient volume data to estimate the required process parameters for the monitoring of quality characte- ristics. The literature shows that there are no methods to treat the problem of quality monitoring in flexible and customized production systems. The objective of this thesis is to propose tools for this type of environment. It is verified that customized scenarios are subject to small-batch production and are also susceptible to violation of assumpti- ons and inaccurate estimate of process parameters. In addition, actions taken by quality engineers in Phase I implementation of control charts in visited companies is conflicting with what is suggested in the literature. Verification of assumptions such as normality or independence are not performed, even when control charts are implemented. The state of art quality control procedures are presented in order to verify how to implement quality control tools in environments where the current strategies of production has increasing flexibility. In these cases, the quality characteristic is usually the same, but for different products, which means that it has an observation for each product in each time frame for the same process. Discussion on the feasibility of implementing the main methodologies are presented in this context. Among the methods considered the state of the art, the chart which uses the deviation from the target at time t, presented by Del Castillo et al. (1996) is the only that could be able to work in this problem, but shall be not applied to the research problem presented in this thesis, since it requires a Phase I of retrospective analysis. Moreover, the inclusion of a new product or significant change in old process in a flexible environment can not be treated by the methods presented. A self-start multivariate control chart based on Kalman filter for multiple setups is proposed, as well as the adaptations of the self-start Shewhart control chart and the self-start Quesenberry’s control chart (1991). The model based on the Kalman filter was chosen after a simulation study that compared the predictive performance of ARIMA, PLS Regression and Struc- tural Basic models. The performance of the proposed quality control approaches was compared with measures of ARL and the analysis considered the implementation of tools in series of real data and simulated data subject to violation of the traditional charts’ basic assumptions. As a benchmark, we used a retrospective analysis of the chart presented by Del Castillo et al. (1996). The results show that the assumption of normality violation is the one that most deteriorates the performance of control charts. Effects of independence and homoscedasticity violation of assumptions are not significant at 5%, according to the analysis of variance performed. We conclude that, among the five proposed procedures, the adapted ones obtained similar results to the benchmark and can be treated as alter- natives to deal with the problem of quality monitoring in environments with customized production systems.

Durante os anos 70, os sistemas de produção evoluíram de planos de produção em massa para planos flexíveis, capazes de prover para cada consumidor produtos ou serviços diferenciados através de um processo ágil, flexível e integrado com baixo custo. O aumento de opções do menu de escolha por parte dos clientes resulta na produção de pequenos lotes de produtos e, consequentemente, dados em volume insuficiente para estimar os parâmetros do processo necessários para o monitoramento da característica de qualidade. A literatura reconhece que não existem métodos capazes de tratar o pro- blema do monitoramento de ferramentas de qualidade em sistemas de produção flexíveis e customizados. O objetivo deste trabalho é propor ferramentas de controle estatístico do processo para este tipo de ambiente. Verifica-se que cenários de produção customi- zados sujeitos à produção em pequenos lotes são suscetíveis a violações de suposições e estimativas imprecisas dos parâmetros do processo. Além disso, as ações adotadas pelos engenheiros de qualidade na fase I da implantação de cartas de controle nas empresas visitadas é conflitante com o que é sugerido na literatura. Verificação dos pressupostos de normalidade e independência não são executados, mesmo quando cartas de controle são implantadas. Os principais procedimentos de controle de qualidade do atual estado da arte são apresentados para verificar alternativas para a implantação de ferramentas de controle estatístico do processo em ambientes onde as estratégias atuais de produção causaram o aumento da necessidade de flexibilidade. Nestes casos, a característica da qualidade costuma ser a mesma, mas para diferentes produtos, o que significa que se tem uma única observação para cada produto em cada momento, no mesmo processo. Discussões sobre a viabilidade em implantar as principais metodologias neste contexto são apresentadas. Entre os métodos levantados no estado da arte, uma única abordagem ca- paz é a carta que utiliza o desvio do alvo no instante t, apresentada por Del Castillo et. al. (1996), porém não é aplicável ao problema de pesquisa apresentado nesta tese, pois exige uma fase retrospectiva de análise. Além disso, a inclusão de um novo produto ou uma mudança significativa no processo antigo em um ambiente flexível não pode ser tratada pelos métodos apresentados. Uma carta de controle multivariada de auto-inicialização baseada no filtro de Kalman para o sistema de múltiplos setups é proposta além de adap- tações da carta de auto-inicialização de Shewhart e da carta de controle de Quesenberry (1991) com média e variância desconhecidos. O modelo baseado no filtro de Kalman foi escolhido depois de um estudo de simulação que comparou o desempenho preditivo dos modelos ARIMA, Regressão PLS e Estrutural Básico. O desempenho das abordagens de controle estatístico do processo propostas foi comparado através de medidas de ARL e a análise considerou a implantação das ferramentas em uma série de dados real e em séries simuladas de ambientes sujeitos à violação das suposições básicas das cartas tradicionais. Como benchmark, foi utilizada a análise retrospectiva da carta de resíduos apresentada por Del Castillo et. al. (1996). Os resultados mostram que a hipótese de violação da nor- malidade é a que mais deteriora o desempenho das cartas de controle. Efeitos de violação da independência e da suposição de homocedasticidade não são significativos ao nível de 5%, de acordo com a análise de variância realizada. Conclui-se que, dos cinco procedimentos propostos, os adaptados obtiveram resultados similares ao benchmark, podendo ser tratados como alternativas para lidar com o problema de monitoramento da qualidade em ambientes organizados com sistemas de produção customizados. / During the 70s, production systems have evolved from mass production plans to flexible plans, able to provide for each constumer differentiated products or services with low cost through an agile, flexible and integrated process. The number increase of choi- ces results in production of small batches of products, and therefore insufficient volume data to estimate the required process parameters for the monitoring of quality characte- ristics. The literature shows that there are no methods to treat the problem of quality monitoring in flexible and customized production systems. The objective of this thesis is to propose tools for this type of environment. It is verified that customized scenarios are subject to small-batch production and are also susceptible to violation of assumpti- ons and inaccurate estimate of process parameters. In addition, actions taken by quality engineers in Phase I implementation of control charts in visited companies is conflicting with what is suggested in the literature. Verification of assumptions such as normality or independence are not performed, even when control charts are implemented. The state of art quality control procedures are presented in order to verify how to implement quality control tools in environments where the current strategies of production has increasing flexibility. In these cases, the quality characteristic is usually the same, but for different products, which means that it has an observation for each product in each time frame for the same process. Discussion on the feasibility of implementing the main methodologies are presented in this context. Among the methods considered the state of the art, the chart which uses the deviation from the target at time t, presented by Del Castillo et al. (1996) is the only that could be able to work in this problem, but shall be not applied to the research problem presented in this thesis, since it requires a Phase I of retrospective analysis. Moreover, the inclusion of a new product or significant change in old process in a flexible environment can not be treated by the methods presented. A self-start multivariate control chart based on Kalman filter for multiple setups is proposed, as well as the adaptations of the self-start Shewhart control chart and the self-start Quesenberry’s control chart (1991). The model based on the Kalman filter was chosen after a simulation study that compared the predictive performance of ARIMA, PLS Regression and Struc- tural Basic models. The performance of the proposed quality control approaches was compared with measures of ARL and the analysis considered the implementation of tools in series of real data and simulated data subject to violation of the traditional charts’ basic assumptions. As a benchmark, we used a retrospective analysis of the chart presented by Del Castillo et al. (1996). The results show that the assumption of normality violation is the one that most deteriorates the performance of control charts. Effects of independence and homoscedasticity violation of assumptions are not significant at 5%, according to the analysis of variance performed. We conclude that, among the five proposed procedures, the adapted ones obtained similar results to the benchmark and can be treated as alter- natives to deal with the problem of quality monitoring in environments with customized production systems.