Spelling suggestions: "subject:"realtime forecasting"" "subject:"realtime forecasting's""
1 |
Previsão de níveis fluviais em tempo atual com modelo de regressão adaptativo: aplicação na bacia do rio UruguaiMoreira, Giuliana Chaves January 2016 (has links)
Este trabalho avaliou o potencial da aplicação da técnica recursiva dos mínimos quadrados (MQR) para o ajuste em tempo atual dos parâmetros de modelos autorregressivos com variáveis exógenas (ARX), as quais são constituídas pelos níveis de montante para melhorar o desempenho das previsões de níveis fluviais em tempo atual. Três aspectos foram estudados em conjunto: variação do alcance escolhido para a previsão, variação da proporção da área controlada em bacias a montante e variação da área da bacia da seção de previsão. A pesquisa foi realizada em três dimensões principais: a) metodológica (sem recursividade; com recursividade; com recursividade e fator de esquecimento); b) temporal (6 alcances diferentes: 10, 24, 34, 48, 58 e 72 horas); e c) espacial (variação da área controlada da bacia e da área da bacia definida pela seção de previsão). A área de estudo escolhida para essa pesquisa foi a bacia do rio Uruguai com exutório no posto fluviométrico de Uruguaiana (190.000 km²) e as suas sub-bacias embutidas de Itaqui (131.000 km²), Passo São Borja (125.000km²), Garruchos (116.000 km²), Porto Lucena (95.200 km²), Alto Uruguai (82.300 km²) e Iraí (61.900 km²). Os dados de níveis fluviométricos, com leituras diárias às 07:00 e às 17:00 horas, foram fornecidos pela Companhia de Pesquisa de Recursos Minerais (CPRM), sendo utilizados os dados de 1/1/1991 a 30/6/2015. Para a análise de desempenho dos modelos, foi aplicado como estatística de qualidade o coeficiente de Nash-Sutcliffe (NS) e o quantil 0,95 dos erros absolutos (EA(0,95): erro que não foi ultrapassado com a frequência de 0,95). Observou-se que os erros EA(0,95) dos melhores modelos obtidos para cada bacia sempre aumentam com a redução da área controlada, ou seja, a qualidade das previsões diminui com o deslocamento da seção de controle de jusante para montante. O ganho na qualidade das previsões com a utilização dos recursos adaptativos torna-se mais evidente, especialmente quando observam-se os valores de EA(0,95), pois esta estatística é mais sensível, com diferenças maiores em relação ao coeficiente NS. Além disso, este é mais representativo para os erros maiores, que ocorrem justamente durante os eventos de inundações. De modo geral, foi observado que, à medida que diminui a área da bacia, é possível obter previsões com alcances cada vez menores. Porém a influência do tamanho da área controlada de bacias a montante melhora o desempenho de bacias menores quando se observam principalmente os erros EA(0,95). Por outro lado, se a proporção da bacia controlada de montante já é bastante grande, como é o caso das alternativas 1 e 2 utilizadas para previsão em Itaqui (entre 88,5% e 95,4 %, respectivamente), os recursos adaptativos não fazem muita diferença na obtenção de melhores resultados. Todavia, quando se observam bacias com menores áreas de montante controladas, como é o caso de Porto Lucena para a alternativa 2 (65% de área controlada), o ganho no desempenho dos modelos com a utilização dos recursos adaptativos completos (MQR+f.e: mínimos quadrados recursivos com fator de esquecimento) torna-se relevante. / This study evaluated the potential of the application of the recursive least squares technique (RLS) to adjust in real time the model parameters of the autoregressive models with exogenous variables (ARX), which consists of the upstream levels, to improve the performance of the forecasts of river levels in real time. Three aspects were studied jointly: the variation of the lead time chosen for the forecast, the variation in the proportion of controlled area in upstream basins and variation in the area of forecasting section of the basin. The research was conducted in three main dimensions: a) methodological (without recursion; with recursion; with recursion and forgetting factor); b) temporal (6 different lead times: 10, 24, 34, 48, 58 and 72 hours); and c) spatial (variation in the controlled area of the basin and the area of the basin defined by the forecast section). The study area chosen for this research was the Uruguay River basin with its outflow at the river gage station of Uruguaiana (190,000 km²) and its entrenched sub-basins in Itaqui (131,000 km²), Passo São Borja (125,000 km²), Garruchos (116,000 km²), Porto Lucena (95,200 km²), Alto Uruguai (82,300 km²), and Iraí (61,900 km²). The river levels data, with daily readings at 7am and 5pm, were provided by the Company of Mineral Resources Research (CPRM), with the data used from January 1, 1991 to June 30, 2015. We applied the Nash-Sutcliffe coefficient (NS) and the quantile 0.95 of absolute errors (EA(0,95): error has not been exceeded at the rate of 0.95) for the analysis of models performances. We observed that the errors EA(0.95) of the best models obtained for each basin always increase with the reduction of the controlled area then the quality of the forecasts decreases with displacement of the downstream control section upstream. The gain in quality of the forecasts with the use of adaptive resources becomes more evident especially when the observed values of EA(0.95) as this statistic is more sensitive with greater differences in relation to the Nash-Sutcliffe Coefficient (NS). Moreover, this is most representative for larger errors which occur precisely during flooding events. In general, we observed that, as much as the area of the basin decreases, it is possible to obtain forecasts with smaller lead times, but the influence of the size of the area controlled upstream basins improves the performance of smaller basins when observing, especially the errors EA (0.95). However, if the proportion of the upstream of controlled basin is already quite large - as in the case of the alternatives 1 and 2 used for forecast in Itaqui (between 88.5% and 95.4%, respectively) - the adaptive resources do not differ too much in getting better results. However, when observing basins with smaller areas controlled upstream - as is the case of Porto Lucena to alternative 2 (65% controlled area) - the performance gain of the models with the use of the complete adaptive resources (MQR+f.e.) becomes relevant.
|
2 |
Previsão de níveis fluviais em tempo atual com modelo de regressão adaptativo: aplicação na bacia do rio UruguaiMoreira, Giuliana Chaves January 2016 (has links)
Este trabalho avaliou o potencial da aplicação da técnica recursiva dos mínimos quadrados (MQR) para o ajuste em tempo atual dos parâmetros de modelos autorregressivos com variáveis exógenas (ARX), as quais são constituídas pelos níveis de montante para melhorar o desempenho das previsões de níveis fluviais em tempo atual. Três aspectos foram estudados em conjunto: variação do alcance escolhido para a previsão, variação da proporção da área controlada em bacias a montante e variação da área da bacia da seção de previsão. A pesquisa foi realizada em três dimensões principais: a) metodológica (sem recursividade; com recursividade; com recursividade e fator de esquecimento); b) temporal (6 alcances diferentes: 10, 24, 34, 48, 58 e 72 horas); e c) espacial (variação da área controlada da bacia e da área da bacia definida pela seção de previsão). A área de estudo escolhida para essa pesquisa foi a bacia do rio Uruguai com exutório no posto fluviométrico de Uruguaiana (190.000 km²) e as suas sub-bacias embutidas de Itaqui (131.000 km²), Passo São Borja (125.000km²), Garruchos (116.000 km²), Porto Lucena (95.200 km²), Alto Uruguai (82.300 km²) e Iraí (61.900 km²). Os dados de níveis fluviométricos, com leituras diárias às 07:00 e às 17:00 horas, foram fornecidos pela Companhia de Pesquisa de Recursos Minerais (CPRM), sendo utilizados os dados de 1/1/1991 a 30/6/2015. Para a análise de desempenho dos modelos, foi aplicado como estatística de qualidade o coeficiente de Nash-Sutcliffe (NS) e o quantil 0,95 dos erros absolutos (EA(0,95): erro que não foi ultrapassado com a frequência de 0,95). Observou-se que os erros EA(0,95) dos melhores modelos obtidos para cada bacia sempre aumentam com a redução da área controlada, ou seja, a qualidade das previsões diminui com o deslocamento da seção de controle de jusante para montante. O ganho na qualidade das previsões com a utilização dos recursos adaptativos torna-se mais evidente, especialmente quando observam-se os valores de EA(0,95), pois esta estatística é mais sensível, com diferenças maiores em relação ao coeficiente NS. Além disso, este é mais representativo para os erros maiores, que ocorrem justamente durante os eventos de inundações. De modo geral, foi observado que, à medida que diminui a área da bacia, é possível obter previsões com alcances cada vez menores. Porém a influência do tamanho da área controlada de bacias a montante melhora o desempenho de bacias menores quando se observam principalmente os erros EA(0,95). Por outro lado, se a proporção da bacia controlada de montante já é bastante grande, como é o caso das alternativas 1 e 2 utilizadas para previsão em Itaqui (entre 88,5% e 95,4 %, respectivamente), os recursos adaptativos não fazem muita diferença na obtenção de melhores resultados. Todavia, quando se observam bacias com menores áreas de montante controladas, como é o caso de Porto Lucena para a alternativa 2 (65% de área controlada), o ganho no desempenho dos modelos com a utilização dos recursos adaptativos completos (MQR+f.e: mínimos quadrados recursivos com fator de esquecimento) torna-se relevante. / This study evaluated the potential of the application of the recursive least squares technique (RLS) to adjust in real time the model parameters of the autoregressive models with exogenous variables (ARX), which consists of the upstream levels, to improve the performance of the forecasts of river levels in real time. Three aspects were studied jointly: the variation of the lead time chosen for the forecast, the variation in the proportion of controlled area in upstream basins and variation in the area of forecasting section of the basin. The research was conducted in three main dimensions: a) methodological (without recursion; with recursion; with recursion and forgetting factor); b) temporal (6 different lead times: 10, 24, 34, 48, 58 and 72 hours); and c) spatial (variation in the controlled area of the basin and the area of the basin defined by the forecast section). The study area chosen for this research was the Uruguay River basin with its outflow at the river gage station of Uruguaiana (190,000 km²) and its entrenched sub-basins in Itaqui (131,000 km²), Passo São Borja (125,000 km²), Garruchos (116,000 km²), Porto Lucena (95,200 km²), Alto Uruguai (82,300 km²), and Iraí (61,900 km²). The river levels data, with daily readings at 7am and 5pm, were provided by the Company of Mineral Resources Research (CPRM), with the data used from January 1, 1991 to June 30, 2015. We applied the Nash-Sutcliffe coefficient (NS) and the quantile 0.95 of absolute errors (EA(0,95): error has not been exceeded at the rate of 0.95) for the analysis of models performances. We observed that the errors EA(0.95) of the best models obtained for each basin always increase with the reduction of the controlled area then the quality of the forecasts decreases with displacement of the downstream control section upstream. The gain in quality of the forecasts with the use of adaptive resources becomes more evident especially when the observed values of EA(0.95) as this statistic is more sensitive with greater differences in relation to the Nash-Sutcliffe Coefficient (NS). Moreover, this is most representative for larger errors which occur precisely during flooding events. In general, we observed that, as much as the area of the basin decreases, it is possible to obtain forecasts with smaller lead times, but the influence of the size of the area controlled upstream basins improves the performance of smaller basins when observing, especially the errors EA (0.95). However, if the proportion of the upstream of controlled basin is already quite large - as in the case of the alternatives 1 and 2 used for forecast in Itaqui (between 88.5% and 95.4%, respectively) - the adaptive resources do not differ too much in getting better results. However, when observing basins with smaller areas controlled upstream - as is the case of Porto Lucena to alternative 2 (65% controlled area) - the performance gain of the models with the use of the complete adaptive resources (MQR+f.e.) becomes relevant.
|
3 |
Previsão em tempo atual de cheias com uso de sistema especialista difuso / Real-time flood forecasting using fuzzy expert systemsPedrollo, Olavo Correa January 2000 (has links)
Sistemas de previsão de cheias podem ser adequadamente utilizados quando o alcance é suficiente, em comparação com o tempo necessário para ações preventivas ou corretivas. Além disso, são fundamentalmente importantes a confiabilidade e a precisão das previsões. Previsões de níveis de inundação são sempre aproximações, e intervalos de confiança não são sempre aplicáveis, especialmente com graus de incerteza altos, o que produz intervalos de confiança muito grandes. Estes intervalos são problemáticos, em presença de níveis fluviais muito altos ou muito baixos. Neste estudo, previsões de níveis de cheia são efetuadas, tanto na forma numérica tradicional quanto na forma de categorias, para as quais utiliza-se um sistema especialista baseado em regras e inferências difusas. Metodologias e procedimentos computacionais para aprendizado, simulação e consulta são idealizados, e então desenvolvidos sob forma de um aplicativo (SELF – Sistema Especialista com uso de Lógica “Fuzzy”), com objetivo de pesquisa e operação. As comparações, com base nos aspectos de utilização para a previsão, de sistemas especialistas difusos e modelos empíricos lineares, revelam forte analogia, apesar das diferenças teóricas fundamentais existentes. As metodologias são aplicadas para previsão na bacia do rio Camaquã (15543 km2), para alcances entre 10 e 48 horas. Dificuldades práticas à aplicação são identificadas, resultando em soluções as quais constituem-se em avanços do conhecimento e da técnica. Previsões, tanto na forma numérica quanto categorizada são executadas com sucesso, com uso dos novos recursos. As avaliações e comparações das previsões são feitas utilizandose um novo grupo de estatísticas, derivadas das freqüências simultâneas de ocorrência de valores observados e preditos na mesma categoria, durante a simulação. Os efeitos da variação da densidade da rede são analisados, verificando-se que sistemas de previsão pluvio-hidrométrica em tempo atual são possíveis, mesmo com pequeno número de postos de aquisição de dados de chuva, para previsões sob forma de categorias difusas. / Flood forecasting systems are only useful when the forecast lead time is longer than the time required to activate preventive or remedial actions. In addition, the reliability and accuracy of forecasts are of prime importance. Flood level forecasts are always approximations, and confidence intervals are not always suitable, particularly with low confidence probabilities, which results intervals that are too wide. These intervals are troublesome, therefore, in the presence of very low and very high river levels. In this study, flood level forecasts are tried, both in the traditional, numerical form, and in the form of vague categories. It is accomplished using an expert system based on fuzzy rules and fuzzy inference. Methodologies and computational procedures for learning, simulation and consultation are idealised and then developed as a software (SELF - Sistema Especialista com uso de Lógica Fuzzy), which is aimed at research and practical operation. Comparisons between the use for prediction of fuzzy systems and empirical linear models revealed strong similarities, in spite of the fundamental differences in theory. The methodologies are applied to real time river level forecasts in the Camaquã river basin (15543 km2), for lead times ranging from one half to two days. Practical difficulties related to the use of fuzzy systems are identified and explored. The solutions found offer some advances to knowledge and practical application. Forecasts, both in the numerical and categorical forms, are made successfully, using the new resources. Evaluation and comparison of the predictions in symbolic form are made with the use of a proposed new group of statistics, derived from frequencies of simultaneous occurrences of observed and predicted values at the same categories. The effects of raingauge network density are analysed, and it is found that forecasting systems may be operated even where network density is sparse, given that fuzzy expert systems are available for symbolic predictions.
|
4 |
Previsão em tempo atual de cheias com uso de sistema especialista difuso / Real-time flood forecasting using fuzzy expert systemsPedrollo, Olavo Correa January 2000 (has links)
Sistemas de previsão de cheias podem ser adequadamente utilizados quando o alcance é suficiente, em comparação com o tempo necessário para ações preventivas ou corretivas. Além disso, são fundamentalmente importantes a confiabilidade e a precisão das previsões. Previsões de níveis de inundação são sempre aproximações, e intervalos de confiança não são sempre aplicáveis, especialmente com graus de incerteza altos, o que produz intervalos de confiança muito grandes. Estes intervalos são problemáticos, em presença de níveis fluviais muito altos ou muito baixos. Neste estudo, previsões de níveis de cheia são efetuadas, tanto na forma numérica tradicional quanto na forma de categorias, para as quais utiliza-se um sistema especialista baseado em regras e inferências difusas. Metodologias e procedimentos computacionais para aprendizado, simulação e consulta são idealizados, e então desenvolvidos sob forma de um aplicativo (SELF – Sistema Especialista com uso de Lógica “Fuzzy”), com objetivo de pesquisa e operação. As comparações, com base nos aspectos de utilização para a previsão, de sistemas especialistas difusos e modelos empíricos lineares, revelam forte analogia, apesar das diferenças teóricas fundamentais existentes. As metodologias são aplicadas para previsão na bacia do rio Camaquã (15543 km2), para alcances entre 10 e 48 horas. Dificuldades práticas à aplicação são identificadas, resultando em soluções as quais constituem-se em avanços do conhecimento e da técnica. Previsões, tanto na forma numérica quanto categorizada são executadas com sucesso, com uso dos novos recursos. As avaliações e comparações das previsões são feitas utilizandose um novo grupo de estatísticas, derivadas das freqüências simultâneas de ocorrência de valores observados e preditos na mesma categoria, durante a simulação. Os efeitos da variação da densidade da rede são analisados, verificando-se que sistemas de previsão pluvio-hidrométrica em tempo atual são possíveis, mesmo com pequeno número de postos de aquisição de dados de chuva, para previsões sob forma de categorias difusas. / Flood forecasting systems are only useful when the forecast lead time is longer than the time required to activate preventive or remedial actions. In addition, the reliability and accuracy of forecasts are of prime importance. Flood level forecasts are always approximations, and confidence intervals are not always suitable, particularly with low confidence probabilities, which results intervals that are too wide. These intervals are troublesome, therefore, in the presence of very low and very high river levels. In this study, flood level forecasts are tried, both in the traditional, numerical form, and in the form of vague categories. It is accomplished using an expert system based on fuzzy rules and fuzzy inference. Methodologies and computational procedures for learning, simulation and consultation are idealised and then developed as a software (SELF - Sistema Especialista com uso de Lógica Fuzzy), which is aimed at research and practical operation. Comparisons between the use for prediction of fuzzy systems and empirical linear models revealed strong similarities, in spite of the fundamental differences in theory. The methodologies are applied to real time river level forecasts in the Camaquã river basin (15543 km2), for lead times ranging from one half to two days. Practical difficulties related to the use of fuzzy systems are identified and explored. The solutions found offer some advances to knowledge and practical application. Forecasts, both in the numerical and categorical forms, are made successfully, using the new resources. Evaluation and comparison of the predictions in symbolic form are made with the use of a proposed new group of statistics, derived from frequencies of simultaneous occurrences of observed and predicted values at the same categories. The effects of raingauge network density are analysed, and it is found that forecasting systems may be operated even where network density is sparse, given that fuzzy expert systems are available for symbolic predictions.
|
5 |
Previsão de níveis fluviais em tempo atual com modelo de regressão adaptativo: aplicação na bacia do rio UruguaiMoreira, Giuliana Chaves January 2016 (has links)
Este trabalho avaliou o potencial da aplicação da técnica recursiva dos mínimos quadrados (MQR) para o ajuste em tempo atual dos parâmetros de modelos autorregressivos com variáveis exógenas (ARX), as quais são constituídas pelos níveis de montante para melhorar o desempenho das previsões de níveis fluviais em tempo atual. Três aspectos foram estudados em conjunto: variação do alcance escolhido para a previsão, variação da proporção da área controlada em bacias a montante e variação da área da bacia da seção de previsão. A pesquisa foi realizada em três dimensões principais: a) metodológica (sem recursividade; com recursividade; com recursividade e fator de esquecimento); b) temporal (6 alcances diferentes: 10, 24, 34, 48, 58 e 72 horas); e c) espacial (variação da área controlada da bacia e da área da bacia definida pela seção de previsão). A área de estudo escolhida para essa pesquisa foi a bacia do rio Uruguai com exutório no posto fluviométrico de Uruguaiana (190.000 km²) e as suas sub-bacias embutidas de Itaqui (131.000 km²), Passo São Borja (125.000km²), Garruchos (116.000 km²), Porto Lucena (95.200 km²), Alto Uruguai (82.300 km²) e Iraí (61.900 km²). Os dados de níveis fluviométricos, com leituras diárias às 07:00 e às 17:00 horas, foram fornecidos pela Companhia de Pesquisa de Recursos Minerais (CPRM), sendo utilizados os dados de 1/1/1991 a 30/6/2015. Para a análise de desempenho dos modelos, foi aplicado como estatística de qualidade o coeficiente de Nash-Sutcliffe (NS) e o quantil 0,95 dos erros absolutos (EA(0,95): erro que não foi ultrapassado com a frequência de 0,95). Observou-se que os erros EA(0,95) dos melhores modelos obtidos para cada bacia sempre aumentam com a redução da área controlada, ou seja, a qualidade das previsões diminui com o deslocamento da seção de controle de jusante para montante. O ganho na qualidade das previsões com a utilização dos recursos adaptativos torna-se mais evidente, especialmente quando observam-se os valores de EA(0,95), pois esta estatística é mais sensível, com diferenças maiores em relação ao coeficiente NS. Além disso, este é mais representativo para os erros maiores, que ocorrem justamente durante os eventos de inundações. De modo geral, foi observado que, à medida que diminui a área da bacia, é possível obter previsões com alcances cada vez menores. Porém a influência do tamanho da área controlada de bacias a montante melhora o desempenho de bacias menores quando se observam principalmente os erros EA(0,95). Por outro lado, se a proporção da bacia controlada de montante já é bastante grande, como é o caso das alternativas 1 e 2 utilizadas para previsão em Itaqui (entre 88,5% e 95,4 %, respectivamente), os recursos adaptativos não fazem muita diferença na obtenção de melhores resultados. Todavia, quando se observam bacias com menores áreas de montante controladas, como é o caso de Porto Lucena para a alternativa 2 (65% de área controlada), o ganho no desempenho dos modelos com a utilização dos recursos adaptativos completos (MQR+f.e: mínimos quadrados recursivos com fator de esquecimento) torna-se relevante. / This study evaluated the potential of the application of the recursive least squares technique (RLS) to adjust in real time the model parameters of the autoregressive models with exogenous variables (ARX), which consists of the upstream levels, to improve the performance of the forecasts of river levels in real time. Three aspects were studied jointly: the variation of the lead time chosen for the forecast, the variation in the proportion of controlled area in upstream basins and variation in the area of forecasting section of the basin. The research was conducted in three main dimensions: a) methodological (without recursion; with recursion; with recursion and forgetting factor); b) temporal (6 different lead times: 10, 24, 34, 48, 58 and 72 hours); and c) spatial (variation in the controlled area of the basin and the area of the basin defined by the forecast section). The study area chosen for this research was the Uruguay River basin with its outflow at the river gage station of Uruguaiana (190,000 km²) and its entrenched sub-basins in Itaqui (131,000 km²), Passo São Borja (125,000 km²), Garruchos (116,000 km²), Porto Lucena (95,200 km²), Alto Uruguai (82,300 km²), and Iraí (61,900 km²). The river levels data, with daily readings at 7am and 5pm, were provided by the Company of Mineral Resources Research (CPRM), with the data used from January 1, 1991 to June 30, 2015. We applied the Nash-Sutcliffe coefficient (NS) and the quantile 0.95 of absolute errors (EA(0,95): error has not been exceeded at the rate of 0.95) for the analysis of models performances. We observed that the errors EA(0.95) of the best models obtained for each basin always increase with the reduction of the controlled area then the quality of the forecasts decreases with displacement of the downstream control section upstream. The gain in quality of the forecasts with the use of adaptive resources becomes more evident especially when the observed values of EA(0.95) as this statistic is more sensitive with greater differences in relation to the Nash-Sutcliffe Coefficient (NS). Moreover, this is most representative for larger errors which occur precisely during flooding events. In general, we observed that, as much as the area of the basin decreases, it is possible to obtain forecasts with smaller lead times, but the influence of the size of the area controlled upstream basins improves the performance of smaller basins when observing, especially the errors EA (0.95). However, if the proportion of the upstream of controlled basin is already quite large - as in the case of the alternatives 1 and 2 used for forecast in Itaqui (between 88.5% and 95.4%, respectively) - the adaptive resources do not differ too much in getting better results. However, when observing basins with smaller areas controlled upstream - as is the case of Porto Lucena to alternative 2 (65% controlled area) - the performance gain of the models with the use of the complete adaptive resources (MQR+f.e.) becomes relevant.
|
6 |
Previsão em tempo atual de cheias com uso de sistema especialista difuso / Real-time flood forecasting using fuzzy expert systemsPedrollo, Olavo Correa January 2000 (has links)
Sistemas de previsão de cheias podem ser adequadamente utilizados quando o alcance é suficiente, em comparação com o tempo necessário para ações preventivas ou corretivas. Além disso, são fundamentalmente importantes a confiabilidade e a precisão das previsões. Previsões de níveis de inundação são sempre aproximações, e intervalos de confiança não são sempre aplicáveis, especialmente com graus de incerteza altos, o que produz intervalos de confiança muito grandes. Estes intervalos são problemáticos, em presença de níveis fluviais muito altos ou muito baixos. Neste estudo, previsões de níveis de cheia são efetuadas, tanto na forma numérica tradicional quanto na forma de categorias, para as quais utiliza-se um sistema especialista baseado em regras e inferências difusas. Metodologias e procedimentos computacionais para aprendizado, simulação e consulta são idealizados, e então desenvolvidos sob forma de um aplicativo (SELF – Sistema Especialista com uso de Lógica “Fuzzy”), com objetivo de pesquisa e operação. As comparações, com base nos aspectos de utilização para a previsão, de sistemas especialistas difusos e modelos empíricos lineares, revelam forte analogia, apesar das diferenças teóricas fundamentais existentes. As metodologias são aplicadas para previsão na bacia do rio Camaquã (15543 km2), para alcances entre 10 e 48 horas. Dificuldades práticas à aplicação são identificadas, resultando em soluções as quais constituem-se em avanços do conhecimento e da técnica. Previsões, tanto na forma numérica quanto categorizada são executadas com sucesso, com uso dos novos recursos. As avaliações e comparações das previsões são feitas utilizandose um novo grupo de estatísticas, derivadas das freqüências simultâneas de ocorrência de valores observados e preditos na mesma categoria, durante a simulação. Os efeitos da variação da densidade da rede são analisados, verificando-se que sistemas de previsão pluvio-hidrométrica em tempo atual são possíveis, mesmo com pequeno número de postos de aquisição de dados de chuva, para previsões sob forma de categorias difusas. / Flood forecasting systems are only useful when the forecast lead time is longer than the time required to activate preventive or remedial actions. In addition, the reliability and accuracy of forecasts are of prime importance. Flood level forecasts are always approximations, and confidence intervals are not always suitable, particularly with low confidence probabilities, which results intervals that are too wide. These intervals are troublesome, therefore, in the presence of very low and very high river levels. In this study, flood level forecasts are tried, both in the traditional, numerical form, and in the form of vague categories. It is accomplished using an expert system based on fuzzy rules and fuzzy inference. Methodologies and computational procedures for learning, simulation and consultation are idealised and then developed as a software (SELF - Sistema Especialista com uso de Lógica Fuzzy), which is aimed at research and practical operation. Comparisons between the use for prediction of fuzzy systems and empirical linear models revealed strong similarities, in spite of the fundamental differences in theory. The methodologies are applied to real time river level forecasts in the Camaquã river basin (15543 km2), for lead times ranging from one half to two days. Practical difficulties related to the use of fuzzy systems are identified and explored. The solutions found offer some advances to knowledge and practical application. Forecasts, both in the numerical and categorical forms, are made successfully, using the new resources. Evaluation and comparison of the predictions in symbolic form are made with the use of a proposed new group of statistics, derived from frequencies of simultaneous occurrences of observed and predicted values at the same categories. The effects of raingauge network density are analysed, and it is found that forecasting systems may be operated even where network density is sparse, given that fuzzy expert systems are available for symbolic predictions.
|
7 |
分散式計算系統及巨量資料處理架構設計-基於YARN, Storm及Spark / Distributed computing system and big data real-time processing structure—based on YARN, Storm and Spark曾柏崴, Tseng, Po Wei Unknown Date (has links)
近年來,隨著大數據時代的來臨,即時資料運算面臨許多挑戰。例如在期貨交易預測方面,為了精準的預測市場狀態,我們需要在海量資料中建立預測模型,且耗時在數十毫秒之內。
在本研究中,我們將介紹一套即時巨量資料運算架構,這套架構將解決在實務上需要解決的三大需求:高速處理需求、巨量資料處理以及儲存需求。同時,在整個平行運算系統之下,我們也實作了數種人工智慧演算法,例如SVM (Support Vector Machine)和LR (Logistic Regression)等,做為策略模擬的子系統。本架構包含下列三種主要的雲端運算技術:
1. 使用Apache YARN以整合整體系統資源,使叢集資源運用更具效率。
2. 為滿足高速處理需求,本架構使用Apache Storm以便處理海量且即時之資料流。同時,借助該框架,可在數十毫秒之內,運算上千種市場狀態數值供模型建模之用。
3. 運用Apache Spark,本研究建立了一套分散式運算架構用於模型建模。藉由使用Spark RDD(Resilient Distributed Datasets),本架構可將SVM和LR之模型建模時間縮短至數百毫秒之內。
為解決上述需求,本研究設計了一套n層分散式架構且整合上列數種技術。另外,在該架構中,我們使用Apache Kafka作為整體系統之訊息中介層,並支持系統內各子系統間之非同步訊息溝通。 / With the coming of the era of big data, the immediacy and the amount of data computation are facing with many challenges. For example, for Futures market forecasting, we need to accurately forecast the market state with the model built from large data (hundreds of GB to tens of TB) within tens of milliseconds.
In this research, we will introduce a real-time big data computing architecture to resolve requests of high speed processing, the immense volume of data and the request of large data processing. In the meantime, several algorithms, such as SVM (Support Vector Machine, SVM) and LR (Logistic Regression, LR), are implemented as a subproject under the parallel distributed computing system. This architecture involves three main cloud computing techniques:
1. Use Apache YARN as a system of integrated resource management in order to apply cluster resources more efficiently.
2. To satisfy the requests of high speed processing, we apply Apache Storm in order to process large real-time data stream and compute thousands of numerical value within tens of milliseconds for following model building.
3. With Apache Spark, we establish a distributed computing architecture for model building. By using Spark RDD (Resilient Distributed Datasets, RDD), this architecture can shorten the execution time to within hundreds of milliseconds for SVM and LR model building.
To resolve the requirements of the distributed system, we design an n-tier distributed architecture to integrate the foregoing several techniques. In this architecture, we use the Apache Kafka as the messaging middleware to support asynchronous message-based communication.
|
8 |
Essays on tail risk in macroeconomics and finance: measurement and forecastingRicci, Lorenzo 13 February 2017 (has links)
This thesis is composed of three chapters that propose some novel approaches on tail risk for financial market and forecasting in finance and macroeconomics. The first part of this dissertation focuses on financial market correlations and introduces a simple measure of tail correlation, TailCoR, while the second contribution addresses the issue of identification of non- normal structural shocks in Vector Autoregression which is common on finance. The third part belongs to the vast literature on predictions of economic growth; the problem is tackled using a Bayesian Dynamic Factor model to predict Norwegian GDP.Chapter I: TailCoRThe first chapter introduces a simple measure of tail correlation, TailCoR, which disentangles linear and non linear correlation. The aim is to capture all features of financial market co- movement when extreme events (i.e. financial crises) occur. Indeed, tail correlations may arise because asset prices are either linearly correlated (i.e. the Pearson correlations are different from zero) or non-linearly correlated, meaning that asset prices are dependent at the tail of the distribution.Since it is based on quantiles, TailCoR has three main advantages: i) it is not based on asymptotic arguments, ii) it is very general as it applies with no specific distributional assumption, and iii) it is simple to use. We show that TailCoR also disentangles easily between linear and non-linear correlations. The measure has been successfully tested on simulated data. Several extensions, useful for practitioners, are presented like downside and upside tail correlations.In our empirical analysis, we apply this measure to eight major US banks for the period 2003-2012. For comparison purposes, we compute the upper and lower exceedance correlations and the parametric and non-parametric tail dependence coefficients. On the overall sample, results show that both the linear and non-linear contributions are relevant. The results suggest that co-movement increases during the financial crisis because of both the linear and non- linear correlations. Furthermore, the increase of TailCoR at the end of 2012 is mostly driven by the non-linearity, reflecting the risks of tail events and their spillovers associated with the European sovereign debt crisis. Chapter II: On the identification of non-normal shocks in structural VARThe second chapter deals with the structural interpretation of the VAR using the statistical properties of the innovation terms. In general, financial markets are characterized by non- normal shocks. Under non-Gaussianity, we introduce a methodology based on the reduction of tail dependency to identify the non-normal structural shocks.Borrowing from statistics, the methodology can be summarized in two main steps: i) decor- relate the estimated residuals and ii) the uncorrelated residuals are rotated in order to get a vector of independent shocks using a tail dependency matrix. We do not label the shocks a priori, but post-estimate on the basis of economic judgement.Furthermore, we show how our approach allows to identify all the shocks using a Monte Carlo study. In some cases, the method can turn out to be more significant when the amount of tail events are relevant. Therefore, the frequency of the series and the degree of non-normality are relevant to achieve accurate identification.Finally, we apply our method to two different VAR, all estimated on US data: i) a monthly trivariate model which studies the effects of oil market shocks, and finally ii) a VAR that focuses on the interaction between monetary policy and the stock market. In the first case, we validate the results obtained in the economic literature. In the second case, we cannot confirm the validity of an identification scheme based on combination of short and long run restrictions which is used in part of the empirical literature.Chapter III :Nowcasting NorwayThe third chapter consists in predictions of Norwegian Mainland GDP. Policy institutions have to decide to set their policies without knowledge of the current economic conditions. We estimate a Bayesian dynamic factor model (BDFM) on a panel of macroeconomic variables (all followed by market operators) from 1990 until 2011.First, the BDFM is an extension to the Bayesian framework of the dynamic factor model (DFM). The difference is that, compared with a DFM, there is more dynamics in the BDFM introduced in order to accommodate the dynamic heterogeneity of different variables. How- ever, in order to introduce more dynamics, the BDFM requires to estimate a large number of parameters, which can easily lead to volatile predictions due to estimation uncertainty. This is why the model is estimated with Bayesian methods, which, by shrinking the factor model toward a simple naive prior model, are able to limit estimation uncertainty.The second aspect is the use of a small dataset. A common feature of the literature on DFM is the use of large datasets. However, there is a literature that has shown how, for the purpose of forecasting, DFMs can be estimated on a small number of appropriately selected variables.Finally, through a pseudo real-time exercise, we show that the BDFM performs well both in terms of point forecast, and in terms of density forecasts. Results indicate that our model outperforms standard univariate benchmark models, that it performs as well as the Bloomberg Survey, and that it outperforms the predictions published by the Norges Bank in its monetary policy report. / Doctorat en Sciences économiques et de gestion / info:eu-repo/semantics/nonPublished
|
Page generated in 0.0882 seconds