Soft methods of artificial intelligence are often used in the prediction of non-deterministic time series that cannot be modeled using standard econometric methods. These series, such as occur in finance, often undergo changes to their underlying data generation process resulting in inaccurate approximations or requiring additional human judgment and input in the process, hindering the potential for automated solutions. Genetic programming (GP) is a class of nature-inspired algorithms that aims to evolve a population of computer programs to solve a target problem. GP has been applied to time series prediction in finance and other domains. However, most GP-based approaches to these prediction problems do not consider regime change. This paper introduces two new genetic programming modularity techniques, collectively referred to as automatically defined templates, which better enable prediction of time series involving regime change. These methods, based on earlier established GP modularity techniques, take inspiration from software design patterns and are more closely modeled after the way humans actually develop software. Specifically, a regime detection branch is incorporated into the GP paradigm. Regime specific behavior evolves in a separate program branch, implementing the template method pattern. A system was developed to test, validate, and compare the proposed approach with earlier approaches to GP modularity. Prediction experiments were performed on synthetic time series and on the S&P 500 index. The performance of the proposed approach was evaluated by comparing prediction accuracy with existing methods. One of the two techniques proposed is shown to significantly improve performance of time series prediction in series undergoing regime change. The second proposed technique did not show any improvement and performed generally worse than existing methods or the canonical approaches. The difference in relative performance was shown to be due to a decoupling of reusable modules from the evolving main program population. This observation also explains earlier results regarding the inferior performance of genetic programming techniques using a similar, decoupled approach. Applied to financial time series prediction, the proposed approach beat a buy and hold return on the S&P 500 index as well as the return achieved by other regime aware genetic programming methodologies. No approach tested beat the benchmark return when factoring in transaction costs.

Em um ambiente de computação em nuvem, as empresas têm a capacidade de alocar recursos de acordo com a demanda. No entanto, há um atraso que pode levar alguns minutos entre o pedido de um novo recurso e o mesmo estar pronto para uso. Por esse motivo, as técnicas reativas, que solicitam um novo recurso apenas quando o sistema atinge um determinado limiar de carga, não são adequadas para o processo de alocação de recursos. Para resolver esse problema, é necessário prever as requisições que chegam ao sistema, no próximo período de tempo, para alocar os recursos necessários antes que o sistema fique sobrecarregado. Existem vários modelos de previsão de séries temporais para calcular as previsões de carga de trabalho com base no histórico de dados de monitoramento. No entanto, é difícil saber qual é o melhor modelo de previsão a ser utilizado em cada caso. A tarefa se torna ainda mais complicada quando o usuário não tem muitos dados históricos a serem analisados. A maioria dos trabalhos relacionados, considera apenas modelos de previsão isolados para avaliar os resultados. Outros trabalhos propõem uma abordagem que seleciona modelos de previsão adequados para um determinado contexto. Mas, neste caso, é necessário ter uma quantidade significativa de dados para treinar o classificador. Além disso, a melhor solução pode não ser um modelo específico, mas sim uma combinação de modelos. Neste trabalho propomos um método de previsão adaptativo, usando técnicas de otimização multiobjetivo, para combinar modelos de previsão de séries temporais. O nosso método não requer uma fase prévia de treinamento, uma vez que se adapta constantemente a medida em que os dados chegam ao sistema. Para avaliar a nossa proposta usamos quatro logs extraídos de servidores reais. Os resultados mostram que a nossa proposta frequentemente converge para o melhor resultado, e é suficientemente genérica para se adaptar a diferentes tipos de séries temporais. / In a cloud computing environment, companies have the ability to allocate resources according to demand. However, there is a delay that may take minutes between the request for a new resource and it is ready for using. The reactive techniques, which request a new resource only when the system reaches a certain load threshold, are not suitable for the resource allocation process. To address this problem, it is necessary to predict requests that arrive at the system in the next period of time to allocate the necessary resources, before the system becomes overloaded. There are several time-series forecasting models to calculate the workload predictions based on history of monitoring data. However, it is difficult to know which is the best time series forecasting model to be used in each case. The work becomes even more complicated when the user does not have much historical data to be analyzed. Most related work considers only single methods to evaluate the results of the forecast. Other work propose an approach that selects suitable forecasting methods for a given context. But in this case, it is necessary to have a significant amount of data to train the classifier. Moreover, the best solution may not be a specific model, but rather a combination of models. In this work we propose an adaptive prediction method using multi-objective optimization techniques to combine time-series forecasting models. Our method does not require a previous phase of training, because it constantly adapts the extent to which the data is coming. To evaluate our proposal we use four logs extracted from real servers. The results show that our proposal often brings the best result, and is generic enough to adapt to various types of time series.

Earthquakes, floods, rainfall represent a class of nonlinear systems termed chaotic, in which the relationships between variables in a system are dynamic and disproportionate, however completely deterministic. Classical linear time series models have proved inadequate in analysis and prediction of complex geophysical phenomena. Nonlinear approaches such as Artificial Neural Networks, Hidden Markov Models and Nonlinear Prediction are useful in forecasting of daily discharge values in a river. The focus of these methods is on forecasting magnitudes of future discharge values and not the prediction of floods. Chaos theory provides a structured explanation for irregular behavior and anomalies in systems that are not inherently stochastic. Time Series Data Mining methodology combines chaos theory and data mining to characterize and predict complex, nonperiodic and chaotic time series. Time Series Data Mining focuses on the prediction of events.

Este trabalho introduz novos algoritmos de redes neurais para o processamento online de padrões espaço-temporais, estendendo o algoritmo Incremental Gaussian Mixture Network (IGMN). O algoritmo IGMN é uma rede neural online incremental que aprende a partir de uma única passada através de dados por meio de uma versão incremental do algoritmo Expectation-Maximization (EM) combinado com regressão localmente ponderada (Locally Weighted Regression, LWR). Quatro abordagens diferentes são usadas para dar capacidade de processamento temporal para o algoritmo IGMN: linhas de atraso (Time-Delay IGMN), uma camada de reservoir (Echo-State IGMN), média móvel exponencial do vetor de entrada reconstruído (Merge IGMN) e auto-referência (Recursive IGMN). Isso resulta em algoritmos que são online, incrementais, agressivos e têm capacidades temporais e, portanto, são adequados para tarefas com memória ou estados internos desconhecidos, caracterizados por fluxo contínuo ininterrupto de dados, e que exigem operação perpétua provendo previsões sem etapas separadas para aprendizado e execução. Os algoritmos propostos são comparados a outras redes neurais espaço-temporais em 8 tarefas de previsão de séries temporais. Dois deles mostram desempenhos satisfatórios, em geral, superando as abordagens existentes. Uma melhoria geral para o algoritmo IGMN também é descrita, eliminando um dos parâmetros ajustáveis manualmente e provendo melhores resultados. / This work introduces novel neural networks algorithms for online spatio-temporal pattern processing by extending the Incremental Gaussian Mixture Network (IGMN). The IGMN algorithm is an online incremental neural network that learns from a single scan through data by means of an incremental version of the Expectation-Maximization (EM) algorithm combined with locally weighted regression (LWR). Four different approaches are used to give temporal processing capabilities to the IGMN algorithm: time-delay lines (Time-Delay IGMN), a reservoir layer (Echo-State IGMN), exponential moving average of reconstructed input vector (Merge IGMN) and self-referencing (Recursive IGMN). This results in algorithms that are online, incremental, aggressive and have temporal capabilities, and therefore are suitable for tasks with memory or unknown internal states, characterized by continuous non-stopping data-flows, and that require life-long learning while operating and giving predictions without separated stages. The proposed algorithms are compared to other spatio-temporal neural networks in 8 time-series prediction tasks. Two of them show satisfactory performances, generally improving upon existing approaches. A general enhancement for the IGMN algorithm is also described, eliminating one of the algorithm’s manually tunable parameters and giving better results.

O presente trabalho trata da criação de uma nova abordagem para predição de séries temporais ruidosas, com modelo desconhecido e que apresentam grandes não-linearidades. O novo método neuro-estatístico proposto combina uma rede neural de múltiplas camadas com o método estatístico Filtro de Kalman Estendido. A justificativa para a junção dessas abordagens é o fato de possuírem características complementares para o tratamento das peculiaridades das séries descritas. Quanto ao ruído, o FKE consegue minimizar a sua influência, trabalhando com a variância do ruído extraído dos dados reais. Quanto ao modelo gerador da série, as redes neurais aproximam a sua função, aprendendo a partir de amostras dos próprios dados. Grandes não-linearidades também são tratadas pelas RNs. O método neuro-estatístico segue a estrutura do FKE, utilizando a RN como processo preditivo. Com isso, elimina-se a necessidade de conhecimento prévio da função de transição de estados. O poder de tratamento de não-linearidades da RN é mantido, utilizando-se a previsão desta como estimativa de estado e os seus valores internos para cálculo das jacobianas do FKE. As matrizes de covariâncias dos erros de estimativa e dos ruídos são utilizadas para melhora do resultado obtido pela RN. A rede é treinada com um conjunto de dados retirado do histórico da série, de maneira off-line, possibilitando o uso de poderosas estruturas de redes de múltiplas camadas. Os resultados do método neuro-estatístico são comparados com a mesma configuração de RN utilizada em sua composição, sendo ambos aplicados na série caótica de Mackey-Glass e em uma série combinada de senos. Ambas séries possuem grandes não-linearidades e são acrescidas de ruído. O novo método alcança resultados satisfatórios, melhorando o resultado da RN em todos os experimentos. Também são dadas contribuições no ajuste dos parâmetros do FKE, utilizados no novo método. O método híbrido proporciona uma melhora mútua entre a RN e o FKE, explicando os bons resultados obtidos. / This work presents a new forecast method over highly nonlinear noisy time series. The neural statistical method uses a multi-layer perceptron (NN) and the Extended Kalman Filter (EKF). The justification for the combination of these approaches is that they possess complementary characteristics for the treatment of the peculiarities of the series. The EKF minimizes the influence of noise, working with the variance of the noise obtained from the real data. The NN approximates the generating model’s function. High nonlinearities are also treated by the neural network. The neural statistical method follows the structure of the EKF, using the NN as the predictive process. Thus, it isn’t necessary previous knowledge of the state transition function. The power of treatment of nonlinearities of the NN is kept, using forecast of this as estimative of state and its internal values for calculation of the Jacobian matrix of the EKF. The error estimative covariance and the noise covariance matrixes are used to improve the NN outcome. The NN is trained offline by past observations of the series, which enable the use of powerfuls neural networks. The results of the neural statistical method are compared with the same configuration of NN used in its composition, being applied in the chaotic series of Mackey-Glass and an sine mistures series. Both series are noisy and highly nonlinear. The new method obtained satisfactory result, improving the result of the regular NN in all experiments. The method also contributes in the adjustment of the parameters of the EKF. The hybrid method has a mutual improvement between the NN and the EKF, which explains the obtained good results.

O presente trabalho trata da criação de uma nova abordagem para predição de séries temporais ruidosas, com modelo desconhecido e que apresentam grandes não-linearidades. O novo método neuro-estatístico proposto combina uma rede neural de múltiplas camadas com o método estatístico Filtro de Kalman Estendido. A justificativa para a junção dessas abordagens é o fato de possuírem características complementares para o tratamento das peculiaridades das séries descritas. Quanto ao ruído, o FKE consegue minimizar a sua influência, trabalhando com a variância do ruído extraído dos dados reais. Quanto ao modelo gerador da série, as redes neurais aproximam a sua função, aprendendo a partir de amostras dos próprios dados. Grandes não-linearidades também são tratadas pelas RNs. O método neuro-estatístico segue a estrutura do FKE, utilizando a RN como processo preditivo. Com isso, elimina-se a necessidade de conhecimento prévio da função de transição de estados. O poder de tratamento de não-linearidades da RN é mantido, utilizando-se a previsão desta como estimativa de estado e os seus valores internos para cálculo das jacobianas do FKE. As matrizes de covariâncias dos erros de estimativa e dos ruídos são utilizadas para melhora do resultado obtido pela RN. A rede é treinada com um conjunto de dados retirado do histórico da série, de maneira off-line, possibilitando o uso de poderosas estruturas de redes de múltiplas camadas. Os resultados do método neuro-estatístico são comparados com a mesma configuração de RN utilizada em sua composição, sendo ambos aplicados na série caótica de Mackey-Glass e em uma série combinada de senos. Ambas séries possuem grandes não-linearidades e são acrescidas de ruído. O novo método alcança resultados satisfatórios, melhorando o resultado da RN em todos os experimentos. Também são dadas contribuições no ajuste dos parâmetros do FKE, utilizados no novo método. O método híbrido proporciona uma melhora mútua entre a RN e o FKE, explicando os bons resultados obtidos. / This work presents a new forecast method over highly nonlinear noisy time series. The neural statistical method uses a multi-layer perceptron (NN) and the Extended Kalman Filter (EKF). The justification for the combination of these approaches is that they possess complementary characteristics for the treatment of the peculiarities of the series. The EKF minimizes the influence of noise, working with the variance of the noise obtained from the real data. The NN approximates the generating model’s function. High nonlinearities are also treated by the neural network. The neural statistical method follows the structure of the EKF, using the NN as the predictive process. Thus, it isn’t necessary previous knowledge of the state transition function. The power of treatment of nonlinearities of the NN is kept, using forecast of this as estimative of state and its internal values for calculation of the Jacobian matrix of the EKF. The error estimative covariance and the noise covariance matrixes are used to improve the NN outcome. The NN is trained offline by past observations of the series, which enable the use of powerfuls neural networks. The results of the neural statistical method are compared with the same configuration of NN used in its composition, being applied in the chaotic series of Mackey-Glass and an sine mistures series. Both series are noisy and highly nonlinear. The new method obtained satisfactory result, improving the result of the regular NN in all experiments. The method also contributes in the adjustment of the parameters of the EKF. The hybrid method has a mutual improvement between the NN and the EKF, which explains the obtained good results.

Este trabalho introduz novos algoritmos de redes neurais para o processamento online de padrões espaço-temporais, estendendo o algoritmo Incremental Gaussian Mixture Network (IGMN). O algoritmo IGMN é uma rede neural online incremental que aprende a partir de uma única passada através de dados por meio de uma versão incremental do algoritmo Expectation-Maximization (EM) combinado com regressão localmente ponderada (Locally Weighted Regression, LWR). Quatro abordagens diferentes são usadas para dar capacidade de processamento temporal para o algoritmo IGMN: linhas de atraso (Time-Delay IGMN), uma camada de reservoir (Echo-State IGMN), média móvel exponencial do vetor de entrada reconstruído (Merge IGMN) e auto-referência (Recursive IGMN). Isso resulta em algoritmos que são online, incrementais, agressivos e têm capacidades temporais e, portanto, são adequados para tarefas com memória ou estados internos desconhecidos, caracterizados por fluxo contínuo ininterrupto de dados, e que exigem operação perpétua provendo previsões sem etapas separadas para aprendizado e execução. Os algoritmos propostos são comparados a outras redes neurais espaço-temporais em 8 tarefas de previsão de séries temporais. Dois deles mostram desempenhos satisfatórios, em geral, superando as abordagens existentes. Uma melhoria geral para o algoritmo IGMN também é descrita, eliminando um dos parâmetros ajustáveis manualmente e provendo melhores resultados. / This work introduces novel neural networks algorithms for online spatio-temporal pattern processing by extending the Incremental Gaussian Mixture Network (IGMN). The IGMN algorithm is an online incremental neural network that learns from a single scan through data by means of an incremental version of the Expectation-Maximization (EM) algorithm combined with locally weighted regression (LWR). Four different approaches are used to give temporal processing capabilities to the IGMN algorithm: time-delay lines (Time-Delay IGMN), a reservoir layer (Echo-State IGMN), exponential moving average of reconstructed input vector (Merge IGMN) and self-referencing (Recursive IGMN). This results in algorithms that are online, incremental, aggressive and have temporal capabilities, and therefore are suitable for tasks with memory or unknown internal states, characterized by continuous non-stopping data-flows, and that require life-long learning while operating and giving predictions without separated stages. The proposed algorithms are compared to other spatio-temporal neural networks in 8 time-series prediction tasks. Two of them show satisfactory performances, generally improving upon existing approaches. A general enhancement for the IGMN algorithm is also described, eliminating one of the algorithm’s manually tunable parameters and giving better results.

Este trabalho introduz novos algoritmos de redes neurais para o processamento online de padrões espaço-temporais, estendendo o algoritmo Incremental Gaussian Mixture Network (IGMN). O algoritmo IGMN é uma rede neural online incremental que aprende a partir de uma única passada através de dados por meio de uma versão incremental do algoritmo Expectation-Maximization (EM) combinado com regressão localmente ponderada (Locally Weighted Regression, LWR). Quatro abordagens diferentes são usadas para dar capacidade de processamento temporal para o algoritmo IGMN: linhas de atraso (Time-Delay IGMN), uma camada de reservoir (Echo-State IGMN), média móvel exponencial do vetor de entrada reconstruído (Merge IGMN) e auto-referência (Recursive IGMN). Isso resulta em algoritmos que são online, incrementais, agressivos e têm capacidades temporais e, portanto, são adequados para tarefas com memória ou estados internos desconhecidos, caracterizados por fluxo contínuo ininterrupto de dados, e que exigem operação perpétua provendo previsões sem etapas separadas para aprendizado e execução. Os algoritmos propostos são comparados a outras redes neurais espaço-temporais em 8 tarefas de previsão de séries temporais. Dois deles mostram desempenhos satisfatórios, em geral, superando as abordagens existentes. Uma melhoria geral para o algoritmo IGMN também é descrita, eliminando um dos parâmetros ajustáveis manualmente e provendo melhores resultados. / This work introduces novel neural networks algorithms for online spatio-temporal pattern processing by extending the Incremental Gaussian Mixture Network (IGMN). The IGMN algorithm is an online incremental neural network that learns from a single scan through data by means of an incremental version of the Expectation-Maximization (EM) algorithm combined with locally weighted regression (LWR). Four different approaches are used to give temporal processing capabilities to the IGMN algorithm: time-delay lines (Time-Delay IGMN), a reservoir layer (Echo-State IGMN), exponential moving average of reconstructed input vector (Merge IGMN) and self-referencing (Recursive IGMN). This results in algorithms that are online, incremental, aggressive and have temporal capabilities, and therefore are suitable for tasks with memory or unknown internal states, characterized by continuous non-stopping data-flows, and that require life-long learning while operating and giving predictions without separated stages. The proposed algorithms are compared to other spatio-temporal neural networks in 8 time-series prediction tasks. Two of them show satisfactory performances, generally improving upon existing approaches. A general enhancement for the IGMN algorithm is also described, eliminating one of the algorithm’s manually tunable parameters and giving better results.

O presente trabalho trata da criação de uma nova abordagem para predição de séries temporais ruidosas, com modelo desconhecido e que apresentam grandes não-linearidades. O novo método neuro-estatístico proposto combina uma rede neural de múltiplas camadas com o método estatístico Filtro de Kalman Estendido. A justificativa para a junção dessas abordagens é o fato de possuírem características complementares para o tratamento das peculiaridades das séries descritas. Quanto ao ruído, o FKE consegue minimizar a sua influência, trabalhando com a variância do ruído extraído dos dados reais. Quanto ao modelo gerador da série, as redes neurais aproximam a sua função, aprendendo a partir de amostras dos próprios dados. Grandes não-linearidades também são tratadas pelas RNs. O método neuro-estatístico segue a estrutura do FKE, utilizando a RN como processo preditivo. Com isso, elimina-se a necessidade de conhecimento prévio da função de transição de estados. O poder de tratamento de não-linearidades da RN é mantido, utilizando-se a previsão desta como estimativa de estado e os seus valores internos para cálculo das jacobianas do FKE. As matrizes de covariâncias dos erros de estimativa e dos ruídos são utilizadas para melhora do resultado obtido pela RN. A rede é treinada com um conjunto de dados retirado do histórico da série, de maneira off-line, possibilitando o uso de poderosas estruturas de redes de múltiplas camadas. Os resultados do método neuro-estatístico são comparados com a mesma configuração de RN utilizada em sua composição, sendo ambos aplicados na série caótica de Mackey-Glass e em uma série combinada de senos. Ambas séries possuem grandes não-linearidades e são acrescidas de ruído. O novo método alcança resultados satisfatórios, melhorando o resultado da RN em todos os experimentos. Também são dadas contribuições no ajuste dos parâmetros do FKE, utilizados no novo método. O método híbrido proporciona uma melhora mútua entre a RN e o FKE, explicando os bons resultados obtidos. / This work presents a new forecast method over highly nonlinear noisy time series. The neural statistical method uses a multi-layer perceptron (NN) and the Extended Kalman Filter (EKF). The justification for the combination of these approaches is that they possess complementary characteristics for the treatment of the peculiarities of the series. The EKF minimizes the influence of noise, working with the variance of the noise obtained from the real data. The NN approximates the generating model’s function. High nonlinearities are also treated by the neural network. The neural statistical method follows the structure of the EKF, using the NN as the predictive process. Thus, it isn’t necessary previous knowledge of the state transition function. The power of treatment of nonlinearities of the NN is kept, using forecast of this as estimative of state and its internal values for calculation of the Jacobian matrix of the EKF. The error estimative covariance and the noise covariance matrixes are used to improve the NN outcome. The NN is trained offline by past observations of the series, which enable the use of powerfuls neural networks. The results of the neural statistical method are compared with the same configuration of NN used in its composition, being applied in the chaotic series of Mackey-Glass and an sine mistures series. Both series are noisy and highly nonlinear. The new method obtained satisfactory result, improving the result of the regular NN in all experiments. The method also contributes in the adjustment of the parameters of the EKF. The hybrid method has a mutual improvement between the NN and the EKF, which explains the obtained good results.

Em um ambiente de computação em nuvem, as empresas têm a capacidade de alocar recursos de acordo com a demanda. No entanto, há um atraso que pode levar alguns minutos entre o pedido de um novo recurso e o mesmo estar pronto para uso. Por esse motivo, as técnicas reativas, que solicitam um novo recurso apenas quando o sistema atinge um determinado limiar de carga, não são adequadas para o processo de alocação de recursos. Para resolver esse problema, é necessário prever as requisições que chegam ao sistema, no próximo período de tempo, para alocar os recursos necessários antes que o sistema fique sobrecarregado. Existem vários modelos de previsão de séries temporais para calcular as previsões de carga de trabalho com base no histórico de dados de monitoramento. No entanto, é difícil saber qual é o melhor modelo de previsão a ser utilizado em cada caso. A tarefa se torna ainda mais complicada quando o usuário não tem muitos dados históricos a serem analisados. A maioria dos trabalhos relacionados, considera apenas modelos de previsão isolados para avaliar os resultados. Outros trabalhos propõem uma abordagem que seleciona modelos de previsão adequados para um determinado contexto. Mas, neste caso, é necessário ter uma quantidade significativa de dados para treinar o classificador. Além disso, a melhor solução pode não ser um modelo específico, mas sim uma combinação de modelos. Neste trabalho propomos um método de previsão adaptativo, usando técnicas de otimização multiobjetivo, para combinar modelos de previsão de séries temporais. O nosso método não requer uma fase prévia de treinamento, uma vez que se adapta constantemente a medida em que os dados chegam ao sistema. Para avaliar a nossa proposta usamos quatro logs extraídos de servidores reais. Os resultados mostram que a nossa proposta frequentemente converge para o melhor resultado, e é suficientemente genérica para se adaptar a diferentes tipos de séries temporais. / In a cloud computing environment, companies have the ability to allocate resources according to demand. However, there is a delay that may take minutes between the request for a new resource and it is ready for using. The reactive techniques, which request a new resource only when the system reaches a certain load threshold, are not suitable for the resource allocation process. To address this problem, it is necessary to predict requests that arrive at the system in the next period of time to allocate the necessary resources, before the system becomes overloaded. There are several time-series forecasting models to calculate the workload predictions based on history of monitoring data. However, it is difficult to know which is the best time series forecasting model to be used in each case. The work becomes even more complicated when the user does not have much historical data to be analyzed. Most related work considers only single methods to evaluate the results of the forecast. Other work propose an approach that selects suitable forecasting methods for a given context. But in this case, it is necessary to have a significant amount of data to train the classifier. Moreover, the best solution may not be a specific model, but rather a combination of models. In this work we propose an adaptive prediction method using multi-objective optimization techniques to combine time-series forecasting models. Our method does not require a previous phase of training, because it constantly adapts the extent to which the data is coming. To evaluate our proposal we use four logs extracted from real servers. The results show that our proposal often brings the best result, and is generic enough to adapt to various types of time series.