[pt] O estudo de séries temporais desempenha um papel fundamental no processo de tomada de decisão, dando origem a inúmeras metodologias ao longo do tempo. Dentro desse contexto, os modelos score-driven surgem como uma abordagem flexível e interpretável. No entanto, devido ao número significativo de parâmetros envolvidos, o processo de estimação desses modelos tende a ser complexo. Para lidar com essa complexidade, este estudo tem como objetivo avaliar como a adoção de técnicas modernas de otimização impacta o desempenho final do modelo. Além de simplificar o processo de estimação de parâmetros, essa mudança de paradigma permite a integração de novas técnicas, como a otimização robusta, na formulação do modelo, potencialmente aprimorando seu desempenho. O pacote SDUC.jl, que facilita o ajuste e a previsão de modelos impulsionados por escores com base em componentes não observáveis usando técnicas modernas de otimização, representa uma das principais contribuições deste estudo. Ao utilizar séries temporais conhecidas para ilustrar sua funcionalidade e dados mensais de carga elétrica do sistema brasileiro, o estudo foi capaz de demonstrar a flexibilidade do pacote e seu desempenho robusto, mesmo durante períodos de mudança de regime nos dados, graças à aplicação de técnicas de robustez. / [en] The study of time series plays a pivotal role in the decision-making process, giving rise to numerous methodologies over time. Within this context, score-driven models emerge as a flexible and interpretable approach. However, due to the significant number of parameters involved, the estimation process for these models tends to be complex. To address this complexity, this study aims to evaluate how the adoption of modern optimization techniques impacts the final performance of the model. Beyond simplifying the parameter estimation process, this shift in paradigm allows for the integration of new techniques, such as robust optimization, into the model formulation, thereby potentially enhancing its performance. The SDUC.jl package, which facilitates the adjustment and prediction of score-driven models based on unobservable components using modern optimization techniques, represents one of the main contributions of this study. By utilizing well-known time series to illustrate its functionality and monthly electrical load data from the Brazilian system, the study was able to demonstrate the flexibility of the package and its robust performance, even during periods of regime change in the data, thanks to the application of robustness techniques.

[pt] A metodologia Box & Jenkins tem sido mais utilizada para fazer previsões do que outros métodos até então. Alguns analistas têm relutado, entretanto, em usar esta metodologia, em parte porque a identificação da estrutura adequada é uma tarefa complexa. O reconhecimento tanto dos padrões de comportamento das funções de autocorrelação quanto da autocorrelação parcial (teórica/estimada) dependem da série temporal através da qual é possível extraí-las. Uma vez obtidos os resultados, pode-se inferir qual o tipo de estrutura Box & Jenkins adequada para a série. A proposta do trabalho é desenvolver três novas metodologias de identificação automática das estruturas Box & Jenkins ARMA simples e/ou sazonais, identificar os filtros sazonal e linear da série de uma forma menos complexa. A primeira metodologia utiliza árvores de decisão, a segunda, redes neurais e a terceira, K-Nearest Neighbor (KNN). A estas metodologias serão utilizadas as estruturas Box & Jenkins sazonais de períodos 3, 4, 6 e 12 e não sazonais. Os resultados são aplicados a séries simuladas, bem como a séries reais. Como comparação, utilizou-se o método automático de identificação proposto no software FPW-XE. / [en] The Box & Jenkins is the most popular forecasting technique. However, some researchers have not embraced it because the identification of its structure is highly complex. The process of proper characterizing the properties of both autocorrelation functions and partial correlation (theoretical or estimated) depends on the time series from which they are being obtained. Given the results in question, it is possible to infer the proper Box & Jenkins structure for the time series being studied. For the reasons above, the goal of this dissertation is to develop three new methodologies to identifying, in an automatic fashion, the Box & Jenkins structure of an ARMA series. The methodologies identify, in a simpler manner, both the seasonal and linear filters of the series. The first methodology applies the decision tree. The second applies the neural networks. The third applies the K-Nearest Neighbor (KNN). In each of them the Box & Jenkins seasonal structures of 3, 4, 6 and 12 periods were used, as well as the nonseasonal structure. The results are applied to simulated and actual series. For comparison purposes, the automatic identification procedure of the software FPW-XE is also used.

[pt] Identificar o modelo de um reservatório é o primeiro passo para interpretar corretamente os dados gerados em um teste de poços e desta forma estimar os parâmetros relacionados a esse modelo. O objetivo deste trabalho é de forma inversa, utilizar as curvas de pressão obtidas em um teste de poços, para identificar o modelo de um reservatório. Como os dados obtidos em um teste de poços podem ser ordenados ao longo do tempo, nossa abordagem será reduzir essa tarefa a um problema de classificação de séries temporais, onde cada modelo de reservatório representa uma classe. Para tanto, foi utilizada uma técnica chamada shapelet, que são subsequências de uma série temporal que representam uma classe. A partir disso, foi construído um novo feature space, onde foi medida a distância entre cada série temporal e as shapelets de cada classe. Então foi criado um comitê de votação utilizando os modelos k-nearest neighbors, decision tree, random forest, support vector machines, perceptron, multi layer perceptron e adaboost. Foram testados os pré-processamentos standard scaler, normalizer, robust scaler, power transformer and quantile transformer. Então a classificação foi feita no novo feature space pré-processado. Geramos 10 modelos de reservatório multiclass analíticos para validação. Os resultados revelam que o uso de modelos clássicos de aprendizado de máquina com shapelets, usando os pré-processamentos normalizer e quantile trasformer alcança resultados sólidos na identificação dos modelos de reservatório. / [en] Identifying a reservoir model is the first step to correctly interpret the data generated in a well-test and hence to estimate the related parameters to this model. The goal of this work is inversely to use the pressure curves, obtained in a well-test, to identify a reservoir model. Since the data obtained in a well-test can be ordered over time, we reduce this task to a problem of time series classification, where every reservoir model represents a class. For that purpose, we used a technique called shapelets, which are times series subsequences that represent a class. From that, a new feature space was built, where we measured the distance between every time series and the shapelets of every class. Then we created an ensemble using the models k-nearest neighbors, decision tree, random forest, support vector machines, perceptron, multi-layer perceptron, and adaboost. The preprocessings standard scaler, normalizer, robust scaler, power transformer, and quantile transformer were tested. Then the classification was performed on the new preprocessed feature space. We generated 10 analytical multiclass reservoir models for validation. The results reveal that the use of classical machine learning models with shapelets, using the normalizer and quantile transformer preprocessing, reaches solid results on the identification of reservoir models.

[pt] O objetivo desta tese é apresentar modelos mais flexíveis com troca de regimes, combinando as idéias provenientes dos modelos com limiar, com transição suave e redes neurais. Os modelos aqui discutidos possuem múltiplos regimes e a transição entre eles é controlada por uma combinação linear de variáveis conhecidas. Um procedimento de modelagem, baseada no trabalho de Teräsvirta e Lin (1993), Eiterheim e Teräsvirta (1996), e Rech, Teräsvirta e Tschernig (1999), consistindo das etapas de especificação, estimação e avaliação, foi desenvolvido, desta forma possibilitando ao analista de séries temporais escolher entre diferentes alternativas durante o processo de modelagem. / [en] The goal of this thesis is to propose more flexible regime-switching models combining the ideas from the SETAR, STAR, and ANN specifications. The models discussed in this thesis are models with multi-regimes and with the transition between regimes controlled by a linear combination of known variables. A modelling cycle procedure, based on the work of Teräsvirta and Lin (1993), Eitrheim and Teräsvirta (1996), and Rech, Teräsvirta and Tschernig (1999), consisting of the stages of model specification, parameter estimation, and model evaluation, is developed allowing the practitioner to choose among different alternatives during the modelling cycle. Monte-Carlo simulations and real applications are used to evaluate the performance of the techniques developed here and they suggested that the theory is useful and the proposed models thus seems to be an effective tool for the practicing time series analysts.

[pt] A presente pesquisa tem como foco o desenvolvimento de abordagens híbridas que combinam algoritmos de aprendizado de máquina baseados em conjuntos (ensembles) e técnicas de modelagem e previsão de séries temporais. A pesquisa também inclui o desenvolvimento de heurísticas inteligentes de seleção, isto é, procedimentos capazes de selecionar, dentre o pool de preditores originados por meio dos métodos de conjunto, aqueles com os maiores potenciais de originar previsões agregadas mais acuradas. A agregação de funcionalidades de diferentes métodos visa à obtenção de previsões mais acuradas sobre o comportamento de uma vasta gama de eventos/séries temporais. A tese está dividida em uma sequência de ensaios. Como primeiro esforço, propôsse um método alternativo de geração de conjunto de previsões, o que resultou em previsões satisfatórias para certos tipos de séries temporais de consumo de energia elétrica. A segunda iniciativa consistiu na proposição de uma nova abordagem de previsão combinando algoritmos de Bootstrap Aggregation (Bagging) e técnicas de regularização para se obter previsões acuradas de consumo de gás natural e de abastecimento de energia em diferentes países. Uma nova variante de Bagging, na qual a construção do conjunto de classificadores é feita por meio de uma reamostragem de máxima entropia, também foi proposta. A terceira contribuição trouxe uma série de inovações na maneira pela qual são conduzidas as rotinas de seleção e combinação de modelos de previsão. Os ganhos em acurácia oriundos dos procedimentos propostos são demonstrados por meio de um experimento extensivo utilizando séries das Competições M1, M3 e M4. / [en] This research focuses on the development of hybrid approaches that combine ensemble-based supervised machine learning techniques and time series methods to obtain accurate forecasts for a wide range of variables and processes. It also includes the development of smart selection heuristics, i.e., procedures that can select, among the pool of forecasts originated via ensemble methods, those with the greatest potential of delivering accurate forecasts after aggregation. Such combinatorial approaches allow the forecasting practitioner to deal with different stylized facts that may be present in time series, such as nonlinearities, stochastic components, heteroscedasticity, structural breaks, among others, and deliver satisfactory forecasting results, outperforming benchmarks on many occasions. The thesis is divided into a series of essays. The first endeavor proposed an alternative method to generate ensemble forecasts which delivered satisfactory forecasting results for certain types of electricity consumption time series. In a second effort, a novel forecasting approach combining Bootstrap aggregating (Bagging) algorithms, time series methods and regularization techniques was introduced to obtain accurate forecasts of natural gas consumption and energy supplied series across different countries. A new variant of Bagging, in which the set of classifiers is built by means of a Maximum Entropy Bootstrap routine, was also put forth. The third contribution brought a series of innovations to model selection and model combination in forecasting routines. Gains in accuracy for both point forecasts and prediction intervals were demonstrated by means of an extensive empirical experiment conducted on a wide range of series from the M- Competitions.

[pt] A previsão de movimentos futuros para o mercado de ações é conhecidamente uma tarefa difícil de ser satisfatoriamente realizada. Além disso, a própria possibilidade desta previsão é constantemente questionada na literatura. O estudo presente investiga se essa dificuldade poderia ser amenizada escolhendo janelas específicas de tempo, onde uma dinâmica mais evidente prevaleça, e se a identificação desses períodos pode ser aprendida através de dados passados. Um framework é proposto para tratar desses problemas. Esse framework é nomeado de Predictability Crawler (P-Craw). A proposta usa rotinas de otimização como o Particle Swarm Optimization (PSO) e Algorítimos Genéticos (GA) para selecionar sub-conjuntos de dados históricos onde modelos de aprendizado estatístico possam ser treinados de forma mais eficiente. Para validar a acurácia do método, este é testado em dois diferentes conjuntos de dados. Primeiro, simulações com diferentes níveis de ruído são geradas. Nelas, o P-Craw é capaz de identificar os subconjuntos ótimos em cenários com 20 por cento a 100 por cento de amostras previsíveis. Por fim, dados de transações intradiárias da bolsa de valores brasileira (BOVESPA) são agregados e processados uma matrix de variáveis de entrada e um vetor de previsões. Quando o P-Craw é testado contra o método usual de treinar os modelos em todo conjunto histórico disponível nos dados da BOVESPA, o framework é capaz de aumentar significativamente o número de vezes que o modelo acerta a direção do movimento do preço das ações, enquanto consegue chegar a reduzir em até 19 por cento o erro médio absoluto da tarefa. / [en] Predicting stock movements in the market its known to be an extremely difficult task. More than that, the predictability of the series itself is a controversial matter. The present study investigates if this difficulty could be alleviated by choosing specific windows of time where a more structured dynamic prevails, and whether the identification of those moments could be learned from past data. In order to do that, a novel framework is proposed. This framework is called the Predictability Crawler (P-Craw). It uses optimizations routines such as the Particle Swarm Optimization (PSO) or Genetic Algorithms (GA) to select subsets of historical data where statistical learning algorithms can be more efficiently trained. To access the accuracy of the method, it is tested against two different datasets. First, simulated data with varying percentage of noise is generated and used. In the simulations, The P-Craw is able to reliably identify the optimal subsets in scenarios ranging from 20 percent to 100 percent of predictable samples in the data. Second, intraday data from the Brazilian stocks exchange (BOVESPA) is collected and aggregated into feature and target matrices. When benchmarked against training with the whole samples in the BOVESPA data, the framework is able to significantly raise the correct directional changes of the trained models while reducing the Mean Absolute Error in up to 19 percent.

[pt] Em um mundo globalizado, em contínua transformação, são cada vez mais freqüentes mudanças no perfil da demanda. Se não detectadas rapidamente, elas podem gerar impactos negativos no progresso de um negócio devido à baixa qualidade nas previsões de venda, que começam a gerar valores sistematicamente acima ou abaixo da demanda real indicando a presença de viés. Para evitar esse cenário, técnicas formais para detecção de viés podem ser incorporadas ao processo de previsão de demanda. Diante desse quadro, a presente dissertação compara os desempenhos, via simulação, das principais técnicas formais de detecção de viés em previsão de demanda presentes na literatura. Nesse sentido, seis técnicas são identificadas e analisadas. Quatro são baseadas em estatísticas Tracking Signal e duas são adaptadas de técnicas de Controle Estatístico de Processos. Os modelos de previsão de demanda monitorados pelas técnicas em questão são os de séries temporais estruturadas, associados ao método de amortecimento exponencial simples e ao método de Holt, respectivamente, para séries com nível médio constante e séries com tendência. Três tipos de alterações no perfil da demanda – que acarretam em viés na previsão – são examinados. O primeiro consiste em mudanças no nível médio em séries temporais de nível médio constante. O segundo tipo também considera séries temporais de nível médio constante, porém com o foco em surgimentos de tendências. O terceiro viés consiste em mudanças na tendência em series temporais com tendência pré-incorporada. Entre os resultados obtidos, destaca-se a conclusão de que, para a maioria das situações estudadas, as técnicas baseadas nas estatísticas Tracking Signal possuem desempenho superior às demais técnicas com relação à eficiência na detecção de viés. / [en] In a globalized world, in continuous transformation, changes in the demand pattern are increasingly frequent. If not rapidly detected, they can have a negative and persistent impact in the wellbeing of a business due to continuously poor quality sales forecasts, which begin to generate values systematically above or below the actual demand indicating the presence of bias. To avoid this happening, statistical techniques can be incorporated in a prediction process with the objective known as bias detection in demand forecasting. Considering this situation, the present dissertation compares, through simulation, the efficiency performance of the main existing formal techniques of monitoring demand forecasting models, with the view of bias detection. Six of such techniques are identified and analyzed in this work. Four are based on Tracking Signal Statistics and two are adapted from the Statistical Process Control approach. The demand forecasting models monitored by the techniques in question can be classified as structured time series, for a constant level or trend pattern, and using both the simple exponential smoothing and the Holt s methods. Three types of changes in the demand pattern - which result in biased prediction - are examined. The first one focus on simulated changes on the average level of various constant times series. The second type also considered various constant times series, but now simulating the appearance of different trends. And the third refers to simulate changes in trends in various times series with pre-established trends. Among the results attained, one stands out: the techniques based on Tracking Signal Statistics - when compares to other methods - showed superior performance insofar as efficient bias detection in demand forecasting.

[pt] A previsão de carga é considerada uma poderosa ferramenta no controle e planejamento de sistemas elétricos. Um grande número de pesquisadores têm sugerido, recentemente, diversas técnicas para previsão de carga a curto prazo. Este trabalho estuda a aplicabilidade de modelos lineares. O trabalho pretende ser uma base para uma aplicação real de previsão. Os modelos foram desenvolvidos e testados com dados reais de carga de uma empresa de eletricidade situada no sudeste de Brasil. Todos os modelos são propostos para dados secionais, isto é, a série de carga de cada hora é estudada separadamte como uma série única. Esta abordagem evita a modelagem de padrões intra-dia (perfil da carga) complexos apresentados pela série de carga, que variam durante os dias da semana e nas estações. Três modelos são estudados, primeiro um modelo um modelo SARIMA ajustado por variáveis binárias DASARIMA, adotado como modelo de referência, o segundo um modelo em duas etapas que considera a existência de componentes determinísticos para modelar a tendência, a sazonalidade e os efeitos do calendário, denominado modelo autorregressivo sazonal em dois níveis - TLSAR; e o último um modelo de de memória longa generalizada ajustado por variáveis binárias - DAGLM. Os resultados dos ensaios mostraram que os modelos horários são bem apropriados para uma aplicação de previsão. Os erros de previsão, das duas últimas abordagens, são menores que os do modelo de referência, DASARIMA. O trabalho sugere que este tipo de modelos horários devem ser testados mais completamente a fim de fornecer uma opinião final sobre sua aplicabilidade. / [en] Load forecasting has been considered a powerful tool in managing and planning power systems. Several tecniques have been recently suggested for short-term load forecasting by a large number of researchers. This work studies the applicability of linear models in the area is intended to be a basis for a real forecasting application. The models were developed and tested on the real load data of a utility company located in the southeast of Brazil. All models are proposed for sectional data, that is, each hour's load is studied separately as a single series. This approach avoids modeling the intricate intra-day pattern (load profile) displayed by the load, wich varies throughout days of the week and seasons. Three models are studied, the first one a Dummy-Adjusted Seasonal Integrated Autoregressive Moving Average model - DASARIMA, acting as a benchmark, the second a two-step modeling that makes use of deterministic components to model trend, seasonality and calendar effects, called Two-Level Seasonal Autoregressive model - TLSAR; and the last one a Dummy-Adjusted Generalized Long Memory model - DAGLM. The test results showed that the hourly models are well suitable for forecasting application. The forecasting errors of the last two approaches were smaller than those of the DASARIMA benchmark. The work suggests that this kind of hourly models should be implemented in a through on-line testing in order to provide a final opinion on its applicability.

[pt] Esta dissertação apresenta o SARIMAX.jl, um pacote em Julia projetado para estimação de séries temporais. A principal contribuição deste trabalho é a dissociação da formulação do modelo do processo de estimação, permitindo a seleção do método de estimação mais apropriado para cada situação específica. O SARIMAX.jl emprega técnicas avançadas de otimização para aprimorar a estabilidade, robustez e precisão na modelagem de processos SARIMA. O pacote também oferece flexibilidade ao permitir que os usuários incorporem regularização e alterem as funções objetivo. Por meio de um estudo comparativo, o SARIMAX.jl demonstra um desempenho superior em várias métricas de amostra e um desempenho competitivo em comparação com o pacote R forecast nas séries mensais da competição M4, estabelecendo-se como uma opção confiável e de código aberto para modelagem de séries temporais. Além disso, esta dissertação propõe uma abordagem de otimização inteira mista para a especificação e estimação de um subconjunto específico de modelos SARIMA, conhecidos como modelos autorregressivos integrados sazonais (SARI). Esta abordagem garante a optimalidade global na estimação de parâmetros e na especificação da ordem de integração e da parte autorregressiva. / [en] This dissertation introduces SARIMAX.jl, a Julia package designed for time series estimation. The primary contribution of this work is the separation of model formulation from the estimation process, which allows for the selection of the most appropriate estimation method for each specific situation. SARIMAX.jl employs advanced optimization techniques to enhance stability, robustness, and accuracy in modeling SARIMA processes. The package also offers flexibility by allowing users to incorporate regularization and switch objective functions. Through a comparative study, SARIMAX.jl demonstrates superior performance across various in-sample metrics and competitive performance when compared to the R forecast package in the M4 competition monthly series, establishing it as a reliable open-source option for time series modeling. Additionally, this dissertation proposes a mixed-integer optimization approach for the specification and estimation of a specific subset of SARIMA models, known as seasonal autoregressive integrated (SARI) models. This approach guarantees global optimality in parameter estimation and the specification of the integration order and autoregressive part.

[pt] Uma das principais preocupações mundiais atualmente está relacionada às questões ambientais. Essa preocupação é considerada na seleção de projetos de energia e, como resultado, a geração de energia elétrica a partir de fontes renováveis tem experimentado um forte crescimento em todo o mundo, incluindo o Brasil. Em relação às fontes de energia hidrelétrica, as Pequenas Centrais Hidrelétricas (PCHs) são uma alternativa para reduzir o impacto ambiental. Esses projetos produzem entre 5 e 30 megawatts (MW) e sua instalação tem um baixo custo e respeito ao meio ambiente, principalmente por não existir necessidade de reservatórios de regulação, o que não é o caso de grandes usinas hidrelétricas. Nos últimos anos, o número de PCHs tem aumentado bastante, como consequência dos incentivos para geração de eletricidade a partir de fontes renováveis. Como a geração de energia hidrelétrica é fortemente influenciada por regimes hidrológicos, especialmente no caso de usinas a fio d água como as PCHs, melhorar a assertividade das previsões de geração de energia elétrica de maneira estocástica torna-se altamente importante para as distribuidoras. Esta dissertação tem como principal objetivo apresentar o desempenho de um grupo de modelos de previsão aplicados para PCHs de uma distribuidora real de energia elétrica. Para isso foram utilizadas diferentes abordagens, incluindo dados de vazão de usinas hidrelétricas vizinhas como variável explicativa em modelos causais, assim como também modelos univariados. / [en] One of the main world concerns nowadays is related to the environment issues. Such concern is considered in the selection of energy projects and, as a result of that, the generation of electricity from renewable sources has experienced a sharp growth all over the world, Brazil included. Concerning hydropower sources, Small Hydropower Plants (SHPs) are an alternative to reduce environmental impact. These projects produce between 5 and 30 megawatts (MW) and its installation has a low cost and respect to the environment, mainly because there is no need of regulation reservoirs, which is not the case in bigger hydroelectric plants. In recent years the number of SHPs is increasing in a great deal, as a consequence of the incentives to generate electricity from renewable sources. Since hydro power generation is heavily influenced by hydrological regimes, especially in the case of run-of-river plants, as SHPs, improving the assertiveness of electric power generation forecasts in a stochastic way becomes highly important for distributing utilities. This master dissertation has as main objective to present the performance of an arrange of forecasting models applied to SHPs of a real distributing utility. It was used different approaches, including inflow data from neighboring hydro plants as exogenous variable, in causal models and also univariate models.