Um dos maiores desafios em Mineração de Dados é a integração da informação temporal ao seu processo. Esse fato tem desafiado profissionais de diferentes domínios de aplicação e recebido investimentos consideráveis da comunidade científica e empresarial. No contexto de predição de Séries Temporais, os investimentos se concentram no subsídio de pesquisas destinadas à adaptação dos métodos convencionais de Aprendizado de Máquina para a análise de dados na qual o tempo constitui um fator importante. À vista disso, neste trabalho é proposta uma nova extensão do algoritmo de Aprendizado de Máquina k-Nearest Neighbors (kNN) para predição de Séries Temporais, intitulado de kNN - Time Series Prediction with Invariances (kNN-TSPI ). O algoritmo concebido difere da versão convencional pela incorporação de três técnicas para obtenção de invariância à amplitude e deslocamento, invariância à complexidade e tratamento de casamentos triviais. Como demonstrado ao longo desta dissertação de mestrado, o uso simultâneo dessas técnicas proporciona ao kNN-TSPI uma melhor correspondência entre as subsequências de dados e a consulta de referência. Os resultados de uma das avaliações empíricas mais extensas, imparciais e compreensíveis já conduzidas no tema de predição de Séries Temporais evidenciaram, a partir do confronto de dez métodos de projeção, que o algoritmo kNN-TSPI, além de ser conveniente para a predição automática de dados a curto prazo, é competitivo com os métodos estatísticos estado-da-arte ARIMA e SARIMA. Por mais que o modelo SARIMA tenha atingido uma precisão relativamente superior a do método baseado em similaridade, o kNN-TSPI é consideravelmente mais simples de ajustar. A comparação objetiva e subjetiva entre algoritmos estatísticos e de Aprendizado de Máquina para a projeção de dados temporais vem a suprir uma importante lacuna na literatura, a qual foi identificada por meio de uma revisão sistemática seguida de uma meta-análise das publicações selecionadas. Os 95 conjuntos de dados empregados nos experimentos computacionais juntamente com todas as projeções analisadas em termos de Erro Quadrático Médio, coeficiente U de Theil e taxa de acerto Prediction Of Change In Direction encontram-se disponíveis no portal Web ICMC-USP Time Series Prediction Repository. A presente pesquisa abrange também contribuições e resultados significativos em relação às propriedades inerentes à predição baseada em similaridade, sobretudo do ponto de vista prático. Os protocolos experimentais delineados e as diversas conclusões obtidas poderão ser usados como referência para guiar o processo de escolha de modelos, configuração de parâmetros e aplicação dos algoritmos de Inteligência Artificial para predição de Séries Temporais. / One of the major challenges in Data Mining is integrating temporal information into process. This difficulty has challenged professionals several application fields and has been object of considerable investment from scientific and business communities. In the context of Time Series prediction, these investments consist majority of grants for designed research aimed at adapting conventional Machine Learning methods for data analysis problems in which time is an important factor. We propose a novel modification of the k-Nearest Neighbors (kNN) learning algorithm for Time Series prediction, namely the kNN - Time Series Prediction with Invariances (kNN-TSPI). Our proposal differs from the literature by incorporating techniques for amplitude and offset invariance, complexity invariance, and treatment of trivial matches. These three modifications allow more meaningful matching between the reference queries and Time Series subsequences, as we discuss with more details throughout this masters thesis. We have performed one of the most comprehensible empirical evaluations of Time Series prediction, in which we faced the proposed algorithm with ten methods commonly found in literature. The results show that the kNN-TSPI is appropriate for automated short-term projection and is competitive with the state-of-the-art statistical methods ARIMA and SARIMA. Although in our experiments the SARIMA model has reached a slightly higher precision than the similarity based method, the kNN-TSPI is considerably simpler to adjust. The objective and subjective comparisons of statistical and Machine Learning algorithms for temporal data projection fills a major gap in the literature, which was identified through a systematic review followed by a meta-analysis of selected publications. The 95 data sets used in our computational experiments, as well all the projections with respect to Mean Squared Error, Theils U coefficient and hit rate Prediction Of Change In Direction are available online at the ICMC-USP Time Series Prediction Repository. This work also includes contributions and significant results with respect to the properties inherent to similarity-based prediction, especially from the practical point of view. The outlined experimental protocols and our discussion on the usage of them, can be used as a guideline for models selection, parameters setting, and employment of Artificial Intelligence algorithms for Time Series prediction.

The aim of this study is to certify the legitimacy of employing quantitative methods in the day-to-day business practice. The task is approached as a case study of a real-life financial planning process. I work with the financial data of POS Media Czech Republic (a media company providing point-of-sale advertising solutions). My intention is to simulate the projection of a pro forma income statement with the use of quantitative methods. More specifically, I am applying time series prediction techniques in order to forecast POS Media's sales. The goal is, first, to demonstrate that quantitative techniques can be handled even with limited statistical background and, second, to discuss the relevancy of the obtained results. In the methodical part of my thesis I deal with the theoretical aspects of financial planning. I further describe various methods of sales forecasting (qualitative vs. quantitative). Special emphasis is put on time series prediction methods. In the application part I provide a short description of POS Media and its business. I use time series decomposition techniques to predict POS Media's sales in 2012. Consequently, I outline the rest of the pro forma income statement.

To overcome the curse of dimensionality, dimension reduction is important and necessary for understanding the underlying phenomena in a variety of fields. Dimension reduction is the transformation of high-dimensional data into a meaningful representation in the low-dimensional space. It can be further classified into feature selection and feature extraction. In this thesis, which is composed of four projects, the first two focus on feature selection, and the last two concentrate on feature extraction. The content of the thesis is as follows. The first project presents several efficient methods for the sparse representation of a multiple measurement vector (MMV); some theoretical properties of the algorithms are also discussed. The second project introduces the NP-hardness problem for penalized likelihood estimators, including penalized least squares estimators, penalized least absolute deviation regression and penalized support vector machines. The third project focuses on the application of manifold learning in the analysis and prediction of 24-hour electricity price curves. The last project proposes a new hessian regularized nonlinear time-series model for prediction in time series.

Over the past decade there has been a growing demand for interactive multimedia applications deployed over public IP networks. To achieve acceptable Quality of Ser- vice (QoS) without significantly modifying the existing infrastructure, the end-to-end applications need to optimize their behavior and adapt according to network char- acteristics. Most existing application optimization techniques are based on reactive strategies, i.e. reacting to occurrences of congestion. We propose the use of predic- tive control to address the problem in an anticipatory manner. This research deals with developing models to predict end-to-end single flow characteristics of Wide Area Networks (WANs). A novel signal, in the form of single flow packet accumulation, is proposed for feedback purposes. This thesis presents a variety of effective predictors for the above signal using Auto-Regressive (AR) models, Radial Basis Functions (RBF) and Sparse Basis Functions (SBF). The study consists of three sections. We first develop time- series models to predict the accumulation signal. Since encoder bit-rate is the most logical and generic control input, a statistical analysis is conducted to analyze the effect of input bit-rate on end-to-end delay and the accumulation signal. Finally, models are developed using this bit-rate as an input to predict the resulting accu- mulation signal. The predictors are evaluated based on Noise-to-Signal Ratio (NSR) along with their accuracy with increasing accumulation levels. In time-series models, RBF gave the best NSR closely followed by AR models. Analysis based on accu- racy with increasing accumulation levels showed AR to be better in some cases. The study on effect of bit-rate revealed that bit-rate may not be a good control input on all paths. Models such as Auto-Regressive with Exogenous input (ARX) and RBF were used to develop models to predict the accumulation signal using bit-rate as a modeling input. ARX and RBF models were found to give comparable accuracy, with RBF being slightly better.

The objective of the research described in this dissertation is to improve the travel-time prediction process using machine learning methods for the Advanced Traffic In-formation Systems (ATIS). Travel-time prediction has gained significance over the years especially in urban areas due to increasing traffic congestion. The increased demand of the traffic flow has motivated the need for development of improved applications and frameworks, which could alleviate the problems arising due to traffic flow, without the need of addition to the roadway infrastructure. In this thesis, the basic building blocks of the travel-time prediction models are discussed, with a review of the significant prior art. The problem of travel-time prediction was addressed by different perspectives in the past. Mainly the data-driven approach and the traffic flow modeling approach are the two main paths adopted viz. a viz. travel-time prediction from the methodology perspective. This dissertation, works towards the im-provement of the data-driven method. The data-driven model, presented in this dissertation, for the travel-time predic-tion on freeways was based on wavelet packet decomposition and support vector regres-sion (WPSVR), which uses the multi-resolution and equivalent frequency distribution ability of the wavelet transform to train the support vector machines. The results are compared against the classical support vector regression (SVR) method. Our results indi-cate that the wavelet reconstructed coefficients when used as an input to the support vec-tor machine for regression (WPSVR) give better performance (with selected wavelets on-ly), when compared against the support vector regression (without wavelet decomposi-tion). The data used in the model is downloaded from California Department of Trans-portation (Caltrans) of District 12 with a detector density of 2.73, experiencing daily peak hours except most weekends. The data was stored for a period of 214 days accumulated over 5 minute intervals over a distance of 9.13 miles. The results indicate an improvement in accuracy when compared against the classical SVR method. The basic criteria for selection of wavelet basis for preprocessing the inputs of support vector machines are also explored to filter the set of wavelet families for the WDSVR model. Finally, a configuration of travel-time prediction on freeways is present-ed with interchangeable prediction methods along with the details of the Matlab applica-tion used to implement the WPSVR algorithm. The initial results are computed over the set of 42 wavelets. To reduce the compu-tational cost involved in transforming the travel-time data into the set of wavelet packets using all possible mother wavelets available, a methodology of filtering the wavelets is devised, which measures the cross-correlation and redundancy properties of consecutive wavelet transformed values of same frequency band. An alternate configuration of travel-time prediction on freeways using the con-cepts of cloud computation is also presented, which has the ability to interchange the pre-diction modules with an alternate method using the same time-series data. Finally, a graphical user interface is described to connect the Matlab environment with the Caltrans data server for online travel-time prediction using both SVR and WPSVR modules and display the errors and plots of predicted values for both methods. The GUI also has the ability to compute forecast of custom travel-time data in the offline mode.

Orientadores: Marcio Luiz de Andrade Netto, Jose Roberto Securato , Alessandra de Avila Montini / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação / Made available in DSpace on 2018-08-09T14:31:10Z (GMT). No. of bitstreams: 1 Freitas_AntonioAirtonCarneirode_D.pdf: 2395437 bytes, checksum: 02e1418421c18b7b627cbfe5f41ed90a (MD5) Previous issue date: 2007 / Resumo: A inferência sobre a previsibilidade de sistemas dinâmicos não lineares multivariados tem sido freqüentemente realizada a partir de testes que podem induzir à conclusões equivocadas. Isto porque em muitas pesquisas realizadas os testes utilizados são o de autocorrelação, o da razão de variância e do espectro, que só verificam a existência ou não da correlação serial de componentes lineares. Neste trabalho, também são utilizados testes para avaliar a correlação serial de componentes não lineares. Busca-se provar empiricamente se as classes de modelos ARMA-GARCH e neurais, bem como a combinação deles, tem qualidade de previsão superior ao modelo diferença Martingale em previsões na média condicional dos retornos da taxa de câmbio brasileira e da umidade em microclima. Um método de seleção de variáveis é proposto para melhorar os resultados obtidos com modelos de previsão multivariados não baseados em teoria. As não linearidades negligenciadas durante o ajuste dos modelos neurais são avaliadas por meio do teste de Blake and Kapetanios (2003). O teste de White (2000) é utilizado para comparar os modelos de previsão propostos em conjunto com o modelo benchmark. Foi constatado empiricamente que os dois processos analisados não são do tipo diferença Martingale / Abstract: The inference on predictability of nonlinear multivariate systems has been done with some possible misleading conclusions when the test statistics are insignificant because autocorrelation, variance ratio and spectrum tests check only serial uncorrelatedness (linear components). This work empirically explores the non linear components and if the ARMA-GARCH, neural network models, as well as their combination, outperform a Martingale model in the conditional mean out-of-sample forecasts. It is proposed a variable selection method to improve the results obtained with multivariate models without a priori knowledge. The neglected nonlinearities and data snooping bias were avoided applying respectively the Blake and Kapetanios (2003) and the White (2000) reality check tests. The empirical results indicate that the Brazilian exchange rates and the microclimate humidity are not Martingale differences / Doutorado / Engenharia de Computação / Doutor em Engenharia Elétrica

Orientadores: Fernando Antonio Campos Gomide, Rosangela Ballini / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação / Made available in DSpace on 2018-08-12T14:32:10Z (GMT). No. of bitstreams: 1 Lima_EltonMariode_M.pdf: 1259231 bytes, checksum: 7a910e84bfb43d6c13b2deb8b6f511c2 (MD5) Previous issue date: 2008 / Resumo: Este trabalho propõe um modelo fuzzy funcional evolutivo que utiliza uma aplicação do aprendizado participativo para a construção de uma base de regras. O aprendizado participativo é um modelo de aprendizado baseado na noção de compatibilidade para a atualização do conhecimento do sistema. O aprendizado participativo pode ser traduzido em um algoritmo de agrupamento não supervisionado conhecido como agrupamento participativo. O algoritmo intitulado Aprendizado Participativo Evolutivo é proposto para construir um modelo fuzzy funcional evolutivo no qual as regras são obtidas a partir de um algoritmo de agrupamento não supervisionado. O algoritmo utiliza uma versão do agrupamento participativo para a determinação de uma base de regras correspondente ao modelo funcional do tipo Takagi-Sugeno evolutivo. A partir de uma noção generalizada, o modelo proposto é aplicado em problemas de previsão de séries temporais e os resultados são obtidos para a conhecida série Box-Jenkis, além da previsão de uma série de carga horária de energia elétrica. Os resultados são comparados com o modelo Takagi-Sugeno evolutivo que utiliza a noção de função potencial para agrupar os dados dinâmicamente e com duas abordagens baseadas em redes neurais. Os resultados mostram que o modelo proposto é eficiente e parcimonioso, abrindo potencial para aplicações e estudos futuros. / Abstract: This work introduces an approach to develop evolving fuzzy rule-based models using participatory learning. Participatory learning assumes that learning and beliefs about a system depend on what the learning mechanism knows about the system itself. Participatory learning naturally augments clustering and yields an e_ective unsupervised fuzzy clustering algorithms for on-line, real time domains and applications. Clustering is an essential step to construct evolving fuzzy models and plays a key role in modeling performance and model quality. A least squares recursive approach to estimate the consequent parameters of the fuzzy rules for on-line modeling is emphasized. Experiments with the classic Box-Jenkins benchmark are conducted to compare the performance of the evolving participatory learning with the evolving fuzzy system modeling approach and alternative fuzzy modeling and neural methods. The experiments show the e_ciency of evolving participatory learning to handle the benchmark problem. The evolving participatory learning method is also used to forecast the average hourly load of an electric generation plant and compared against the evolving fuzzy system modeling using actual data. The results confirm the potential of the evolving fuzzy participatory method to solve real world modeling problems. / Mestrado / Automação Industrial / Mestre em Engenharia Elétrica

Orientadores: Takaaki Ohishi, Ricardo Menezes Salgado / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-23T18:34:18Z (GMT). No. of bitstreams: 1 FrancoJunior_EdgarFonseca_M.pdf: 7364704 bytes, checksum: be747ce93528de5661be3b2b3bf77cbc (MD5) Previous issue date: 2013 / Resumo: Em um sistema de energia elétrica em corrente alternada, a geração, a transmissão e o consumo de energia elétrica são divididos em potência ativa e reativa. O planejamento, a operação e análise destes sistemas são baseados em estimativas futuras do consumo de energia, e neste contexto são importantes os modelos de previsão de carga ativa e reativa. Nesta dissertação são testados modelos de previsão de curto prazo para carga ativa e reativa utilizando modelos de redes neurais artificiais. Em particular, são implementados e testados várias metodologias de seleção de entradas. A seleção de um subconjunto apropriado de variáveis para a inclusão em um sistema é um passo vital no desenvolvimento de qualquer modelo. Isto é particularmente importante nos modelos de previsão como redes neurais artificiais, pois o desempenho do modelo final é fortemente dependente das variáveis de entrada utilizadas. Esta dissertação desenvolveu um modelo que dá suporte à integração de algumas técnicas de seleção (informação mútua e informação mútua parcial) tendo o intuito de facilitar a utilização destas, assim como a sua comparação quando aplicada a determinados problemas de previsão. Para os experimentos, foram trabalhados 3 barramentos (com faixas de demanda diferentes), sendo que para cada um utilizou-se da carga de potência ativa e reativa. Os resultados alcançados são dados em função do erro médio absoluto e do erro percentual médio absoluto; além dessas medidas, foi realizada uma análise sobre o fator de potência para os valores reais e previstos / Abstract: In a system of alternating current electricity, generation, transmission and consumption of electricity are divided into active and reactive power. The planning, operation and analysis of these systems are based on estimates of future energy consumption, and in this context are important predictive models of active and reactive load. This dissertation tested forecasting models for short-term active and reactive load models using artificial neural networks. In particular, are implemented and tested many methods of selection enters. The selection of an appropriate subset of variables for inclusion in a system is a vital step in the development of any model. This is particularly important in forecasting models such as artificial neural networks, due to the performance of the final model is strongly dependent on the input variables used. This dissertation developed a model that supports the integration of some techniques for selection (mutual information and partial mutual information) with the aim to facilitate the use of these, as well as, its comparison when applied to certain prediction problems. For the experiments have been worked 3 buses (with different ranges of demand), and for each one used the load active and reactive power. The results obtained are given in function of the mean absolute error and mean absolute percentage error; in addition to these measures, an analysis was made of the power factor for the actual and target values / Mestrado / Engenharia de Computação / Mestre em Engenharia Elétrica

Orientador: Fernando José Von Zuben / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-19T17:59:57Z (GMT). No. of bitstreams: 1 PumaVillanueva_WilfredoJaime_D.pdf: 4821342 bytes, checksum: 521a056fca2c42985a2fad34069b7255 (MD5) Previous issue date: 2011 / Resumo: Esta tese apresenta duas metodologias de síntese automática de redes neurais artificiais com conexões à frente arbitrárias, com a proposição da arquitetura via computação evolutiva ou via um método construtivo, enquanto que os pesos sinápticos são definidos por técnicas de otimização não-linear. O processo de treinamento supervisionado visa parcimônia do modelo e máxima capacidade de generalização. Quando comparada a iniciativas similares encontradas na literatura, a versão construtiva da metodologia, denominada CoACFNNA, inova também ao permitir a síntese de arquiteturas mais flexíveis, com capacidade de mapeamento linear e não-linear, e ao promover baixo custo computacional. Este algoritmo construtivo parte de uma rede neural mínima, toma decisões de inserção/poda baseadas em análise de sensibilidade e em índices de informação mútua, relaxa o erro de treinamento para evitar convergência prematura e ajusta os pesos sinápticos via um método quasi- Newton com escalonamento automático. Estudos comparativos envolvendo abordagens alternativas baseadas em redes neurais, tais como MLPs, mistura heterogênea de especialistas, Cascade Correlation e a EPNet, baseada em programação evolutiva, indicam que a metodologia é promissora, tendo sido aplicada junto a problemas artificiais e reais, de classificação e de regressão / Abstract: This thesis presents two methodologies for the automatic synthesis of artificial neural networks with arbitrary feed-forward connections, with the proposition of the architecture based on evolutionary computation and on a constructive method, whereas the synaptic weights are defined by nonlinear optimization techniques. The supervised learning process aims at parsimony of the model and maximum generalization capability. When compared to similar approaches in the literature, the constructive version of the methodology, denoted CoACFNNA, innovates also by allowing the synthesis of more flexible architectures, with linear and nonlinear mapping capability, and by promoting low computational cost. This constructive algorithm starts with a minimum neural network, takes decisions of insertion/pruning based on sensitivity analysis and also mutual information indices, relaxes the training error to avoid premature convergence, and adjusts the synaptic weights by means of a quasi-Newton method with automatic scaling. Comparative studies involving alternative approaches based on neural networks, such as MLPs, mixture of heterogeneous experts, cascade correlation and the EPNet, based on evolutionary programming, indicate that the proposal is promising, being applied to artificial and real problems, for classification and regression / Doutorado / Engenharia de Computação / Doutor em Engenharia Elétrica

A análise de dados contendo informações sequenciais é um problema de crescente interesse devido à grande quantidade de informação que é gerada, entre outros, em processos de monitoramento. As séries temporais são um dos tipos mais comuns de dados sequenciais e consistem em observações ao longo do tempo. O algoritmo k-Nearest Neighbor - Time Series Prediction kNN-TSP é um método de previsão de dados temporais. A principal vantagem do algoritmo é a sua simplicidade, e a sua aplicabilidade na análise de séries temporais não-lineares e na previsão de comportamentos sazonais. Entretanto, ainda que ele frequentemente encontre as melhores previsões para séries temporais parcialmente periódicas, várias questões relacionadas com a determinação de seus parâmetros continuam em aberto. Este trabalho, foca-se em dois desses parâmetros, relacionados com a seleção de vizinhos mais próximos e a função de previsão. Para isso, é proposta uma abordagem simples para selecionar vizinhos mais próximos que considera a similaridade e a distância temporal de modo a selecionar os padrões mais similares e mais recentes. Também é proposta uma função de previsão que tem a propriedade de manter bom desempenho na presença de padrões em níveis diferentes da série temporal. Esses parâmetros foram avaliados empiricamente utilizando várias séries temporais, inclusive caóticas, bem como séries temporais reais referentes a variáveis ambientais do reservatório de Itaipu, disponibilizadas pela Itaipu Binacional. Três variáveis limnológicas fortemente correlacionadas são consideradas nos experimentos de previsão: temperatura da água, temperatura do ar e oxigênio dissolvido. Uma análise de correlação é realizada para verificar se os dados previstos mantem a correlação das variáveis. Os resultados mostram que, o critério de seleção de vizinhos próximos e a função de previsão, propostos neste trabalho, são promissores / Treating data that contains sequential information is an important problem that arises during the data mining process. Time series constitute a popular class of sequential data, where records are indexed by time. The k-Nearest Neighbor - Time Series Prediction kNN-TSP method is an approximator for time series prediction problems. The main advantage of this approximator is its simplicity, and is often used in nonlinear time series analysis for prediction of seasonal time series. Although kNN-TSP often finds the best fit for nearly periodic time series forecasting, some problems related to how to determine its parameters still remain. In this work, we focus in two of these parameters: the determination of the nearest neighbours and the prediction function. To this end, we propose a simple approach to select the nearest neighbours, where time is indirectly taken into account by the similarity measure, and a prediction function which is not disturbed in the presence of patterns at different levels of the time series. Both parameters were empirically evaluated on several artificial time series, including chaotic time series, as well as on a real time series related to several environmental variables from the Itaipu reservoir, made available by Itaipu Binacional. Three of the most correlated limnological variables were considered in the experiments carried out on the real time series: water temperature, air temperature and dissolved oxygen. Analyses of correlation were also accomplished to verify if the predicted variables values maintain similar correlation as the original ones. Results show that both proposals, the one related to the determination of the nearest neighbours as well as the one related to the prediction function, are promising