[pt] O objetivo principal desta dissertação é descrever e discutir o Modelo Bayesiano de Crescimento Linear Sazonal, formulação Estados múltiplos, utilizando descontos. As idéias originais deste modelo foram desenvolvidas por Ameen e Harrison. Na primeira parte do trabalho (capítulos 2 e 3) apresentamos idéias bem gerais sobre Séries Temporais e os principais modelos da literatura. A segunda parte (capítulos 4, 5 e 6) é dedicada à Estatística Bayesiana (conceitos gerais), ao MDL na sua formulação original, e ao nosso modelo de interesse. São apresentadas algumas sugestões operacionais e um fluxograma de operação do modelo, com vistas a uma futura implementação computacional. / [en] The aim of this thesis is to discuss in details the Multiprocess Linear Grawth Bayesian Model for seasonal and/or nonseasonal series, using discount factors. The original formulation of this model was put forward recently by Ameen and Harrison. In the first part of the thesis (chapters 2 and 3) we show some general concepts related to time series and time series modelling, whereas in the second (chapters 4, 5 and 6) we formally presented / the Bayesian formulation of the proposed model. A flow chart and some optional parameter setings aiming a computational implementation is also presented.

[pt] Esta dissertação investiga as Redes Neurais Bayesianas, que é uma nova abordagem que conjuga o potencial das redes neurais artificiais com a solidez analítica da estatística Bayesiana. Tipicamente, redes neurais convencionais como backpropagation, têm bom desempenho mas apresentam problemas de convergência, na ausência de dados suficientes de treinamento, ou problemas de mínimos locais, que trazem como conseqüência longo tempo de treinamento (esforço computacional) e possibilidades de sobre-treinamento (generalização ruim). Por essas razões, tem-se buscado desenvolver novos algoritmos de aprendizado para redes neurais baseados em princípios que pertencem a outras áreas da ciência como a Estatística, Lógica Nebulosa, Algoritmos Genéticos, etc. Neste sentido, este trabalho estuda e avalia um novo algoritmo de aprendizado baseado na estatística bayesiana, que consiste na utilização do mecanismo de interferência bayesiana no cálculo dos parâmetros (pesos) da rede neural. As principais etapas deste trabalho foram: o estudo das diferenças dos enfoques da estatística clássica e bayesiana sobre o aprendizado das redes neurais; o estudo dos métodos utilizados na inferência bayesiana; a avaliação das redes neurais Bayesianas (RNB) com aplicações Benchmarks; e por último, a avaliação das RNBs com aplicações reais. A diferença entre a estatística clássica e Bayesiana sobre o aprendizado das redes neurais esá na forma em que os parâmetros da rede são calculados. Por exemplo, o princípio de máxima verossimilhança quepertence à estatística clássica, na qual está baseada o algoritmo de backpropagation, se caracteriza por estimar um único vetor de parâmetros da rede neural. Por outro lado, a inferência Bayesiana se caracteriza por calcular uma função de densidade de probabilidade sobre todos os possíveis vetores de parâmetros que a rede neural pode possuir. Os métodos utilizados na inferência Bayesiana para calcular a função de densidade de probabilidade dos parâmetros. Neste trabalho se deu ênfase a dois métodos amplamente utilizados na estatística Bayesiana: o método de aproximação gaussiana e o método de MCMC (Markov Chain Monte Carlo), que mostraram sua efetividade com respeito ao problema da dimensão elevada do vetor de parâmetros. Para avaliar o desempenho destes algoritmos de aprendizado Bayesiano, foram feitos testes em aplicações benchmarks de previsão, classificação e aproximação de uma função. Também foram desenvolvidas aplicações reais de previsão de uma série temporal e carga elétrica e reconhecimento de face onde se avaliou o desempenho destes algoritmos. Além disso, foram feitas comparações entre estes algoritmos de aprendizado Bayesiano com o backpropagation, sistemas neuro fuzzy hierárquicos e outras técnicas estatísticas tais como Box&Jenkins e Holt-Winters. Com este trabalho, verificou-se que entre as vantagens dos algoritmos de aprendizado Bayesiano tem-se: a de minimizar o problema de sobre-treinamento (overfitting); controlar a complexidade do modelo (princípio de Occam’s razor) e ter boa generalização com poucos dados de treinamento. / [en] This dissertation investigates the Bayesianan Neural Networks, which is a new approach that merges the potencial of the artificial neural networks with the robust analytical analysis of the Bayesian Statistic. Typically, theconventional neural networks such as backpropagation, have good performance but presents problems of convergence, when enough data for training is not available, or due to problems of local minimum, which result in long training time and overfitting. For these reasons, researchers are investigating new learning algorithm for neural networks based on principle that belong to other area of science like Statistics, Fuzzy logic, Genetic Algorithms, etc. This dissertation studies and evaluates a new learning algorithm based on the Bayesian Statistics, that consists in the use of the Bayesian mechanical inference to calculate the value of the parameters of neural networks. The main steps of this research are: the study of the difference between the approach of the classical statistics and the approach of the Bayesian statistics regarding the process of learning in neural networks (RNB) with Benchmarks applications; and the evaluation of RNBs with real applications. The main differences between the classical and Bayesian statistics in regard to the learning on neural networks are in the form of calculation of the parameters. For example, the principle of maximum likelihood that belongs to classical statistics, in which the backpropagation algorithms, it is characterized for calculate only on vector of parameters of neural networks. However, the Bayesian inference, it is characterized for calculate a probabilistic density function of the parameters of neural networks are approximations or numerical methods, because the correct analytical treatment is difficult due to the high dimensions of the vector parameter. This dissertation gives especial emphasis to two methods: the Gaussian approximation and the Markov Chain Monte Carlo method (MCMC). To evaluate the performance of these Bayesian learning algorithms, a number of test has been done in application benchmarks of time series forecasting, classification and approximation of functions. Also, have been developed real applications on time serie forecasting of electrical and face recognition. Moreover, comparations have been made between the Bayesian learning algorithms with backpropagation, neuro fuzzy systems and other statistical techniques like a Box&Jenkins and Holt-Winters. This dissertation has shown that the advantages of the Bayesian learning algorithms are the minimization of the overfitting, control of the model complexity (principle of Occam’s razor)and good generalization with a few data for training.

[pt] Em muitas aplicações reais de processamento de sinais, as observações do fenômeno em estudo chegam seqüencialmente no tempo. Consequentemente, a tarefa de análise destes dados envolve estimar quantidades desconhecidas em cada observação concebida do fenômeno. Na maioria destas aplicações, entretanto, algum conhecimento prévio sobre o fenômeno a ser modelado está disponível. Este conhecimento prévio permite formular modelos Bayesianos, isto é, uma distribuição a priori sobre as quantidades desconhecidas e uma função de verossimilhança relacionando estas quantidades com as observações do fenômeno. Dentro desta configuração, a inferência Bayesiana das quantidades desconhecidas é baseada na distribuição a posteriori, que é obtida através do teorema de Bayes. Infelizmente, nem sempre é possível obter uma solução analítica exata para esta distribuição a posteriori. Graças ao advento de um formidável poder computacional a baixo custo, em conjunto com os recentes desenvolvimentos na área de simulações estocásticas, este problema tem sido superado, uma vez que esta distribuição a posteriori pode ser aproximada numericamente através de uma distribuição discreta, formada por um conjunto de amostras. Neste contexto, este trabalho aborda o campo de simulações estocásticas sob a ótica da genética Mendeliana e do princípio evolucionário da sobrevivência dos mais aptos. Neste enfoque, o conjunto de amostras que aproxima a distribuição a posteriori pode ser visto como uma população de indivíduos que tentam sobreviver num ambiente Darwiniano, sendo o indivíduo mais forte, aquele que possui maior probabilidade. Com base nesta analogia, introduziu-se na área de simulações estocásticas (a) novas definições de núcleos de transição inspirados nos operadores genéticos de cruzamento e mutação e (b) novas definições para a probabilidade de aceitação, inspirados no esquema de seleção, presente nos Algoritmos Genéticos. Como contribuição deste trabalho está o estabelecimento de uma equivalência entre o teorema de Bayes e o princípio evolucionário, permitindo, assim, o desenvolvimento de um novo mecanismo de busca da solução ótima das quantidades desconhecidas, denominado de inferência evolucionária. Destacamse também: (a) o desenvolvimento do Filtro de Partículas Genéticas, que é um algoritmo de aprendizado online e (b) o Filtro Evolutivo, que é um algoritmo de aprendizado batch. Além disso, mostra-se que o Filtro Evolutivo, é em essência um Algoritmo Genético pois, além da sua capacidade de convergência a distribuições de probabilidade, o Filtro Evolutivo converge também a sua moda global. Em conseqüência, a fundamentação teórica do Filtro Evolutivo demonstra, analiticamente, a convergência dos Algoritmos Genéticos em espaços contínuos. Com base na análise teórica de convergência dos algoritmos de aprendizado baseados na inferência evolucionária e nos resultados dos experimentos numéricos, comprova-se que esta abordagem se aplica a problemas reais de processamento de sinais, uma vez que permite analisar sinais complexos caracterizados por comportamentos não-lineares, não- gaussianos e nãoestacionários. / [en] In many real-world signal processing applications, the phenomenon s observations arrive sequentially in time; consequently, the signal data analysis task involves estimating unknown quantities for each phenomenon observation. However, in most of these applications, prior knowledge about the phenomenon being modeled is available. This prior knowledge allows us to formulate a Bayesian model, which is a prior distribution for the unknown quantities and the likelihood functions relating these quantities to the observations. Within these settings, the Bayesian inference on the unknown quantities is based on the posterior distributions obtained from the Bayes theorem. Unfortunately, it is not always possible to obtain a closed-form analytical solution for this posterior distribution. By the advent of a cheap and formidable computational power, in conjunction with some recent developments in stochastic simulations, this problem has been overcome, since this posterior distribution can be obtained by numerical approximation. Within this context, this work studies the stochastic simulation field from the Mendelian genetic view, as well as the evolutionary principle of the survival of the fittest perspective. In this approach, the set of samples that approximate the posteriori distribution can be seen as a population of individuals which are trying to survival in a Darwinian environment, where the strongest individual is the one with the highest probability. Based in this analogy, we introduce into the stochastic simulation field: (a) new definitions for the transition kernel, inspired in the genetic operators of crossover and mutation and (b) new definitions for the acceptation probability, inspired in the selection scheme used in the Genetic Algorithms. The contribution of this work is the establishment of a relation between the Bayes theorem and the evolutionary principle, allowing the development of a new optimal solution search engine for the unknown quantities, called evolutionary inference. Other contributions: (a) the development of the Genetic Particle Filter, which is an evolutionary online learning algorithm and (b) the Evolution Filter, which is an evolutionary batch learning algorithm. Moreover, we show that the Evolution Filter is a Genetic algorithm, since, besides its capacity of convergence to probability distributions, it also converges to its global modal distribution. As a consequence, the theoretical foundation of the Evolution Filter demonstrates the convergence of Genetic Algorithms in continuous search space. Through the theoretical convergence analysis of the learning algorithms based on the evolutionary inference, as well as the numerical experiments results, we verify that this approach can be applied to real problems of signal processing, since it allows us to analyze complex signals characterized by non-linear, nongaussian and non-stationary behaviors.

[pt] A teoria moderna de carteiras estabelece que a alocação ótima de ativos é uma função da média-variância da distribuição dos retornos. Na prática, estes retornos são modelados por distribuições Gaussianas e seus parâmetros são estimados a partir dos dados históricos do mercado, utilizando técnicas descritivas da estatística Frequentista. A dinâmica atual dos mercados globalizados gera períodos aleatórios de alta e baixa volatilidade e/ou saltos nos retornos dos ativos, provocando mudanças de regime ou quebras estruturais na série temporal dos retornos, tornando-os não Gaussianos. Consequentemente, a teoria moderna de carteiras precisa ser adaptada para atender a estas novas condições do mercado. Para contornar o problema das mudanças de regime, propõe-se a substituição do mecanismo de otimização baseada no índice de Sharpe pela otimização baseada na medida Ômega. Isto porque a medida Ômega tem a vantagem de quantificar o risco-retorno de qualquer distribuição de probabilidade e não somente distribuições Gaussianas como acontece com o índice de Sharpe, ou seja, as distribuições de retornos não Gaussianos provocadas pelas mudanças de regime são tratadas naturalmente pela medida Ômega. Para contornar o problema das quebras estruturais, propõe-se a substituição do procedimento de estimação dos parâmetros da distribuição dos retornos, baseada em técnicas da estatística Frequentista por técnicas da estatística Bayesiana. Isto porque a estatística Bayesiana, tem a vantagem de combinar as informações públicas do mercado (dados históricos dos retornos) com informações privadas do investidor (visões prospectivas do mercado) permitindo corrigir a quebra estrutural e, na sequência, tratar o retorno não Gaussiano, utilizando o mecanismo de otimização baseada na medida Ômega. / [en] Modern portfolio theory states that the optimal asset allocation is a function of the mean-variance of the distribution of returns. In practice, these returns are modeled by Gaussian distributions and their parameters are estimated from historical market data, using descriptive techniques of Frequentist statistics. The current dynamics of globalized markets generate random periods of high and low volatility and/or jumps in asset returns, causing regime shifts or structural breaks in the time series of returns, making them non Gaussian. Consequently, modern portfolio theory needs to be adapted to meet these new market conditions. To circumvent the problem of regime shifts, it is proposed to replace the optimization mechanism based on the Sharpe index by the optimization based on the Omega measure. This is because the Omega measure has the advantage of quantifying the risk-return of any probability distribution and not only Gaussian distributions as with the Sharpe index, that is, non Gaussian returns distributions caused by regime shifts are treated naturally by the Omega measure. To circumvent the problem of structural breaks, it is proposed to replace the estimation procedure for the parameters of the distribution of returns, based on Frequentist statistics techniques, by Bayesian statistical techniques. This is because the Bayesian statistic has the advantage of combining public market information (historical return data) with private investor information (prospective market views) allowing to correct the structural break, and subsequently, treating the non Gaussian return using the optimization based on the Omega measure.