No description available.

Thesis (MScEng (Process Engineering))--University of Stellenbosch, 2010. / Thesis presented in partial fulfilment of the requirements for the degree of Master of Science in Engineering (Extractive Metallurgy) In the Department of Process Engineering at the University of Stellenbosch / ENGLISH ABSTRACT: Multivariate statistical process control (MSPC) approaches are now widely used for performance monitoring, fault detection and diagnosis in chemical processes. Conventional MSPC approaches are based on latent variable projection methods such as principal component analysis and partial least squares. These methods are suitable for handling linearly correlated data sets, with minimal autocorrelation in the variables. Industrial plant data invariably violate these conditions, and several extensions to conventional MSPC methodologies have been proposed to account for these limitations. In practical situations process data usually contain contributions at multiple scales because of different events occurring at different localizations in time and frequency. To account for such multiscale nature, monitoring techniques that decompose observed data at different scales are necessary. Hence the use of standard MSPC methodologies may lead to unreliable results due to false alarms and significant loss of information. In this thesis a multiscale methodology based on the use of singular spectrum analysis is proposed. Singular spectrum analysis (SSA) is a linear method that extracts information from the short and noisy time series by decomposing the data into deterministic and stochastic components without prior knowledge of the dynamics affecting the time series. These components can be classified as independent additive time series of slowly varying trend, periodic series and aperiodic noise. SSA does this decomposition by projecting the original time series onto a data-adaptive vector basis obtained from the series itself based on principal component analysis (PCA). The proposed method in this study treats each process variable as time series and the autocorrelation between the variables are explicitly accounted for. The data-adaptive nature of SSA makes the proposed method more flexible than other spectral techniques using fixed basis functions. Application of the proposed technique is demonstrated using simulated, industrial data and the Tennessee Eastman Challenge process. Also, a comparative analysis is given using the simulated and Tennessee Eastman process. It is found that in most cases the proposed method is superior in detecting process changes and faults of different magnitude accurately compared to classical statistical process control (SPC) based on latent variable methods as well as the wavelet-based multiscale SPC. / AFRIKAANSE OPSOMMING: Meerveranderlike statistiese prosesbeheerbenaderings (MSPB) word tans wydverspreid benut vir werkverrigtingkontrolering, foutopsporing en .diagnose in chemiese prosesse. Gebruiklike MSPB word op latente veranderlike projeksiemetodes soos hoofkomponentontleding en parsiele kleinste-kwadrate gebaseer. Hierdie metodes is geskik om lineer gekorreleerde datastelle, met minimale outokorrelasie, te hanteer. Nywerheidsaanlegdata oortree altyd hierdie voorwaardes, en verskeie MSPB is voorgestel om verantwoording te doen vir hierdie beperkings. Prosesdata afkomstig van praktiese toestande bevat gewoonlik bydraes by veelvuldige skale, as gevolg van verskillende gebeurtenisse wat by verskillende lokaliserings in tyd en frekwensie voorkom. Kontroleringsmetodes wat waargenome data ontbind by verskillende skale is nodig om verantwoording te doen vir sodanige multiskaalgedrag. Derhalwe kan die gebruik van standaard-MSPB weens vals alarms en beduidende verlies van inligting tot onbetroubare resultate lei. In hierdie tesis word . multiskaalmetodologie gebaseer op die gebruik van singuliere spektrumontleding (SSO) voorgestel. SSO is . lineere metode wat inligting uit die kort en ruiserige tydreeks ontrek deur die data in deterministiese en stochastiese komponente te ontbind, sonder enige voorkennis van die dinamika wat die tydreeks affekteer. Hierdie komponente kan as onafhanklike, additiewe tydreekse geklassifiseer word: stadigveranderende tendense, periodiese reekse en aperiodiese geruis. SSO vermag hierdie ontbinding deur die oorspronklike tydreeks na . data-aanpassende vektorbasis te projekteer, waar hierdie vektorbasis verkry is vanaf die tydreeks self, gebaseer op hoofkomponentontleding. Die voorgestelde metode in hierdie studie hanteer elke prosesveranderlike as . tydreeks, en die outokorrelasie tussen veranderlikes word eksplisiet in berekening gebring. Aangesien die SSO metode aanpas tot data, is die voorgestelde metode meer buigsaam as ander spektraalmetodes wat gebruik maak van vaste basisfunksies. Toepassing van die voorgestelde tegniek word getoon met gesimuleerde prosesdata en die Tennessee Eastman-proses. . Vergelykende ontleding word ook gedoen met die gesimuleerde prosesdata en die Tennessee Eastman-proses. In die meeste gevalle is dit gevind dat die voorgestelde metode beter vaar om prosesveranderings en .foute met verskillende groottes op te spoor, in vergeleke met klassieke statistiese prosesbeheer (SP) gebaseer op latente veranderlikes, asook golfie-gebaseerde multiskaal SP.

Thesis (MComm)--Stellenbosch University, 2013. / ENGLISH ABSTRACT: Researchers and investors have been attempting to predict stock market activity for years. The possible financial gain that accurate predictions would offer lit a flame of greed and drive that would inspire all kinds of researchers. However, after many of these researchers have failed, they started to hypothesize that a goal such as this is not only improbable, but impossible. Previous predictions were based on historical data of the stock market activity itself and would often incorporate different types of auxiliary data. This auxiliary data ranged as far as imagination allowed in an attempt to find some correlation and some insight into the future, that could in turn lead to the figurative pot of gold. More often than not, the auxiliary data would not prove helpful. However, with the birth of the internet, endless amounts of new sources of auxiliary data presented itself. In this thesis I propose that the near in finite amount of data available on the internet could provide us with information that would improve stock market predictions. With this goal in mind, the different sources of information available on the internet are considered. Previous studies on similar topics presented possible ways in which we can measure internet activity, which might relate to stock market activity. These studies also gave some insights on the advantages and disadvantages of using some of these sources. These considerations are investigated in this thesis. Since a lot of this work is therefore based on the prediction of a time series, it was necessary to choose a prediction algorithm. Previously used linear methods seemed too simple for prediction of stock market activity and a new non-linear method, called Singular Spectrum Analysis, is therefore considered. A detailed study of this algorithm is done to ensure that it is an appropriate prediction methodology to use. Furthermore, since we will be including auxiliary information, multivariate extensions of this algorithm are considered as well. Some of the inaccuracies and inadequacies of these current multivariate extensions are studied and an alternative multivariate technique is proposed and tested. This alternative approach addresses the inadequacies of existing methods. With the appropriate methodology chosen and the appropriate sources of auxiliary information chosen, a concluding chapter is done on whether predictions that includes auxiliary information (obtained from the internet) improve on baseline predictions that are simply based on historical stock market data. / AFRIKAANSE OPSOMMING: Navorsers en beleggers is vir jare al opsoek na maniere om aandeelpryse meer akkuraat te voorspel. Die moontlike finansiële implikasies wat akkurate vooruitskattings kan inhou het 'n vlam van geldgierigheid en dryf wakker gemaak binne navorsers regoor die wêreld. Nadat baie van hierdie navorsers onsuksesvol was, het hulle begin vermoed dat so 'n doel nie net onwaarskynlik is nie, maar onmoontlik. Vorige vooruitskattings was bloot gebaseer op historiese aandeelprys data en sou soms verskillende tipes bykomende data inkorporeer. Die tipes data wat gebruik was het gestrek so ver soos wat die verbeelding toegelaat het, in 'n poging om korrelasie en inligting oor die toekoms te kry wat na die guurlike pot goud sou lei. Navorsers het gereeld gevind dat hierdie verskillende tipes bykomende inligting nie van veel hulp was nie, maar met die geboorte van die internet het 'n oneindige hoeveelheid nuwe bronne van bykomende inligting bekombaar geraak. In hierdie tesis stel ek dus voor dat die data beskikbaar op die internet dalk vir ons kan inligting gee wat verwant is aan toekomstige aandeelpryse. Met hierdie doel in die oog, is die verskillende bronne van inligting op die internet gebestudeer. Vorige studies op verwante werk het sekere spesifieke maniere voorgestel waarop ons internet aktiwiteit kan meet. Hierdie studies het ook insig gegee oor die voordele en die nadele wat sommige bronne inhou. Hierdie oorwegings word ook in hierdie tesis bespreek. Aangesien 'n groot gedeelte van hierdie tesis dus gebasseer word op die vooruitskatting van 'n tydreeks, is dit nodig om 'n toepaslike vooruitskattings algoritme te kies. Baie navorsers het verkies om eenvoudige lineêre metodes te gebruik. Hierdie metodes het egter te eenvoudig voorgekom en 'n relatiewe nuwe nie-lineêre metode (met die naam "Singular Spectrum Analysis") is oorweeg. 'n Deeglike studie van hierdie algoritme is gedoen om te verseker dat die metode van toepassing is op aandeelprys data. Verder, aangesien ons gebruik wou maak van bykomende inligting, is daar ook 'n studie gedoen op huidige multivariaat uitbreidings van hierdie algoritme en die probleme wat dit inhou. 'n Alternatiewe multivariaat metode is toe voorgestel en getoets wat hierdie probleme aanspreek. Met 'n gekose vooruitskattingsmetode en gekose bronne van bykomende data is 'n gevolgtrekkende hoofstuk geskryf oor of vooruitskattings, wat die bykomende internet data inkorporeer, werklik in staat is om te verbeter op die eenvoudige vooruitskattings, wat slegs gebaseer is op die historiese aandeelprys data.

A estimação da estrutura da taxa de juros é relevante por duas razões fundamentais: em primeiro lugar é considerado como um indicador antecipado de política, sendo uma das principais ferramentas para os bancos centrais como instrumento de política monetária; em segundo lugar, através da curva de rendimentos é possível fazer valoração de ativos financeiros. A causa da sua relevância, tanto na área macroeconômica e como no campo financeiro, uma ampla literatura dedicada a estimá-la se desenvolveu. Neste sentido, o objetivo deste documento é a previsão da curva de rendimentos da Colômbia através da metodologia de Spectrum Singular Analysis (SSA) durante o período 2006-2014. Para a previsão são usados parâmetros diários estimados pelo modelo de fatores de Nelson e Siegel (1987). Os resultados indicam ganhos na acurácia preditiva fora da amostra da abordagem de MSSA em relação ao modelo Random Walk e outros benchmarks amplamente usados na literatura, principalmente nos horizontes de previsão mais curtos. Os resultados são estatisticamente significantes. Assim mesmo, observasse que o MSSA se ajusta melhor que os modelos competidores em todos os horizontes para as previsões das menores maturidades. / The estimation of the Yield curve is relevant because of two fundamental reasons: firstly, it is considered an anticipated indicator of economic policies, being one of the principal central banks tools as instrument of monetary policy; secondly, through this estimation it is possible to valuate financial assets. Due to its relevance in the macroeconomics area and the financial field, an extensive literature has been dedicated to its estimation. Concerning that, the goal of this document is to get a prediction of Colombia’s yield curve through the Spectrum Singular Analysis (SSA) from 2006 to 2014. Daily estimated parameters by Nelson and Siegel (1987) factors model are used to obtain the prognostication. Results are statistically significant and indicate gains of the MMSA on the accuracy of previsions out of the sample in relation to the Random Walk competitor model and other benchmarks widely used in literature, mainly on short term previsions. Likewise, we observe that the MSSA method is better adjusted than competitors’ models in all the horizons for the previsions where maturity is lower. / La estimación de la curva de rendimientos es relevante por dos razones fundamentales: en primer lugar es considerado como un indicador anticipado de política económica, siendo una de las principales herramientas para los bancos centrales como instrumento de política monetaria; en segundo lugar, a través de esta es posible realizar valoración de activos financieros. Dada su relevancia tanto en el área macroeconómica como en el campo financiero una amplia literatura ha sido dedicada a su estimación. En este sentido, el objetivo de este documento es la previsión de la curva de rendimientos de Colombia a través de la metodología de Spectrum Singular Analysis (SSA) durante noviembre de 2006 a diciembre de 2014. Para su pronóstico son usados los parámetros diarios estimados por el modelo de factores de Nelson e Siegel (1987). Los resultados son estadísticamente significativos e indican ganancias del método MSSA en la precisión de las previsiones fuera de la muestra principalmente en horizontes de previsión más cortos en relación al Random Walk y otros benchmarks ampliamente usados en la literatura. Así mismo, se observa que el método MSSA se ajusta mejor que los modelos competidores en todos los horizontes para las previsiones donde el vencimiento es menor.

The evolution of big data has led to financial time series becoming increasingly complex, noisy, non-stationary and nonlinear. Takens theorem can be used to analyze and forecast nonlinear time series, but even small amounts of noise can hopelessly corrupt a Takens approach. In contrast, Singular Spectrum Analysis is an excellent tool for both forecasting and noise reduction. Fortunately, it is possible to combine the Takens approach with Singular Spectrum analysis (SSA), and in fact, estimation of key parameters in Takens theorem is performed with Singular Spectrum Analysis. In this thesis, we combine the denoising abilities of SSA with the Takens theorem approach to make the manifold reconstruction outcomes of Takens theorem less sensitive to noise. In particular, in the course of performing the SSA on a noisy time series, we branch of into a Takens theorem approach. We apply this approach to a variety of noisy time series.

A estimação da estrutura da taxa de juros é relevante por duas razões fundamentais: em primeiro lugar é considerado como um indicador antecipado de política, sendo uma das principais ferramentas para os bancos centrais como instrumento de política monetária; em segundo lugar, através da curva de rendimentos é possível fazer valoração de ativos financeiros. A causa da sua relevância, tanto na área macroeconômica e como no campo financeiro, uma ampla literatura dedicada a estimá-la se desenvolveu. Neste sentido, o objetivo deste documento é a previsão da curva de rendimentos da Colômbia através da metodologia de Spectrum Singular Analysis (SSA) durante o período 2006-2014. Para a previsão são usados parâmetros diários estimados pelo modelo de fatores de Nelson e Siegel (1987). Os resultados indicam ganhos na acurácia preditiva fora da amostra da abordagem de MSSA em relação ao modelo Random Walk e outros benchmarks amplamente usados na literatura, principalmente nos horizontes de previsão mais curtos. Os resultados são estatisticamente significantes. Assim mesmo, observasse que o MSSA se ajusta melhor que os modelos competidores em todos os horizontes para as previsões das menores maturidades. / The estimation of the Yield curve is relevant because of two fundamental reasons: firstly, it is considered an anticipated indicator of economic policies, being one of the principal central banks tools as instrument of monetary policy; secondly, through this estimation it is possible to valuate financial assets. Due to its relevance in the macroeconomics area and the financial field, an extensive literature has been dedicated to its estimation. Concerning that, the goal of this document is to get a prediction of Colombia’s yield curve through the Spectrum Singular Analysis (SSA) from 2006 to 2014. Daily estimated parameters by Nelson and Siegel (1987) factors model are used to obtain the prognostication. Results are statistically significant and indicate gains of the MMSA on the accuracy of previsions out of the sample in relation to the Random Walk competitor model and other benchmarks widely used in literature, mainly on short term previsions. Likewise, we observe that the MSSA method is better adjusted than competitors’ models in all the horizons for the previsions where maturity is lower. / La estimación de la curva de rendimientos es relevante por dos razones fundamentales: en primer lugar es considerado como un indicador anticipado de política económica, siendo una de las principales herramientas para los bancos centrales como instrumento de política monetaria; en segundo lugar, a través de esta es posible realizar valoración de activos financieros. Dada su relevancia tanto en el área macroeconómica como en el campo financiero una amplia literatura ha sido dedicada a su estimación. En este sentido, el objetivo de este documento es la previsión de la curva de rendimientos de Colombia a través de la metodología de Spectrum Singular Analysis (SSA) durante noviembre de 2006 a diciembre de 2014. Para su pronóstico son usados los parámetros diarios estimados por el modelo de factores de Nelson e Siegel (1987). Los resultados son estadísticamente significativos e indican ganancias del método MSSA en la precisión de las previsiones fuera de la muestra principalmente en horizontes de previsión más cortos en relación al Random Walk y otros benchmarks ampliamente usados en la literatura. Así mismo, se observa que el método MSSA se ajusta mejor que los modelos competidores en todos los horizontes para las previsiones donde el vencimiento es menor.

A estimação da estrutura da taxa de juros é relevante por duas razões fundamentais: em primeiro lugar é considerado como um indicador antecipado de política, sendo uma das principais ferramentas para os bancos centrais como instrumento de política monetária; em segundo lugar, através da curva de rendimentos é possível fazer valoração de ativos financeiros. A causa da sua relevância, tanto na área macroeconômica e como no campo financeiro, uma ampla literatura dedicada a estimá-la se desenvolveu. Neste sentido, o objetivo deste documento é a previsão da curva de rendimentos da Colômbia através da metodologia de Spectrum Singular Analysis (SSA) durante o período 2006-2014. Para a previsão são usados parâmetros diários estimados pelo modelo de fatores de Nelson e Siegel (1987). Os resultados indicam ganhos na acurácia preditiva fora da amostra da abordagem de MSSA em relação ao modelo Random Walk e outros benchmarks amplamente usados na literatura, principalmente nos horizontes de previsão mais curtos. Os resultados são estatisticamente significantes. Assim mesmo, observasse que o MSSA se ajusta melhor que os modelos competidores em todos os horizontes para as previsões das menores maturidades. / The estimation of the Yield curve is relevant because of two fundamental reasons: firstly, it is considered an anticipated indicator of economic policies, being one of the principal central banks tools as instrument of monetary policy; secondly, through this estimation it is possible to valuate financial assets. Due to its relevance in the macroeconomics area and the financial field, an extensive literature has been dedicated to its estimation. Concerning that, the goal of this document is to get a prediction of Colombia’s yield curve through the Spectrum Singular Analysis (SSA) from 2006 to 2014. Daily estimated parameters by Nelson and Siegel (1987) factors model are used to obtain the prognostication. Results are statistically significant and indicate gains of the MMSA on the accuracy of previsions out of the sample in relation to the Random Walk competitor model and other benchmarks widely used in literature, mainly on short term previsions. Likewise, we observe that the MSSA method is better adjusted than competitors’ models in all the horizons for the previsions where maturity is lower. / La estimación de la curva de rendimientos es relevante por dos razones fundamentales: en primer lugar es considerado como un indicador anticipado de política económica, siendo una de las principales herramientas para los bancos centrales como instrumento de política monetaria; en segundo lugar, a través de esta es posible realizar valoración de activos financieros. Dada su relevancia tanto en el área macroeconómica como en el campo financiero una amplia literatura ha sido dedicada a su estimación. En este sentido, el objetivo de este documento es la previsión de la curva de rendimientos de Colombia a través de la metodología de Spectrum Singular Analysis (SSA) durante noviembre de 2006 a diciembre de 2014. Para su pronóstico son usados los parámetros diarios estimados por el modelo de factores de Nelson e Siegel (1987). Los resultados son estadísticamente significativos e indican ganancias del método MSSA en la precisión de las previsiones fuera de la muestra principalmente en horizontes de previsión más cortos en relación al Random Walk y otros benchmarks ampliamente usados en la literatura. Así mismo, se observa que el método MSSA se ajusta mejor que los modelos competidores en todos los horizontes para las previsiones donde el vencimiento es menor.

Redes Bayesianas Dinâmicas (DBNs) são modelos capazes de representar um sistema dinâmico por meio de uma rede complexa que codifica as independências estatísticas condicionais entre os seus estados internos. Entre seus métodos de aprendizagem estrutural a partir de dados, o uso daqueles baseados em teoria de informação têm ganhado bastante espaço nos últimos anos, devido às suas vantages de serem livres de modelo e permitirem uma aprendizagem offline a partir de medidas em múltiplas repetições do experimento. No entanto, resta uma exploração dos paralelos entre a área de aprendizagem de DBNs e aquela interessada em realizar medidas de transferência de informação entre elementos de um sistema neural, principalmente por meio de transferência de entropia (TE). O presente trabalho busca, assim, aproximar estes dois focos de pesquisa, identificando suas equivalências e tratando de alguns dos desafios relacionados à sua implementação em identificação de sistemas neurais. Nota-se que uma das maiores dificuldades relacionadas ao uso de teoria de informação em sistemas multivariados concerne a alta dimensionalidade das funções de distribuição de probabilidade, exigindo grandes quantidades de dados observados simultaneamente. Não obstante, a aplicação de DBNs e transferência de entropia em sistemas de tempo contínuo também envolve considerações sobre a discretização dos sistemas no tempo, o que implica na necessidade de relaxamento da suposição da propriedade de Markov de primeira ordem (presente na definição de DBNs), e leva, assim, à proposta de redes Bayesianas dinâmicas de altas ordens (HO-DBNs). Além de realizar uma revisão das principais propostas para a solução destas dificuldades, o trabalho primeiramente propõe que, sob a suposição de um sistema com elementos se comportando de forma igual, os valores das medidas baseadas em teoria de informação com baixa dimensionalidade podem ser utilizados para a aprendizagem de estruturas de rede. Isso é mostrado a partir do uso de informação mútua par a par para a aprendizagem de redes Bayesianas simuladas com distribuições de probabilidade condicional fixas. No que concerne o uso de HO-DBNs, também se propõe um algoritmo baseado em otimização por enxame de partículas (PSO) para percorrer o espaço de busca de estruturas de HO-DBNs de forma mais eficiente. Em seguida, duas aplicações de modelagem de DBNs com uso de teoria de informação são exploradas na área de sistemas neurais, tendo em vista a obtenção de conhecimento acerca de conectividade funcional e até uma aplicação futura em engenharia bioinspirada. Os desafios apresentados anteriormente são, assim, exemplificados, junto com algumas propostas de solução. A primeira área diz respeito à elicitação de conectividade funcional entre as sub-áreas do hipocampo, no cérebro humano, a partir de dados de ressonância magnética funcional (fMRI) de alta resolução. A partir de uma análise seed-to-voxel em grupo, regiões de interesse (ROIs) são identificadas e um modelo inicial de DBN é proposto, que é coerente com alguns estudos já feitos na literatura. A segunda área de aplicação concerne a conectividade neural do sistema neuromotor do gafanhoto, a partir de gravações intracelulares de potencial sináptico em neurônios sensores, motores e interneurônios, sob estimulação com um fórceps no órgão femoral cordotonal (FeCO). Embora um modelo completo de DBN ainda não seja possível devido à ausência de gravações simultâneas suficientes, os atrasos de transferência de entropia entre o estímulo e a resposta nos neurônios motores são obtidos e integrados a partir de uma análise Bayesiana, dado também um pré-processamento com análise de espectro singular (SSA) que, ao remover a não-estacionariedade do sinal (que se deve a fatores extrínsecos ao sistema), aumentou consideravelmente a quantidade de amostras disponíveis. Tais resultados, ao ajudar a reduzir o espaço de busca de DBNs, também servem para direcionar futuros experimentos e pesquisas na área. / Dynamic Bayesian Networks (DBNs) are models capable of representing a dynamical system by means of a complex network which codifies statistical conditional independencies between their internal states. Among their strucutural learning methods based on data, the use of ones based on information theory are gaining ground in recent years, due to their advantages of being model-free and permitting offline learning from multiple repetitions of an experiment. However, there still remains an exploration of the parallels between the areas of DBN structure learning and those interested in obtaining measures of information transfer between elements of neural systems, mainly through transfer entropy (TE). Thus, the current work seeks to approximate these two foci of research by identifying some of their equivalences and challenges related to their usage in neural systems identification. It is noted that one of the main difficulties related to the use of information theory in multivariate neural systems concerns the high dimensionality of the probability distribution functions, requiring thus great quantities of data observed simultaneously. Furthermore, the application of DBNs and transfer entropy on continuous time systems also involves considerations about their discretization on time, which implies the necessity of relaxing the first order Markov property (instrinsinc to the definition of DBNs), and thus leads to the proposal of high-order dynamic Bayesian networks (HO-DBNs). Besides performing a review on the main proposals for solving these difficulties, this work first proposes that, under the supposition of a system with elements behaving in a similar way, the values of information theory based measures with low dimensions can be employed for learning network structures. This is shown with the use of pairwise mutual information for learning simulated Bayesian networks with fixed conditional probability distributions. And concerning the use of HO-DBNs, an algorithm based on PSO is proposed in order to pass through their search space more efficiently. Next, two applications of DBN modeling with information theory are explored in the field of neural systems, in view of obtaining knowledge about functional connectivity and even of a future application of bioinspired engineering. The challenged presented earlier are then exemplified along with some proposals of solutions. The first field regards the elicitation of functional connectivity between hippocampal subfields on the human brain based of high resolution fMRI data. Starting from a seed-to-voxel group analysis, regions of interest (ROIs) are identified and an initial DBN model is proposed, which is coherent with some studies already conducted in the literature. The second field of application concerns the neural connectivity between the neuromotor system of the locust, based on intracellular synaptic potential recordings on sensory neurons, interneurons and motor neurons under stimulation by a forceps in the femoral chordotonal organ (FeCO). Although a complete DBN model is still not possible due to the absence of sufficient and simultaneous recordings, the transfer entropy delays between stimulus and responses on the motor neuros are obtained and integrated by a Bayesian analysis, given also a pre-processing based on Singular Spectrum Analysis (SSA) which, by removing the nonstationarity characteristics of the signal (which are due to extrinsic factors on the system), considerably increased the number of available samples for learning. Such results, by helping to reduce the search space of DBNs, also direct further experiments and studies on this field.

[pt] Como resultado do processo de contração de novos Leilões de energia eólica e a entrada em operação de novos parques eólicos ao sistema elétrico Brasileiro, é necessário que o planejamento da operação das atividades de curto prazo como a regulação, atendimento da carga, balanceamento e programação do despacho das unidades geradoras entre outras atividades, seja efetuado de tal que os riscos técnicos e financeiros sejam minimizados. Porém esta não é uma tarefa simples, já que fornecer previsões exatas para esse processo apresenta uma série de desafios, como a incorporação da incerteza no cálculo das previsões. Daqui que a literatura técnica reporta diversas técnicas que proporcionam estimativas da densidade de probabilidade de geração de energia eólica, pois tais estimações permitem obter previsões da densidade de probabilidade para a energia eólica. Neste contexto, a previsão da velocidade do vento nos aproveitamentos eólicos passa a ser uma informação fundamental para os modelos de apoio à decisão que suportam a operação econômica e segura dos sistemas elétricos, pois a maioria dos modelos precisa da previsão da velocidade do vento para calcular a previsão da energia eólica. Este trabalho apresenta uma proposta uma estratégia de especificação não paramétrica para a previsão da geração de energia eólica, empregando a comumente conhecida densidade condicional por kernel, o qual permite calcular a função densidade de probabilidade da produção eólica para qualquer horizonte de tempo, condicionada à previsão da velocidade do vento obtida através da aplicação da metodologia de Análise Espectral Singular (SSA) para previsão. A metodologia foi validada com sucesso usando a série temporal das medias horárias da velocidade do vento e da produção eólica de um parque eólico Brasileiro. Os resultados foram comparados contra outras metodologias para a previsão da velocidade do vento, onde a abordagem não paramétrica proposta produz resultados muito proeminentes. / [en] As a result of the new contracting process wind power auctions and the entrance into operation of new wind farms to the Brazilian electrical system, it is requires that the planning of the operation of short-term activities such as regulation, balancing and programming dispatch of units commitment among other activities, is made such that the technical and financial risks are minimized. But this is not a simple task, since providing accurate forecasts for this process presents several challenges, as the incorporation of uncertainty in the calculation of the forecasts. Hence the technical literature reports several techniques that provide estimates of the probability of wind power generation density, because such estimates allow to obtain forecasts of the wind power probability density function. In this context, wind speed forecasting in wind farms becomes essential information for decision support models which helps the economic and safe operation of electrical systems, due to the fact that most of the models need to the wind speed predictions for forecasting wind energy. This thesis proposes a non-parametric specification strategy for forecasting of wind power generation, using the commonly known conditional kernel density estimation, which allows the estimation of the probability density function of wind power generation for any time horizon, conditioned on wind speed forecast obtained by applying the Singular Spectrum Analysis methodology (SSA). The methodology has been successfully validated using the time series of wind speed and hourly averages of wind production of a Brazilian wind farm. The results were compared against other methodologies for wind speed prediction, and the proposed non-parametric approach produced very prominent results.

Redes Bayesianas Dinâmicas (DBNs) são modelos capazes de representar um sistema dinâmico por meio de uma rede complexa que codifica as independências estatísticas condicionais entre os seus estados internos. Entre seus métodos de aprendizagem estrutural a partir de dados, o uso daqueles baseados em teoria de informação têm ganhado bastante espaço nos últimos anos, devido às suas vantages de serem livres de modelo e permitirem uma aprendizagem offline a partir de medidas em múltiplas repetições do experimento. No entanto, resta uma exploração dos paralelos entre a área de aprendizagem de DBNs e aquela interessada em realizar medidas de transferência de informação entre elementos de um sistema neural, principalmente por meio de transferência de entropia (TE). O presente trabalho busca, assim, aproximar estes dois focos de pesquisa, identificando suas equivalências e tratando de alguns dos desafios relacionados à sua implementação em identificação de sistemas neurais. Nota-se que uma das maiores dificuldades relacionadas ao uso de teoria de informação em sistemas multivariados concerne a alta dimensionalidade das funções de distribuição de probabilidade, exigindo grandes quantidades de dados observados simultaneamente. Não obstante, a aplicação de DBNs e transferência de entropia em sistemas de tempo contínuo também envolve considerações sobre a discretização dos sistemas no tempo, o que implica na necessidade de relaxamento da suposição da propriedade de Markov de primeira ordem (presente na definição de DBNs), e leva, assim, à proposta de redes Bayesianas dinâmicas de altas ordens (HO-DBNs). Além de realizar uma revisão das principais propostas para a solução destas dificuldades, o trabalho primeiramente propõe que, sob a suposição de um sistema com elementos se comportando de forma igual, os valores das medidas baseadas em teoria de informação com baixa dimensionalidade podem ser utilizados para a aprendizagem de estruturas de rede. Isso é mostrado a partir do uso de informação mútua par a par para a aprendizagem de redes Bayesianas simuladas com distribuições de probabilidade condicional fixas. No que concerne o uso de HO-DBNs, também se propõe um algoritmo baseado em otimização por enxame de partículas (PSO) para percorrer o espaço de busca de estruturas de HO-DBNs de forma mais eficiente. Em seguida, duas aplicações de modelagem de DBNs com uso de teoria de informação são exploradas na área de sistemas neurais, tendo em vista a obtenção de conhecimento acerca de conectividade funcional e até uma aplicação futura em engenharia bioinspirada. Os desafios apresentados anteriormente são, assim, exemplificados, junto com algumas propostas de solução. A primeira área diz respeito à elicitação de conectividade funcional entre as sub-áreas do hipocampo, no cérebro humano, a partir de dados de ressonância magnética funcional (fMRI) de alta resolução. A partir de uma análise seed-to-voxel em grupo, regiões de interesse (ROIs) são identificadas e um modelo inicial de DBN é proposto, que é coerente com alguns estudos já feitos na literatura. A segunda área de aplicação concerne a conectividade neural do sistema neuromotor do gafanhoto, a partir de gravações intracelulares de potencial sináptico em neurônios sensores, motores e interneurônios, sob estimulação com um fórceps no órgão femoral cordotonal (FeCO). Embora um modelo completo de DBN ainda não seja possível devido à ausência de gravações simultâneas suficientes, os atrasos de transferência de entropia entre o estímulo e a resposta nos neurônios motores são obtidos e integrados a partir de uma análise Bayesiana, dado também um pré-processamento com análise de espectro singular (SSA) que, ao remover a não-estacionariedade do sinal (que se deve a fatores extrínsecos ao sistema), aumentou consideravelmente a quantidade de amostras disponíveis. Tais resultados, ao ajudar a reduzir o espaço de busca de DBNs, também servem para direcionar futuros experimentos e pesquisas na área. / Dynamic Bayesian Networks (DBNs) are models capable of representing a dynamical system by means of a complex network which codifies statistical conditional independencies between their internal states. Among their strucutural learning methods based on data, the use of ones based on information theory are gaining ground in recent years, due to their advantages of being model-free and permitting offline learning from multiple repetitions of an experiment. However, there still remains an exploration of the parallels between the areas of DBN structure learning and those interested in obtaining measures of information transfer between elements of neural systems, mainly through transfer entropy (TE). Thus, the current work seeks to approximate these two foci of research by identifying some of their equivalences and challenges related to their usage in neural systems identification. It is noted that one of the main difficulties related to the use of information theory in multivariate neural systems concerns the high dimensionality of the probability distribution functions, requiring thus great quantities of data observed simultaneously. Furthermore, the application of DBNs and transfer entropy on continuous time systems also involves considerations about their discretization on time, which implies the necessity of relaxing the first order Markov property (instrinsinc to the definition of DBNs), and thus leads to the proposal of high-order dynamic Bayesian networks (HO-DBNs). Besides performing a review on the main proposals for solving these difficulties, this work first proposes that, under the supposition of a system with elements behaving in a similar way, the values of information theory based measures with low dimensions can be employed for learning network structures. This is shown with the use of pairwise mutual information for learning simulated Bayesian networks with fixed conditional probability distributions. And concerning the use of HO-DBNs, an algorithm based on PSO is proposed in order to pass through their search space more efficiently. Next, two applications of DBN modeling with information theory are explored in the field of neural systems, in view of obtaining knowledge about functional connectivity and even of a future application of bioinspired engineering. The challenged presented earlier are then exemplified along with some proposals of solutions. The first field regards the elicitation of functional connectivity between hippocampal subfields on the human brain based of high resolution fMRI data. Starting from a seed-to-voxel group analysis, regions of interest (ROIs) are identified and an initial DBN model is proposed, which is coherent with some studies already conducted in the literature. The second field of application concerns the neural connectivity between the neuromotor system of the locust, based on intracellular synaptic potential recordings on sensory neurons, interneurons and motor neurons under stimulation by a forceps in the femoral chordotonal organ (FeCO). Although a complete DBN model is still not possible due to the absence of sufficient and simultaneous recordings, the transfer entropy delays between stimulus and responses on the motor neuros are obtained and integrated by a Bayesian analysis, given also a pre-processing based on Singular Spectrum Analysis (SSA) which, by removing the nonstationarity characteristics of the signal (which are due to extrinsic factors on the system), considerably increased the number of available samples for learning. Such results, by helping to reduce the search space of DBNs, also direct further experiments and studies on this field.