Informações que caracterizam o risco quebra de produção agrícola são necessárias para a precificação de prêmio do seguro agrícola de produção e de renda. A distribuição de probabilidade da variável rendimento agrícola é uma dessas informações, em especial aquela que descreve a variável aleatória rendimento agrícola condicionada aos fatores de risco climáticos. Este trabalho objetiva aplicar redes Bayesianas (grafo acíclico direcionado, ou modelo hierárquico Bayesiano) a estimação da distribuição de probabilidade de rendimento da soja em alguns municípios do Paraná, com foco na analise comparativa de riscos. Dados meteorológicos (ANA e INMET, período de 1970 a 2011) e de sensoriamento remoto (MODIS, período de 2000 a 2011) são usados conjuntamente para descrever espacialmente o risco climático de quebra de produção. Os dados de rendimento usados no estudo (COAMO, período de 2001 a 2011) requerem agrupamento de todos os dados ao nível municipal e, para tanto, a seleção de dados foi realizada nas dimensões espacial e temporal por meio de um mapa da cultura da soja (estimado por SVM - support vector machine) e os resultados de um algoritmo de identificação de ciclo de culturas. A interpolação requerida para os dados de temperatura utilizou uma componente de tendência estimada por dados de sensoriamento remoto, para descrever variações espaciais da variável que são ofuscadas pelos métodos tradicionais de interpolação. Como resultados, identificou-se relação significativa entre a temperatura observada por estações meteorológicas e os dados de sensoriamento remoto, apoiando seu uso conjunto nas estimativas. O classificador que estima o mapa da cultura da soja apresenta sobre-ajuste para safras das quais as amostras usadas no treinamento foram coletadas. Além da seleção de dados, a identificação de ciclo também permitiu obtenção de distribuições de datas de plantio da cultura da soja para o estado do Paraná. As redes bayesianas apresentam grande potencial e algumas vantagens quando aplicadas na modelagem de risco agrícola. A representação da distribuição de probabilidade por um grafo facilita o entendimento de problemas complexos, por suposições de causalidade, e facilita o ajuste, estruturação e aplicação do modelo probabilístico. A distribuição log-normal demonstrou-se a mais adequada para a modelagem das variáveis de ambiente (soma térmica, chuva acumulada e maior período sem chuva), e a distribuição beta para produtividade relativa e índices de estado (amplitude de NDVI e de EVI). No caso da regressão beta, o parâmetro de precisão também foi modelado com dependência das variáveis explicativas melhorando o ajuste da distribuição. O modelo probabilístico se demonstrou pouco representativo subestimando bastante as taxas de prêmio de seguro em relação a taxas praticadas no mercado, mas ainda assim apresenta contribui para o entendimento comparativo de situações de risco de quebra de produção da cultura da soja. / Information that characterize the risk of crop losses are necessary to crop and revenue insurance underwriting. The probability distribution of yield is one of this information. This research applies Bayesian networks (direct acyclic graph, or hierarchical Bayesian model) to estimate the probability distribution of soybean yield for some counties in Paraná state (Brazil) with focus on risk comparative analysis. Meteorological data (ANA and INMET, from 1970 to 2011) and remote sensing data (MODIS, from 2001 to 2011) were used to describe spatially the climate risk of production loss. The yield data used in this study (COAMO, from 2001 to 2011) required grouping to county level and, for that, a process of data selection was performed on spatial and temporal dimensions by a crop map (estimated by SVM - support vector machine) and by the results of a crop cycle identification algorithm. The interpolation required to spatialize temperature required a trend component which was estimated by remote sensing data, to describe the spatial variations of the variable obfuscated by traditional interpolation methods. As results, a significant relation between temperature from meteorological stations and remote sensing data was found, sustaining the use of the supposed relation between the two variables. The soybean map classifier shown over-fitting for the crop seasons for which the training samples were collected. Besides the data collection, a seeding dates distribution of soybean in Paraná state was obtained from the crop cycle identification process. The Bayesian networks showed big potential and some advantages when applied to agronomic risk modeling. The representation of the probability distribution by graphs helps the understanding of complex problems, with causality suppositions, and also helps the fitting, structuring and application of the probabilistic model. The log-normal probability distribution showed to be the best to model environment variables (thermal sum, accumulated precipitation and biggest period without rain), and the beta distribution to be the best to model relative yield and state indexes (NDVI and EVI ranges). In the case of beta regression, the precision parameter was also modeled with explanation variables as dependencies increasing the quality of the distribution fitting. In the overall, the probabilistic model had low representativity underestimating the premium rates, however it contributes to understand scenarios with risk of yield loss for the soybean crop.

Este estudo visa compreender a adequação dos rendimentos às necessidades e condições de vida dos brasileiros. Observando os dados da Pesquisa de Orçamentos Familiares (POF) realizada pelo IBGE (Instituto Brasileiro de Geografia e Estatística) para o período: 2008 e 2009, o estudo identifica um modelo que se concentra na investigação sobre o fato de 75% dos domicílios brasileiros declararem dificuldades orçamentárias. Para desenvolver um modelo, foi utilizada a percepção declarada e subjetiva de adequação da renda, informada pelo chefe de família ou pessoa de referência no domicílio. O referencial teórico baseia-se no comportamento do consumidor e foca nos recursos econômicos. O método quantitativo foi desenvolvido com Inteligência Artificial, mais especificamente Redes Bayesianas. Redes Bayesianas são estruturas em forma de grafos onde as distribuições de probabilidade são representadas por nós ligados por arcos acíclicos, que podem representar ou não relações causais entre as variáveis. No final pretende-se contribuir para o conhecimento e melhoria no desenho de políticas públicas e para as empresas em geral, dando um panorama sobre o que afeta as dificuldades das famílias, proporcionando uma visão que vai além da tradicional divisão de classes econômicas. / This study aims to understand the adequacy of Brazilians´ income to their needs and living conditions. According to the data from the Household Budget Survey (POF) conducted by IBGE (Brazilian Institute of Geography and Statistics) for the years of 2008 - 2009, the study identifies a model which focuses on the investigations about the fact that 75% of Brazilian households reported budgetary difficulties. To develop a model, was used the perceived adequacy of income declared by the householder or reference person in the household. The theoretical framework was based on consumer behavior and focuses on economic resources. The quantitative method was developed by Artificial Intelligence, specifically Bayesian Networks. Bayesian Networks are structures in the form of graphs for which the probability distributions are represented by nodes connected by acyclic arcs, which may or may not represent causal relationships between variables. At the end we intend to contribute to knowledge and improvement in the design of public policies and business in general, giving a more detailed look at what affects the difficulties of families, providing a vision that goes beyond the traditional division of economic classes.

Made available in DSpace on 2014-07-29T15:13:44Z (GMT). No. of bitstreams: 1 Tese Camila Silveira de Melo.pdf: 1600630 bytes, checksum: 775f7bf932366a49562642895c0c3764 (MD5) Previous issue date: 2011-10-07 / Abstract: Blown Pack is a process of spoilage which characterizes by the build-up of gas in the package of chilled meat cuts, causing a repulsing aspect. In Brazil, this spoilage has been described in many States, mainly meat for export, which needs longer shelf-life. The main cause of blown Pack is attributed to Clostridium estertheticum, a bacteria which multiplies easily in long-term storage at refrigeration temperatures and also in anaerobic organisms found in vacuum-packed chilled meat. The management of these bacteria in the flowchart of slaughter is very difficult due to its sporulated shape, easy dissemination and growth during the meat processing. Having said that, this work aimed to propose a decision support system for risk management for Clostridium estertheticum in the flowchart of bovine slaughter and vacuum-packed chilled beef cuts. Hence, it was carried out an identification of Control Point and Critical Point Control for bacteria as well as a risk classification and quantification in the process of vacuum-packed chilled beef cuts. The decision support system was based on the concept of Risk Assessment and Bayesian Networks. The system elaboration was performed at Shell Netica program. The probabilistic was manually input during the meeting with experts on the area. The first proposed structure of the system was elaborated for classification and quantification for microbiological risks, having as a parent node, a Risk Characterization of blown pack. The children nodes, linked to the parent node, were elaborated and based on Risk Exposure and Hazard Characterization for microbial deterioration in blown packed spoilage in meat cuts. In the second part of the proposition of the system, it was selected the slaughter operations and the determining factors of contamination in the processes. The parent nodes indentified the contamination risks and the children nodes the slaughter conditions. The system performance was assessed by specificity and sensibility. The proposed model presented a satisfactory performance, being reliable to the productive reality. The system presented high risk for blown pack for C. estertheticum, lactic acid bacteria and Enterobacteriaceae. Concerning its performance in identifying the contamination risk on the flowchart of slaughter, it has been high, with 100% of specificity and sensibility. The proposed model presented clear diagnosis, showing the operations that need more attention by the risk manager‟s part. / O tufamento é um processo de deterioração que se caracteriza pelo acúmulo de gases no interior da embalagem de cortes cárneos, provocando aspecto repugnante. No Brasil, essa deterioração já foi observada em vários Estados, principalmente em lotes destinados a exportação, que necessitam de maior vida de prateleira. O principal causador do tufamento é o Clostridium estertheticum, uma bactéria que se multiplica com facilidade em temperaturas de refrigeração e em anaerobiose, sendo essas condições encontradas em carnes embaladas a vácuo. O gerenciamento dessa bactéria no fluxograma de abate é muito difícil devido à sua forma esporulada e facilidade de disseminação e crescimento durante o processamento da carne bovina. Diante do exposto, objetivou-se com o presente trabalho propor um sistema de apoio à decisão de gerenciamento de risco de Clostridium estertheticum, no fluxograma de abate de bovinos e em cortes cárneos embalados a vácuo. Para isso, foi realizada a identificação dos Pontos de Controle e Pontos Críticos de Controle para a bactéria, além da classificação e quantificação de riscos no processo de obtenção de cortes cárneos refrigerados embalados a vácuo. O sistema de apoio a decisão foi baseado no conceito de Avaliação de Risco e Redes Bayesianas. A elaboração do sistema foi realizada no programa Shell Netica, com as probabilidades inseridas de forma manual durante reuniões com especialista da área. A primeira estrutura do sistema proposto foi elaborada para classificação e quantificação de riscos microbiológicos, possuindo como nó pai a Caracterização do Risco de tufamento. Os nós filhos, ligados ao nó pai, foram elaborados com base na Exposição de Risco e Caracterização de Perigo para deteriorantes incriminados em tufamento de cortes cárneos. Na proposição da segunda parte do sistema, foram elencadas as operações de abate e os fatores determinantes da contaminação dos processos, assim sendo, os nós pais identificaram o risco de contaminação e os nós filhos as condições de abate. O desempenho do sistema foi avaliado por meio da especificidade e sensibilidade. O modelo proposto apresentou desempenho satisfatório, sendo fidedigno à realidade produtiva. O sistema apresentou alto risco de tufamento para C. estertheticum, bactérias ácido láticas e Enterobacteriaceae. Quanto ao seu desempenho em identificar risco de contaminação no fluxograma de abate, esse se mostrou elevado, com 100% de especificidade e sensibilidade. O modelo proposto apresentou diagnósticos claros, apontando as operações que necessitam de maior atenção por parte do gestor de riscos.

Made available in DSpace on 2016-03-15T19:38:06Z (GMT). No. of bitstreams: 1 Tatiana Ferreira Raffaelli.pdf: 1372071 bytes, checksum: 274f2a97f290810c43d6e7c6e0730d1a (MD5) Previous issue date: 2007-09-18 / The existence of a highly reliable prediction system to detect the occurrence of large solar flares (class X) is still an unsolved problem. Despite many studies performed so far, no such a system has been found yet. In this work, we have developed a method using Bayesian Network - an Artificial Intelligence technique for the detection of giant solar flares. The Bayesian Networks software learned the relation among the variables that describe the sunspots within an active region and built a network with the relationships among them based on conditional probabilities. The studies were divided into two stages one to detect whether the sunspot would produce a big flare or not and another phase where some networks were built to discover the day the flare would occur. The first phase results were very satisfactory reaching a reliability of 77%. The second phase was more complex and the results were about 77% (with day constraints) and 54% (a wider range of days). / A existência de um sistema de previsão, de alta confiabilidade, para a detecção de ocorrência de grandes explosões solares (classe X) ainda é um problema sem solução. Existem diversos estudos nesta área, porém ainda não foi encontrado nenhum sistema eficiente. Para este trabalho foi desenvolvido um método utilizando-se redes Bayesianas, técnica de Inteligência Artificial, para a previsão das grandes flares (explosões) solares. O software de redes Bayesianas aprendeu a relação entre as variáveis que descrevem as regiões ativas e constroem uma rede com os relacionamentos entre elas baseados em probabilidades condicionais. Os estudos foram divididos em duas etapas, uma rede para detectar se a mancha solar irá produzir uma grande explosão ou não, e uma outra etapa em que foram construídas redes para prever o dia em que a explosão irá ocorrer. Os resultados obtidos na primeira etapa foram bem satisfatórios, atingindo 84% de confiabilidade. Já a segunda etapa do trabalho mostrou-se mais complexa e os resultados obtidos foram de 77% (com restrições de dias) e 54% (sem restrições de dia).

A extração de Interações Proteína-Proteína (IPPs) a partir de texto é um problema relevante na área biomédica e um desafio na área de aprendizado de máquina. Na área biomédica, as IPPs são fundamentais para compreender o funcionamento dos seres vivos. No entanto, o número de artigos relacionados com IPPs está aumentando rapidamente, sendo impraticável identicá-las e catalogá-las manualmente. Por exemplo, no caso das IPPs humanas apenas 10% foram catalogadas. Por outro lado, em aprendizado de máquina, métodos baseados em kernels são frequentemente empregados para extrair automaticamente IPPs, atingindo resultados considerados estado da arte. Esses métodos usam informações léxicas, sintáticas ou semânticas como características. Entretanto, os resultados ainda são insuficientes, atingindo uma taxa relativamente baixa, em termos da medida F, devido à complexidade do problema. Apesar dos esforços em produzir kernels, cada vez mais sofisticados, usando árvores sintáticas como árvores constituintes ou de dependência, pouco é conhecido sobre o desempenho de outras abordagens de aprendizado de máquina como, por exemplo, as redes bayesianas. As àrvores constituintes são estruturas de grafos que contêm informação importante da gramática subjacente as sentenças de textos contendo IPPs. Por outro lado, a rede bayesiana permite modelar algumas regras da gramática e atribuir para elas uma distribuição de probabilidade de acordo com as sentenças de treinamento. Neste trabalho de mestrado propõe-se um método para construção automática de redes bayesianas a partir de árvores contituintes para extração de IPPs. O método foi testado em cinco corpora padrões da extração de IPPs, atingindo resultados competitivos, em alguns casos melhores, em comparação a métodos do estado da arte / Extracting Protein-Protein Interactions (PPIs) from text is a relevant problem in the biomedical field and a challenge in the area of machine learning. In the biomedical field, the PPIs are fundamental to understand the functioning of living organisms. However, the number of articles related to PPIs is increasing rapidly, hence it is impractical to identify and catalog them manually. For example, in the case of human PPIs only 10 % have been cataloged. On the other hand, machine learning methods based on kernels are often employed to automatically extract PPIs, achieving state of the art results. These methods use lexical, syntactic and semantic information as features. However, the results are still poor, reaching a relatively low rate of F-measure due to the complexity of the problem. Despite efforts to produce sophisticate kernels, using syntactic trees as constituent or dependency trees, little is known about the performance of other Machine Learning approaches, eg, Bayesian networks. Constituent tree structures are graphs which contain important information of the underlying grammar in sentences containing PPIs. On the other hand, the Bayesian network allows modeling some rules of grammar and assign to them a probability distribution according to the training sentences. In this master thesis we propose a method for automatic construction of Bayesian networks from constituent trees for extracting PPIs. The method was tested in five corpora, considered benchmark of extraction of PPI, achieving competitive results, and in some cases better results when compared to state of the art methods

Nesta tese são apresentados um novo modelo estatístico para cálculo de probabilidade de paternidade e sua implementação em software. O modelo proposto utiliza o genótipo como informação básica, em contraste com outros modelos que usam alelos. Por esta diferença, o modelo proposto resulta mais abrangente, mas que, sob certas restrições, reproduz os resultados dos modelos que usam alelos. Este modelo foi implementado em um software que recebe descrições da genealogia e dos marcadores em uma linguagem dedicada a isso e constrói uma rede bayesiana para cada marcador. O usuário pode definir livremente a genealogia e os marcadores. O cálculo da probabilidade de paternidade é feito, sobre as redes construídas, por um software para inferência em redes bayesianas e a probabilidade de paternidade combinada considerando todos os marcadores é calculada, resultando em um \"índice de paternidade. / This thesis presents a novel statistical model for calculation of the probability of paternity and its implementation as a software. The proposed model uses genotype as basic information. Other models use alleles as basic information. As a result the proposed model is broader, in the sense that, under certain constraints the results from the other models are reproduced. The software implementation receives pedigree and markers data, in a specifically designed language, as input and builds one bayesian network for each marker. The user can freely define any pedigree and any marker. Paternity probabilities for each locus are calculated, from the built networks, by a software for inference on Bayesian Networks and these probabilities are combined into a single \"paternity index\".

A motivação para este trabalho originou-se da atual tendência do Gás Natural Liquefeito (GNL) se tornar uma importante opção para a diversificação da matriz energética brasileira. Atualmente, os terminais de gás natural liquefeito (GNL) são na maioria estruturas onshore, a construção destes terminais é custosa e muitos investimentos são necessários para atender as legislações ambientais e de segurança. Além disso, um acidente em uma destas instalações poderá produzir um grande impacto em áreas adjacentes. Sob esta perspectiva, surge uma nova proposta: uma unidade flutuante de armazenagem e regaseificação de gás natural liquefeito (FSRU - Floating Storage and Regasification Unit), o qual é uma unidade offshore e que pode trabalhar a quilômetros de distância da costa. O objetivo desta pesquisa é desenvolver uma metodologia de análise de Confiabilidade com o uso de Redes Bayesianas (RB) e aplicá-la na análise do sistema de Regaseificação do FSRU. O uso de RB, entre outras vantagens, permite a representação de incertezas no modelo e de dependências condicionais o que não é possível com as técnicas tradicionais, como por exemplo, as árvores de falhas e de eventos. Como resultado do trabalho, além da apresentação da metodologia a ser desenvolvida, serão identificados os pontos críticos do sistema contribuindo para o desenvolvimento de um plano de manutenção que assegure uma boa operabilidade do sistema com níveis razoáveis de dependabilidade. / The motivation for this research is the propensity of the Liquefied Natural Gas (LNG) becomes an important source of energy. Nowadays, LNG Import Terminals are mostly onshore; the construction of these terminals is costly and many adaptations are necessary to abide by environmental and safety laws. Moreover, an accident in one of these plants might produce considerable impact in neighboring areas. Under this perspective, a new option arises: a vessel known as FSRU (Floating Storage and Regasification Unit), which is an offshore unit, that can work miles away from de coast. The goal is to develop a Bayesian Network Reliability Modeling, which will show a preview of FSRUs Regasification System behavior. Using BN is possible to represent uncertain knowledge and local conditional dependencies. The results intend to clarify the critical equipment of the system and might improve the development of an effective maintenance plan, which can provide good operability with reasonable dependability levels.

[ES] Esta tesis se enmarca en la intersección entre las técnicas modernas de Machine Learning, como las Redes Neuronales Profundas, y el modelado probabilístico confiable. En muchas aplicaciones, no solo nos importa la predicción hecha por un modelo (por ejemplo esta imagen de pulmón presenta cáncer) sino también la confianza que tiene el modelo para hacer esta predicción (por ejemplo esta imagen de pulmón presenta cáncer con 67% probabilidad). En tales aplicaciones, el modelo ayuda al tomador de decisiones (en este caso un médico) a tomar la decisión final. Como consecuencia, es necesario que las probabilidades proporcionadas por un modelo reflejen las proporciones reales presentes en el conjunto al que se ha asignado dichas probabilidades; de lo contrario, el modelo es inútil en la práctica. Cuando esto sucede, decimos que un modelo está perfectamente calibrado. En esta tesis se exploran tres vias para proveer modelos más calibrados. Primero se muestra como calibrar modelos de manera implicita, que son descalibrados por técnicas de aumentación de datos. Se introduce una función de coste que resuelve esta descalibración tomando como partida las ideas derivadas de la toma de decisiones con la regla de Bayes. Segundo, se muestra como calibrar modelos utilizando una etapa de post calibración implementada con una red neuronal Bayesiana. Finalmente, y en base a las limitaciones estudiadas en la red neuronal Bayesiana, que hipotetizamos que se basan en un prior mispecificado, se introduce un nuevo proceso estocástico que sirve como distribución a priori en un problema de inferencia Bayesiana. / [CA] Aquesta tesi s'emmarca en la intersecció entre les tècniques modernes de Machine Learning, com ara les Xarxes Neuronals Profundes, i el modelatge probabilístic fiable. En moltes aplicacions, no només ens importa la predicció feta per un model (per ejemplem aquesta imatge de pulmó presenta càncer) sinó també la confiança que té el model per fer aquesta predicció (per exemple aquesta imatge de pulmó presenta càncer amb 67% probabilitat). En aquestes aplicacions, el model ajuda el prenedor de decisions (en aquest cas un metge) a prendre la decisió final. Com a conseqüència, cal que les probabilitats proporcionades per un model reflecteixin les proporcions reals presents en el conjunt a què s'han assignat aquestes probabilitats; altrament, el model és inútil a la pràctica. Quan això passa, diem que un model està perfectament calibrat. En aquesta tesi s'exploren tres vies per proveir models més calibrats. Primer es mostra com calibrar models de manera implícita, que són descalibrats per tècniques d'augmentació de dades. S'introdueix una funció de cost que resol aquesta descalibració prenent com a partida les idees derivades de la presa de decisions amb la regla de Bayes. Segon, es mostra com calibrar models utilitzant una etapa de post calibratge implementada amb una xarxa neuronal Bayesiana. Finalment, i segons les limitacions estudiades a la xarxa neuronal Bayesiana, que es basen en un prior mispecificat, s'introdueix un nou procés estocàstic que serveix com a distribució a priori en un problema d'inferència Bayesiana. / [EN] This thesis is framed at the intersection between modern Machine Learning techniques, such as Deep Neural Networks, and reliable probabilistic modeling. In many machine learning applications, we do not only care about the prediction made by a model (e.g. this lung image presents cancer) but also in how confident is the model in making this prediction (e.g. this lung image presents cancer with 67% probability). In such applications, the model assists the decision-maker (in this case a doctor) towards making the final decision. As a consequence, one needs that the probabilities provided by a model reflects the true underlying set of outcomes, otherwise the model is useless in practice. When this happens, we say that a model is perfectly calibrated. In this thesis three ways are explored to provide more calibrated models. First, it is shown how to calibrate models implicitly, which are decalibrated by data augmentation techniques. A cost function is introduced that solves this decalibration taking as a starting point the ideas derived from decision making with Bayes' rule. Second, it shows how to calibrate models using a post-calibration stage implemented with a Bayesian neural network. Finally, and based on the limitations studied in the Bayesian neural network, which we hypothesize that came from a mispecified prior, a new stochastic process is introduced that serves as a priori distribution in a Bayesian inference problem. / Maroñas Molano, J. (2022). Modeling Uncertainty for Reliable Probabilistic Modeling in Deep Learning and Beyond [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181582 / TESIS

Redes Bayesianas Dinâmicas (DBNs) são modelos capazes de representar um sistema dinâmico por meio de uma rede complexa que codifica as independências estatísticas condicionais entre os seus estados internos. Entre seus métodos de aprendizagem estrutural a partir de dados, o uso daqueles baseados em teoria de informação têm ganhado bastante espaço nos últimos anos, devido às suas vantages de serem livres de modelo e permitirem uma aprendizagem offline a partir de medidas em múltiplas repetições do experimento. No entanto, resta uma exploração dos paralelos entre a área de aprendizagem de DBNs e aquela interessada em realizar medidas de transferência de informação entre elementos de um sistema neural, principalmente por meio de transferência de entropia (TE). O presente trabalho busca, assim, aproximar estes dois focos de pesquisa, identificando suas equivalências e tratando de alguns dos desafios relacionados à sua implementação em identificação de sistemas neurais. Nota-se que uma das maiores dificuldades relacionadas ao uso de teoria de informação em sistemas multivariados concerne a alta dimensionalidade das funções de distribuição de probabilidade, exigindo grandes quantidades de dados observados simultaneamente. Não obstante, a aplicação de DBNs e transferência de entropia em sistemas de tempo contínuo também envolve considerações sobre a discretização dos sistemas no tempo, o que implica na necessidade de relaxamento da suposição da propriedade de Markov de primeira ordem (presente na definição de DBNs), e leva, assim, à proposta de redes Bayesianas dinâmicas de altas ordens (HO-DBNs). Além de realizar uma revisão das principais propostas para a solução destas dificuldades, o trabalho primeiramente propõe que, sob a suposição de um sistema com elementos se comportando de forma igual, os valores das medidas baseadas em teoria de informação com baixa dimensionalidade podem ser utilizados para a aprendizagem de estruturas de rede. Isso é mostrado a partir do uso de informação mútua par a par para a aprendizagem de redes Bayesianas simuladas com distribuições de probabilidade condicional fixas. No que concerne o uso de HO-DBNs, também se propõe um algoritmo baseado em otimização por enxame de partículas (PSO) para percorrer o espaço de busca de estruturas de HO-DBNs de forma mais eficiente. Em seguida, duas aplicações de modelagem de DBNs com uso de teoria de informação são exploradas na área de sistemas neurais, tendo em vista a obtenção de conhecimento acerca de conectividade funcional e até uma aplicação futura em engenharia bioinspirada. Os desafios apresentados anteriormente são, assim, exemplificados, junto com algumas propostas de solução. A primeira área diz respeito à elicitação de conectividade funcional entre as sub-áreas do hipocampo, no cérebro humano, a partir de dados de ressonância magnética funcional (fMRI) de alta resolução. A partir de uma análise seed-to-voxel em grupo, regiões de interesse (ROIs) são identificadas e um modelo inicial de DBN é proposto, que é coerente com alguns estudos já feitos na literatura. A segunda área de aplicação concerne a conectividade neural do sistema neuromotor do gafanhoto, a partir de gravações intracelulares de potencial sináptico em neurônios sensores, motores e interneurônios, sob estimulação com um fórceps no órgão femoral cordotonal (FeCO). Embora um modelo completo de DBN ainda não seja possível devido à ausência de gravações simultâneas suficientes, os atrasos de transferência de entropia entre o estímulo e a resposta nos neurônios motores são obtidos e integrados a partir de uma análise Bayesiana, dado também um pré-processamento com análise de espectro singular (SSA) que, ao remover a não-estacionariedade do sinal (que se deve a fatores extrínsecos ao sistema), aumentou consideravelmente a quantidade de amostras disponíveis. Tais resultados, ao ajudar a reduzir o espaço de busca de DBNs, também servem para direcionar futuros experimentos e pesquisas na área. / Dynamic Bayesian Networks (DBNs) are models capable of representing a dynamical system by means of a complex network which codifies statistical conditional independencies between their internal states. Among their strucutural learning methods based on data, the use of ones based on information theory are gaining ground in recent years, due to their advantages of being model-free and permitting offline learning from multiple repetitions of an experiment. However, there still remains an exploration of the parallels between the areas of DBN structure learning and those interested in obtaining measures of information transfer between elements of neural systems, mainly through transfer entropy (TE). Thus, the current work seeks to approximate these two foci of research by identifying some of their equivalences and challenges related to their usage in neural systems identification. It is noted that one of the main difficulties related to the use of information theory in multivariate neural systems concerns the high dimensionality of the probability distribution functions, requiring thus great quantities of data observed simultaneously. Furthermore, the application of DBNs and transfer entropy on continuous time systems also involves considerations about their discretization on time, which implies the necessity of relaxing the first order Markov property (instrinsinc to the definition of DBNs), and thus leads to the proposal of high-order dynamic Bayesian networks (HO-DBNs). Besides performing a review on the main proposals for solving these difficulties, this work first proposes that, under the supposition of a system with elements behaving in a similar way, the values of information theory based measures with low dimensions can be employed for learning network structures. This is shown with the use of pairwise mutual information for learning simulated Bayesian networks with fixed conditional probability distributions. And concerning the use of HO-DBNs, an algorithm based on PSO is proposed in order to pass through their search space more efficiently. Next, two applications of DBN modeling with information theory are explored in the field of neural systems, in view of obtaining knowledge about functional connectivity and even of a future application of bioinspired engineering. The challenged presented earlier are then exemplified along with some proposals of solutions. The first field regards the elicitation of functional connectivity between hippocampal subfields on the human brain based of high resolution fMRI data. Starting from a seed-to-voxel group analysis, regions of interest (ROIs) are identified and an initial DBN model is proposed, which is coherent with some studies already conducted in the literature. The second field of application concerns the neural connectivity between the neuromotor system of the locust, based on intracellular synaptic potential recordings on sensory neurons, interneurons and motor neurons under stimulation by a forceps in the femoral chordotonal organ (FeCO). Although a complete DBN model is still not possible due to the absence of sufficient and simultaneous recordings, the transfer entropy delays between stimulus and responses on the motor neuros are obtained and integrated by a Bayesian analysis, given also a pre-processing based on Singular Spectrum Analysis (SSA) which, by removing the nonstationarity characteristics of the signal (which are due to extrinsic factors on the system), considerably increased the number of available samples for learning. Such results, by helping to reduce the search space of DBNs, also direct further experiments and studies on this field.

Este trabalho propõe uma nova abordagem conexionista, chamada de IGMN (do inglês Incremental Gaussian Mixture Network), para aproximação incremental de funções e tarefas de tempo real. Ela é inspirada em recentes teorias do cérebro, especialmente o MPF (do inglês Memory-Prediction Framework) e a Inteligência Artificial Construtivista, que fazem com que o modelo proposto possua características especiais que não estão presentes na maioria dos modelos de redes neurais existentes. Além disso, IGMN é baseado em sólidos princípios estatísticos (modelos de mistura gaussianos) e assintoticamente converge para a superfície de regressão ótima a medida que os dados de treinamento chegam. As principais vantagens do IGMN em relação a outros modelos de redes neurais são: (i) IGMN aprende instantaneamente analisando cada padrão de treinamento apenas uma vez (cada dado pode ser imediatamente utilizado e descartado); (ii) o modelo proposto produz estimativas razoáveis baseado em poucos dados de treinamento; (iii) IGMN aprende de forma contínua e perpétua a medida que novos dados de treinamento chegam (não existem fases separadas de treinamento e utilização); (iv) o modelo proposto resolve o dilema da estabilidade-plasticidade e não sofre de interferência catastrófica; (v) a topologia da rede neural é definida automaticamente e de forma incremental (novas unidades são adicionadas sempre que necessário); (vi) IGMN não é sensível às condições de inicialização (de fato IGMN não utiliza nenhuma decisão e/ou inicialização aleatória); (vii) a mesma rede neural IGMN pode ser utilizada em problemas diretos e inversos (o fluxo de informações é bidirecional) mesmo em regiões onde a função alvo tem múltiplas soluções; e (viii) IGMN fornece o nível de confiança de suas estimativas. Outra contribuição relevante desta tese é o uso do IGMN em importantes tarefas nas áreas de robótica e aprendizado de máquina, como por exemplo a identificação de modelos, a formação incremental de conceitos, o aprendizado por reforço, o mapeamento robótico e previsão de séries temporais. De fato, o poder de representação e a eficiência e do modelo proposto permitem expandir o conjunto de tarefas nas quais as redes neurais podem ser utilizadas, abrindo assim novas direções nos quais importantes contribuições do estado da arte podem ser feitas. Através de diversos experimentos, realizados utilizando o modelo proposto, é demonstrado que o IGMN é bastante robusto ao problema de overfitting, não requer um ajuste fino dos parâmetros de configuração e possui uma boa performance computacional que permite o seu uso em aplicações de controle em tempo real. Portanto pode-se afirmar que o IGMN é uma ferramenta de aprendizado de máquina bastante útil em tarefas de aprendizado incremental de funções e predição em tempo real. / This work proposes IGMN (standing for Incremental Gaussian Mixture Network), a new connectionist approach for incremental function approximation and real time tasks. It is inspired on recent theories about the brain, specially the Memory-Prediction Framework and the Constructivist Artificial Intelligence, which endows it with some unique features that are not present in most ANN models such as MLP, RBF and GRNN. Moreover, IGMN is based on strong statistical principles (Gaussian mixture models) and asymptotically converges to the optimal regression surface as more training data arrive. The main advantages of IGMN over other ANN models are: (i) IGMN learns incrementally using a single scan over the training data (each training pattern can be immediately used and discarded); (ii) it can produce reasonable estimates based on few training data; (iii) the learning process can proceed perpetually as new training data arrive (there is no separate phases for leaning and recalling); (iv) IGMN can handle the stability-plasticity dilemma and does not suffer from catastrophic interference; (v) the neural network topology is defined automatically and incrementally (new units added whenever is necessary); (vi) IGMN is not sensible to initialization conditions (in fact there is no random initialization/ decision in IGMN); (vii) the same neural network can be used to solve both forward and inverse problems (the information flow is bidirectional) even in regions where the target data are multi-valued; and (viii) IGMN can provide the confidence levels of its estimates. Another relevant contribution of this thesis is the use of IGMN in some important state-of-the-art machine learning and robotic tasks such as model identification, incremental concept formation, reinforcement learning, robotic mapping and time series prediction. In fact, the efficiency of IGMN and its representational power expand the set of potential tasks in which the neural networks can be applied, thus opening new research directions in which important contributions can be made. Through several experiments using the proposed model it is demonstrated that IGMN is also robust to overfitting, does not require fine-tunning of its configuration parameters and has a very good computational performance, thus allowing its use in real time control applications. Therefore, IGMN is a very useful machine learning tool for incremental function approximation and on-line prediction.