Redes Bayesianas Dinâmicas (DBNs) são modelos capazes de representar um sistema dinâmico por meio de uma rede complexa que codifica as independências estatísticas condicionais entre os seus estados internos. Entre seus métodos de aprendizagem estrutural a partir de dados, o uso daqueles baseados em teoria de informação têm ganhado bastante espaço nos últimos anos, devido às suas vantages de serem livres de modelo e permitirem uma aprendizagem offline a partir de medidas em múltiplas repetições do experimento. No entanto, resta uma exploração dos paralelos entre a área de aprendizagem de DBNs e aquela interessada em realizar medidas de transferência de informação entre elementos de um sistema neural, principalmente por meio de transferência de entropia (TE). O presente trabalho busca, assim, aproximar estes dois focos de pesquisa, identificando suas equivalências e tratando de alguns dos desafios relacionados à sua implementação em identificação de sistemas neurais. Nota-se que uma das maiores dificuldades relacionadas ao uso de teoria de informação em sistemas multivariados concerne a alta dimensionalidade das funções de distribuição de probabilidade, exigindo grandes quantidades de dados observados simultaneamente. Não obstante, a aplicação de DBNs e transferência de entropia em sistemas de tempo contínuo também envolve considerações sobre a discretização dos sistemas no tempo, o que implica na necessidade de relaxamento da suposição da propriedade de Markov de primeira ordem (presente na definição de DBNs), e leva, assim, à proposta de redes Bayesianas dinâmicas de altas ordens (HO-DBNs). Além de realizar uma revisão das principais propostas para a solução destas dificuldades, o trabalho primeiramente propõe que, sob a suposição de um sistema com elementos se comportando de forma igual, os valores das medidas baseadas em teoria de informação com baixa dimensionalidade podem ser utilizados para a aprendizagem de estruturas de rede. Isso é mostrado a partir do uso de informação mútua par a par para a aprendizagem de redes Bayesianas simuladas com distribuições de probabilidade condicional fixas. No que concerne o uso de HO-DBNs, também se propõe um algoritmo baseado em otimização por enxame de partículas (PSO) para percorrer o espaço de busca de estruturas de HO-DBNs de forma mais eficiente. Em seguida, duas aplicações de modelagem de DBNs com uso de teoria de informação são exploradas na área de sistemas neurais, tendo em vista a obtenção de conhecimento acerca de conectividade funcional e até uma aplicação futura em engenharia bioinspirada. Os desafios apresentados anteriormente são, assim, exemplificados, junto com algumas propostas de solução. A primeira área diz respeito à elicitação de conectividade funcional entre as sub-áreas do hipocampo, no cérebro humano, a partir de dados de ressonância magnética funcional (fMRI) de alta resolução. A partir de uma análise seed-to-voxel em grupo, regiões de interesse (ROIs) são identificadas e um modelo inicial de DBN é proposto, que é coerente com alguns estudos já feitos na literatura. A segunda área de aplicação concerne a conectividade neural do sistema neuromotor do gafanhoto, a partir de gravações intracelulares de potencial sináptico em neurônios sensores, motores e interneurônios, sob estimulação com um fórceps no órgão femoral cordotonal (FeCO). Embora um modelo completo de DBN ainda não seja possível devido à ausência de gravações simultâneas suficientes, os atrasos de transferência de entropia entre o estímulo e a resposta nos neurônios motores são obtidos e integrados a partir de uma análise Bayesiana, dado também um pré-processamento com análise de espectro singular (SSA) que, ao remover a não-estacionariedade do sinal (que se deve a fatores extrínsecos ao sistema), aumentou consideravelmente a quantidade de amostras disponíveis. Tais resultados, ao ajudar a reduzir o espaço de busca de DBNs, também servem para direcionar futuros experimentos e pesquisas na área. / Dynamic Bayesian Networks (DBNs) are models capable of representing a dynamical system by means of a complex network which codifies statistical conditional independencies between their internal states. Among their strucutural learning methods based on data, the use of ones based on information theory are gaining ground in recent years, due to their advantages of being model-free and permitting offline learning from multiple repetitions of an experiment. However, there still remains an exploration of the parallels between the areas of DBN structure learning and those interested in obtaining measures of information transfer between elements of neural systems, mainly through transfer entropy (TE). Thus, the current work seeks to approximate these two foci of research by identifying some of their equivalences and challenges related to their usage in neural systems identification. It is noted that one of the main difficulties related to the use of information theory in multivariate neural systems concerns the high dimensionality of the probability distribution functions, requiring thus great quantities of data observed simultaneously. Furthermore, the application of DBNs and transfer entropy on continuous time systems also involves considerations about their discretization on time, which implies the necessity of relaxing the first order Markov property (instrinsinc to the definition of DBNs), and thus leads to the proposal of high-order dynamic Bayesian networks (HO-DBNs). Besides performing a review on the main proposals for solving these difficulties, this work first proposes that, under the supposition of a system with elements behaving in a similar way, the values of information theory based measures with low dimensions can be employed for learning network structures. This is shown with the use of pairwise mutual information for learning simulated Bayesian networks with fixed conditional probability distributions. And concerning the use of HO-DBNs, an algorithm based on PSO is proposed in order to pass through their search space more efficiently. Next, two applications of DBN modeling with information theory are explored in the field of neural systems, in view of obtaining knowledge about functional connectivity and even of a future application of bioinspired engineering. The challenged presented earlier are then exemplified along with some proposals of solutions. The first field regards the elicitation of functional connectivity between hippocampal subfields on the human brain based of high resolution fMRI data. Starting from a seed-to-voxel group analysis, regions of interest (ROIs) are identified and an initial DBN model is proposed, which is coherent with some studies already conducted in the literature. The second field of application concerns the neural connectivity between the neuromotor system of the locust, based on intracellular synaptic potential recordings on sensory neurons, interneurons and motor neurons under stimulation by a forceps in the femoral chordotonal organ (FeCO). Although a complete DBN model is still not possible due to the absence of sufficient and simultaneous recordings, the transfer entropy delays between stimulus and responses on the motor neuros are obtained and integrated by a Bayesian analysis, given also a pre-processing based on Singular Spectrum Analysis (SSA) which, by removing the nonstationarity characteristics of the signal (which are due to extrinsic factors on the system), considerably increased the number of available samples for learning. Such results, by helping to reduce the search space of DBNs, also direct further experiments and studies on this field.

Apresenta-se, neste trabalho, o desenvolvimento de um modelo bioinspirado a partir do circuito neural de insetos. Este modelo é obtido através da análise de primeira ordem dada pelo STA (Spike Triggered Average) e pela transferência de informação entre os sinais neurais. São aplicadas técnicas baseadas na identificação dos atrasos de tempo da máxima coerência da informação. Utilizam-se, para esta finalidade, os conceitos da teoria de informação: a DMI (Delayed Mutual Information) e a TE (Transfer Entropy). Essas duas abordagens têm aplicação em transferência de informação, cada uma com suas particularidades. A DMI é uma ferramenta mais simples do que a TE, do ponto de vista computacional, pois depende da análise estatística de funções densidades de probabilidades de segunda ordem, enquanto que a TE, de funções de terceira ordem. Dependendo dos recursos computacionais disponíveis, este é um fator que deve ser levado em consideração. Os resultados de atraso da informação são muito bem identificados pela DMI. No entanto, a DMI falha em distinguir a direção do fluxo de informação, quando se tem sistemas com transferência de informação indireta e com sobreposição da informação. Nesses casos, a TE é a ferramenta mais indicada para a determinação da direção do fluxo de informação, devido à dependência condicional imposta pelo histórico comum entre os sinais analisados. Em circuitos neurais, estas questões ocorrem em diversos casos. No gânglio metatorácico de insetos, os interneurônios locais possuem diferentes padrões de caminhos com sobreposição da informação, pois recebem sinais de diferentes neurônios sensores para o movimento das membros locomotores desses animais. O principal objetivo deste trabalho é propor um modelo do circuito neural do inseto, para mapear como os sinais neurais se comportam, quando sujeitos a um conjunto de movimentos aleatórios impostos no membro do inseto. As respostas neurais são reflexos provocados pelo estímulo táctil, que gera o movimento na junção femorotibial do membro posterior. Nestes circuitos neurais, os sinais neurais são processados por interneurônios locais dos tipos spiking e nonspiking que operam em paralelo para processar a informação vinda dos neurônios sensores. Esses interneurônios recebem sinais de entrada de mecanorreceptores do membro posterior e da junção motora dos insetos. A principal característica dos interneurônios locais é a sua capacidade de se comunicar com outros neurônios, tendo ou não a presença de impulsos nervosos (spiking e nonspiking). Assim, forma-se um circuito neural com sinais de entradas (neurônios sensores) e saídas (neurônios motores). Neste trabalho, os algoritmos propostos analisam desde a geração aleatória dos movimentos mecânicos e os estímulos nos neurônios sensores que chegam até o gânglio metatorácico, incluindo suas respostas nos neurônios motores. São implementados os algoritmos e seus respectivos pseudocódigos para a DMI e para a TE. É utilizada a técnica de Surrogate Data para inferir as medidas de significância estatística em relação à máxima coerência de informação entre os sinais neurais. Os resultados a partir dos Surrogate Data são utilizados para a compensação dos erros de desvio das medidas de transferência de informação. Um algoritmo, baseado na IAAFT (Iterative Amplitude Adjusted Fourier Transform), gera os dados substitutos, com mesmo espectro de potência e diferentes distribuições dos sinais originais. Os resultados da DMI e da TE com os Surrogate Data fornecem os valores das linhas de base quando ocorre a mínima transferência de informação. Além disso, foram utilizados dados simulados, para uma discussão sobre os efeitos dos tamanhos das amostras e as forças de associação da informação. Os sinais neurais coletados estão disponíveis em um banco de dados com diversos experimentos no gânglio metatorácico dos gafanhotos. No entanto, cada experimento possui poucos sinais coletados simultaneamente; assim, para diferentes experimentos, os sinais ficam sujeitos às variações de tamanho de amostras, além de ruídos que interferem nas medidas absolutas de transferência de informação. Para se mapear essas conexões neurais, foi utilizada a metodologia baseada na normalização e compensação dos erros de desvio para os cálculos da transferência de informação. As normalizações das medidas utilizam as entropias totais do sistema. Para a DMI, utiliza-se a média geométrica das entropias de X e Y , para a TE aplica-se a CMI (Conditional Mutual Information) para a sua normalização. Após a aplicação dessas abordagens, baseadas no STA e na transferência de informação, apresenta-se o modelo estrutural do circuito neural do sistema neuromotor de gafanhotos. São apresentados os resultados com o STA e a DMI para os neurônios sensores, dos quais são levantadas algumas hipóteses sobre o funcionamento desta parte do FeCO (Femoral Chordotonal Organ). Para cada tipo de neurônio foram identificados múltiplos caminhos no circuito neural, através dos tempos de atraso e dos valores de máxima coerência da informação. Nos interneurônios spiking obtiveram-se dois padrões de caminhos, enquanto que para os interneurônios nonspiking identificaram-se três padrões distintos. Esses resultados são obtidos computacionalmente e condizem com que é esperado a partir dos modelos biológicos descritos em Burrows (1996). / Herein, we present the development of a bioinspired model by the neural circuit of insects. This model is obtained by analyzing the first order from STA (Spike Triggered Average) and the transfer of information among neural signals. Techniques are applied based on the identification of the time delays of the information maximum coherence. For this purpose we use the concepts of the theory of information: DMI (Delayed Mutual Information) and TE (Transfer Entropy). These two approaches have applications on information transfer and each one has peculiarities. The DMI is a simpler tool than the TE, from the computational point of view. Therefore, DMI depends on the statistical analysis of second order probability density functions, whereas the TE depends on third order functions. If computational resources are a problem, those questions can be taken into consideration. The results of the information delay are very effective for DMI. However, DMI fails to distinguish the direction of the information flow when we have systems subjected to indirect information transfer and superposition of the information. In these cases, the TE is the most appropriate tool for determining the direction of the information flow, due to the conditional dependence imposed by a common history among the signals. In neural circuits, those issues occur in many cases. For example, in metathoracic ganglion of insects, the local interneurons have different pathways with superposition of the information. Therefore, the interneurons receive signals from different sensory neurons for moving the animals legs . The main objective of this work is propose a model of the neural circuit from an insect. Additionally, we map the neural signals when the hind leg is subjected to a set of movements. Neural responses are reflexes caused by tactile stimulus, which generates the movement of femoro-tibial joint of the hind leg. In these neural circuits, the signals are processed by neural spiking and nonspiking local interneurons. These types of neurons operate in parallel processing of the information from the sensory neurons. Interneurons receive input signals from mechanoreceptors by the leg and the insect knees. The main feature of local interneurons is their ability to communicate with others neurons. It can occur with or without of the presence of impulses (spiking and nonspiking). Thus, they form a neural circuit with input signals (sensory neurons) and outputs (motor neurons). The proposed algorithms analyze the random generation of movements and mechanical stimuli in sensory neurons. Which are processing in the metathoracic ganglion, including their responses in the motor neurons. The algorithms and the pseudo-code are implemented for TE and DMI. The technique of Surrogate Data is applied to infer the measures of statistical significance related to the information maximum coherence among neural signals. The results of the Surrogate Data are used for bias error compensation from information transfer. An algorithm, based on IAAFT (Iterative Amplitude Adjusted Fourier Transform), generates Surrogate Data with the same power spectrum and different distributions of the original signals. The results of the surrogate data, for DMI and TE, achieve the values of baselines when there are minimum information transfer. Additionally, we used simulated data to discuss the effects of sample sizes and different strengths of information connectivity. The collected neural signals are available from one database based on several experiments of the locusts metathoracic ganglion. However, each experiment has few simultaneously collected signals and the signals are subjected of variations in sample size and absolute measurements noisy of information transfer. We used a methodology based on normalization and compensation of the bias errors for computing the information transfer. The normalization of the measures uses the total entropy of the system. For the DMI, we applied the geometric mean of X and Y . Whereas, for the TE is computed the CMI (Conditional Mutual Information) for the normalization. We present the neural circuit structural model of the locusts neuromotor system, from those approaches based on STA and the information transfer. Some results are presented from STA and DMI for sensory neurones. Then, we achieve some new hypothesis about the neurophisiology function of FeCO. For each type of neuron, we identify multiple pathways in neural circuit through the time delay and the information maximum coherence. The spiking interneurons areyielded by two pathways, whereas the nonspiking interneurons has revealed three distinct patterns. These results are obtained computationally and are consistent with biological models described in Burrows (1996).

Les travaux présentés dans cette thèse s'inscrivent dans la problématique de la connectivité cérébrale, connectivité tripartite puisqu'elle sous-tend les notions de connectivité structurelle, fonctionnelle et effective. Ces trois types de connectivité que l'on peut considérer à différentes échelles d'espace et de temps sont bien évidemment liés et leur analyse conjointe permet de mieux comprendre comment structures et fonctions cérébrales se contraignent mutuellement. Notre recherche relève plus particulièrement de la connectivité effective qui permet de définir des graphes de connectivité qui renseignent sur les liens causaux, directs ou indirects, unilatéraux ou bilatéraux via des chemins de propagation, représentés par des arcs, entre les nœuds, ces derniers correspondant aux régions cérébrales à l'échelle macroscopique. Identifier les interactions entre les aires cérébrales impliquées dans la génération et la propagation des crises épileptiques à partir d'enregistrements intracérébraux est un enjeu majeur dans la phase pré-chirurgicale et l'objectif principal de notre travail. L'exploration de la connectivité effective suit généralement deux approches, soit une approche basée sur les modèles, soit une approche conduite par les données comme nous l'envisageons dans le cadre de cette thèse où les outils développés relèvent de la théorie de l'information et plus spécifiquement de l'entropie de transfert, la question phare que nous adressons étant celle de la précision des estimateurs de cette grandeur dans le cas des méthodes développées basées sur les plus proches voisins. Les approches que nous proposons qui réduisent le biais au regard d'estimateurs issus de la littérature sont évaluées et comparées sur des signaux simulés de type bruits blancs, processus vectoriels autorégressifs linéaires et non linéaires, ainsi que sur des modèles physiologiques réalistes avant d'être appliquées sur des signaux électroencéphalographiques de profondeur enregistrés sur un patient épileptique et comparées à une approche assez classique basée sur la fonction de transfert dirigée. En simulation, dans les situations présentant des non-linéarités, les résultats obtenus permettent d'apprécier la réduction du biais d'estimation pour des variances comparables vis-à-vis des techniques connues. Si les informations recueillies sur les données réelles sont plus difficiles à analyser, elles montrent certaines cohérences entre les méthodes même si les résultats préliminaires obtenus s'avèrent davantage en accord avec les conclusions des experts cliniciens en appliquant la fonction de transfert dirigée. / The work presented in this thesis deals with brain connectivity, including structural connectivity, functional connectivity and effective connectivity. These three types of connectivities are obviously linked, and their joint analysis can give us a better understanding on how brain structures and functions constrain each other. Our research particularly focuses on effective connectivity that defines connectivity graphs with information on causal links that may be direct or indirect, unidirectional or bidirectional. The main purpose of our work is to identify interactions between different brain areas from intracerebral recordings during the generation and propagation of seizure onsets, a major issue in the pre-surgical phase of epilepsy surgery treatment. Exploring effective connectivity generally follows two kinds of approaches, model-based techniques and data-driven ones. In this work, we address the question of improving the estimation of information-theoretic quantities, mainly mutual information and transfer entropy, based on k-Nearest Neighbors techniques. The proposed approaches we developed are first evaluated and compared with existing estimators on simulated signals including white noise processes, linear and nonlinear vectorial autoregressive processes, as well as realistic physiology-based models. Some of them are then applied on intracerebral electroencephalographic signals recorded on an epileptic patient, and compared with the well-known directed transfer function. The experimental results show that the proposed techniques improve the estimation of information-theoretic quantities for simulated signals, while the analysis is more difficult in real situations. Globally, the different estimators appear coherent and in accordance with the ground truth given by the clinical experts, the directed transfer function leading to interesting performance.