Spelling suggestions: "subject:"estimulus reconstruction"" "subject:"astimulus reconstruction""
1 |
A Deep Learning Approach to Brain Tracking of SoundHermansson, Oscar January 2022 (has links)
Objectives: Development of accurate auditory attention decoding (AAD) algorithms, capable of identifying the attended sound source from the speech evoked electroencephalography (EEG) responses, could lead to new solutions for hearing impaired listeners: neuro-steered hearing aids. Many of the existing AAD algorithms are either inaccurate or very slow. Therefore, there is a need to develop new EEG-based AAD methods. The first objective of this project was to investigate deep neural network (DNN) models for AAD and compare them to the state-of-the-art linear models. The second objective was to investigate whether generative adversarial networks (GANs) could be used for speech-evoked EEGdata augmentation to improve the AAD performance. Design: The proposed methods were tested in a dataset of 34 participants who performed an auditory attention task. They were instructed to attend to one of the two talkers in the front and ignore the talker on the other side and back-ground noise behind them, while high density EEG was recorded. Main Results: The linear models had an average attended vs ignored speech classification accuracy of 95.87% and 50% for ∼30 second and 8 seconds long time windows, respectively. A DNN model designed for AAD resulted in an average classification accuracy of 82.32% and 58.03% for ∼30 second and 8 seconds long time windows, respectively, when trained only on the real EEG data. The results show that GANs generated relatively realistic speech-evoked EEG signals. A DNN trained with GAN-generated data resulted in an average accuracy 90.25% for 8 seconds long time windows. On shorter trials the GAN-generated EEG data have shown to significantly improve classification performances, when compared to models only trained on real EEG data. Conclusion: The results suggest that DNN models can outperform linear models in AAD tasks, and that GAN-based EEG data augmentation can be used to further improve DNN performance. These results extend prior work and brings us closer to the use of EEG for decoding auditory attention in next-generation neuro-steered hearing aids.
|
2 |
Acuidade visual e codificação neural da mosca Chrysomya megacephala / Visual acuity and neural encoding of the fly Chrysomya megacephalaFernandes, Nelson Mesquita 12 March 2010 (has links)
Descrevemos os processos de captura, criação e micromanipulação cirúrgica das moscas Chrysomya megacephala. Apresentamos os processos de geração de estímulo e registro da atividade dos dois neurônios H1 localizados na placa lobular de seu cérebro. Um primeiro resultado apresentado refere-se a acuidade de seu sistema visual. Desenvolvemos um procedimento para comparar sua taxa de disparos espontâneos com as respostas do neurônio H1 quando sujeito a estímulos de excitação e inibição. Mostramos que o sistema visual da mosca não está apenas adaptado a detectar grandes fluxos ópticos mas também, é capaz de detectar pequenas velocidades de aproximadamente 1, 5o.s-1 e de apenas 0,25o de amplitude. Estes valores mostram que a mosca é capaz de detectar deslocamentos angulares muito menores do que sua abertura omatidial, = 1 2o. Outro resultado apresentado é obtido ao estudarmos o processo de codificação-decodificação neural. Alguns sistemas sensoriais agem como um conversor analógico-digital, recebendo um estímulo S(t) e codificando-o em uma sequência de pulsos, spikes. O processo de decodificação da resposta neural consiste em receber este conjunto pulsos e gerar uma estimativa Se(t) do estmulo. Este processo requer a computação e subsequente inversão de funções de correlação de alta ordem. A dimensão das matrizes que representam estas funções pode se tornar proibitivamente grande. Apresentamos um eficiente método para reduzir estas funções de correlação. Esta aproximação tem baixo custo computacional, evita a inversão de grandes matrizes e nos da um excelente resultado para a reconstrução do estímulo. Testamos a qualidade de nossa reconstrução sobre estímulos de rotação e translação. A contribuição dos núcleos de segunda ordem para a reconstrução do estímulo é de apenas 8% da contribuição dos núcleos de primeira ordem. Entretanto, em instantes específicos, a adição destes núcleos pode representar uma contribuição de ate 100%. Finalmente, investigamos quais atributos do estímulo são codificados pelos neurônios H1. Nosso espaço de estímulos possui um conjunto da ordem de 2 × 1096 elementos. É impossível imaginar que o sistema formado pelos dois neurônios H1 seja capaz de codificar eficientemente esta enorme quantidade de elementos. É razoável considerar que este sistema seja ao menos capaz de codificar um atributo essencial do movimento, seu sentido - rotações horizontais para direita ou para esquerda. Desta forma, apresentamos dois estímulos distintos para a mosca, um no qual suas velocidades são retiradas de uma distribuição Gaussiana e outro que contem apenas o sentido deste movimento. Obtemos uma correlação da ordem de 80 - 90% entre as estimativas de ambos os estímulos, estimativas obtidas através do processo de reconstrução linear. Obtemos aproximadamente 85% de eficiência na predição do sentido deste movimento. Ao utilizarmos a Teoria da Informação, encontramos uma diferença de apenas 10% entre as taxas de informação transmitida sobre os estímulos Gaussiano e sua versão reduzida. Concluímos que a propriedade comum a estes dois estímulos, o sentido do movimento, é o atributo relevante a ser codificado pelos neurônios H1. / We describe the practices of capturing, creation, and microsurgery of the flies Chrysomya megacephala. We present the procedures of stimulus generation and recording of the activity of the two H1 neurons in the lobula plate of its brain. One first result presented is related to its visual system acuity. We developed a method to compare its spontaneous firing rate with the H1s responses to excitatory and inhibitory stimuli. We show that the flys visual system is not only adapted to detect large optic flows but is also capable to detect small velocities about 1, 5o.s-1 with just 0, 25o of amplitude. These values show that the fly is capable to detect angular displacements much smallers than its ommatidial aperture, = 1 2o. Another relevant result is attained studying the processes of neural encode-decode. Some sensorial systems act as an analog-to-digital conversor, these systems encode the input stimulus S(t) in a sequence of action potential, spikes. The decoding process of the neural response consists of capturing this set of spikes and to generate an estimate Se(t) of the stimulus. This process requires the computation and subsequent inversion of high order correlations functions. The dimension of the matrixes that represent these functions can become prohibitively large. We present an efficient method to reduce these correlation functions. This approximation has low computational cost, avoids large matrixes inversion and give to us an excellent result to the stimulus reconstruction. We tested the reconstruction quality of rotational and translational stimuli. The contribution of second order stimulus reconstruction kernels is just 8% of first order kernels contribution. However, in specific times, the addition of these kernels may represent a 100% contribution. Finally, we investigate which stimulus features are codified by the H1 neurons. The stimulus space has a set of about 2 × 1096 elements. It is impossible to imagine that the system formed by the two H1 neurons could be able to encode efficiently this amount of elements. It is reasonable to consider that this system is at least able to encode an essencial characteristic of movement, its direction horizontal rotations to the right or to the left. Therefore, we presente two different stimuli to the fly, one which have velocities taken from a Gaussian distribution and another which contains just the direction of this movement. We obtain about 80 - 90% correlation between the estimates of both stimuli, estimates obtained through linear reconstruction methods. We obtain about 85% of efficiency in the prediction of stimulus direction. We find just a 10% difference between the information rate transmitted about the Gaussian stimulus and its reduced version using Information Theory. We conclude that the common attribute of these stimuli, the direction of movement, is the relevant attribute to be codified by the H1 neurons.
|
3 |
Acuidade visual e codificação neural da mosca Chrysomya megacephala / Visual acuity and neural encoding of the fly Chrysomya megacephalaNelson Mesquita Fernandes 12 March 2010 (has links)
Descrevemos os processos de captura, criação e micromanipulação cirúrgica das moscas Chrysomya megacephala. Apresentamos os processos de geração de estímulo e registro da atividade dos dois neurônios H1 localizados na placa lobular de seu cérebro. Um primeiro resultado apresentado refere-se a acuidade de seu sistema visual. Desenvolvemos um procedimento para comparar sua taxa de disparos espontâneos com as respostas do neurônio H1 quando sujeito a estímulos de excitação e inibição. Mostramos que o sistema visual da mosca não está apenas adaptado a detectar grandes fluxos ópticos mas também, é capaz de detectar pequenas velocidades de aproximadamente 1, 5o.s-1 e de apenas 0,25o de amplitude. Estes valores mostram que a mosca é capaz de detectar deslocamentos angulares muito menores do que sua abertura omatidial, = 1 2o. Outro resultado apresentado é obtido ao estudarmos o processo de codificação-decodificação neural. Alguns sistemas sensoriais agem como um conversor analógico-digital, recebendo um estímulo S(t) e codificando-o em uma sequência de pulsos, spikes. O processo de decodificação da resposta neural consiste em receber este conjunto pulsos e gerar uma estimativa Se(t) do estmulo. Este processo requer a computação e subsequente inversão de funções de correlação de alta ordem. A dimensão das matrizes que representam estas funções pode se tornar proibitivamente grande. Apresentamos um eficiente método para reduzir estas funções de correlação. Esta aproximação tem baixo custo computacional, evita a inversão de grandes matrizes e nos da um excelente resultado para a reconstrução do estímulo. Testamos a qualidade de nossa reconstrução sobre estímulos de rotação e translação. A contribuição dos núcleos de segunda ordem para a reconstrução do estímulo é de apenas 8% da contribuição dos núcleos de primeira ordem. Entretanto, em instantes específicos, a adição destes núcleos pode representar uma contribuição de ate 100%. Finalmente, investigamos quais atributos do estímulo são codificados pelos neurônios H1. Nosso espaço de estímulos possui um conjunto da ordem de 2 × 1096 elementos. É impossível imaginar que o sistema formado pelos dois neurônios H1 seja capaz de codificar eficientemente esta enorme quantidade de elementos. É razoável considerar que este sistema seja ao menos capaz de codificar um atributo essencial do movimento, seu sentido - rotações horizontais para direita ou para esquerda. Desta forma, apresentamos dois estímulos distintos para a mosca, um no qual suas velocidades são retiradas de uma distribuição Gaussiana e outro que contem apenas o sentido deste movimento. Obtemos uma correlação da ordem de 80 - 90% entre as estimativas de ambos os estímulos, estimativas obtidas através do processo de reconstrução linear. Obtemos aproximadamente 85% de eficiência na predição do sentido deste movimento. Ao utilizarmos a Teoria da Informação, encontramos uma diferença de apenas 10% entre as taxas de informação transmitida sobre os estímulos Gaussiano e sua versão reduzida. Concluímos que a propriedade comum a estes dois estímulos, o sentido do movimento, é o atributo relevante a ser codificado pelos neurônios H1. / We describe the practices of capturing, creation, and microsurgery of the flies Chrysomya megacephala. We present the procedures of stimulus generation and recording of the activity of the two H1 neurons in the lobula plate of its brain. One first result presented is related to its visual system acuity. We developed a method to compare its spontaneous firing rate with the H1s responses to excitatory and inhibitory stimuli. We show that the flys visual system is not only adapted to detect large optic flows but is also capable to detect small velocities about 1, 5o.s-1 with just 0, 25o of amplitude. These values show that the fly is capable to detect angular displacements much smallers than its ommatidial aperture, = 1 2o. Another relevant result is attained studying the processes of neural encode-decode. Some sensorial systems act as an analog-to-digital conversor, these systems encode the input stimulus S(t) in a sequence of action potential, spikes. The decoding process of the neural response consists of capturing this set of spikes and to generate an estimate Se(t) of the stimulus. This process requires the computation and subsequent inversion of high order correlations functions. The dimension of the matrixes that represent these functions can become prohibitively large. We present an efficient method to reduce these correlation functions. This approximation has low computational cost, avoids large matrixes inversion and give to us an excellent result to the stimulus reconstruction. We tested the reconstruction quality of rotational and translational stimuli. The contribution of second order stimulus reconstruction kernels is just 8% of first order kernels contribution. However, in specific times, the addition of these kernels may represent a 100% contribution. Finally, we investigate which stimulus features are codified by the H1 neurons. The stimulus space has a set of about 2 × 1096 elements. It is impossible to imagine that the system formed by the two H1 neurons could be able to encode efficiently this amount of elements. It is reasonable to consider that this system is at least able to encode an essencial characteristic of movement, its direction horizontal rotations to the right or to the left. Therefore, we presente two different stimuli to the fly, one which have velocities taken from a Gaussian distribution and another which contains just the direction of this movement. We obtain about 80 - 90% correlation between the estimates of both stimuli, estimates obtained through linear reconstruction methods. We obtain about 85% of efficiency in the prediction of stimulus direction. We find just a 10% difference between the information rate transmitted about the Gaussian stimulus and its reduced version using Information Theory. We conclude that the common attribute of these stimuli, the direction of movement, is the relevant attribute to be codified by the H1 neurons.
|
Page generated in 0.1027 seconds