Spelling suggestions: "subject:"recurrent neural networks"" "subject:"decurrent neural networks""
51 |
Human Activity Recognition Using Wearable Inertia Sensor Data adnd Machine LearningXiaoyu Yu (7043231) 16 August 2019 (has links)
Falling in indoor home setting can be dangerous for elderly population (in USA and globally), causing hospitalization, long term reduced mobility, disability or even death. Prevention of fall by monitoring different human activities or identifying the aftermath of fall has greater significance for elderly population. This is possible due to the availability and emergence of miniaturized sensors with advanced electronics and data analytics tools. This thesis aims at developing machine learning models to classify fall activities and non-fall activities. In this thesis, two types of neural networks with different parameters were tested for their capability in dealing with such tasks. A publicly available dataset was used to conduct the experiments. The two types of neural network models, convolution and recurrent neural network, were developed and evaluated. Convolution neural network achieved an accuracy of over 95% for classifying fall and non-fall activities. Recurrent neural network provided an accuracy of over 97% accuracy in predicting fall, non-fall and a third category activity (defined in this study as “pre/postcondition”). Both neural network models show high potential for being used in fall prevention and management activity. Moreover, two theoretical designs of fall detection systems were proposed in this thesis based on the developed convolution and recurrent neural networks.
|
52 |
Adaptive neural architectures for intuitive robot controlMelidis, Christos January 2017 (has links)
This thesis puts forward a novel way of control for robotic morphologies. Taking inspiration from Behaviour Based robotics and self-organisation principles, we present an interfacing mechanism, capable of adapting both to the user and the robot, while enabling a paradigm of intuitive control for the user. A transparent mechanism is presented, allowing for a seamless integration of control signals and robot behaviours. Instead of the user adapting to the interface and control paradigm, the proposed architecture allows the user to shape the control motifs in their way of preference, moving away from the cases where the user has to read and understand operation manuals or has to learn to operate a specific device. The seminal idea behind the work presented is the coupling of intuitive human behaviours with the dynamics of a machine in order to control and direct the machine dynamics. Starting from a tabula rasa basis, the architectures presented are able to identify control patterns (behaviours) for any given robotic morphology and successfully merge them with control signals from the user, regardless of the input device used. We provide a deep insight in the advantages of behaviour coupling, investigating the proposed system in detail, providing evidence for and quantifying emergent properties of the models proposed. The structural components of the interface are presented and assessed both individually and as a whole, as are inherent properties of the architectures. The proposed system is examined and tested both in vitro and in vivo, and is shown to work even in cases of complicated environments, as well as, complicated robotic morphologies. As a whole, this paradigm of control is found to highlight the potential for a change in the paradigm of robotic control, and a new level in the taxonomy of human in the loop systems.
|
53 |
Contexto e modularização em redes neurais recorrentes para aprendizagem de seqüências temporais / Context and modularization in recurrent neural networks for temporal sequences learningHenriques, André Santiago 29 June 2001 (has links)
Este trabalho apresenta um sistema neural modular, que processa separadamente informações de contexto espacial e temporal, para a tarefa de reprodução de sequências temporais. Para o desenvolvimento do sistema neural foram considerados redes neurais recorrentes, modelos estocásticos, sistemas neurais modulares e processamento de informações de contexto. Em seguida, foram estudados três modelos com abordagens distintas para aprendizagem de seqüências temporais: uma rede neural parcialmente recorrente, um exemplo de sistema neural modular e um modelo estocástico utilizando a teoria de modelos markovianos escondidos. Com base nos estudos e modelos apresentados, esta pesquisa propõe um sistema formado por dois módulos sucessivos distintos. Uma rede de propagação direta (módulo estimador de contexto espacial) realiza o processamento de contexto espacial identificando a seqüência a ser reproduzida e fornecendo um protótipo do contexto para o segundo módulo. Este é formado por uma rede parcialmente recorrente (módulo de reprodução de sequências temporais) para aprender as informações de contexto temporal e reproduzir em suas saídas a seqüência identificada pelo módulo anterior. Para a finalidade mencionada, este mestrado utiliza a distribuição de Gibbs na saída do módulo para contexto espacial de forma que este forneça probabilidades de contexto espacial, indicando o grau de certeza do módulo e possibilitando a utilização de procedimentos especiais para os casos de dúvida. O sistema neural foi testado em conjuntos contendo trajetórias abertas, fechadas, e com diferentes situações de ambigüidade e complexidade. Duas situações distintas foram avaliadas: (a) capacidade do sistema em reproduzir trajetórias a partir de pontos iniciais treinados; e (b) capacidade de generalização do sistema reproduzindo trajetórias considerando pontos iniciais ou finais em situações não treinadas. A situação (b) é um problema de difícil ) solução em redes neurais devido à falta de contexto temporal, essencial na reprodução de seqüências. Foram realizados experimentos comparando o desempenho do sistema modular proposto com o de uma rede parcialmente recorrente operando sozinha e um sistema modular neural (TOTEM). Os resultados sugerem que o sistema proposto apresentou uma capacidade de generalização significamente melhor, sem que houvesse uma deterioração na capacidade de reproduzir seqüências treinadas. Esses resultados foram obtidos em sistema mais simples que o TOTEM. / This work presents a new modular neural system to deal separately with spatial and temporal context information, during temporal sequence processing. Given the initial and final states of the sequence, the neural system can reproduce the whole sequence linking these points. The proposed model involves concepts on recurrent neural networks, stochastic models, modular neural systems and context information processing. Three models based on distinct approaches to learn temporal sequences were particularly important in this work: a partially recurrent neural network, a modular neural system and a stochastic model based on the Hidden Markov Models theory. This master thesis presents a new modular neural system composed of two supervised neural networks. A feedforward neural network (spatial context estimator) to identify the desired sequence to be reproduced and to provide a spatial context prototype to the second module. This is a partially recurrent neural network to reproduce the sequence identified by the former module. Moreover, the first module employs the Gibbs distribution in the spatial context estimator outputs in such a way to obtain the uncertainty of the sequence identification task. Thus, with these probability values, special procedures may be used whenever a doubt occurs. The proposed system was evaluated in different domains containing open and closed sequences with different levels of complexity due to space dimension and level of ambiguity of the trained trajectories. The system was evaluated according to its ability to reproduce the sequence whenever versions of the initial and final points are provided. A version may be exactly the points seen during the training stage or points trained as intermediate states. The latter is considered a difficult task for recurrent neural networks due to the lack of temporal context information. Experiments were done comparing the performance of the proposed modular neural system with the performance of a recurrent neural network itself and a modular neural system (a model called TOTEM) for sequence reproduction. The results suggest that the proposed modular neural system presented ability to generalize significant1y better that of the recurrent neural network without deteriorating its ability to reproduce sequences starting from trained situations. The neural system may reproduce the results of the TOTEM with a simpler topology.
|
54 |
Previsão do tempo de viagens de transporte seletivo sem parada fixa através de redes neurais artificiais recorrentesMichel, Fernando Dutra January 2017 (has links)
Os sistemas de transporte público por ônibus têm sido cada vez mais relevantes para o desenvolvimento das cidades. Técnicas para melhorar o planejamento e o controle da operação diária dos serviços de ônibus apresentaram melhorias significativas ao longo dos anos, e a previsão do tempo de viagem desempenha um importante papel no planejamento e nas estratégias da operação diária. A antecipação dos tempos de viagem ajuda os planejadores e controladores a evitar os vários problemas que surgem durante a operação diária da linha de ônibus. Ela também permite manter os usuários informados para que eles possam planejar com antecedência a sua viagem. Vários estudos relacionados à previsão do tempo de viagem podem ser encontrados na literatura. Devido a sua dificuldade intrínseca, o problema foi abordado por diferentes técnicas. Resultados numéricos de estudos demonstram o potencial uso de redes neurais em relação a outras técnicas. No entanto, a literatura não apresenta aplicações que incorporem uma retroalimentação das informações contidas em séries temporais, como é feito por redes neuronais recorrentes. A maioria dos estudos na literatura tem sido realizada com dados de cidades específicas e com linhas de ônibus com paradas fixas. A situação que surge em linhas de ônibus sem paradas fixas operadas com micro-ônibus apresenta uma dinâmica diferente dos estudos de caso da literatura Além disso, os estudos existentes não usam o gráfico de marcha como um instrumento de apoio para a previsão do tempo de viagem em ônibus. Nesta tese, estuda-se o problema da previsão do tempo de viagem para linhas de micro-ônibus sem paradas fixas, utilizando as informações básicas do gráfico de marcha. O modelo proposto é baseado em redes neurais recorrentes. Os dados de entrada incluem: (i) a hora de início da viagem do ônibus, (ii) sua posição atual em coordenadas GPS, (iii) o tempo atual e (iv) a distância percorrida após um minuto. As redes são treinadas com dados de uma linha de micro-ônibus da cidade de Porto Alegre, Brasil. Os dados correspondem ao ano de 2015. Os modelos fornecem previsões para a distância percorrida minuto a minuto e para uma janela de tempo de 30 minutos. O modelo desenvolvido foi treinado com um conjunto abrangente de dados de dias úteis, incluindo períodos de pico e fora de pico. Os dados de treinamento não desconsideraram informações de qualquer dia devido à ocorrência de eventos especiais. Concluiu-se que os modelos de redes neurais recorrentes desenvolvidos são capazes de absorver a dinâmica do movimento dos micro-ônibus. A informação produzida apresenta um nível adequado de precisão a ser utilizado para informar os usuários. Também é adequada para planejadores e controladores da operação, pois pode ajudar a identificar situações problemáticas em janelas de tempo futuras. / Public transport systems by bus have been increasingly relevant for the development of cities. Techniques to improve planning and control of daily operation of bus services presented significant improvements along the years, and travel time forecast plays an important hole in both planning and daily operation strategies. Travel times anticipation helps planners and controllers to anticipate the various issues that arise during the daily bus line operation. It also allows keeping users informed, so they can plan in advance for their trip. Several studies related to travel time prediction can be found in the literature. Due to its intrinsic difficulty, the problem has been addressed by different techniques. Numerical results from studies demonstrate the potential use of neural networks in relation to other techniques. However, the literature does not present applications that incorporate a feedback of the information contained in time series as it is done by recurrent neural networks. Most of the studies in the literature have been conducted with data from specific cities and buses lines with fixed stops. The situation that arises in bus lines without fixed stops operated with microbuses present a different dynamics from the literature case studies. In addition, existing studies do not use time-space trajectories as a supporting instrument for bus travel time prediction. In this thesis we study the problem of travel time prediction for microbus lines without fixed stops using the basic information of the time-space trajectories The proposed model is based on recurrent neural networks. The input data includes: (i) the start time of the bus trip, (ii) its current position in GPS coordinates, (iii) the current time and (iv) distance travelled after one minute. The networks are trained with data from a microbus line from the city of Porto Alegre, Brazil. Data corresponds to the year 2015. The model provide forecasts for distance travelled minute by minute, and for a time window of 30 minutes. The developed models were trained with a comprehensive set of data from working days including peak and off-peak periods. The training data did not disregard information from any day due to occurrence of special events. It was concluded that the recurrent neural network model developed is capable of absorbing the dynamics of the microbuses movement. The information produced present an adequate level of precision to be used for users information. It is also adequate for planners and operation controllers as it can help to identify problematic situations in future time windows.
|
55 |
Autonomous Driving: Traffic Sign ClassificationTirumaladasu, Sai Subhakar, Adigarla, Shirdi Manjunath January 2019 (has links)
Autonomous Driving and Advance Driver Assistance Systems (ADAS) are revolutionizing the way we drive and the future of mobility. Among ADAS, Traffic Sign Classification is an important technique which assists the driver to easily interpret traffic signs on the road. In this thesis, we used the powerful combination of Image Processing and Deep Learning to pre-process and classify the traffic signs. Recent studies in Deep Learning show us how good a Convolutional Neural Network (CNN) is for image classification and there are several state-of-the-art models with classification accuracies over 99 % existing out there. This shaped our thesis to focus more on tackling the current challenges and some open-research cases. We focussed more on performance tuning by modifying the existing architectures with a trade-off between computations and accuracies. Our research areas include enhancement in low light/noisy conditions by adding Recurrent Neural Network (RNN) connections, and contribution to a universal-regional dataset with Generative Adversarial Networks (GANs). The results obtained on the test data are comparable to the state-of-the-art models and we reached accuracies above 98% after performance evaluation in different frameworks
|
56 |
Temporal information processing and memory guided behaviors with recurrent neural networksDasgupta, Sakyasingha 28 January 2015 (has links)
No description available.
|
57 |
Previsão do tempo de viagens de transporte seletivo sem parada fixa através de redes neurais artificiais recorrentesMichel, Fernando Dutra January 2017 (has links)
Os sistemas de transporte público por ônibus têm sido cada vez mais relevantes para o desenvolvimento das cidades. Técnicas para melhorar o planejamento e o controle da operação diária dos serviços de ônibus apresentaram melhorias significativas ao longo dos anos, e a previsão do tempo de viagem desempenha um importante papel no planejamento e nas estratégias da operação diária. A antecipação dos tempos de viagem ajuda os planejadores e controladores a evitar os vários problemas que surgem durante a operação diária da linha de ônibus. Ela também permite manter os usuários informados para que eles possam planejar com antecedência a sua viagem. Vários estudos relacionados à previsão do tempo de viagem podem ser encontrados na literatura. Devido a sua dificuldade intrínseca, o problema foi abordado por diferentes técnicas. Resultados numéricos de estudos demonstram o potencial uso de redes neurais em relação a outras técnicas. No entanto, a literatura não apresenta aplicações que incorporem uma retroalimentação das informações contidas em séries temporais, como é feito por redes neuronais recorrentes. A maioria dos estudos na literatura tem sido realizada com dados de cidades específicas e com linhas de ônibus com paradas fixas. A situação que surge em linhas de ônibus sem paradas fixas operadas com micro-ônibus apresenta uma dinâmica diferente dos estudos de caso da literatura Além disso, os estudos existentes não usam o gráfico de marcha como um instrumento de apoio para a previsão do tempo de viagem em ônibus. Nesta tese, estuda-se o problema da previsão do tempo de viagem para linhas de micro-ônibus sem paradas fixas, utilizando as informações básicas do gráfico de marcha. O modelo proposto é baseado em redes neurais recorrentes. Os dados de entrada incluem: (i) a hora de início da viagem do ônibus, (ii) sua posição atual em coordenadas GPS, (iii) o tempo atual e (iv) a distância percorrida após um minuto. As redes são treinadas com dados de uma linha de micro-ônibus da cidade de Porto Alegre, Brasil. Os dados correspondem ao ano de 2015. Os modelos fornecem previsões para a distância percorrida minuto a minuto e para uma janela de tempo de 30 minutos. O modelo desenvolvido foi treinado com um conjunto abrangente de dados de dias úteis, incluindo períodos de pico e fora de pico. Os dados de treinamento não desconsideraram informações de qualquer dia devido à ocorrência de eventos especiais. Concluiu-se que os modelos de redes neurais recorrentes desenvolvidos são capazes de absorver a dinâmica do movimento dos micro-ônibus. A informação produzida apresenta um nível adequado de precisão a ser utilizado para informar os usuários. Também é adequada para planejadores e controladores da operação, pois pode ajudar a identificar situações problemáticas em janelas de tempo futuras. / Public transport systems by bus have been increasingly relevant for the development of cities. Techniques to improve planning and control of daily operation of bus services presented significant improvements along the years, and travel time forecast plays an important hole in both planning and daily operation strategies. Travel times anticipation helps planners and controllers to anticipate the various issues that arise during the daily bus line operation. It also allows keeping users informed, so they can plan in advance for their trip. Several studies related to travel time prediction can be found in the literature. Due to its intrinsic difficulty, the problem has been addressed by different techniques. Numerical results from studies demonstrate the potential use of neural networks in relation to other techniques. However, the literature does not present applications that incorporate a feedback of the information contained in time series as it is done by recurrent neural networks. Most of the studies in the literature have been conducted with data from specific cities and buses lines with fixed stops. The situation that arises in bus lines without fixed stops operated with microbuses present a different dynamics from the literature case studies. In addition, existing studies do not use time-space trajectories as a supporting instrument for bus travel time prediction. In this thesis we study the problem of travel time prediction for microbus lines without fixed stops using the basic information of the time-space trajectories The proposed model is based on recurrent neural networks. The input data includes: (i) the start time of the bus trip, (ii) its current position in GPS coordinates, (iii) the current time and (iv) distance travelled after one minute. The networks are trained with data from a microbus line from the city of Porto Alegre, Brazil. Data corresponds to the year 2015. The model provide forecasts for distance travelled minute by minute, and for a time window of 30 minutes. The developed models were trained with a comprehensive set of data from working days including peak and off-peak periods. The training data did not disregard information from any day due to occurrence of special events. It was concluded that the recurrent neural network model developed is capable of absorbing the dynamics of the microbuses movement. The information produced present an adequate level of precision to be used for users information. It is also adequate for planners and operation controllers as it can help to identify problematic situations in future time windows.
|
58 |
Previsão do tempo de viagens de transporte seletivo sem parada fixa através de redes neurais artificiais recorrentesMichel, Fernando Dutra January 2017 (has links)
Os sistemas de transporte público por ônibus têm sido cada vez mais relevantes para o desenvolvimento das cidades. Técnicas para melhorar o planejamento e o controle da operação diária dos serviços de ônibus apresentaram melhorias significativas ao longo dos anos, e a previsão do tempo de viagem desempenha um importante papel no planejamento e nas estratégias da operação diária. A antecipação dos tempos de viagem ajuda os planejadores e controladores a evitar os vários problemas que surgem durante a operação diária da linha de ônibus. Ela também permite manter os usuários informados para que eles possam planejar com antecedência a sua viagem. Vários estudos relacionados à previsão do tempo de viagem podem ser encontrados na literatura. Devido a sua dificuldade intrínseca, o problema foi abordado por diferentes técnicas. Resultados numéricos de estudos demonstram o potencial uso de redes neurais em relação a outras técnicas. No entanto, a literatura não apresenta aplicações que incorporem uma retroalimentação das informações contidas em séries temporais, como é feito por redes neuronais recorrentes. A maioria dos estudos na literatura tem sido realizada com dados de cidades específicas e com linhas de ônibus com paradas fixas. A situação que surge em linhas de ônibus sem paradas fixas operadas com micro-ônibus apresenta uma dinâmica diferente dos estudos de caso da literatura Além disso, os estudos existentes não usam o gráfico de marcha como um instrumento de apoio para a previsão do tempo de viagem em ônibus. Nesta tese, estuda-se o problema da previsão do tempo de viagem para linhas de micro-ônibus sem paradas fixas, utilizando as informações básicas do gráfico de marcha. O modelo proposto é baseado em redes neurais recorrentes. Os dados de entrada incluem: (i) a hora de início da viagem do ônibus, (ii) sua posição atual em coordenadas GPS, (iii) o tempo atual e (iv) a distância percorrida após um minuto. As redes são treinadas com dados de uma linha de micro-ônibus da cidade de Porto Alegre, Brasil. Os dados correspondem ao ano de 2015. Os modelos fornecem previsões para a distância percorrida minuto a minuto e para uma janela de tempo de 30 minutos. O modelo desenvolvido foi treinado com um conjunto abrangente de dados de dias úteis, incluindo períodos de pico e fora de pico. Os dados de treinamento não desconsideraram informações de qualquer dia devido à ocorrência de eventos especiais. Concluiu-se que os modelos de redes neurais recorrentes desenvolvidos são capazes de absorver a dinâmica do movimento dos micro-ônibus. A informação produzida apresenta um nível adequado de precisão a ser utilizado para informar os usuários. Também é adequada para planejadores e controladores da operação, pois pode ajudar a identificar situações problemáticas em janelas de tempo futuras. / Public transport systems by bus have been increasingly relevant for the development of cities. Techniques to improve planning and control of daily operation of bus services presented significant improvements along the years, and travel time forecast plays an important hole in both planning and daily operation strategies. Travel times anticipation helps planners and controllers to anticipate the various issues that arise during the daily bus line operation. It also allows keeping users informed, so they can plan in advance for their trip. Several studies related to travel time prediction can be found in the literature. Due to its intrinsic difficulty, the problem has been addressed by different techniques. Numerical results from studies demonstrate the potential use of neural networks in relation to other techniques. However, the literature does not present applications that incorporate a feedback of the information contained in time series as it is done by recurrent neural networks. Most of the studies in the literature have been conducted with data from specific cities and buses lines with fixed stops. The situation that arises in bus lines without fixed stops operated with microbuses present a different dynamics from the literature case studies. In addition, existing studies do not use time-space trajectories as a supporting instrument for bus travel time prediction. In this thesis we study the problem of travel time prediction for microbus lines without fixed stops using the basic information of the time-space trajectories The proposed model is based on recurrent neural networks. The input data includes: (i) the start time of the bus trip, (ii) its current position in GPS coordinates, (iii) the current time and (iv) distance travelled after one minute. The networks are trained with data from a microbus line from the city of Porto Alegre, Brazil. Data corresponds to the year 2015. The model provide forecasts for distance travelled minute by minute, and for a time window of 30 minutes. The developed models were trained with a comprehensive set of data from working days including peak and off-peak periods. The training data did not disregard information from any day due to occurrence of special events. It was concluded that the recurrent neural network model developed is capable of absorbing the dynamics of the microbuses movement. The information produced present an adequate level of precision to be used for users information. It is also adequate for planners and operation controllers as it can help to identify problematic situations in future time windows.
|
59 |
Contexto e modularização em redes neurais recorrentes para aprendizagem de seqüências temporais / Context and modularization in recurrent neural networks for temporal sequences learningAndré Santiago Henriques 29 June 2001 (has links)
Este trabalho apresenta um sistema neural modular, que processa separadamente informações de contexto espacial e temporal, para a tarefa de reprodução de sequências temporais. Para o desenvolvimento do sistema neural foram considerados redes neurais recorrentes, modelos estocásticos, sistemas neurais modulares e processamento de informações de contexto. Em seguida, foram estudados três modelos com abordagens distintas para aprendizagem de seqüências temporais: uma rede neural parcialmente recorrente, um exemplo de sistema neural modular e um modelo estocástico utilizando a teoria de modelos markovianos escondidos. Com base nos estudos e modelos apresentados, esta pesquisa propõe um sistema formado por dois módulos sucessivos distintos. Uma rede de propagação direta (módulo estimador de contexto espacial) realiza o processamento de contexto espacial identificando a seqüência a ser reproduzida e fornecendo um protótipo do contexto para o segundo módulo. Este é formado por uma rede parcialmente recorrente (módulo de reprodução de sequências temporais) para aprender as informações de contexto temporal e reproduzir em suas saídas a seqüência identificada pelo módulo anterior. Para a finalidade mencionada, este mestrado utiliza a distribuição de Gibbs na saída do módulo para contexto espacial de forma que este forneça probabilidades de contexto espacial, indicando o grau de certeza do módulo e possibilitando a utilização de procedimentos especiais para os casos de dúvida. O sistema neural foi testado em conjuntos contendo trajetórias abertas, fechadas, e com diferentes situações de ambigüidade e complexidade. Duas situações distintas foram avaliadas: (a) capacidade do sistema em reproduzir trajetórias a partir de pontos iniciais treinados; e (b) capacidade de generalização do sistema reproduzindo trajetórias considerando pontos iniciais ou finais em situações não treinadas. A situação (b) é um problema de difícil ) solução em redes neurais devido à falta de contexto temporal, essencial na reprodução de seqüências. Foram realizados experimentos comparando o desempenho do sistema modular proposto com o de uma rede parcialmente recorrente operando sozinha e um sistema modular neural (TOTEM). Os resultados sugerem que o sistema proposto apresentou uma capacidade de generalização significamente melhor, sem que houvesse uma deterioração na capacidade de reproduzir seqüências treinadas. Esses resultados foram obtidos em sistema mais simples que o TOTEM. / This work presents a new modular neural system to deal separately with spatial and temporal context information, during temporal sequence processing. Given the initial and final states of the sequence, the neural system can reproduce the whole sequence linking these points. The proposed model involves concepts on recurrent neural networks, stochastic models, modular neural systems and context information processing. Three models based on distinct approaches to learn temporal sequences were particularly important in this work: a partially recurrent neural network, a modular neural system and a stochastic model based on the Hidden Markov Models theory. This master thesis presents a new modular neural system composed of two supervised neural networks. A feedforward neural network (spatial context estimator) to identify the desired sequence to be reproduced and to provide a spatial context prototype to the second module. This is a partially recurrent neural network to reproduce the sequence identified by the former module. Moreover, the first module employs the Gibbs distribution in the spatial context estimator outputs in such a way to obtain the uncertainty of the sequence identification task. Thus, with these probability values, special procedures may be used whenever a doubt occurs. The proposed system was evaluated in different domains containing open and closed sequences with different levels of complexity due to space dimension and level of ambiguity of the trained trajectories. The system was evaluated according to its ability to reproduce the sequence whenever versions of the initial and final points are provided. A version may be exactly the points seen during the training stage or points trained as intermediate states. The latter is considered a difficult task for recurrent neural networks due to the lack of temporal context information. Experiments were done comparing the performance of the proposed modular neural system with the performance of a recurrent neural network itself and a modular neural system (a model called TOTEM) for sequence reproduction. The results suggest that the proposed modular neural system presented ability to generalize significant1y better that of the recurrent neural network without deteriorating its ability to reproduce sequences starting from trained situations. The neural system may reproduce the results of the TOTEM with a simpler topology.
|
60 |
apprentissage de séquences et extraction de règles de réseaux récurrents : application au traçage de schémas techniques. / sequence learning and rules extraction from recurrent neural networks : application to the drawing of technical diagramsChraibi Kaadoud, Ikram 02 March 2018 (has links)
Deux aspects importants de la connaissance qu'un individu a pu acquérir par ses expériences correspondent à la mémoire sémantique (celle des connaissances explicites, comme par exemple l'apprentissage de concepts et de catégories décrivant les objets du monde) et la mémoire procédurale (connaissances relatives à l'apprentissage de règles ou de la syntaxe). Cette "mémoire syntaxique" se construit à partir de l'expérience et notamment de l'observation de séquences, suites d'objets dont l'organisation séquentielle obéit à des règles syntaxiques. Elle doit pouvoir être utilisée ultérieurement pour générer des séquences valides, c'est-à-dire respectant ces règles. Cette production de séquences valides peut se faire de façon explicite, c'est-à-dire en évoquant les règles sous-jacentes, ou de façon implicite, quand l'apprentissage a permis de capturer le principe d'organisation des séquences sans recours explicite aux règles. Bien que plus rapide, plus robuste et moins couteux en termes de charge cognitive que le raisonnement explicite, le processus implicite a pour inconvénient de ne pas donner accès aux règles et de ce fait, de devenir moins flexible et moins explicable. Ces mécanismes mnésiques s'appliquent aussi à l'expertise métier : la capitalisation des connaissances pour toute entreprise est un enjeu majeur et concerne aussi bien celles explicites que celles implicites. Au début, l'expert réalise un choix pour suivre explicitement les règles du métier. Mais ensuite, à force de répétition, le choix se fait automatiquement, sans évocation explicite des règles sous-jacentes. Ce changement d'encodage des règles chez un individu en général et particulièrement chez un expert métier peut se révéler problématique lorsqu'il faut expliquer ou transmettre ses connaissances. Si les concepts métiers peuvent être formalisés, il en va en général de tout autre façon pour l'expertise. Dans nos travaux, nous avons souhaité nous pencher sur les séquences de composants électriques et notamment la problématique d’extraction des règles cachées dans ces séquences, aspect important de l’extraction de l’expertise métier à partir des schémas techniques. Nous nous plaçons dans le domaine connexionniste, et nous avons en particulier considéré des modèles neuronaux capables de traiter des séquences. Nous avons implémenté deux réseaux de neurones récurrents : le modèle de Elman et un modèle doté d’unités LSTM (Long Short Term Memory). Nous avons évalué ces deux modèles sur différentes grammaires artificielles (grammaire de Reber et ses variations) au niveau de l’apprentissage, de leurs capacités de généralisation de celui-ci et leur gestion de dépendances séquentielles. Finalement, nous avons aussi montré qu’il était possible d’extraire les règles encodées (issues des séquences) dans le réseau récurrent doté de LSTM, sous la forme d’automate. Le domaine électrique est particulièrement pertinent pour cette problématique car il est plus contraint avec une combinatoire plus réduite que la planification de tâches dans des cas plus généraux comme la navigation par exemple, qui pourrait constituer une perspective de ce travail. / There are two important aspects of the knowledge that an individual acquires through experience. One corresponds to the semantic memory (explicit knowledge, such as the learning of concepts and categories describing the objects of the world) and the other, the procedural or syntactic memory (knowledge relating to the learning of rules or syntax). This "syntactic memory" is built from experience and particularly from the observation of sequences of objects whose organization obeys syntactic rules.It must have the capability to aid recognizing as well as generating valid sequences in the future, i.e., sequences respecting the learnt rules. This production of valid sequences can be done either in an explicit way, that is, by evoking the underlying rules, or implicitly, when the learning phase has made it possible to capture the principle of organization of the sequences without explicit recourse to the rules. Although the latter is faster, more robust and less expensive in terms of cognitive load as compared to explicit reasoning, the implicit process has the disadvantage of not giving access to the rules and thus becoming less flexible and less explicable. These mnemonic mechanisms can also be applied to business expertise. The capitalization of information and knowledge in general, for any company is a major issue and concerns both the explicit and implicit knowledge. At first, the expert makes a choice to explicitly follow the rules of the trade. But then, by dint of repetition, the choice is made automatically, without explicit evocation of the underlying rules. This change in encoding rules in an individual in general and particularly in a business expert can be problematic when it is necessary to explain or transmit his or her knowledge. Indeed, if the business concepts can be formalized, it is usually in any other way for the expertise which is more difficult to extract and transmit.In our work, we endeavor to observe sequences of electrical components and in particular the problem of extracting rules hidden in these sequences, which are an important aspect of the extraction of business expertise from technical drawings. We place ourselves in the connectionist domain, and we have particularly considered neuronal models capable of processing sequences. We implemented two recurrent neural networks: the Elman model and a model with LSTM (Long Short Term Memory) units. We have evaluated these two models on different artificial grammars (Reber's grammar and its variations) in terms of learning, their generalization abilities and their management of sequential dependencies. Finally, we have also shown that it is possible to extract the encoded rules (from the sequences) in the recurrent network with LSTM units, in the form of an automaton. The electrical domain is particularly relevant for this problem. It is more constrained with a limited combinatorics than the planning of tasks in general cases like navigation for example, which could constitute a perspective of this work.
|
Page generated in 0.0709 seconds