Dois problemas de planejamento de trajetórias são tratados nesta dissertação, sendo um discreto e outro contínuo. O problema discreto consiste em estabelecer todos os estados intermediários de uma trajetória para levar um conjunto de quatro blocos de uma posição inicial à uma posição meta. O problema contínuo consiste em planejar e controlar a trajetória do braço mecânico PUMA 560. A classe de modelos que se utilizou nesta dissertação foram os modelos parcialmente recorrentes. O problema discreto foi utilizado com a finalidade de comparar os seis modelos propostos, buscando obter um modelo com bom desempenho para resolução de problemas de produção de seqüências temporais. Para o problema contínuo aplicou-se apenas o modelo que apresentou melhor desempenho na resolução do problema discreto. Em ambos os casos são apresentados como entrada para a rede, o ponto inicial e o ponto meta. Dois tipos de testes foram aplicados as arquiteturas: teste de produção e de generalização de seqüências temporais. Para cada problema foram criados quatro tipos distintos de trajetórias, com graus de complexidades diferentes. Para o problema discreto, em média, a arquitetura com realimentação da camada de saída para a camada de entrada e da camada de entrada para ela mesma, todos-para-todos, foi a que apresentou menor número de épocas e também os menores valores de erro durante o treinamento. Foi o único que conseguiu recuperar todos os padrões treinados e de forma geral apresentou melhor capacidade de generalização. Por isto, este modelo foi escolhido para ser aplicado na resolução do problema contínuo, tendo bom desempenho, conseguindo reproduzir as trajetórias treinadas com grande precisão. Para o problema discreto todos os modelos apresentaram baixa capacidade de generalização. Para o problema contínuo o modelo abordado apresentou-se de forma satisfatória mediante o acréscimo de ruído. / Two trajectory planning problems are discussed in this work, one of them being discrete and the other continuous. The discrete problem consists in establishing all the intermediate states o f a trajectory to move a set of four blocks from a initial to a goal position. The continuous problem consists in planning and controlling the trajectory of the PUMA 560 mechanical arm. The class of models utilized in this work were the partially recurrent models. The discrete problem was used in order to compare the six proposed models, aiming at the acquisition of a model with a good performance for the resolution of production of temporal sequence problems. For the continuous problem, only the model that presented better performance in solving the discrete problem was applied. The initial and goal point are presented as input for the network in both problems. Two types of tests were applied to the architectures: production and generalization of temporal sequence tests. Four distinct types of trajectories with different complexity levels were created for each problem. In average, for the discrete problem, the architecture with feedback from the output to the input layer and from input layer to itself all-to-all presented the lowest epoch number in addition to the lowest error values during the training. This was the only model that managed to recover all the patterns trained and in general presented better generalization capacity. For this reason, this model was chosen to be applied in the resolution of the continuous problem. It presented a good performance to the production of mechanical arm trajectories, managing to reproduce the trained trajectories with great accuracy. For the discrete problem, all the models presented low generalization capacity. For the continuous problem, the approached model presented itself in a satisfactmy manner by means of noise addition.

O objetivo principal deste trabalho foi o de explorar a possibilidade de usar uma metodologia capaz de decompor uma série temporal via ondaletas, conjuntamente com os modelos econométricos e de redes neurais já existentes de previsão e comparar a qualidade de previsões obtidas para sucessões cronológicas não lineares simuladas. A proposta foi alcançada principalmente pela elaboração de um fluxograma para tratamento das previsões de sucessões cronológicas para colocar um rigor quantitativo mais adequado. O diferencial deste trabalho esteve na realização das previsões dentro das sub-séries decompostas por uma ondaleta em até dois níveis, e obtendo-se a previsão da série original via reconstrução da série para modelos construídos por processos geradores de dados de sucessões cronológicas não-lineares. Foram simulados séries de um processo ARIMA-GARCH, um processo ARIMA, um processo bilinear e uma série de um movimento browniano. O trabalho principal constituiu-se na elaboração da fase de pré-processamento e das previsões estática em separado para cada uma das sub-séries encontradas sendo feitas para 10 e 200 observações futuras. Além das previsões pontuais foi verificada também o envelopamento dos dados, que consiste em comparar o modelo de previsão através de um intervalo de confiança para os valores previstos em mil séries simuladas pela mesma semente. Os resultados apontaram que para um modelo ARIMA(1,0,0)-GARCH(1,1), pode-se observar que o pré-processamento pela ondaleta foi melhor para apenas uma etapa de separação de altas e baixas freqüências tanto pela correlação quanto pelos critérios do TIC sendo este reduzido e pelo MAPE menor para as previsões de curto prazo. Já para os modelos de redes neurais uma diferença importante que deve ser ressaltada entre as redes neurais recorrentes e as redes com algoritmo de retropropagação é a capacidade de previsão das redes recorrentes para dados não-lineares com 2 níveis de pré-processamento e para previsões de curto prazo. Todavia, já para o critério do envelopamento, os melhores resultados foram para as redes recorrentes na previsão do processo ARIMA-GARCH e bilinear e pré-processamento com 1 nível. Todos os dados também foram comparados com as previsões feitas sem pré-processamento, as quais se mostraram impróprias com MAPE perto de 100% para previsões de longo prazo. Também checou-se neste trabalho as alterações que a mudança da escolha de uma ondaleta por outra, poderia impactar nos resultados das previsões futuras. Constatou-se que a troca da forma de onda no pré-processamento que se pareça mais visualmente com a forma dos dados da série, reduz as medidas de acurácia em 48%, deixando evidências que possa haver melhoras nos resultados. Na análise prática para o IBOVESPA, os resultados não foram satisfatórios, visto que os melhores resultados ficam para redes recorrentes com 1 nível de pré-processamento. Outrossim, da análise deste trabalho, emerge a importância dada ao fluxograma implementado para as previsões e o papel das previsões em separado por ondaletas como redutores dos erros nos processos estocásticos, e da implementação das bandas de previsões para redes recorrentes para sucessões cronológicas não-lineares. / The main objective of this work was it of exploring the possibility to use a methodology capable to decompose a temporary series through ondaletas, jointly with the econometrics models and of neural network already existent of forecast and to compare the quality of forecasts obtained for chronological successions no lineal simulated. The proposal was reached mainly by the elaboration of a flowchart for treatment of the forecasts of chronological successions to put a more appropriate quantitative rigidity. The differential of this work was in the accomplishment of the forecasts inside of the sub-series decomposed by an ondaleta in up to two levels, and being obtained the forecast of the original series through reconstruction of the series for models built by generating processes of data of no-lineal chronological successions. They were simulated series of a process ARIMA-GARCH, a process ARIMA, a process bilinear and a series of a movement browniano. The main work was constituted in the elaboration of the pré-processing phase and of the forecasts static in separate for each one of the found sub-series being done for 10 and 200 future observations. Besides the punctual forecasts it was also verified the envelopamento of the data, that it consists of comparing the forecast model through a trust interval for the values foreseen in a thousand simulated series by the same seed. The results appeared that for a model ARIMA(1,0,0)-GARCH(1,1), it can be observed that the pré-processing for the ondaleta went better so much for just a stage of separation of discharges and low frequencies for the correlation as for the criteria of TIC being this reduced and for smaller MAPE for the forecasts of short period. Already for the models of nets neurais an important difference that it should be emphasized between the nets appealing neurais and the nets with retropropagação algorithm is the capacity of forecast of the appealing nets for no-lineal data with 2 pré-processing levels and for forecasts of short period. Though, already for the criterion of the envelopamento, the best results went to the appealing nets in the forecast of the process ARIMA-GARCH and bilinear and pré-processing with 1 level. All the data were also compared with the forecasts done without pré-processing, which were shown inappropriate with MAPE close to 100% for forecasts of long period. It was also checked in this work the alterations that the change of the choice of an ondaleta for other, was able to impactar in the results of the future forecasts. It was verified that the change in the wave way in the pré-processing that if it seems more visually with the form of the data of the series, it reduces the acurácia measures in 48%, leaving evidences that it can have improvements in the results. In the practical analysis for IBOVESPA, the results were not satisfactory, because the best results are for appealing nets with 1 pré-processing level. Likewise, of the analysis of this work, the importance emerges given to the flowchart implemented for the forecasts and the paper of the forecasts in separate for ondaletas as reducers of the mistakes in the processes estocásticos, and of the implementation of the bands of forecasts for appealing nets for no-lineal chronological successions.

Dois problemas de planejamento de trajetórias são tratados nesta dissertação, sendo um discreto e outro contínuo. O problema discreto consiste em estabelecer todos os estados intermediários de uma trajetória para levar um conjunto de quatro blocos de uma posição inicial à uma posição meta. O problema contínuo consiste em planejar e controlar a trajetória do braço mecânico PUMA 560. A classe de modelos que se utilizou nesta dissertação foram os modelos parcialmente recorrentes. O problema discreto foi utilizado com a finalidade de comparar os seis modelos propostos, buscando obter um modelo com bom desempenho para resolução de problemas de produção de seqüências temporais. Para o problema contínuo aplicou-se apenas o modelo que apresentou melhor desempenho na resolução do problema discreto. Em ambos os casos são apresentados como entrada para a rede, o ponto inicial e o ponto meta. Dois tipos de testes foram aplicados as arquiteturas: teste de produção e de generalização de seqüências temporais. Para cada problema foram criados quatro tipos distintos de trajetórias, com graus de complexidades diferentes. Para o problema discreto, em média, a arquitetura com realimentação da camada de saída para a camada de entrada e da camada de entrada para ela mesma, todos-para-todos, foi a que apresentou menor número de épocas e também os menores valores de erro durante o treinamento. Foi o único que conseguiu recuperar todos os padrões treinados e de forma geral apresentou melhor capacidade de generalização. Por isto, este modelo foi escolhido para ser aplicado na resolução do problema contínuo, tendo bom desempenho, conseguindo reproduzir as trajetórias treinadas com grande precisão. Para o problema discreto todos os modelos apresentaram baixa capacidade de generalização. Para o problema contínuo o modelo abordado apresentou-se de forma satisfatória mediante o acréscimo de ruído. / Two trajectory planning problems are discussed in this work, one of them being discrete and the other continuous. The discrete problem consists in establishing all the intermediate states o f a trajectory to move a set of four blocks from a initial to a goal position. The continuous problem consists in planning and controlling the trajectory of the PUMA 560 mechanical arm. The class of models utilized in this work were the partially recurrent models. The discrete problem was used in order to compare the six proposed models, aiming at the acquisition of a model with a good performance for the resolution of production of temporal sequence problems. For the continuous problem, only the model that presented better performance in solving the discrete problem was applied. The initial and goal point are presented as input for the network in both problems. Two types of tests were applied to the architectures: production and generalization of temporal sequence tests. Four distinct types of trajectories with different complexity levels were created for each problem. In average, for the discrete problem, the architecture with feedback from the output to the input layer and from input layer to itself all-to-all presented the lowest epoch number in addition to the lowest error values during the training. This was the only model that managed to recover all the patterns trained and in general presented better generalization capacity. For this reason, this model was chosen to be applied in the resolution of the continuous problem. It presented a good performance to the production of mechanical arm trajectories, managing to reproduce the trained trajectories with great accuracy. For the discrete problem, all the models presented low generalization capacity. For the continuous problem, the approached model presented itself in a satisfactmy manner by means of noise addition.

Made available in DSpace on 2014-06-12T15:52:23Z (GMT). No. of bitstreams: 2 arquivo3249_1.pdf: 1966741 bytes, checksum: f61bcb05fd026755e0cb70974b156e7d (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2011 / Instituto Federal de Educação, Ciência e Tecnologia de Pernambuco / Reservoir Computing é um tipo de rede neural recorrente que permite uma modelagem caixa-preta para sistemas dinâmicos (não-lineares). Em contraste com outras abordagens de redes neurais recorrentes, com Reservoir Computing não existe a necessidade de treinamento dos pesos da camada de entrada e nem dos pesos internos da rede (reservoir), apenas os pesos da camada de saída (readout) são treinados. No entanto, é necessário ajustar os parâmetros e a topologia da rede para a criação de um reservoir ótimo que seja adequado a uma determinada aplicação. Neste trabalho, foi criado um método, chamado RCDESIGN, para encontrar o melhor reservoir aplicado à tarefa de previsão de séries temporais. O método desenvolvido combina um algoritmo evolucionário com Reservoir Computing e busca simultaneamente pelos melhores valores dos parâmetros, da topologia da rede e dos pesos, sem reescalar a matriz de pesos do reservoir pelo raio espectral. A ideia do ajuste do raio espectral dentro de um círculo unitário no plano complexo, vem da teoria dos sistemas lineares que mostra claramente que a estabilidade é necessária para a obtenção de respostas úteis em sistemas lineares. Contudo, este argumento não se aplica necessariamente aos sistemas não-lineares, que é o caso de Reservoir Computing. O método criado considera também o Reservoir Computing em toda a sua não linearidade, pois permite a utilização de todas as suas possíveis conexões, em vez de usar apenas as conexões obrigatórias. Os resultados obtidos com o método proposto são comparados com dois métodos diferentes. O primeiro, chamado neste trabalho de Busca RS, utiliza algoritmo genético para otimizar os principais parâmetros de Reservoir Computing, que são: tamanho do reservoir, raio espectral e densidade de conexão. O segundo, chamado neste trabalho de Busca TR, utiliza algoritmo genético para otimizar a topologia e pesos de Reservoir Computing baseado no raio espectral. Foram utilizadas sete séries clássicas para realizar a validação acadêmica da aplicação do método proposto à tarefa de previsão de séries temporais. Um estudo de caso foi desenvolvido para verificar a adequação do método proposto ao problema de previsão da velocidade horária dos ventos na região nordeste do Brasil. A geração eólica é uma das fontes renováveis de energia com o menor custo de produção e com a maior quantidade de recursos disponíveis. Dessa forma, a utilização de modelos eficientes de previsão da velocidade dos ventos e da geração eólica pode reduzir as dificuldades de operação de um sistema elétrico composto por fontes tradicionais de energia e pela fonte eólica

O objetivo principal deste trabalho foi o de explorar a possibilidade de usar uma metodologia capaz de decompor uma série temporal via ondaletas, conjuntamente com os modelos econométricos e de redes neurais já existentes de previsão e comparar a qualidade de previsões obtidas para sucessões cronológicas não lineares simuladas. A proposta foi alcançada principalmente pela elaboração de um fluxograma para tratamento das previsões de sucessões cronológicas para colocar um rigor quantitativo mais adequado. O diferencial deste trabalho esteve na realização das previsões dentro das sub-séries decompostas por uma ondaleta em até dois níveis, e obtendo-se a previsão da série original via reconstrução da série para modelos construídos por processos geradores de dados de sucessões cronológicas não-lineares. Foram simulados séries de um processo ARIMA-GARCH, um processo ARIMA, um processo bilinear e uma série de um movimento browniano. O trabalho principal constituiu-se na elaboração da fase de pré-processamento e das previsões estática em separado para cada uma das sub-séries encontradas sendo feitas para 10 e 200 observações futuras. Além das previsões pontuais foi verificada também o envelopamento dos dados, que consiste em comparar o modelo de previsão através de um intervalo de confiança para os valores previstos em mil séries simuladas pela mesma semente. Os resultados apontaram que para um modelo ARIMA(1,0,0)-GARCH(1,1), pode-se observar que o pré-processamento pela ondaleta foi melhor para apenas uma etapa de separação de altas e baixas freqüências tanto pela correlação quanto pelos critérios do TIC sendo este reduzido e pelo MAPE menor para as previsões de curto prazo. Já para os modelos de redes neurais uma diferença importante que deve ser ressaltada entre as redes neurais recorrentes e as redes com algoritmo de retropropagação é a capacidade de previsão das redes recorrentes para dados não-lineares com 2 níveis de pré-processamento e para previsões de curto prazo. Todavia, já para o critério do envelopamento, os melhores resultados foram para as redes recorrentes na previsão do processo ARIMA-GARCH e bilinear e pré-processamento com 1 nível. Todos os dados também foram comparados com as previsões feitas sem pré-processamento, as quais se mostraram impróprias com MAPE perto de 100% para previsões de longo prazo. Também checou-se neste trabalho as alterações que a mudança da escolha de uma ondaleta por outra, poderia impactar nos resultados das previsões futuras. Constatou-se que a troca da forma de onda no pré-processamento que se pareça mais visualmente com a forma dos dados da série, reduz as medidas de acurácia em 48%, deixando evidências que possa haver melhoras nos resultados. Na análise prática para o IBOVESPA, os resultados não foram satisfatórios, visto que os melhores resultados ficam para redes recorrentes com 1 nível de pré-processamento. Outrossim, da análise deste trabalho, emerge a importância dada ao fluxograma implementado para as previsões e o papel das previsões em separado por ondaletas como redutores dos erros nos processos estocásticos, e da implementação das bandas de previsões para redes recorrentes para sucessões cronológicas não-lineares. / The main objective of this work was it of exploring the possibility to use a methodology capable to decompose a temporary series through ondaletas, jointly with the econometrics models and of neural network already existent of forecast and to compare the quality of forecasts obtained for chronological successions no lineal simulated. The proposal was reached mainly by the elaboration of a flowchart for treatment of the forecasts of chronological successions to put a more appropriate quantitative rigidity. The differential of this work was in the accomplishment of the forecasts inside of the sub-series decomposed by an ondaleta in up to two levels, and being obtained the forecast of the original series through reconstruction of the series for models built by generating processes of data of no-lineal chronological successions. They were simulated series of a process ARIMA-GARCH, a process ARIMA, a process bilinear and a series of a movement browniano. The main work was constituted in the elaboration of the pré-processing phase and of the forecasts static in separate for each one of the found sub-series being done for 10 and 200 future observations. Besides the punctual forecasts it was also verified the envelopamento of the data, that it consists of comparing the forecast model through a trust interval for the values foreseen in a thousand simulated series by the same seed. The results appeared that for a model ARIMA(1,0,0)-GARCH(1,1), it can be observed that the pré-processing for the ondaleta went better so much for just a stage of separation of discharges and low frequencies for the correlation as for the criteria of TIC being this reduced and for smaller MAPE for the forecasts of short period. Already for the models of nets neurais an important difference that it should be emphasized between the nets appealing neurais and the nets with retropropagação algorithm is the capacity of forecast of the appealing nets for no-lineal data with 2 pré-processing levels and for forecasts of short period. Though, already for the criterion of the envelopamento, the best results went to the appealing nets in the forecast of the process ARIMA-GARCH and bilinear and pré-processing with 1 level. All the data were also compared with the forecasts done without pré-processing, which were shown inappropriate with MAPE close to 100% for forecasts of long period. It was also checked in this work the alterations that the change of the choice of an ondaleta for other, was able to impactar in the results of the future forecasts. It was verified that the change in the wave way in the pré-processing that if it seems more visually with the form of the data of the series, it reduces the acurácia measures in 48%, leaving evidences that it can have improvements in the results. In the practical analysis for IBOVESPA, the results were not satisfactory, because the best results are for appealing nets with 1 pré-processing level. Likewise, of the analysis of this work, the importance emerges given to the flowchart implemented for the forecasts and the paper of the forecasts in separate for ondaletas as reducers of the mistakes in the processes estocásticos, and of the implementation of the bands of forecasts for appealing nets for no-lineal chronological successions.

[pt] Detectar reservatórios de hidrocarbonetos a partir de um levantamento sísmico é uma tarefa complexa, que requer profissionais especializados e muito tempo de trabalho. Por isso, atualmente, existem muitas pesquisas que buscam automatizar essa tarefa utilizando redes neurais profundas. Seguindo o sucesso das redes convolucionais profundas, CNNs, na identificação de objetos em imagens e vídeos, as CNNs tem sido utilizadas como detectores de eventos geológicos nas imagens sísmica. O treinamento de uma rede neural profunda atual, entretanto, requer centenas de milhares de dados rotulados. Se tratarmos os dados sísmicos como imagens, os reservatórios de hidrocarbonetos geralmente constituem uma pequena sub imagem incapaz de fornecer tantas amostras. A metodologia proposta nesta dissertação trata o dado sísmico como um conjunto de traços e a amostra que alimenta a rede neural são trechos de um sinal unidimensional parecido com um sinal de som ou voz. Com essa entrada uma marcação de um reservatório numa sísmica geralmente já fornece o número necessário de amostras rotuladas para o treinamento. Um outro aspecto importante da nossa proposta é a utilização de uma rede neural recorrente. A influencia de um reservatório de hidrocarboneto num traço sísmico se dá não somente no local onde ele se encontra, mas em todo o traço que se segue. Por isso propomos a utilização de uma rede do tipo longa memória de curto prazo (Long Short-Term Memory, LSTM) para caracterizar regiões que apresentem assinaturas de gás em imagens sísmicas. Esta dissertação detalha ainda a implementação da metodologia proposta e os testes feitos nos dados sísmicos públicos Netherlands F3-Block. Os resultados alcançados avaliados pelos índices de sensibilidade, especificidade, acurácia e AUC foram todos excelentes, acima de 95 por cento. / [en] Detecting hydrocarbon reservoirs from a seismic survey is a complex task, requiring specialized professionals and long time. Consequently, many authors today seek to automate this task by using deep neural networks. Following the success of deep convolutional networks, CNNs, in the identification of objects in images and videos, CNNs have been used as detectors of geological events in seismic images. Training a deep neural network, however, requires hundreds of thousands of labeled data, that is, samples that we know the response that the network must provide. If we treat seismic data as images, the hydrocarbon reservoirs usually constitute a small sub-image unable to provide so many samples. The methodology proposed in this dissertation treats the seismic data as a set of traces and the sample that feeds the neural network are fragments of a onedimensional signal resembling a sound or voice signal. A labeled reservoir seismic image usually provides the required number of labeled one-dimensional samples for training. Another important aspect of our proposal is the use of a recurrent neural network. The influence of a hydrocarbon reservoir on a seismic trace occurs not only in its location but throughout the trace that follows. For this reason, we propose the use of a Long Short-Term Memory, LSTM, network to characterize regions that present gas signatures in seismic images. This dissertation further details the implementation of the proposed methodology and test results on the Netherlands F3-Block public seismic data. The results on this data set, evaluated by sensitivity, specificity, accuracy and AUC indexes, are all excellent, above 95 percent.

Este trabalho apresenta um sistema neural modular, que processa separadamente informações de contexto espacial e temporal, para a tarefa de reprodução de sequências temporais. Para o desenvolvimento do sistema neural foram considerados redes neurais recorrentes, modelos estocásticos, sistemas neurais modulares e processamento de informações de contexto. Em seguida, foram estudados três modelos com abordagens distintas para aprendizagem de seqüências temporais: uma rede neural parcialmente recorrente, um exemplo de sistema neural modular e um modelo estocástico utilizando a teoria de modelos markovianos escondidos. Com base nos estudos e modelos apresentados, esta pesquisa propõe um sistema formado por dois módulos sucessivos distintos. Uma rede de propagação direta (módulo estimador de contexto espacial) realiza o processamento de contexto espacial identificando a seqüência a ser reproduzida e fornecendo um protótipo do contexto para o segundo módulo. Este é formado por uma rede parcialmente recorrente (módulo de reprodução de sequências temporais) para aprender as informações de contexto temporal e reproduzir em suas saídas a seqüência identificada pelo módulo anterior. Para a finalidade mencionada, este mestrado utiliza a distribuição de Gibbs na saída do módulo para contexto espacial de forma que este forneça probabilidades de contexto espacial, indicando o grau de certeza do módulo e possibilitando a utilização de procedimentos especiais para os casos de dúvida. O sistema neural foi testado em conjuntos contendo trajetórias abertas, fechadas, e com diferentes situações de ambigüidade e complexidade. Duas situações distintas foram avaliadas: (a) capacidade do sistema em reproduzir trajetórias a partir de pontos iniciais treinados; e (b) capacidade de generalização do sistema reproduzindo trajetórias considerando pontos iniciais ou finais em situações não treinadas. A situação (b) é um problema de difícil ) solução em redes neurais devido à falta de contexto temporal, essencial na reprodução de seqüências. Foram realizados experimentos comparando o desempenho do sistema modular proposto com o de uma rede parcialmente recorrente operando sozinha e um sistema modular neural (TOTEM). Os resultados sugerem que o sistema proposto apresentou uma capacidade de generalização significamente melhor, sem que houvesse uma deterioração na capacidade de reproduzir seqüências treinadas. Esses resultados foram obtidos em sistema mais simples que o TOTEM. / This work presents a new modular neural system to deal separately with spatial and temporal context information, during temporal sequence processing. Given the initial and final states of the sequence, the neural system can reproduce the whole sequence linking these points. The proposed model involves concepts on recurrent neural networks, stochastic models, modular neural systems and context information processing. Three models based on distinct approaches to learn temporal sequences were particularly important in this work: a partially recurrent neural network, a modular neural system and a stochastic model based on the Hidden Markov Models theory. This master thesis presents a new modular neural system composed of two supervised neural networks. A feedforward neural network (spatial context estimator) to identify the desired sequence to be reproduced and to provide a spatial context prototype to the second module. This is a partially recurrent neural network to reproduce the sequence identified by the former module. Moreover, the first module employs the Gibbs distribution in the spatial context estimator outputs in such a way to obtain the uncertainty of the sequence identification task. Thus, with these probability values, special procedures may be used whenever a doubt occurs. The proposed system was evaluated in different domains containing open and closed sequences with different levels of complexity due to space dimension and level of ambiguity of the trained trajectories. The system was evaluated according to its ability to reproduce the sequence whenever versions of the initial and final points are provided. A version may be exactly the points seen during the training stage or points trained as intermediate states. The latter is considered a difficult task for recurrent neural networks due to the lack of temporal context information. Experiments were done comparing the performance of the proposed modular neural system with the performance of a recurrent neural network itself and a modular neural system (a model called TOTEM) for sequence reproduction. The results suggest that the proposed modular neural system presented ability to generalize significant1y better that of the recurrent neural network without deteriorating its ability to reproduce sequences starting from trained situations. The neural system may reproduce the results of the TOTEM with a simpler topology.

Made available in DSpace on 2015-03-05T13:53:45Z (GMT). No. of bitstreams: 0 Previous issue date: 11 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Neste trabalho é proposto um método de extração de conhecimento a partir de Redes Neurais Recorrentes. Expressar formalmente o conhecimento armazenado dentro de uma Rede Neural Artificial representa um grande desafio, já que tal conhecimento precisa ser reformulado e apresentado de uma maneira simples e inteligível. Três formalismos simbólicos são abordados para a representação deste conhecimento: Autômatos Finitos Difusos, Cadeias de Markov e Autômatos Finitos Determinísticos. Para as extrações de conhecimento utilizadas no trabalho, atribui-se significado às regiões do espaço de atividade dos neurônios. O método proposto utiliza a clusterização do espaço neural para obtenção dos estados do autômato, sendo utilizados para isso, o algoritmo K-means e a clusterização difusa. A obtenção do conhecimento é feita utilizando-se Redes Neurais Recorrentes para aprender o comportamento de dois sistemas dinâmicos não lineares e, a partir das redes treinadas, extrair os estados e possíveis transições do autômato. Os sis / ln this work a method ofknowledge extraction from Recurrent Neural Network is proposed. Express formally the knowledge stored inside an Artificial Neural Network is a great challenge, because such knowledge has to be reformulated and presented by simple and understandable means. Three symbolic formats are presented for the representation of this knowledge: Fuzzy Finite Automata, Markov Chains and Deterministic Finite Automata. For the knowledge extraction used in this work, each space region of the neuron activity is associated to a meaning. The considered method uses clusterization of the neural space in order to obtain the automata states, using the K-means algorithm and the fuzzy clustering. The knowledge acquisition is made using Recurrent Neural Networks to learn the behavior of the two non linear dynamic systems and, from the trained nets, to extract the states and possible automata transitions. The dynamic systems are the lnverse Pendulum system and the Lorenz system. The presented extraction method wa

Submitted by Claudio Filipi Gonçalves dos Santos (cfsantos85@gmail.com) on 2018-05-24T11:51:59Z No. of bitstreams: 1 optical-character-recognition-16052018.pdf: 8334356 bytes, checksum: 8dd05363a96c946ae1f6d665edc80d09 (MD5) / Rejected by Elza Mitiko Sato null (elzasato@ibilce.unesp.br), reason: Solicitamos que realize correções na submissão seguindo as orientações abaixo: Problema 01) Falta a FOLHA DE APROVAÇÃO (Obrigatório pela ABNT NBR14724) Problema 02) Corrigir a ordem das páginas pré-textuais; a ordem correta (capa, folha de rosto, dedicatória, agradecimentos, epígrafe, resumo na língua vernácula, resumo em língua estrangeira, listas de ilustrações, de tabelas, de abreviaturas, de siglas e de símbolos e sumário). Problema 03) Faltam as palavras-chave no resumo e no abstracts. Na página da Seção de pós-graduação, em Instruções para Qualificação e Defesas de Dissertação e Tese, você pode acessar o modelo das páginas pré-textuais. Lembramos que o arquivo depositado no repositório deve ser igual ao impresso, o rigor com o padrão da Universidade se deve ao fato de que o seu trabalho passará a ser visível mundialmente. Agradecemos a compreensão. on 2018-05-24T20:59:53Z (GMT) / Submitted by Claudio Filipi Gonçalves dos Santos (cfsantos85@gmail.com) on 2018-05-25T00:43:19Z No. of bitstreams: 1 optical-character-recognition-16052018.pdf: 11084990 bytes, checksum: 6f8d7431cd17efd931a31c0eade10c65 (MD5) / Rejected by Elza Mitiko Sato null (elzasato@ibilce.unesp.br), reason: Solicitamos que realize correções na submissão seguindo as orientações abaixo: Problema 01) Falta a FOLHA DE APROVAÇÃO (Obrigatório pela ABNT NBR14724) Problema 02) A paginação deve ser sequencial, iniciando a contagem na folha de rosto e mostrando o número a partir da introdução, a ficha catalográfica ficará após a folha de rosto e não deverá ser contada. Problema 03) Na descrição do item: Título em outro idioma – Se você colocou no título em inglês deve por neste campo o título em outro idioma (ex: português, espanhol, francês...) Estamos encaminhando via e-mail o template/modelo para que você possa fazer as correções. Lembramos que o arquivo depositado no repositório deve ser igual ao impresso, o rigor com o padrão da Universidade se deve ao fato de que o seu trabalho passará a ser visível mundialmente. Agradecemos a compreensão. on 2018-05-25T15:22:45Z (GMT) / Submitted by Claudio Filipi Gonçalves dos Santos (cfsantos85@gmail.com) on 2018-05-25T15:52:53Z No. of bitstreams: 1 optical-character-recognition-16052018.pdf: 11089966 bytes, checksum: d6c863077a995bd2519035b8a3e97c80 (MD5) / Rejected by Elza Mitiko Sato null (elzasato@ibilce.unesp.br), reason: Solicitamos que realize correções na submissão seguindo as orientações abaixo: Problema 01) Falta a FOLHA DE APROVAÇÃO (Obrigatório pela ABNT NBR14724) Agradecemos a compreensão. on 2018-05-25T18:03:19Z (GMT) / Submitted by Claudio Filipi Gonçalves dos Santos (cfsantos85@gmail.com) on 2018-05-25T18:08:09Z No. of bitstreams: 1 Claudio Filipi Gonçalves dos Santos Corrigido Biblioteca.pdf: 8257484 bytes, checksum: 3a61ebfa8e1d16c9d0c694f46b979c1f (MD5) / Approved for entry into archive by Elza Mitiko Sato null (elzasato@ibilce.unesp.br) on 2018-05-25T18:51:24Z (GMT) No. of bitstreams: 1 santos_cfg_me_sjrp.pdf: 8257484 bytes, checksum: 3a61ebfa8e1d16c9d0c694f46b979c1f (MD5) / Made available in DSpace on 2018-05-25T18:51:24Z (GMT). No. of bitstreams: 1 santos_cfg_me_sjrp.pdf: 8257484 bytes, checksum: 3a61ebfa8e1d16c9d0c694f46b979c1f (MD5) Previous issue date: 2018-04-26 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / Detectores óticos de caracteres, ou Optical Character Recognition (OCR) é o nome dado à técnologia de traduzir dados de imagens em arquivo de texto. O objetivo desse projeto é usar aprendizagem profunda, também conhecido por aprendizado hierárquico ou Deep Learning para o desenvolvimento de uma aplicação com a habilidade de detectar áreas candidatas, segmentar esses espaços dan imagem e gerar o texto contido na figura. Desde 2006, Deep Learning emergiu como uma nova área em aprendizagem de máquina. Em tempos recentes, as técnicas desenvolvidas em pesquisas com Deep Learning têm influenciado e expandido escopo, incluindo aspectos chaves nas área de inteligência artificial e aprendizagem de máquina. Um profundo estudo foi conduzido com a intenção de desenvolver um sistema OCR usando apenas arquiteturas de Deep Learning.A evolução dessas técnicas, alguns trabalhos passados e como esses trabalhos influenciaram o desenvolvimento dessa estrutura são explicados nesse texto. Essa tese demonstra com resultados como um classificador de caracteres foi desenvolvido. Em seguida é explicado como uma rede neural pode ser desenvolvida para ser usada como um detector de objetos e como ele pode ser transformado em um detector de texto. Logo após é demonstrado como duas técnicas diferentes de Deep Learning podem ser combinadas e usadas na tarefa de transformar segmentos de imagens em uma sequência de caracteres. Finalmente é demonstrado como o detector de texto e o sistema transformador de imagem em texto podem ser combinados para se desenvolver um sistema OCR completo que detecta regiões de texto nas imagens e o que está escrito nessa região. Esse estudo demonstra que a idéia de usar apenas estruturas de Deep Learning podem ter performance melhores do técnicas baseadas em outras áreas da computação como por exemplo o processamento de imagens. Para detecção de texto foi alcançado mais de 70% de precisão quando uma arquitetura mais complexa foi usada, por volta de 69% de traduções de imagens para texto corretas e por volta de 50% na tarefa ponta-à-ponta de detectar as áreas de texto e traduzi-las em sequência de caracteres. / Optical Character Recognition (OCR) is the name given to the technology used to translate image data into a text file. The objective of this project is to use Deep Learning techniques to develop a software with the ability to segment images, detecting candidate characters and generating textthatisinthepicture. Since2006,DeepLearningorhierarchicallearning, emerged as a new machine learning area. Over recent years, the techniques developed from deep learning research have influenced and expanded scope, including key aspects of artificial intelligence and machine learning. A thorough study was carried out in order to develop an OCR system using only Deep Learning architectures. It is explained the evolution of these techniques, some past works and how they influenced thisframework’sdevelopment. Inthisthesisitisdemonstratedwithresults how a single character classifier was developed. Then it is explained how a neural network can be developed to be an object detector and how to transform this object detector into a text detector. After that it shows how a set of two Deep Learning techniques can be combined and used in the taskoftransformingacroppedregionofanimageinastringofcharacters. Finally, it demonstrates how the text detector and the Image-to-Text systemswerecombinedinordertodevelopafullend-to-endOCRsystemthat detects the regions of a given image containing text and what is written in this region. It shows the idea of using only Deep Learning structures can outperform other techniques based on other areas like image processing. In text detection it reached over 70% of precision when a more complex architecture was used, around 69% of correct translation of image-to-text areasandaround50%onend-to-endtaskofdetectingareasandtranslating them into text. / 1623685

Este trabalho apresenta um sistema neural modular, que processa separadamente informações de contexto espacial e temporal, para a tarefa de reprodução de sequências temporais. Para o desenvolvimento do sistema neural foram considerados redes neurais recorrentes, modelos estocásticos, sistemas neurais modulares e processamento de informações de contexto. Em seguida, foram estudados três modelos com abordagens distintas para aprendizagem de seqüências temporais: uma rede neural parcialmente recorrente, um exemplo de sistema neural modular e um modelo estocástico utilizando a teoria de modelos markovianos escondidos. Com base nos estudos e modelos apresentados, esta pesquisa propõe um sistema formado por dois módulos sucessivos distintos. Uma rede de propagação direta (módulo estimador de contexto espacial) realiza o processamento de contexto espacial identificando a seqüência a ser reproduzida e fornecendo um protótipo do contexto para o segundo módulo. Este é formado por uma rede parcialmente recorrente (módulo de reprodução de sequências temporais) para aprender as informações de contexto temporal e reproduzir em suas saídas a seqüência identificada pelo módulo anterior. Para a finalidade mencionada, este mestrado utiliza a distribuição de Gibbs na saída do módulo para contexto espacial de forma que este forneça probabilidades de contexto espacial, indicando o grau de certeza do módulo e possibilitando a utilização de procedimentos especiais para os casos de dúvida. O sistema neural foi testado em conjuntos contendo trajetórias abertas, fechadas, e com diferentes situações de ambigüidade e complexidade. Duas situações distintas foram avaliadas: (a) capacidade do sistema em reproduzir trajetórias a partir de pontos iniciais treinados; e (b) capacidade de generalização do sistema reproduzindo trajetórias considerando pontos iniciais ou finais em situações não treinadas. A situação (b) é um problema de difícil ) solução em redes neurais devido à falta de contexto temporal, essencial na reprodução de seqüências. Foram realizados experimentos comparando o desempenho do sistema modular proposto com o de uma rede parcialmente recorrente operando sozinha e um sistema modular neural (TOTEM). Os resultados sugerem que o sistema proposto apresentou uma capacidade de generalização significamente melhor, sem que houvesse uma deterioração na capacidade de reproduzir seqüências treinadas. Esses resultados foram obtidos em sistema mais simples que o TOTEM. / This work presents a new modular neural system to deal separately with spatial and temporal context information, during temporal sequence processing. Given the initial and final states of the sequence, the neural system can reproduce the whole sequence linking these points. The proposed model involves concepts on recurrent neural networks, stochastic models, modular neural systems and context information processing. Three models based on distinct approaches to learn temporal sequences were particularly important in this work: a partially recurrent neural network, a modular neural system and a stochastic model based on the Hidden Markov Models theory. This master thesis presents a new modular neural system composed of two supervised neural networks. A feedforward neural network (spatial context estimator) to identify the desired sequence to be reproduced and to provide a spatial context prototype to the second module. This is a partially recurrent neural network to reproduce the sequence identified by the former module. Moreover, the first module employs the Gibbs distribution in the spatial context estimator outputs in such a way to obtain the uncertainty of the sequence identification task. Thus, with these probability values, special procedures may be used whenever a doubt occurs. The proposed system was evaluated in different domains containing open and closed sequences with different levels of complexity due to space dimension and level of ambiguity of the trained trajectories. The system was evaluated according to its ability to reproduce the sequence whenever versions of the initial and final points are provided. A version may be exactly the points seen during the training stage or points trained as intermediate states. The latter is considered a difficult task for recurrent neural networks due to the lack of temporal context information. Experiments were done comparing the performance of the proposed modular neural system with the performance of a recurrent neural network itself and a modular neural system (a model called TOTEM) for sequence reproduction. The results suggest that the proposed modular neural system presented ability to generalize significant1y better that of the recurrent neural network without deteriorating its ability to reproduce sequences starting from trained situations. The neural system may reproduce the results of the TOTEM with a simpler topology.