The electro-oculogram (EOG) is the most widely used technique for recording eye movements in clinical settings. It is inexpensive, practical, and non-invasive. Use of EOG is usually restricted to horizontal recordings as vertical EOG contains eyelid artefact (Oster & Stern, 1980) and blinks. The ability to analyse two dimensional (2D) eye movements may provide additional diagnostic information on pathologies, and further insights into the nature of brain functioning. Simultaneous recording of both horizontal and vertical EOG also introduces other difficulties into calibration of the eye movements, such as different gains in the two signals, and misalignment of electrodes producing crosstalk. These transformations of the signals create problems in relating the two dimensional EOG to actual rotations of the eyes. The application of an artificial neural network (ANN) that could map 2D recordings into 2D eye positions would overcome this problem and improve the utility of EOG. To determine whether ANNs are capable of correctly calibrating the saccadic eye movement data from 2D EOG (i.e. performing the necessary inverse transformation), the ANNs were first tested on data generated from mathematical models of saccadic eye movements. Multi-layer perceptrons (MLPs) with non-linear activation functions and trained with back propagation proved to be capable of calibrating simulated EOG data to a mean accuracy of 0.33° of visual angle (SE = 0.01). Linear perceptrons (LPs) were only nearly half as accurate. For five subjects performing a saccadic eye movement task in the upper right quadrant of the visual field, the mean accuracy provided by the MLPs was 1.07° of visual angle (SE = 0.01) for EOG data, and 0.95° of visual angle (SE = 0.03) for infrared limbus reflection (IRIS®) data. MLPs enabled calibration of 2D saccadic EOG to an accuracy not significantly different to that obtained with the infrared limbus tracking data.

Made available in DSpace on 2014-06-12T16:01:32Z (GMT). No. of bitstreams: 2 arquivo9424_1.pdf: 5898735 bytes, checksum: 20e8579169a2c3b8e6d53fd877a5cd17 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2012 / Este trabalho apresenta uma classe de perceptrons híbridos baseado nos princípios da morfologia matemática (mathematical morphology, MM) no contexto de teoria de reticulados (lattice theory). O modelo proposto, chamado de perceptron de dilatação-erosão-linear (dilationerosion- linear perceptron, DELP), consiste de uma combinação linear entre operadores nãolineares (do tipo morfológicos no contexto de teoria de reticulados) e um operador linear (do tipo resposta finita ao impulso), sendo desenvolvido na tentativa de superar o dilema do passeio aleatório (random walk dilemma, RWD) no problema de previsão de séries temporais financeiras. Para projetar o DELP (processo de aprendizagem), foi apresentado um método de gradiente descendente utilizando ideias do algoritmo de retropropagação do erro (back propagation, BP) e uma abordagem sistemática para superar o problema da não-diferenciabilidade das operações morfológicas de dilatação e erosão. Também, no processo de aprendizagem do DELP, foi incluída uma etapa adicional para ajustar distorções de fase temporais que ocorrem na reconstrução do espaço de fase de fenômenos temporais provenientes do mercado financeiro. Uma análise experimental foi conduzida utilizando um conjunto de séries temporais financeiras: Índice da Bolsa de Valores de São Paulo, Índice Dow Jones Industrial Average, Índice National Association of Securities Dealers Automated Quotation, Índice Financial Times and London Stock Exchange 100, Preço das ações do Bradesco PN, Preço das ações da Gol PN, Preço das ações do Itaú Unibanco PN, Preço das ações da Petrobras PN, Preço das ações da Usiminas PNA e Preço das ações da Vale PNA. Nestes experimentos, foram utilizadas cinco métricas e uma função de avaliação para mensurar o desempenho preditivo do modelo proposto, e os resultados alcançados superaram aqueles obtidos utilizando técnicas consolidadas na literatura

In order to improve the performance of LMS (least mean square) algorithm by decreasing the amount of calculations this research proposes to make an update on each step only for those elements from the input data set, that fall within a small window W near the separating hyperplane surface. This work aims to describe in detail the results that can be achieved by using the proposed LMS with window learning algorithm in information systems that employ the methodology of neural network for the purposes of classification.

The present study shows that prestructuring based on domain knowledge leads to statistically significant generalization-performance improvement in artificial neural networks (NNs) of the multilayer perceptron (MLP) type, specifically in the case of a noisy real-world problem with numerous interacting variables. The prestructuring of MLPs based on knowledge of the structure of a problem domain has previously been shown to improve generalization performance. However, the problem domains for those demonstrations suffered from significant shortcomings: 1) They were purely logical problems, and 2) they contained small numbers of variables in comparison to most data-mining applications today. Two implications of the former were a) the underlying structure of the problem was completely known to the network designer by virtue of having been conceived for the problem at hand, and b) noise was not a significant concern in contrast with real-world conditions. As for the size of the problem, neither computational resources nor mathematical modeling techniques were advanced enough to handle complex relationships among more than a few variables until recently, so such problems were left out of the mainstream of prestructuring investigations. In the present work, domain knowledge is built into the solution through Reconstructability Analysis, a form of information-theoretic modeling, which is used to identify mathematical models that can be transformed into a graphic representation of the problem domain's underlying structure. Employing the latter as a pattern allows the researcher to prestructure the MLP, for instance, by disallowing certain connections in the network. Prestructuring reduces the set of all possible maps (SAPM) that are realizable by the NN. The reduced SAPM--according to the Lendaris-Stanley conjecture, conditional probability, and Occam's razor--enables better generalization performance than with a fully connected MLP that has learned the same I/O mapping to the same extent. In addition to showing statistically significant improvement over the generalization performance of fully connected networks, the prestructured networks in the present study also compared favorably to both the performance of qualified human agents and the generalization rates in classification through Reconstructability Analysis alone, which serves as the alternative algorithm for comparison.

Le but de ce travail est d'exposer de nouveaux résultats concernant l'utilisation d'une classe particulière de réseaux de neurones formels (les Perceptrons Affines Par morceaux: PAP) dans le cadre du contrôle optimal en boucle fermée. Les résultats principaux obtenus sont: plusieurs propriétés des PAP, concernant la nature des fonctions qu'ils peuvent émuler, un théorème constructif de représentation des fonctions continues affines par morceaux, qui permet de construire explicitement un PAP à partir d'une collection de fonctions affines, une série d'heuristiques pour l'apprentissage des paramètres d'un perceptron dans une boucle fermée et dans un cadre de contrôle optimal, des résultats théoriques concernant la stabilité de PAP utilisés comme contrôleurs. La dernière partie est consacrée des applications de ces résultats à la construction automatique de contrôleurs de la combustion de moteurs de voiture, qui ont donné lieu au dépot de deux brevets par Renault.

[pt] Uma preocupação significativa durante a produção de óleo e gás é a garantia de escoamento para evitar desperdício de tempo e dinheiro. Devido às mudanças nas condições durante a produção (como pressão e temperatura), principalmente na região do pré-sal brasileiro, a solubilidade dos componentes do petróleo bruto (óleo-gás-água) pode diminuir, resultando na formação de depósitos. A incrustação é geralmente causada por parafina, hidratos e sal inorgânico. Neste trabalho, foram desenvolvidos modelos utilizando estratégias de Aprendizado de Máquina para monitoramento da formação de incrustações inorgânicas e medição de parâmetros de processo associados com formas de remediação de obstruções de outras fontes. Primeiramente, foram criados modelos do processo de formação de incrustação de carbonato de cálcio na presença de monoetilenoglicol (inibidor de hidrato) usando a arquitetura de redes neurais feedfoward prever o pressão diferencial um e cinco instantes à frente, obtendo um R2 superior a 92,9 porcento para ambos os horizontes de predição. O segundo tópico explorado foi desenvolver modelos para determinação do pH em sistemas pressurizados (até 6,0 MPa) por meio de análise de imagens. Podendo ser aplicados no monitoramento de sistemas como Sistema Gerador de Nitrogênio, utilizado para remediar alguns problemas de incrustação, dado que sua cinética depende fortemente do pH do sistema. Foram criados modelos de classificação para o pH do sistema (2, 3, 4, 5, 6, 7, 8, 9, 10) usando Redes Neurais Convolucionais (CNN), Máquina de Vetor de Suporte e Árvores de Decisão. Além disso, modelos CNN foram construídos para predizer o pH na faixa de 2- 10. / [en] A significant concern during oil and gas production is flow assurance to avoid loss of time and money. Due to production conditions changes (such as pressure and temperature), especially in the Brazilian pre-salt region, the solubility of the components of the crude oil (oil-gas-water) can decrease, resulting in the formation of deposits. The fouling is usually caused by wax, gas hydrate, and inorganic salt (scale). In this work, models were developed using Machine Learning strategies for scale formation monitoring and measuring process parameters associated with remediation of obstruction from other sources. First, models for the calcium carbonate scaling formation process in the presence of monoethylene glycol (typical gas hydrate inhibitor) were created using feedforward neural network architecture to predict the differential pressure (deltaP) one and five steps ahead, obtaining an R2 higher than 92.9 percent for the training and test group for both the prediction horizon. The second approach explored was the development of models for determining the pH in atmospheric and pressurized systems (up to 6.0 MPa) using image analysis. These models could be applied to control and monitor the Nitrogen Generation System, which can be used for different flow assurance problems, and its kinetics strongly depend on the system s pH value. This step initially created classification models for the system pH (2, 3, 4, 5, 6, 7, 8, 9, 10) using the Convolution Neural Networks (CNN), Support Vector Machine, and decision tree architectures. Also, CNN models were built to predict the pH in the range of 2-10.

Link prediction is a crucial task in many downstream applications of graph machine learning. Graph Neural Networks (GNNs) are a prominent approach for transductive link prediction, where the aim is to predict missing links or connections only within the existing nodes of a given graph. However, many real-life applications require inductive link prediction for the newly-coming nodes with no connections to the original graph. Thus, recent approaches have adopted a Multilayer Perceptron (MLP) for inductive link prediction based solely on node features. In this work, we show that incorporating both connectivity structure and features for the new nodes provides better model expressiveness. To bring such expressiveness to inductive link prediction, we propose LEAP, an encoder that features LEArnable toPology augmentation of the original graph and enables message passing with the newly-coming nodes. To the best of our knowledge, this is the first attempt to provide structural contexts for the newly-coming nodes via learnable augmentation under inductive settings. Conducting extensive experiments on four real- world homogeneous graphs demonstrates that LEAP significantly surpasses the state-of-the-art methods in terms of AUC and average precision. The improvements over homogeneous graphs are up to 22% and 17%, respectively. The code and datasets are available on GitHub*. / Att förutsäga länkar är en viktig uppgift i många efterföljande tillämpningar av maskininlärning av grafer. Graph Neural Networks (GNNs) är en framträdande metod för transduktiv länkförutsägelse, där målet är att förutsäga saknade länkar eller förbindelser endast inom de befintliga noderna i en given graf. I många verkliga tillämpningar krävs dock induktiv länkförutsägelse för nytillkomna noder utan kopplingar till den ursprungliga grafen. Därför har man på senare tid antagit en Multilayer Perceptron (MLP) för induktiv länkförutsägelse som enbart bygger på nodens egenskaper. I det här arbetet visar vi att om man införlivar både anslutningsstruktur och egenskaper för de nya noderna får man en bättre modelluttryck. För att ge induktiv länkförutsägelse en sådan uttrycksfullhet föreslår vi LEAP, en kodare som innehåller LEArnable toPology augmentation av den ursprungliga grafen och möjliggör meddelandeöverföring med de nytillkomna noderna. Såvitt vi vet är detta det första försöket att tillhandahålla strukturella sammanhang för de nytillkomna noderna genom en inlärningsbar ökning i induktiva inställningar. Omfattande experiment på fyra homogena grafer i den verkliga världen visar att LEAP avsevärt överträffar "state-of-the-art" metoderna när det gäller AUC och genomsnittlig precision. Förbättringarna jämfört med homogena grafer är upp till 22% och 17%. Koden och datamängderna finns tillgängliga på Github*.

A utilização de Redes Neurais Artificias para fins de identificação e controle de sistemas dinâmicos têm recebido atenção especial de muitos pesquisadores, principalmente no que se refere a sistemas não lineares. Neste trabalho é apresentado um estudo sobre a utilização de um tipo em particular de Rede Neural Artificial, uma Perceptron Multicamadas com Atraso de Tempo, na estimação de estados da etapa fermentativa do processo de Reichstein para produção de vitamina C. A aplicação de Redes Neurais Artificiais a este processo pode ser justificada pela existência de problemas associados à esta etapa, como variáveis de estado não mensuráveis e com incertezas de medida e não linearidade do processo fermentativo, além da dificuldade em se obter um modelo convencional que contemple todas as fases do processo. É estudado também a eficácia do algoritmo de Levenberg-Marquadt, na aceleração do treinamento da Rede Neural Artificial, além de uma comparação do desempenho de estimação de estados das Redes Neurais Artificiais estudadas com o filtro estendido de Kalman, baseado em um modelo não estruturado do processo fermentativo. A análise do desempenho das Redes Neurais Artificiais estudadas é avaliada em termos de uma figura de mérito baseada no erro médio quadrático sendo feitas considerações quanto ao tipo da função de ativação e o número de unidades da camada oculta. Os dados utilizados para treinamento e avaliação da Redes Neurais Artificiais foram obtidos de um conjunto de ensaios interpolados para o intervalo de amostragem desejado. / ldentification and Control of dynamic systems using Artificial Neural Networks has been widely investigated by many researchers in the last few years, with special attention to the application of these in nonlinear systems. ls this works, a study on the utilization of a particular type of Artificial Neural Networks, a Time Delay Multi Layer Perceptron, in the state estimation of the fermentative phase of the Reichstein process of the C vitamin production. The use of Artificial Neural Networks can be justified by the presence of problems, such as uncertain and unmeasurable state variables and process non-linearity, and by the fact that a conventional model that works on all phases of the fermentative processes is very difficult to obtain. The efficiency of the Levenberg Marquadt algorithm on the acceleration of the training process is also studied. Also, a comparison is performed between the studied Artificial Neural Networks and an extended Kalman filter based on a non-structured model for this fermentative process. The analysis of lhe Artificial Neural Networks is carried out using lhe mean square errors taking into consideration lhe activation function and the number of units presents in the hidden layer. A set of batch experimental runs, interpolated to the desired time interval, is used for training and validating the Artificial Neural Networks.

Neste trabalho, um novo enfoque para detecção e diagnóstico de falhas (DDF) em robôs manipuladores é apresentado. Um robô com falhas pode causar sérios danos e pode colocar em risco o pessoal presente no ambiente de trabalho. Geralmente, os pesquisadores têm proposto esquemas de DDF baseados no modelo matemático do sistema. Contudo, erros de modelagem podem ocultar os efeitos das falhas e podem ser uma fonte de alarmes falsos. Aqui, duas redes neurais artificiais são utilizadas em um sistema de DDF para robôs manipuladores. Um perceptron multicamadas treinado por retropropagação do erro é usado para reproduzir o comportamento dinâmico do manipulador. As saídas do perceptron são comparadas com as variáveis medidas, gerando o vetor de resíduos. Em seguida, uma rede com função de base radial é usada para classificar os resíduos, gerando a isolação das falhas. Quatro algoritmos diferentes são empregados para treinar esta rede. O primeiro utiliza regularização para reduzir a flexibilidade do modelo. O segundo emprega regularização também, mas ao invés de um único termo de penalidade, cada unidade radial tem um regularização individual. O terceiro algoritmo emprega seleção de subconjuntos para selecionar as unidades radiais a partir dos padrões de treinamento. O quarto emprega o mapa auto-organizável de Kohonen para fixar os centros das unidades radiais próximos aos centros dos aglomerados de padrões. Simulações usando um manipulador com dois graus de liberdade e um Puma 560 são apresentadas, demostrando que o sistema consegue detectar e diagnosticar corretamente falhas que ocorrem em conjuntos de padrões não-treinados. / In this work, a new approach for fault detection and diagnosis in robotic manipulators is presented. A faulty robot could cause serious damages and put in risk the people involved. Usually, researchers have proposed fault detection and diagnosis schemes based on the mathematical model of the system. However, modeling errors could obscure the fault effects and could be a false alarm source. In this work, two artificial neural networks are employed in a fault detection and diagnosis system to robotic manipulators. A multilayer perceptron trained with backpropagation algorithm is employed to reproduce the robotic manipulator dynamical behavior. The perceptron outputs are compared with the real measurements, generating the residual vector. A radial basis function network is utilized to classify the residual vector, generating the fault isolation. Four different algorithms have been employed to train this network. The first utilizes regularization to reduce the flexibility of the model. The second employs regularization too, but instead of only one penalty term, each radial unit has a individual penalty term. The third employs subset selection to choose the radial units from the training patterns. The forth algorithm employs the Kohonen’s self-organizing map to fix the radial unit center near to the cluster centers. Simulations employing a two link manipulator and a Puma 560 manipulator are presented, demonstrating that the system can detect and isolate correctly faults that occur in nontrained pattern sets.

Neste trabalho, um novo enfoque para detecção e diagnóstico de falhas (DDF) em robôs manipuladores é apresentado. Um robô com falhas pode causar sérios danos e pode colocar em risco o pessoal presente no ambiente de trabalho. Geralmente, os pesquisadores têm proposto esquemas de DDF baseados no modelo matemático do sistema. Contudo, erros de modelagem podem ocultar os efeitos das falhas e podem ser uma fonte de alarmes falsos. Aqui, duas redes neurais artificiais são utilizadas em um sistema de DDF para robôs manipuladores. Um perceptron multicamadas treinado por retropropagação do erro é usado para reproduzir o comportamento dinâmico do manipulador. As saídas do perceptron são comparadas com as variáveis medidas, gerando o vetor de resíduos. Em seguida, uma rede com função de base radial é usada para classificar os resíduos, gerando a isolação das falhas. Quatro algoritmos diferentes são empregados para treinar esta rede. O primeiro utiliza regularização para reduzir a flexibilidade do modelo. O segundo emprega regularização também, mas ao invés de um único termo de penalidade, cada unidade radial tem um regularização individual. O terceiro algoritmo emprega seleção de subconjuntos para selecionar as unidades radiais a partir dos padrões de treinamento. O quarto emprega o mapa auto-organizável de Kohonen para fixar os centros das unidades radiais próximos aos centros dos aglomerados de padrões. Simulações usando um manipulador com dois graus de liberdade e um Puma 560 são apresentadas, demostrando que o sistema consegue detectar e diagnosticar corretamente falhas que ocorrem em conjuntos de padrões não-treinados. / In this work, a new approach for fault detection and diagnosis in robotic manipulators is presented. A faulty robot could cause serious damages and put in risk the people involved. Usually, researchers have proposed fault detection and diagnosis schemes based on the mathematical model of the system. However, modeling errors could obscure the fault effects and could be a false alarm source. In this work, two artificial neural networks are employed in a fault detection and diagnosis system to robotic manipulators. A multilayer perceptron trained with backpropagation algorithm is employed to reproduce the robotic manipulator dynamical behavior. The perceptron outputs are compared with the real measurements, generating the residual vector. A radial basis function network is utilized to classify the residual vector, generating the fault isolation. Four different algorithms have been employed to train this network. The first utilizes regularization to reduce the flexibility of the model. The second employs regularization too, but instead of only one penalty term, each radial unit has a individual penalty term. The third employs subset selection to choose the radial units from the training patterns. The forth algorithm employs the Kohonen’s self-organizing map to fix the radial unit center near to the cluster centers. Simulations employing a two link manipulator and a Puma 560 manipulator are presented, demonstrating that the system can detect and isolate correctly faults that occur in nontrained pattern sets.