Student Number : 9801145J - MSc dissertation - School of Electrical and Information Engineering - Faculty of Engineering / In this document, a paper is presented that reports on the optimisation of a system that assists in time series prediction. Daily closing prices of a stock are used as the time series under which the system is being optimised. Concepts of machine learning, Artificial Neural Networks, Genetic Algorithms, and Agent-Based Modeling are used as tools for this task. Neural networks serve as the prediction engine and genetic algorithms are used for optimisation tasks as well as the simulation of a multi-agent based trading environment. The simulated trading environment is used to ascertain and optimise the best data, in terms of quality, to use as inputs to the neural network. The results achieved were positive and a large portion of this work concentrates on the refinement of the predictive capability. From this study it is concluded that AI methods bring a sound scientific approach to time series prediction, regardless of the phenomena that is being predicted.

A evolução de redes neurais artificiais encontra aplicações em diversos campos na área de aprendizado de máquina, em particular, simulações de vida artificial onde uma população de indivíduos controlados por redes neurais se adaptam num ambiente virtual a fim de realizar uma determinada tarefa. Similar ao processo natural pelo qual o comportamento do organismo se modifica filogeneticamente através da complexificação do sistema nervoso, tais simulações oferecem uma nova abordagem sintética no estudo da inteligência, em contraposição aos métodos simbólicos tradicionais. Um recente método, conhecido por NEAT (NeuroEvolution of Augmenting Topologies), é capaz de obter os pesos e a própria topologia de rede neural utilizando algoritmos genéticos. A codificação utilizada pelo NEAT é flexível o suficiente para permitir evolução aberta e arquiteturas neurais arbitrárias. Este trabalho apresenta uma implementação do NEAT que pode ser utilizada em conjunto com um simulador de propósito geral, chamado Breve, formando uma plataforma para experimentos de vida artificial. A implementação proposta também estende o NEAT para lidar com redes neurais dinâmicas, onde o nível de ativação dos neurônios varia continuamente no tempo. Este novo modelo é comparado com o método tradicional numa tarefa clássica de controle não-supervisionado, mostrando um aumento de eficiência na busca pela solução do problema. Os resultados obtidos motivam o uso desta plataforma para experimentos de vida artificial, onde uma população de indivíduos interage continuamente com um ambiente dinâmico, se adaptando ao longo das gerações. / The evolution of artificial neural networks has a wide range of applicability in diverse areas in the field of machine learning, particularly, in artificial life simulations where a population of individuals, controlled by neural networks, adapts in a virtual environment in order to solve a given task. Resembling the natural process in which an organism\'s behavior is subjected to phylogenetic modifications through the complexification of the nervous system, such simulations offer a new synthetic approach in the investigation of intelligence, counter posing traditional symbolic methods. A recent method known as NEAT (NeuroEvolution of Augmenting Topologies), is able to obtain the synaptic weights and the topology with the aid of genetic algorithms. The encoding used by NEAT is flexible enough to allow for open-ended evolution and arbitrary neural architectures. This work presents a NEAT implementation especially suitable to be used with a general purpose simulator known as Breve, constituting a framework for artificial life experiments. The proposed implementation extends NEAT to include dynamical neuron models, where their inner state continuously varies over time. The new model is then compared to the traditional method in a classic unsupervised control benchmark task, showing an efficiency increase while solving the problem. The obtained results motivate the proposed framework for general experiments in artificial life, in which a population of individuals continuously interact with a dynamical environment, adapting through generations.

Neste trabalho apresentamos o desenvolvimento e a realização de um experimento utilizando recursos modernos de processamento de imagens como câmeras CCD, placas de aquisição de imagens e linguagem de programação visual com interface multimídia para observação do fenômeno do Estol dinâmico que tem grande importância do estudo de estabilidade de aeronaves. O fenômeno de Estol ocorre nos aerofólios de aeronaves como nos rotores de helicópteros e asas de aeronaves acrobáticas. Nosso sistema e capaz de detectar dentro de um experimento de um aerofólio oscilando em baixas freqüências a Histerese de sustentação que ocorre neste. Utilizamos também na nossa abordagem redes neurais backpropagation para acomodação dos dados experimentais. Implementamos e descrevemos um hardware mecânico para obtenção de melhores imagens e as funções escritas em Visual Basic que foram utilizadas, com o objetivo de permitir a reprodução do experimento em outros centros de pesquisa. / In this work we present an experiment using modern imaging processing techniques such as CCD cameras, video acquisition boards and visual programming using multimedia interfacing for the observation of the Stall phenomena which has great importance in the airplane stability. The Stall phenomena occurs in arplaine (airfoils) such as in helicopter blades and acrobatic airplane wings. We demonstrated that the developed system is able to detect the lift histeresis in a low frequency oscillating bidimensional airfoil. We also used in our approach backpropagation neural network for the experimental data accomodation. In order to allow replication of the experiment by other institutions, we present a detailed description of the mechanical setup used to obtain the best possible images and of the Visual Basic functions.

[pt] O objetivo dessa dissertação é o desenvolvimento de um algoritmo para a análise automática de sinais eletrocardiográficos, baseado em Redes Neurais Artificiais. O sistema é dividido em vários sub- programas utilizados para extrair informações do registro eletrocardiográfico de pacientes, informando a existência de anormalidades a partir da comparação dos valores obtidos com os valores de normalidade disponíveis na literatura biomédica. O programa utiliza 4 segundos do sinal de eletrocardiograma para uma análise classificatória inicial, verificando a viabilidade da extração de informações. Sendo possível esta extração, são obtidos os ciclos cardíacos existentes nesse sinal, e deles são extraídas informações quantitativas dos componentes de suas ondas, que posteriormente serão comparadas com faixas de normalidade por meio de um conjunto de regras heurísticas, indicando assim a possível presença de alterações morfológicas do registro. Esse programa pode ser utilizado em comunidades carentes para orientar a necessidade de encaminhamento a um especialista, cuja presença é rara na maior parte dos postos de atendimento generalista. Também pode auxiliar ao médico especialista, indicando de forma objetiva as possíveis alterações do registro eletrocardiográfico. Os resultados obtidos podem ser considerados satisfatórios, sendo que os valores são compatíveis com a sua natureza, principalmente no que diz respeito aos problemas de baixa razão sinal/ruído existente nos sinais analisados. Para verificação dos resultados de localização dos pontos inicial e final de cada componente do ECG, uma das métricas utilizadas foi o MAPE, obtendo-se, 19,44 por cento para onda P,4,85 por cento para o complexo QRS, 8,93 por cento para o início da onda T e 7,76 por cento para o final da onda T. Outra métrica utilizada para comparar os resultados obtidos com outro artigo, foi a Média Aritmética/Desvio Padrão, onde se obteve mi=-0,8264 ms e sigma=3,7037 ms para o início da onda P, mi=-1,5082 ms e sigma=2,2890 ms para o fim da onda P, mi=-0,2104 ms e sigma=3,2486 ms para o início do complexo QRS, mi=-0,4309 ms e sigma=3,9542 ms para o fim do complexo QRS, mi=-0,1926 ms e sigma=5,7413 ms para o início da onda T, mi=-0,3346 ms e sigma=6,3991 ms para o fim da onda T. / [en] The objective of this dissertation is implementing an algorithm for automatic analysis of electrocardiographic signals, using Artificial Neural Networks. The system is divided into several subprograms that extract relevant information about the cardiac signal measured from patients, and points out possible abnormalities by comparison with normal values found in biomedical bibliography. The algorithm uses 4 seconds of the electrocardiogram signal for an initial classification, verifying the feasibility of information extraction. If the extraction is possible, the separate cardiac cycles are collected from the signal and quantitative values for the various components are determined. Finally, these values are compared with the normal values, indicating alterations of wave morphology. This algorithm has a clear relevance in low-income communities, being useful for an initial classification of the patients, being then forwarded to a cardiologist when ECG abnormalities are identified. Another potential use is in helping the cardiologist to automatically determine accurate values from the electrocardiographic register. The results can by considered satistactory, because the values are being compatible with their nature, mainly due to problems of low signal-to-noise ratio in analysed signals. For verification of the results, one metric used was the MAPE, obtaining 19,44 percent for the P wave, 4,85 percent for the QRS complex, 8,93 percent for the begining of the T wave and 7,76 percent for the end of T wave. Another metric used for comparing results with another article, was the Arithmetic Mean/Standard Deviation, obtaining u=-0,8264 ms and ó=3,7037 ms for the onset of the P wave, u=-1,5082 ms and ó=2,2890 ms for the offset of P wave, u=-0,2104 ms and ó=3,2486 ms for the onset of the QRS complex, u=-0,4309 ms and ó=3,9542 ms for the offset of the QRS complex, u=-0,1926 ms and ó=5,7413 ms for the onset of the T wave, u=-0,3346 ms and ó=6,3991 ms for the offset of the T wave.

Medidas de centralidades são um mecanismo importante para revelar informações vitais sobre redes complexas. No entanto, essas métricas exigem um alto custo computacional que prejudica a sua aplicação em grandes redes do mundo real. Em nosso estudo propomos e explicamos que através do uso de redes neurais artificiais podemos aplicar essas métricas em redes de tamanho arbitrário. Além disso, identificamos a melhor configuração e metodologia para otimizar a acurácia do aprendizado neural, além de apresentar uma maneira fácil de obter e gerar um número suficiente de dados de treinamento substanciais através do uso de um modelo de redes complexas que é adaptável a qualquer aplicação. Também realizamos um comparativo da técnica proposta com diferentes metodologias de aproximação de centralidade da literatura, incluindo métodos de amostragem e outros algoritmos de aprendizagem, e, testamos o modelo gerado pela rede neural em casos reais. Mostramos com os resultados obtidos em nossos experimentos que o modelo de regressão gerado pela rede neural aproxima com sucesso as métricas é uma alternativa eficiente para aplicações do mundo real. A metodologia e o modelo de aprendizagem de máquina que foi proposto usa apenas uma fração do tempo de computação necessário para os algoritmos de aproximação baseados em amostragem e é mais robusto que as técnicas de aprendizagem de máquina testadas / Centrality measures are an important analysis mechanism to uncover vital information about complex networks. However, these metrics have high computational costs that hinder their applications in large real-world networks. I propose and explain the use of artificial neural learning algorithms can render the application of such metrics in networks of arbitrary size. Moreover, I identified the best configuration and methodology for neural learning to optimize its accuracy, besides presenting an easy way to acquire and generate plentiful and meaningful training data via the use of a complex networks model that is adaptable for any application. In addition, I compared my prosed technique based on neural learning with different centrality approximation methods proposed in the literature, consisting of sampling and other artificial learning methodologies, and, I also tested the neural learning model in real case scenarios. I show in my results that the regression model generated by the neural network successfully approximates the metric values and is an effective alternative in real-world applications. The methodology and machine learning model that I propose use only a fraction of computing time with respect to other commonly applied approximation algorithms and is more robust than the other tested machine learning techniques.

O objetivo deste trabalho é explorar procedimentos alternativos capazes de tornar mais efetiva a aplicação, em planejamento de transportes, de modelos desenvolvidos através de redes neurais artificiais (RNA). Pensar, do ponto de vista prático, que um programa de computador seja imprescindível para a fase de treinamento da rede é aceitável, mas depender deste programa também para estimativas e simulações a partir da rede treinada é muito restritivo. Desta forma, o ideal seria obter instrumentos capazes de reproduzir, fora do software de RNA, o comportamento de redes treinadas, integrando a capacidade de predição das RNAs a outros ambientes e ferramentas. Isto ampliaria os recursos de diferentes ferramentas de planejamento, permitindo, por exemplo, análises de sensibilidade mais simples e diretas. Este trabalho será baseado em um modelo já desenvolvido em outra pesquisa, na qual se treinou uma rede neural artificial para estimar um índice de potencial de viagens para planejamento estratégico de transportes. Trata-se de um caso típico em que, embora a rede treinada conduza a estimativas razoáveis de número de viagens por domicílio a partir de variáveis que caracterizam a mobilidade e a acessibilidade, não se pode realizar outras análises a partir dos resultados sem fazer uso do software em que a rede neural artificial foi treinada e obviamente do arquivo com a rede já treinada. Daí a importância de desenvolver alternativas capazes de tornar mais efetivo o uso desse tipo de modelo. Dentre as alternativas aqui exploradas está a reprodução do modelo de RNA em uma planilha eletrônica, o desenvolvimento de um programa em visual basic, a construção de ábacos e a integração, de forma direta, do modelo de RNA a um sistema de informações geográficas (SIG). Para esse último caso, o modelo em ambiente SIG foi utilizado em uma aplicação na cidade de Bauru, a partir de dados agregados em zonas, onde se simulou alterações nos valores das variáveis de entrada, de forma a avaliar o seu impacto sobre as viagens estimadas em diferentes regiões da cidade. Todas as alternativas exploradas ilustram bem a ampliação das possibilidades de realização de análises de sensibilidade com os modelos de RNA, sobretudo quando combinados com os SIG, particularmente quando a localização dos valores estimados como saída é importante no contexto de análise e tomada de decisão. É importante destacar ainda que, além de permitir a condução de análises de sensibilidade, as alternativas apresentadas neste estudo podem, de certa forma, ajudar aos planejadores e tomadores de decisão a entender a lógica do modelo. / The objective of this work is to explore alternative procedures to make more effective the application of ANN (artificial neural network) models in transportation planning. While the use of a specific computer program for training the networks is acceptable, the requirement of the same dedicated software also for predictions and simulations using the trained network is very restrictive from a practical point of view. An alternative to tackle this problem would be to reproduce the behavior of the trained ANN models out the training package through the integration of their estimation capabilities to other tools and environments. This could extend the resources of different planning tools, allowing, for instance, simpler and direct sensitivity analyses. The present study is based on a model developed in previous research work, in which a particular ANN model has been developed to estimate a Trip Potential Index for transportation planning at a strategic level. This is a typical example of a model able to produce acceptable trip number estimations based on input variables associated to mobility and accessibility. Any further analyses, however, are usually dependent on the use of the same package used for training the network and the file with the trained network. This stresses the importance of developing alternatives to make more effective the use of this sort of model. Among the alternatives explored in this work are: the use of electronic spreadsheets, a computer program written in visual basic, graphs, and the direct integration of the ANN model into a geographic information system (GIS) commercial package. In the last case, the model in a GIS-environment has been used to run an application in the city of Bauru. Using data aggregated at the zonal level, changes in the input variables have been simulated in order to evaluate their impact on the trips estimated for different city regions. All alternatives explored here demonstrate the possibilities offered by the ANN models for sensitivity analyses. This is even more evident in the case of ANN models combined with GIS, particularly when the location of the predicted values is a relevant element in the analysis or decision making context. In addition, the procedures presented here may somehow help planners and decisionmakers in understanding the logic behind the models.

Este trabalho aborda o desafio da modelagem da fragilidade ambiental, que implica em, além de compreender a intrínseca e dinâmica relação existente entre as componentes físicas, bióticas e sócio-econômicas dos sistemas ambientais, em traduzir esse conhecimento num modelo matemático. Para elucidar essa dificuldade foram apresentados e comparados os resultados gerados por dois modelos empíricos de fragilidade ambiental amplamente utilizados no planejamento físico-territorial brasileiro (CREPANI et al. 2001 e ROSS, 1994). Estes dois modelos foram aplicados em duas áreasteste, com resultados bastante divergentes. Neste contexto de incertezas, este trabalho testou a viabilidade e a confiabilidade de uma nova ferramenta a ser aplicada na elaboração de modelos de fragilidade ambiental, as redes neurais artificiais (RNAs). Empregando os conhecimentos e experiências de especialistas na área em questão, extraídos das respostas dadas por estes durante a comparação de variáveis e cenários aplicados através dos programas adaptados para esta finalidade: Pesquisa de Calibração, Pesquisa de Escalonamento de Variáveis e Pesquisa de Avaliação de Cenários. Estes programas geraram uma base de dados referente ao modo de avaliação de cada especialista quanto à fragilidade ambiental, sendo aplicada no treinamento das RNAs, para que a rede assimilasse o padrão de avaliação deste especialista. Os resultados comprovam de que é possível emular, com razoável confiabilidade, o padrão de avaliação de especialistas na definição da fragilidade dos sistemas ambientais, eliminando assim, a arbitrariedade e a subjetividade do processo de elaboração de modelos de fragilidade ambiental. Este trabalho não propõe um novo modelo, mas uma metodologia para a construção de modelos, utilizando redes neurais artificiais, dando um primeiro passo em busca de novas técnicas, temidas pelos geógrafos, mas necessárias para a evolução da ciência geográfica. / This paper deals with the challenge in modeling environmental fragility, which implies not only the understanding of the intrinsic and dynamic relationship that exists between the physical, biotic and socio-economic components of environmental systems, but also in translating this knowledge in a mathematical model. In order to shed light on this difficulty, the results generated by two empirical models of environmental fragility were presented and compared, models that are widely used in Brazilian physical-territorial planning. (CREPANI et al. 2001 and ROSS, 1994). These two models were applied in two thesis-areas with very diverging results. Within this context of uncertainties, this paper tested the feasibility and reliability of a new tool to be applied in the elaboration of environmental fragility models, the artificial neural networks (ANN). Tapping on the knowledge and experience of specialists in this area, extracted from the answers given by them during the comparison of variables and scenarios applied in programs adapted for this objective: Gauging Research, Scheduling of Variables Research and Scenario Evaluation Research. These programs generated a databank related to the evaluation format of each specialist regarding environmental fragility applied in the training of ANNs, so that the network would assimilate the evaluation standard of that specialist. The results proved that it is possible to emulate, with reasonable reliability, the evaluation standard of specialists in the definition of environmental systems fragility, eliminating in this way, arbitrariness and subjectivity in the elaboration process of environmental fragility models. This work does not presuppose a new model, rather a methodology for the construction of models, using artificial neural networks, taking the first step in the search of new techniques, albeit feared by the geographers, however, necessary for the evolution of geographic science.

Este trabalho apresenta o desenvolvimento de algoritmos para determinação da estimativa da distância de ocorrência de falta em uma linha de transmissão de alta tensão, em relação a um terminal local, e também a classificação do tipo de falta, utilizando técnicas baseadas em redes neurais artificiais. Os testes e a validação dos algoritmos propostos são feitos a partir de dados simulados para os fasores de tensão e corrente, em regime permanente, com uso da linguagem MATLAB. Os fasores são obtidos com uso de cálculo tradicional de curto e parâmetros reais de uma linha de transmissão conhecida. Em casos reais os fasores seriam obtidos de amostras de tensões e correntes detectadas por dispositivos de proteção localizados nos terminais local e remoto da linha de transmissão em análise. As simulações das redes neurais para a classificação do tipo de falta e para a obtenção da estimativa da distância de falta foram feitas com duas rotinas escritas em MATLAB levando em consideração erros de medição dos fasores. Os resultados obtidos permitem avaliar a eficiência e a precisão dos algoritmos propostos em relação aos já existentes e conhecidos na literatura, e que usam somente equacionamento elétrico. / This work presents the development of algorithms for determination of the estimate of the distance of occurrence of fault in a high voltage transmission line, in relation to a local terminal, and also the classification of the fault type, using techniques based on artificial neural networks. The tests and the validation of the proposed algorithms are made using simulated data for the voltage and current phasors, in steady state, with use of the MATLAB language. The phasors are obtained with use of traditional calculation of short-circuit and real parameters of a known transmission line. In real cases the phasors would be obtained with samples of voltages and currents detected by protection devices located in the local and remote terminals of the transmission line in analysis. The simulations of the neural networks for the classification of the fault type and for the obtaining the estimate of the fault distance were done with two routines written in MATLAB taking into account measurement errors of the phasors. The obtained results allow to evaluate the efficiency and the accuracy of the proposed algorithms in relation to the already existent and known in the literature, and that use only electric equations.

The voltage stability problem in electric power systems is concerned with the analysis of events and mechanisms that can lead a system into inadmissible operating conditions from the voltage viewpoint. In the worst case, total collapse of the system may result, with disastrous consequences for both electricity utilities and customers. The analysis of this problem has become an important area of research over the past decade due to some instances of voltage collapse that have occurred in electric systems throughout the world. This work addresses the voltage stability problem within the framework of artificial neural networks. Although the field of neural networks was established during the late 1940s, only in the past few years has it experienced rapid development. The neural network approach offers some potential advantages to the solution of problems for which an analytical solution is difficult. Also, efficient and accurate computation may be achieved through neural networks. The first contribution of this work refers to the development of an artificial neural network capable of computing a static voltage stability index, which provides information on the stability of a given operating state in the power system. This analytical tool was implemented as a self-contained computational system which exhibited good accuracy and extremely low processing times when applied to some study cases. Dynamic characteristics of the electrical system in the voltage stability problem are very important. Therefore, in a second stage of the present work, the scope of the research was extended so as to take into account these new aspects. Another neural network-based computational system was developed and implemented with the purpose of providing some information on the behaviour of the electrical system in the immediate future. Examples and case studies are presented throughout the thesis in order to illustrate the most relevant aspects of both artificial neural networks and the computational models developed. A general discussion summarises the main contributions of the present work and topics for further research are outlined.

The discoveries of materials property-property correlations usually require prior knowledge or serendipity, the process of which can be time-consuming, costly, and labour-intensive. On the other hand, artificial neural networks (ANNs) are intelligent and scalable modelling techniques that have been used extensively to predict properties from materials’ composition or processing parameters, but are seldom used in exploring materials property-property correlations. The work presented in this thesis has employed ANNs combinatorial searches to explore the correlations of different materials properties, through which, ‘known’ correlations are verified, and ‘unknown’ correlations are revealed. An evaluation criterion is proposed and demonstrated to be useful in identifying nontrivial correlations. The work has also extended the application of ANNs in the fields of data corrections, property predictions and identifications of variables’ contributions. A systematic ANN protocol has been developed and tested against the known correlating equations of elastic properties and the experimental data, and is found to be reliable and effective to correct suspect data in a complicated situation where no prior knowledge exists. Moreover, the hardness increments of pure metals due to HPT are accurately predicted from shear modulus, melting temperature and Burgers vector. The first two variables are identified to have the largest impacts on hardening. Finally, a combined ANN-SR (symbolic regression) method is proposed to yield parsimonious correlating equations by ruling out redundant variables through the partial derivatives method and the connection weight approach, which are based on the analysis of the ANNs weight vectors. By applying this method, two simple equations that are at least as accurate as other models in providing a rapid estimation of the enthalpies of vaporization for compounds are obtained.