A evolução de redes neurais artificiais encontra aplicações em diversos campos na área de aprendizado de máquina, em particular, simulações de vida artificial onde uma população de indivíduos controlados por redes neurais se adaptam num ambiente virtual a fim de realizar uma determinada tarefa. Similar ao processo natural pelo qual o comportamento do organismo se modifica filogeneticamente através da complexificação do sistema nervoso, tais simulações oferecem uma nova abordagem sintética no estudo da inteligência, em contraposição aos métodos simbólicos tradicionais. Um recente método, conhecido por NEAT (NeuroEvolution of Augmenting Topologies), é capaz de obter os pesos e a própria topologia de rede neural utilizando algoritmos genéticos. A codificação utilizada pelo NEAT é flexível o suficiente para permitir evolução aberta e arquiteturas neurais arbitrárias. Este trabalho apresenta uma implementação do NEAT que pode ser utilizada em conjunto com um simulador de propósito geral, chamado Breve, formando uma plataforma para experimentos de vida artificial. A implementação proposta também estende o NEAT para lidar com redes neurais dinâmicas, onde o nível de ativação dos neurônios varia continuamente no tempo. Este novo modelo é comparado com o método tradicional numa tarefa clássica de controle não-supervisionado, mostrando um aumento de eficiência na busca pela solução do problema. Os resultados obtidos motivam o uso desta plataforma para experimentos de vida artificial, onde uma população de indivíduos interage continuamente com um ambiente dinâmico, se adaptando ao longo das gerações. / The evolution of artificial neural networks has a wide range of applicability in diverse areas in the field of machine learning, particularly, in artificial life simulations where a population of individuals, controlled by neural networks, adapts in a virtual environment in order to solve a given task. Resembling the natural process in which an organism\'s behavior is subjected to phylogenetic modifications through the complexification of the nervous system, such simulations offer a new synthetic approach in the investigation of intelligence, counter posing traditional symbolic methods. A recent method known as NEAT (NeuroEvolution of Augmenting Topologies), is able to obtain the synaptic weights and the topology with the aid of genetic algorithms. The encoding used by NEAT is flexible enough to allow for open-ended evolution and arbitrary neural architectures. This work presents a NEAT implementation especially suitable to be used with a general purpose simulator known as Breve, constituting a framework for artificial life experiments. The proposed implementation extends NEAT to include dynamical neuron models, where their inner state continuously varies over time. The new model is then compared to the traditional method in a classic unsupervised control benchmark task, showing an efficiency increase while solving the problem. The obtained results motivate the proposed framework for general experiments in artificial life, in which a population of individuals continuously interact with a dynamical environment, adapting through generations.

A evolução de redes neurais artificiais encontra aplicações em diversos campos na área de aprendizado de máquina, em particular, simulações de vida artificial onde uma população de indivíduos controlados por redes neurais se adaptam num ambiente virtual a fim de realizar uma determinada tarefa. Similar ao processo natural pelo qual o comportamento do organismo se modifica filogeneticamente através da complexificação do sistema nervoso, tais simulações oferecem uma nova abordagem sintética no estudo da inteligência, em contraposição aos métodos simbólicos tradicionais. Um recente método, conhecido por NEAT (NeuroEvolution of Augmenting Topologies), é capaz de obter os pesos e a própria topologia de rede neural utilizando algoritmos genéticos. A codificação utilizada pelo NEAT é flexível o suficiente para permitir evolução aberta e arquiteturas neurais arbitrárias. Este trabalho apresenta uma implementação do NEAT que pode ser utilizada em conjunto com um simulador de propósito geral, chamado Breve, formando uma plataforma para experimentos de vida artificial. A implementação proposta também estende o NEAT para lidar com redes neurais dinâmicas, onde o nível de ativação dos neurônios varia continuamente no tempo. Este novo modelo é comparado com o método tradicional numa tarefa clássica de controle não-supervisionado, mostrando um aumento de eficiência na busca pela solução do problema. Os resultados obtidos motivam o uso desta plataforma para experimentos de vida artificial, onde uma população de indivíduos interage continuamente com um ambiente dinâmico, se adaptando ao longo das gerações. / The evolution of artificial neural networks has a wide range of applicability in diverse areas in the field of machine learning, particularly, in artificial life simulations where a population of individuals, controlled by neural networks, adapts in a virtual environment in order to solve a given task. Resembling the natural process in which an organism\'s behavior is subjected to phylogenetic modifications through the complexification of the nervous system, such simulations offer a new synthetic approach in the investigation of intelligence, counter posing traditional symbolic methods. A recent method known as NEAT (NeuroEvolution of Augmenting Topologies), is able to obtain the synaptic weights and the topology with the aid of genetic algorithms. The encoding used by NEAT is flexible enough to allow for open-ended evolution and arbitrary neural architectures. This work presents a NEAT implementation especially suitable to be used with a general purpose simulator known as Breve, constituting a framework for artificial life experiments. The proposed implementation extends NEAT to include dynamical neuron models, where their inner state continuously varies over time. The new model is then compared to the traditional method in a classic unsupervised control benchmark task, showing an efficiency increase while solving the problem. The obtained results motivate the proposed framework for general experiments in artificial life, in which a population of individuals continuously interact with a dynamical environment, adapting through generations.

Orientador: Prof. Dr. Fabrício Olivetti de França / Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Ciência da Computação, 2017. / Go é um jogo de tabuleiro que chama muita atenção na área de Inteligência Artificial, por ser um problema complexo de resolver e precisar de diferentes estratégias para obter um bom nível de habilidade no jogo. Até 2015, todos os melhores programas de Go precisavam começar a partida com vantagem para poder ganhar de um jogador profissional, mas no final de 2015, o programa AlphaGo foi o primeiro e único até o momento capaz de vencer um jogador profissional sem precisar de vantagem, combinando o uso de redes neurais convolucionais profundas para direcionar as buscas em árvores de Monte-Carlo. Esta dissertação tem como objetivo principal criar um agente inteligente de Go que decide seus próximos movimentoscom base no cenário atual do tabuleiro e em modelos de predição criados para três estratégias específicas do jogo. Para isso, duas hipóteses foram testadas: i) é possívelespecializar agentes inteligentes para o aprendizado de estratégias parciais do jogo de Go, ii) a combinação dessas estratégias permitem a construção de um agente inteligente para o jogo de Go. Para a primeira hipótese um agente foi treinado para aprender, com base em um jogador heurístico e posteriormente com base nos melhores agentes treinados, a posicionar as pedras para permitir a expansão do território, este agente aprendeu a generalizar esta estratégia contra os indivíduos treinados em diferentes estágios e também a capturar pedras. Também foram treinados dois agentes com base na resolução de problemas, com objetivo de aprenderem as estratégias específicas de captura e defesa das pedras. Em ambos os treinamentos foi possível notar que o conhecimento para resolver um problema era propagado para as próximas gerações de indivíduos, mas o nível de aprendizado foi baixo devido ao pouco treinamento. Para a segunda hipótese, um agente foi treinado para decidir qual das três estratégias específicas utilizar de acordo com o estado atual do tabuleiro. Foi possível constatar que este agente, jogando contra outros indivíduos da população, evoluiu na escolha de melhores estratégias, permitindo a dominação de territórios, captura e defensa das pedras. Os agentes foram criados utilizando Redes Neurais Convolucionais, sem qualquer conhecimento prévio sobre como jogar Go, e o treinamento foi feito com Neuroevolução. Como resultado foi possível perceber a evolução dos agentes para aprender as estratégias e comportamentos distintos de forma segmentada. O nível do agente inteligente gerado ainda está distante de um jogador profissional, porém ainda existem opções de melhorias para serem testadas com parametrização, reformulação da função de aptidão, entre outros. Esses resultados propõem novas possibilidades para a criação de agentes inteligentes para jogos complexos. / Go is a board game that draws a lot of attention in the Artificial Intelligence area, because it is a complex problem to solve and needs different strategies in order to obtain a good skill level in the game. By 2015, all the Go¿s best programs must start the match with advantage to win over a professional player, but in the end of 2015, the AlphaGo program was the first and, so far, the only one capable of beating a professional player without needing advantage, combining the use of deep convolutional neural networks to orientate the searches on Monte-Carlo trees. This dissertation has as main objective to create an intelligent agent of Go that decides its next movements based on current scenario of the board and in prediction models created for three specific strategies of the game. For this purpose, two hypothesis were tested: i) whether it is possible to specialize intelligent agents to learn partial strategies of Go game, ii) whether the combination of these strategies allows the construction of an intelligent agent to play Go. For the first hyphotesis, an agent was trained to learn, based on matches again a heuristic player and later based on the best trained agents, to position the stones to allow the expansion of territory, this agent learn to generalize this strategy against individuals trained in different stages and capture stones too. Two agents were also trained based on problem solving, in order to learn the specific strategies of catching and defense of stones. In both trainings were possible to note that the knowledge to solve a problem was propagated to the next generations of individuals, but the level of learning was low due to the short training. For the second hyphotesis, an agent was trained to decide which of the three specific strategies to use according to the current state of the board. It was possible to verify that this agent, playing against other individuals population, evolved in choosing better strategies, allowing territories domination, capture and defend stones. The agents was created using Convolution Neural Networks, without any previous knowledge about how to play Go, and the training was performed using Neuroevolution. As a result, it was possible to perceive the evolution of agents to learn different strategies and behaviours in a segmented way. The intelligent agent generated¿s skill still far from a professional player, however there are still options for improvement to be tested with parameterization, reformulation of fitness function, and others. These results propose new opportunities for the creation of intelligent agents for complex games.

Submitted by Liliane Ferreira (ljuvencia30@gmail.com) on 2018-12-04T14:59:58Z No. of bitstreams: 2 Dissertação - Ruan Michel Martins Domingos - 2018.pdf: 5209833 bytes, checksum: 69d9378d6ad33cb6458c4dc9035813bf (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2018-12-05T10:25:02Z (GMT) No. of bitstreams: 2 Dissertação - Ruan Michel Martins Domingos - 2018.pdf: 5209833 bytes, checksum: 69d9378d6ad33cb6458c4dc9035813bf (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2018-12-05T10:25:02Z (GMT). No. of bitstreams: 2 Dissertação - Ruan Michel Martins Domingos - 2018.pdf: 5209833 bytes, checksum: 69d9378d6ad33cb6458c4dc9035813bf (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2018-11-01 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / This work proposes a hierarchical control architecture to deal with the Trajectory Tracking Problem while an autonomous omnidirectional wheeled mobile robot operates. A traditional velocity controller and an intelligent decision-making neural network controller address the problem, considering the robot's kinematic and dynamic models. A neuroevolution technique evolves a smart Neurocontroller functionally attached to a Resolved Acceleration PI/PD Controller. The resulting control strategy shows to improve trajectory tracking errors during simulation studies. The Traditional and Intelligent controller combination showed very promising results even when applied in other trajectories that didn't belong to the original training set. / Este trabalho propõe uma arquitetura de controle hierárquico para lidar com o Problema de Rastreamento de Trajetória durante a operação de um robô móvel omnidirecional autônomo. Um controlador de velocidade tradicional e um controlador inteligente baseado em Redes Neurais para a tomada de decisão buscam resolvem o problema, considerando os modelos cinemático e dinâmico do robô. Uma técnica de neuroevolução evolui o neurocontrolador inteligente acoplado funcionalmente a um Controlador Dinâmico PI/PD de Aceleração Resolvida. A estratégia ou política de decisão de controle resultante mostra melhorias nos erros de rastreamento de trajetória durante estudos de simulação. A combinação entre Controle Tradicional e Controle Inteligente mostrou-se bastante eficaz mesmo aplicado em trajetórias não constantes do conjunto de treinamento.

Orientador: Prof. Dr. Fabrício Olivetti de França / Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Ciência da Computação, 2016. / No campo de Inteligência Artficial uma dasareas de interesse é a de criação de agentes inteligentes. Essa area de estudo tem o objetivo de construir um agente capaz de tomar decisões sem intervenção humana, para cumprir determinadas tarefas. Um desafio dessa área é manter o bom cumprimento da tarefa quando o agente enfrenta situações distintas do que ele observou durante a fase do aprendizado. Uma das possíveis aplicações desses agentesé na área de Jogos Eletrronicos, em que agentes autonomos podem ser programados para vencer os desafios projetados pelos programadores, com o objetivo de verificar a viabilidade e dificuldade de cada estagio. Da mesma forma, os jogos eletrronicos podem ser utilizados como plataforma para criação de novos algoritmos de aprendizado para agentes autonomos a serem aplicados em situações diversas. Este trabalho proproe um ambiente de teste chamado EvoMan, onde os oito inimigo finais do jogo eletronico MegaMan II 1 foram reproduzidos e estão disponíveis para treinar agentes controladores articiais de diferentes formas, simulando a dinâmica de um ambiente incerto. Os experimentos compreendem o uso de algoritmos de NeuroEvolução para encontrar conjuntos de agentes autônomos capazes de enfrentar os diversos desaos interpostos no ambiente proposto de forma generalista.