Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-03-06T17:58:43Z No. of bitstreams: 1 mauricioarchanjonunescoelho.pdf: 10124655 bytes, checksum: 549fa53eba76e81b76ddcbce12c97e55 (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-03-06T20:26:43Z (GMT) No. of bitstreams: 1 mauricioarchanjonunescoelho.pdf: 10124655 bytes, checksum: 549fa53eba76e81b76ddcbce12c97e55 (MD5) / Made available in DSpace on 2017-03-06T20:26:44Z (GMT). No. of bitstreams: 1 mauricioarchanjonunescoelho.pdf: 10124655 bytes, checksum: 549fa53eba76e81b76ddcbce12c97e55 (MD5) Previous issue date: 2015-06-25 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / A teoria sobre aprendizado supervisionado tem avançado significativamente nas últimas décadas. Diversos métodos são largamente utilizados para resoluções dos mais variados problemas, citando alguns: sistemas especialistas para obter respostas to tipo verdadeiro/ falso, o modelo Perceptron para separação de classes, Máquina de Vetores Suportes (SVMs) e o Algoritmo de Margem Incremental (IMA) no intuito de aumentar a margem de separação, suas versões multi-classe, bem como as redes neurais artificiais, que apresentam possibilidades de entradas relativamente complexas. Porém, como resolver tarefas que exigem respostas tão complexas quanto as perguntas? Tais respostas podem consistir em várias decisões inter-relacionadas que devem ser ponderadas uma a uma para se chegar a uma solução satisfatória e globalmente consistente. Será visto no decorrer do trabalho que existem problemas de relevante interesse que apresentam estes requisitos. Uma questão que naturalmente surge é a necessidade de se lidar com a explosão combinatória das possíveis soluções. Uma alternativa encontrada apresenta-se através da construção de modelos que compactam e capturam determinadas propriedades estruturais do problema: correlações sequenciais, restrições temporais, espaciais, etc. Tais modelos, chamados de estruturados, incluem, entre outros, modelos gráficos, tais como redes de Markov e problemas de otimização combinatória, como matchings ponderados, cortes de grafos e agrupamentos de dados com padrões de similaridade e correlação. Este trabalho formula, apresenta e discute estratégias on-line eficientes para predição estruturada baseadas no princípio de separação de classes derivados do modelo Perceptron e define um conjunto de algoritmos de aprendizado supervisionado eficientes quando comparados com outras abordagens. São também realizadas e descritas duas aplicações experimentais a saber: inferência dos custos das diversas características relevantes para a realização de buscas em mapas variados e a inferência dos parâmetros geradores dos grafos de Markov. Estas aplicações têm caráter prático, enfatizando a importância da abordagem proposta. / The theory of supervised learning has significantly advanced in recent decades. Several methods are widely used for solutions of many problems, such as expert systems for answers to true/false, Support Vector Machine (SVM) and Incremental Margin Algorithm (IMA). In order to increase the margin of separation, as well as its multi-class versions, in addition to the artificial neural networks which allow complex input data. But how to solve tasks that require answers as complex as the questions? Such responses may consist of several interrelated decisions to be considered one by one to arrive at a satisfactory and globally consistent solution. Will be seen throughout the thesis, that there are problems of relevant interest represented by these requirements. One question that naturally arises is the need to deal with the exponential explosion of possible answers. As a alternative, we have found through the construction of models that compress and capture certain structural properties of the problem: sequential correlations, temporal constraints, space, etc. These structured models include, among others, graphical models, such as Markov networks and combinatorial optimization problems, such as weighted matchings, graph cuts and data clusters with similarity and correlation patterns. This thesis formulates, presents and discusses efficient online strategies for structured prediction based on the principle of separation of classes, derived from the Perceptron and defines a set of efficient supervised learning algorithms compared to other approaches. Also are performed and described two experimental applications: the costs prediction of relevant features on maps and the prediction of the probabilistic parameters for the generating Markov graphs. These applications emphasize the importance of the proposed approach.

Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-05-31T11:40:17Z No. of bitstreams: 1 matheusribeirofurtadodemendonca.pdf: 1083096 bytes, checksum: bb42372f22411bc93823b92e7361a490 (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-05-31T12:42:30Z (GMT) No. of bitstreams: 1 matheusribeirofurtadodemendonca.pdf: 1083096 bytes, checksum: bb42372f22411bc93823b92e7361a490 (MD5) / Made available in DSpace on 2017-05-31T12:42:30Z (GMT). No. of bitstreams: 1 matheusribeirofurtadodemendonca.pdf: 1083096 bytes, checksum: bb42372f22411bc93823b92e7361a490 (MD5) Previous issue date: 2016 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Muitos jogos modernos apresentam elementos que permitem que o jogador complete certos objetivos sem ser visto pelos inimigos. Isso culminou no surgimento de um novo gênero chamado de jogos furtivos, onde a furtividade é essencial. Embora elementos de furtividade sejam muito comuns em jogos modernos, este tema não tem sido estudado extensivamente. Este trabalho aborda três problemas distintos: (i) como utilizar uma abordagem por aprendizado de máquinas de forma a permitir que o agente furtivo aprenda como se comportar adequadamente em qualquer ambiente, (ii) criar um método eficiente para planejamento de caminhos furtivos que possa ser acoplado à nossa formulação por aprendizado de máquinas e (iii) como usar computação evolutiva de forma a definir certos parâmetros para nossa abordagem por aprendizado de máquinas. É utilizado aprendizado por reforço para aprender bons comportamentos que sejam capazes de atingir uma alta taxa de sucesso em testes aleatórios de um jogo furtivo. Também é proposto uma abor dagem evolucionária capaz de definir automaticamente uma boa função de reforço para a abordagem por aprendizado por reforço. / Many modern games present stealth elements that allow the player to accomplish a certain objective without being spotted by enemy patrols. This gave rise to a new genre called stealth games, where covertness plays a major role. Although quite popular in modern games, stealthy behaviors has not been extensively studied. In this work, we tackle three different problems: (i) how to use a machine learning approach in order to allow the stealthy agent to learn good behaviors for any environment, (ii) create an efficient stealthy path planning method that can be coupled with our machine learning formulation, and (iii) how to use evolutionary computing in order to define specific parameters for our machine learning approach without any prior knowledge of the problem. We use Reinforcement Learning in order to learn good covert behavior capable of achieving a high success rate in random trials of a stealth game. We also propose an evolutionary approach that is capable of automatically defining a good reward function for our reinforcement learning approach.

Made available in DSpace on 2014-07-29T15:08:20Z (GMT). No. of bitstreams: 1 dissertacao geraldo valeriano eec.pdf: 1215973 bytes, checksum: 4ceb98a1d5250ad33d16a8997882d277 (MD5) Previous issue date: 2009-06-29 / This work presents two methods to solve the problem of Electric Distribution Networks (EDN) with geographical and power restrictions. The high cost of the project involving EDN together with lack of efficient methods when working with real applications justifies the development of this research. Taking into account concepts of heuristic and metaheuristic two methods are proposed: The first is based on the Hill-Climbing (HC) heuristic and the second is based on the Simulated Annealing (SA) metaheuristic. The possible paths are provided by the Delaunay triangulation and it is considered the natural and socio-political obstacles of the site where you want to locate a new energy network. The dimension of the EDN feeders is calculated using the power flow results from the Forward-Backward method. The initial solution is found using an intelligent method. Then the SA metaheuristic and/or HC heuristic are used providing a good solution for a new EDN in comparison with the heuristic used to find the initial solution. A comparison is also made between the two proposed methods / RESUMO Neste trabalho são apresentados dois métodos para resolver o problema de planejamento de rede de distribuição de energia elétrica (RDEE) com restrições geográficas e elétricas. O custo elevado que envolve o projeto de RDEE unido à escassez de métodos eficientes quando se trata de aplicações reais justificam o desenvolvimento desta pesquisa. Considerando os conceitos de heurística e metaheurística são propostos dois métodos: o primeiro é baseado na heurística Hill-Climbing (HC) e o segundo é baseado na metaheurística Simulated Annealing (SA). Os possíveis caminhos são fornecidos pela triangulação de Delaunay e são considerados os obstáculos naturais e políticosociais (restrições geográficas) do local onde se deseja implantar a nova rede de energia elétrica. O dimensionamento dos alimentadores da RDEE é feito utilizando-se do fluxo de potência calculado pelo método Backward-Forward. A solução inicial é encontrada utilizando-se um método inteligente. A metaheurística SA e/ou a heurística HC são então utilizadas, fornecendo uma boa solução para uma nova RDEE, em relação à heurística utilizada para encontrar a solução inicial. Também é realizada uma comparação entre os dois métodos propostos.

Submitted by Renata Lopes (renatasil82@gmail.com) on 2017-03-07T15:27:21Z No. of bitstreams: 1 mauricioarchanjonunescoelho.pdf: 2468130 bytes, checksum: 3f05daa8428e367942c4ad560b6375f2 (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2017-03-10T12:19:13Z (GMT) No. of bitstreams: 1 mauricioarchanjonunescoelho.pdf: 2468130 bytes, checksum: 3f05daa8428e367942c4ad560b6375f2 (MD5) / Made available in DSpace on 2017-03-10T12:19:13Z (GMT). No. of bitstreams: 1 mauricioarchanjonunescoelho.pdf: 2468130 bytes, checksum: 3f05daa8428e367942c4ad560b6375f2 (MD5) Previous issue date: 2010-06-18 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / O problema de planejamento de caminhos apresenta diversas subáreas, muitas das quais já extensamente abordadas na literatura. Uma dessas áreas em especial é a de determinação de caminhos, os algoritmos empregados para a solução deste problema dependem que os custos estipulados para os ambientes ou mapas sejam confiáveis. A dificuldade está justamente na definição dos custos referentes a cada tipo de área ou terreno nos mapas a serem examinados. Como se pode observar, o problema mencionado inclui a dificuldade em se determinar qual o custo de cada característica relevante presente no mapa, bem como os custos de suas possíveis combinações. A proposta deste trabalho é mostrar como é feita a predição desses custos em novos ambientes tendo como base a predição de dados estruturados definindo um aprendizado funcional entre domínios de entrada e saída, estruturados e arbitrários. O problema de aprendizado em questão é normalmente formulado como um problema de otimização convexa de máxima margem bastante similar a formulação de máquinas de vetores suporte multi-classe. Como técnica de solução realizou-se a implementação do algoritmo MMP (Maximum Margin Planning) (RATLIFF; BAGNELL; ZINKEVICH, 2006). Como contribuição, desenvolveu-se e implementou-se dois algoritmos alternativos, o primeiro denominado Perceptron Estruturado e o segundo Perceptron Estruturado com Margem, ambos os métodos de relaxação baseados na formulação do Perceptron. Os mesmos foram analisados e comparados. Posteriormente temos a exploração dos ambientes por um agente inteligente utilizando técnicas de aprendizado por reforço. Tornando todo o processo, desde a análise do ambiente e descoberta de custos, até sua exploração e planejamento do caminho, um completo processo de aprendizado. / The problem of path planning has several sub-areas, many of which are widely discussed in the literature. One of these areas in particular is the determination of paths, the algorithms used to solve this problem depend on the reliability of the estimated costs in the environments and maps. The difficulty is precisely the definition of costs for each type of area or land on the maps to be examined. As you can see, the problem mentioned includes the difficulty in determining what the cost of each relevant characteristic on the map, and the costs of their possible combinations. The purpose of this study is to show how the prediction of these costs is made into new environments based on the prediction of structured data by defining functional learning areas between input and output, structured and arbitrary. The problem of learning in question is usually formulated as a convex optimization problem of maximum margin very similar to the formulation of multiclass support vector machines. A solution technic was performed through implementation of the algorithm MMP (Maximum Margin Planning) (RATLIFF; BAGNELL; ZINKEVICH, 2006). As a contribution, two alternative algorithms were developed and implemented, the first named Structured Perceptron, and the second Structured Perceptron with Margin both methods of relaxation based formulation of the Perceptron. They were analyzed and compared. Posteriorly we have the exploitation of the environment by an intelligent agent using reinforcement learning techniques. This makes the whole process, from the environment analysis and discovery of cost to the exploitation and path planning, a complete learning process.