As redes de telecomunicações são responsáveis pelo envio de informação entre pontos de origem e destino. Dentre os diversos dispositivos que participam deste processo, destaca-se o sistema de roteamento, que realiza a seleção das rotas a serem percorridas pelas mensagens ao longo da rede e sua condução ao destino desejado. O avanço das tecnologias utilizadas pelas redes de telecomunicações provocou a necessidade de novos sistemas de roteamento, que sejam capazes de lidar corretamente com as diversas situações enfrentadas atualmente. Dentro deste contexto, este projeto de pesquisa desenvolveu um algoritmo de roteamento adaptativo e distribuído, resultado da integração de três estratégias de aprendizagem e da adição de alguns mecanismos extras, com o objetivo de obter um algoritmo eficiente e robusto às diversas variações das condições de operação da rede. As abordagens utilizadas foram a aprendizagem-Q, aprendizagem por reforço dual e aprendizagem baseada no comportamento coletivo de formigas. O algoritmo desenvolvido foi aplicado a duas redes de comutação de circuitos e seu desempenho foi comparado ao de dois algoritmos baseados no comportamento coletivo de formigas, que foram aplicados com sucesso ao problema de roteamento. Os experimentos conduzidos envolveram situações reais enfrentadas pelas redes, como variações dos seus padrões de tráfego, nível de carga e topologia. Além disto, foram realizados testes envolvendo a presença de ruído nas informações utilizadas para a seleção das rotas a serem percorridas pelas chamadas. O algoritmo proposto obteve melhores resultados que os demais, apresentando maior capacidade de adaptação às diversas situações consideradas. Os experimentos demonstraram que novos mecanismos de otimização devem ser anexados ao algoritmo proposto, para melhorar seu comportamento exploratório sob variações permanentes do nível de carga da rede e presença de ruído nos dados utilizados em suas tarefas. / The telecommunications networks are responsible for transmiting information between source and destination points in a fast, secure and reliable way, providing low cost and high quality services. Among the several devices that takes place on this process, there is thre routing system, which selects the routes to be traversed by the messages through the network and their forwarding to the destination desired. The advances in tecnologies used by telecommunications networks caused the necessity of new routing systems, that can work correctly with the situations faced by current telecommunications networks. Hence, this research project developed an adaptive and distributed routing algorithm, resulting of the integration of three leaming strategies and addition of some extra mechanisms, with the goal of having a robust and adaptive algorithm to the several variations on operation network conditions. The approaches chosen were Q-learning, dual reinforcement learning and learning based on collective behavior of ants. The developed algorithm was applied to two circuit-switching telecommunications networks and its performance was compared to two algorithms based on ant colony behavior, which were used with success to solve the routing problem. The experiments run comprised real situations faced by telecommunications networks, like variations on the network traffic patterns, load level and topology. Moreover, we did some tests with the presence of noise in information used to select the routes to be traversed by calls. The algorithm proposed produced better results than the others, showing higher capacity of adaptation to the several situations considered. The experiments showed that new optimization mechanisms must be added to the routing algorithm developed, to improve its exploratory behavior under permanent variations on network load level and presence of noise in data used in its tasks.

As redes de telecomunicações são responsáveis pelo envio de informação entre pontos de origem e destino. Dentre os diversos dispositivos que participam deste processo, destaca-se o sistema de roteamento, que realiza a seleção das rotas a serem percorridas pelas mensagens ao longo da rede e sua condução ao destino desejado. O avanço das tecnologias utilizadas pelas redes de telecomunicações provocou a necessidade de novos sistemas de roteamento, que sejam capazes de lidar corretamente com as diversas situações enfrentadas atualmente. Dentro deste contexto, este projeto de pesquisa desenvolveu um algoritmo de roteamento adaptativo e distribuído, resultado da integração de três estratégias de aprendizagem e da adição de alguns mecanismos extras, com o objetivo de obter um algoritmo eficiente e robusto às diversas variações das condições de operação da rede. As abordagens utilizadas foram a aprendizagem-Q, aprendizagem por reforço dual e aprendizagem baseada no comportamento coletivo de formigas. O algoritmo desenvolvido foi aplicado a duas redes de comutação de circuitos e seu desempenho foi comparado ao de dois algoritmos baseados no comportamento coletivo de formigas, que foram aplicados com sucesso ao problema de roteamento. Os experimentos conduzidos envolveram situações reais enfrentadas pelas redes, como variações dos seus padrões de tráfego, nível de carga e topologia. Além disto, foram realizados testes envolvendo a presença de ruído nas informações utilizadas para a seleção das rotas a serem percorridas pelas chamadas. O algoritmo proposto obteve melhores resultados que os demais, apresentando maior capacidade de adaptação às diversas situações consideradas. Os experimentos demonstraram que novos mecanismos de otimização devem ser anexados ao algoritmo proposto, para melhorar seu comportamento exploratório sob variações permanentes do nível de carga da rede e presença de ruído nos dados utilizados em suas tarefas. / The telecommunications networks are responsible for transmiting information between source and destination points in a fast, secure and reliable way, providing low cost and high quality services. Among the several devices that takes place on this process, there is thre routing system, which selects the routes to be traversed by the messages through the network and their forwarding to the destination desired. The advances in tecnologies used by telecommunications networks caused the necessity of new routing systems, that can work correctly with the situations faced by current telecommunications networks. Hence, this research project developed an adaptive and distributed routing algorithm, resulting of the integration of three leaming strategies and addition of some extra mechanisms, with the goal of having a robust and adaptive algorithm to the several variations on operation network conditions. The approaches chosen were Q-learning, dual reinforcement learning and learning based on collective behavior of ants. The developed algorithm was applied to two circuit-switching telecommunications networks and its performance was compared to two algorithms based on ant colony behavior, which were used with success to solve the routing problem. The experiments run comprised real situations faced by telecommunications networks, like variations on the network traffic patterns, load level and topology. Moreover, we did some tests with the presence of noise in information used to select the routes to be traversed by calls. The algorithm proposed produced better results than the others, showing higher capacity of adaptation to the several situations considered. The experiments showed that new optimization mechanisms must be added to the routing algorithm developed, to improve its exploratory behavior under permanent variations on network load level and presence of noise in data used in its tasks.

Made available in DSpace on 2016-08-17T14:53:24Z (GMT). No. of bitstreams: 1 Dissertacao Rafael de Souza.pdf: 5581665 bytes, checksum: 4edbe8b1f2b84008b5129a93038f2fee (MD5) Previous issue date: 2013-03-04 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / In this work, we applied the technology of Multi-Agent Systems (MAS) in the capital market, i.e., the stock market, specifically in Bolsa de Mercadorias e Futuros de São Paulo (BM&FBovespa). The research focused mainly on negotiation protocols and learning of investors agents. Within the Stock Exchange competitive field, the development of an agent that could learn to negotiate, could become differential for investors who wish to increase their profits. The decision-making based on historical data is motivation for further research in the same direction, however, we sought a different approach with regard to the representation of the states of q-learning algorithm. The reinforcement learning, in particular q-learning, has been shown to be effective in environments with various historical data and seeking reward decisions with positive results. That way it is possible to apply in the purchase and sale of shares, an algorithm that rewards the profit and punishes the loss. Moreover, to achieve their goals agents need to negotiate according to specific protocols of stock exchange. Therefore, endeavor was also the specifications of the rules of negotiation between agents that allow the purchase and sale of shares. Through the exchange of messages between agents, it is possible to determine how the trading will occur and facilitate communication between them, because it sets a standard of how it will happen. Therefore, in view of the specification of negotiation protocols based on q-learning, this research has been the modeling of intelligent agents and models of learning and negotiation required for decision making entities involved. / Neste trabalho, aplicou-se a tecnologia de Sistemas MultiAgente (SMA) no mercado de capitais, isto é, na Bolsa de Valores, especificamente na Bolsa de Mercadorias e Futuros de São Paulo (BM&FBovespa). A pesquisa concentrou-se principalmente nos protocolos de negociação envolvidos e na aprendizagem dos agentes investidores. Dentro do cenário competitivo da Bolsa de Valores, o desenvolvimento de um agente que aprendesse a negociar poderia se tornar diferencial para os investidores que desejam obter lucros cada vez maiores. A tomada de decisão baseada em dados históricos é motivação para outras pesquisas no mesmo sentido, no entanto, buscou-se uma abordagem diferenciada no que diz respeito à representação dos estados do algoritmo de aprendizagem-q. A aprendizagem por reforço, em especial a aprendizagem-q, tem demonstrado ser eficiente em ambientes com vários dados históricos e que procuram recompensar decisões com resultados positivos. Dessa forma é possível aplicar na compra e venda de ações, um algoritmo que premia o lucro e pune o prejuízo. Além disso, para conseguir alcançar seus objetivos os agentes precisam negociar de acordo com os protocolos específicos da bolsa de valores. Sendo assim, procurou-se também as especificações das regras de negociação entre os agentes que permitirão a compra e venda de títulos da bolsa. Através da troca de mensagens entre os agentes, é possível determinar como a negociação ocorrerá e facilitará comunicação entre os mesmos, pois fica padronizada a forma como isso acontecerá. Logo, tendo em vista as especificações dos protocolos de negociação baseados em aprendizagem-q, tem-se nesta pesquisa a modelagem dos agentes inteligentes e os modelos de aprendizagem e negociação necessários para a tomada de decisão das entidades envolvidas.