Submitted by Fabio Sobreira Campos da Costa (fabio.sobreira@ufpe.br) on 2017-03-02T14:42:14Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertação_Antônio_Janael_Pinheiro.pdf: 3669454 bytes, checksum: b097ebe7fc031e2189613f6f98fadd4d (MD5) / Made available in DSpace on 2017-03-02T14:42:14Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertação_Antônio_Janael_Pinheiro.pdf: 3669454 bytes, checksum: b097ebe7fc031e2189613f6f98fadd4d (MD5) Previous issue date: 2016-02-24 / FACEPE / Middleboxes são dispositivos de rede essenciais a inúmeras organizações, utilizados primordialmente na adição de serviços à rede. Middleboxes realizam operações complexas e variadas sobre o tráfego, introduzindo vários desafios ao funcionamento das redes atuais. Estes dispositivos são configurados manualmente pelo operador de rede, o que dificulta a aplicação correta das políticas destesmiddleboxes diante de aplicações de rede dinâmicas. Diversas soluções foram propostas para mitigar problemas gerados pela presença demiddleboxes, porém tais soluções não tratam das dificuldades que surgem na operação de aplicações dinâmicas. Muitas destas soluções tornam a rede mais complexa, aumentam o seu custo e exigem a substituição completa dosmiddleboxes existentes. Neste trabalho, é apresentada uma arquitetura baseada em Software-Defined Networking (SDN) que tem como objetivo garantir a aplicação correta de políticas de middleboxes na presença de aplicações dinâmicas. A arquitetura emprega o controle centralizado e a programabilidade dos dispositivos de rede presentes em SDN para tornar osmiddleboxes existentes capazes de aplicar corretamente suas políticas sem introdução de complexidade à rede, sem aumento de seu custo e sem interferência no funcionamento das aplicações. Para avaliar a arquitetura proposta, foi desenvolvido um protótipo no ambiente de emulação Mininet com três middleboxes: um firewall, um Intrusion Detection System (IDS) e um balanceador de carga. As aplicações utilizadas foram Voice over IP (VoIP) e web, e as métricas de desempenho foram o atraso de pacotes, a perda de pacotes e o jitter. Testes de hipóteses baseados noWilcoxonSigned-RankTest aplicados aos resultados atestam que, apesar de adicionar um acréscimo tolerável no atraso de pacotes, a arquitetura proposta não gera perda de pacotes, tampouco impacta o jitter, sendo capaz de configurar corretamente políticas de middleboxes em um cenário de aplicações dinâmicas. / Middleboxes are essential network devices to numerous organizations, primarily to add services to the network. Middleboxes perform complex and varied operations on the traffic, introducing several challenges to the functioning of today’s networks. These devices are manually configured by the network operator, what hinders the correct application of the policies of these middleboxes dynamic network applications. Several solutions have been proposed to mitigate problems caused by the presence of middleboxes, but these solutions do not address the difficulties that arise in the operation of dynamic applications. Many of these solutions make the network more complex, increase its cost and require complete replacement of existing middleboxes. In this work, an architecture based on Software-Defined Networking (SDN) is presented that aim at ensuring the correct application of middlebox policies in the presence of dynamic applications. The architecture employs the centralized control and programmability of network devices present in SDN to make existing middleboxes able to correctly apply their policies without introducing complexity to the network, without increasing their cost and without interfering in the operation of applications. To evaluate the proposed architecture, a prototype in the Mininet emulation environment was developed with three middleboxes: a firewall, an Intrusion Detection System (IDS) and a load balancer. The applications used were Voice over IP (VoIP) calls and HTTP requests, and the performance metrics were packet delay, packet loss and jitter. Hypothesis testing based on Wilcoxon Signed-Rank Test applied to the results show that, while adding a tolerable increase in packet delay, the proposed architecture neither generates packet loss, nor impacts the jitter, being able to correctly configure middleboxes policies in a scenario of dynamic applications.

As técnicas de Aprendizado por Reforço permitem a solução de um problema através da escolha de ações que maximizem valores de recompensas recebidas que refletem a qualidade das ações tomadas pelo agente em um processo de tentativa e erro. Em problemas com estrutura hierárquica, a solução final depende do encadeamento de soluções para subproblemas aí presentes, sendo frequente a repetição de subproblemas nesse encadeamento. Nesses casos, a utilização de políticas parciais permite o aprendizado e armazenamento das soluções individuais para cada subproblema, que podem então ser utilizadas múltiplas vezes na composição de uma solução completa para o problema final, acelerando o aprendizado. Apesar de vantajosa, a utilização de políticas parciais necessita de definições por parte do projetista, o que representa uma sobrecarga. Para contornar esse problema, foram propostas técnicas de descoberta automática de políticas parciais, dentre as quais a utilização de motivação intrínseca se destaca por permitir ao agente aprender soluções de subproblemas úteis na solução do problema final sem a necessidade de se definir manualmente novas recompensas para esses subproblemas individualmente. Apesar de promissora, essa proposta utiliza um conjunto de componentes de aprendizado que ainda carece de investigação aprofundada acerca dos impactos individual e coletivo de cada componente, notadamente a aplicação das políticas parciais durante o aprendizado. Nesta dissertação são propostas duas abordagens para a aplicação de políticas parciais no Aprendizado por Reforço com Motivação Intrínseca: (i) armazenamento das políticas parciais em aplicação pelo agente e (ii) exploração interna à aplicação das políticas parciais. O impacto das propostas no desempenho de aprendizado é avaliado experimentalmente em um domínio com forte caracterização hierárquica. / Reinforcement Learning techniques allow an agent to learn the solution to a problem by interacting with the environment and executing actions, thus receiving rewards that reflect the value of the actions taken, on a process of trial and error. When a problem has a hierarchical structure, its final solution depends on several solutions to the subproblems it contains, and it is rather common the repetition of subproblems. On these cases, by using options it is possible to learn the solution to each subproblem individually, keeping and then using them multiple times to compose the complete solution to the problem, thus accelerating the learning process. But, despite this advantage, the use of options create the need for some definitions, what can represent a burden to the designer. To circumvent this problem, automatic option discovery techniques were proposed, among which the use of intrinsic motivation deserves special attention for allowing the agent to learn the solution of the subproblems, which are useful to compose the final solution, without the need to manually define new rewards to these subproblems individually. Despite being promising, this technique is built upon a set of several learning components that need a more deep investigation on the individual and collective impacts of each component, mostly the options application strategies during the learning process. On this work two modifications are proposed concerning the application process of options on the Intrinsically Motivated Reinforcement Learning: (i) storage of the history of the options applied by the agent and (ii) allow the agent to explore, even when following an option. These modifications were implemented on an algorithm present on the literature and evaluated on a domain with strong hierarchical characteristics.

As técnicas de Aprendizado por Reforço permitem a solução de um problema através da escolha de ações que maximizem valores de recompensas recebidas que refletem a qualidade das ações tomadas pelo agente em um processo de tentativa e erro. Em problemas com estrutura hierárquica, a solução final depende do encadeamento de soluções para subproblemas aí presentes, sendo frequente a repetição de subproblemas nesse encadeamento. Nesses casos, a utilização de políticas parciais permite o aprendizado e armazenamento das soluções individuais para cada subproblema, que podem então ser utilizadas múltiplas vezes na composição de uma solução completa para o problema final, acelerando o aprendizado. Apesar de vantajosa, a utilização de políticas parciais necessita de definições por parte do projetista, o que representa uma sobrecarga. Para contornar esse problema, foram propostas técnicas de descoberta automática de políticas parciais, dentre as quais a utilização de motivação intrínseca se destaca por permitir ao agente aprender soluções de subproblemas úteis na solução do problema final sem a necessidade de se definir manualmente novas recompensas para esses subproblemas individualmente. Apesar de promissora, essa proposta utiliza um conjunto de componentes de aprendizado que ainda carece de investigação aprofundada acerca dos impactos individual e coletivo de cada componente, notadamente a aplicação das políticas parciais durante o aprendizado. Nesta dissertação são propostas duas abordagens para a aplicação de políticas parciais no Aprendizado por Reforço com Motivação Intrínseca: (i) armazenamento das políticas parciais em aplicação pelo agente e (ii) exploração interna à aplicação das políticas parciais. O impacto das propostas no desempenho de aprendizado é avaliado experimentalmente em um domínio com forte caracterização hierárquica. / Reinforcement Learning techniques allow an agent to learn the solution to a problem by interacting with the environment and executing actions, thus receiving rewards that reflect the value of the actions taken, on a process of trial and error. When a problem has a hierarchical structure, its final solution depends on several solutions to the subproblems it contains, and it is rather common the repetition of subproblems. On these cases, by using options it is possible to learn the solution to each subproblem individually, keeping and then using them multiple times to compose the complete solution to the problem, thus accelerating the learning process. But, despite this advantage, the use of options create the need for some definitions, what can represent a burden to the designer. To circumvent this problem, automatic option discovery techniques were proposed, among which the use of intrinsic motivation deserves special attention for allowing the agent to learn the solution of the subproblems, which are useful to compose the final solution, without the need to manually define new rewards to these subproblems individually. Despite being promising, this technique is built upon a set of several learning components that need a more deep investigation on the individual and collective impacts of each component, mostly the options application strategies during the learning process. On this work two modifications are proposed concerning the application process of options on the Intrinsically Motivated Reinforcement Learning: (i) storage of the history of the options applied by the agent and (ii) allow the agent to explore, even when following an option. These modifications were implemented on an algorithm present on the literature and evaluated on a domain with strong hierarchical characteristics.