[pt] O uso de sistemas baseados em agentes é adequado à construção de software complexo. Para garantir uma ordem social desejável é preciso lidar com a autonomia e a diversidade de interesses dos agentes e as normas são mecanismos eficientes de controle usados para regular o comportamento dos agentes. O teste de software continua sendo amplamente aplicado para garantir a qualidade do software. No contexto de sistemas multiagentes normativos, os testes devem lidar com a necessidade dos agentes atuarem de forma robusta sob condições normativas dinâmicas as quais os desenvolvedores não consideraram. Neste contexto, propomos uma abordagem para testar agentes normativos que seguem o modelo belief-desire-intention. Como contribuições, esta tese apresenta: um framework para desenvolvimento de agentes BDI normativos, o NBDI4JADE; um modelo modelo de faltas para apoiar a identificação dos diferentes tipos de falhas em agentes normativos; um framework para testar agentes BDI normativos, o N-JAT4BDI e, um método para geração de casos de teste a partir de modelos ANA-ML dos agentes. Avaliamos o framework de teste através de um estudo experimental no qual discutimos a eficiência e a eficácia do framework. Avaliamos, também, a eficácia do método de geração de casos de teste,aplicando-o a dois cenários de uso: (i) um sistema para gerenciar a submissão e o processo de revisão de artigos em conferências, e (ii) um sistema de venda de pacotes turísticos de uma agência de viagens. Os resultados obtidos nas avaliações de ambos os frameworks apresentam indícios positivos da eficiência e eficácia na detecção e identificação de falhas em agentes normativos e eficiência na geração dos casos de teste. / [en] The use of agent-based systems is suitable for the construction of complex software. To guarantee a desirable social order one we must deal with the autonomy and diversity of interests of the agents and norms are efficient mechanisms of control used to regulate the behavior of the agents. Software testing still have been widely applied to ensure the software quality. In the context of normative multiagent systems, the test must deal with the need for the agents to act robustly under dynamic normative conditions in which the developers did not consider. In this context, we propose an approach to test normative agents that follow the belief-desire-intention model. Among the contributions, this thesis presents: a framework for development of normative BDI agents, the NBDI4JADE; a fault model to support the identification of different types of failures in normative agents; a framework for testing normative BDI agents, the N-JAT4BDI, and a method for generating test cases from ANA-ML models.We evaluated the test framework through an experimental study in which we discussed the efficiency and effectiveness of the framework. We also evaluate the effectiveness of the test case generation method, applying it to two usage scenarios: (i) a system to the manage submission and the review process of articles in conferences, and (ii) a system of sale of tour packages from a travel agency. The results obtained in the evaluations of both frameworks presented positive indications of efficiency and effectiveness in the detection and identification of failures in normative agents and efficiency in the generation of test cases.

Made available in DSpace on 2015-04-11T14:02:36Z (GMT). No. of bitstreams: 1 ricardo.pdf: 2499178 bytes, checksum: 722bfd9fd0d7c53ffddbc4cf6c42eeff (MD5) Previous issue date: 2010-06-01 / With the increasing availability of distance courses and educational software that support the teaching learning, the use of virtual learning environments has been gaining increasing attention from researchers in Artificial Intelligence and Computer Science in Education. This work proposes a distinct use of these environments, creating an educational software based on Multiagent Systems (MAS) to support teaching and learning process of agent oriented programming (AOP), ie, the main idea is to use agents who teach the program agents. Through this approach can guide the student through some areas of the learning process, initially by looking at the most relevant concepts and in the future, interacting more actively with the scenarios that compose the proposed environment. / Com a crescente oferta de cursos à distância e de softwares educacionais que apóiam o processo de ensino e aprendizagem, a utilização de ambientes virtuais de aprendizagem (AVA) vem ganhando cada vez mais atenção por parte dos pesquisadores das áreas de Inteligência Artificial e Informática na Educação. Este trabalho propõe uma utilização diferenciada destes ambientes, criando um software educacional baseado em Sistemas Multiagente (SMA) para apoiar o processo de ensino e aprendizagem da programação orientada a agentes (AOP), ou seja, a idéia principal consiste em utilizar agentes que ensinam a programar agentes. Através desta abordagem é possível guiar o aluno por algumas áreas do processo de aprendizado, inicialmente, observando os conceitos mais relevantes e, futuramente, interagindo de forma mais ativa com os cenários que compõem o ambiente proposto.

Made available in DSpace on 2016-08-17T14:52:48Z (GMT). No. of bitstreams: 1 alisson lindoso2.pdf: 6722921 bytes, checksum: 2f55fa8a7f109106c015f0307cb7582c (MD5) Previous issue date: 2006-03-10 / The increasing demand of software applications constructed conciliating productivity, low cost and high quality, even in complex and changeable domains, turns necessary the elaboration of techniques and methodologies focusing on development paradigms more suitable for approaching these conflicting features, like the multiagent one. On the other hand, the sotware reuse process promotes the creation of new applications employing reusable software artifacts previously developed. This work introduces MAAEM, an ontology-driven methodology for analysis, design and implementation of multi-agent applications through the reuse of models and components that represent the requirements of a family of applications in a domain as well as the corresponding agent-oriented solutions to these ones. ONTORMAS, an ontology whose instantiation is useful for modeling and representing specific applications developed with MAAEM methodology, is also presented. Two case studies elaborated in order to evaluate the methodology and ontology are also described, exploring the cases with and without reuse, respectively, in the touristic and juridical domains. / A crescente demanda por aplicações de software cuja construção concilie produtividade, baixo custo e alta qualidade, mesmo em domínios complexos e mutáveis, torna necessária a elaboração de técnicas e metodologias que foquem paradigmas de desenvolvimento mais adequados para abordar aquelas características conflitantes, tal como o paradigma multiagente. Por outro lado, o processo de reutilização de software permite promover a criação de novas aplicações empregando artefatos de software reutilizáveis previamente desenvolvidos. Esse trabalho introduz a MAAEM, uma metodologia baseada em ontologias para a análise, o projeto e a implementação de aplicações multiagente através do reuso de modelos e componentes que representam os requisitos de uma família de aplicações em um domínio, assim como as correspondentes soluções orientadas a agentes para tais requisitos. É também apresentada a ONTORMAS, uma ontologia cuja instanciação é útil para modelar e representar aplicações específicas desenvolvidas com a metodologia MAAEM. São descritos ainda dois estudos de caso elaborados no sentido de avaliar a metodologia e a ontologia, explorando os casos com e sem reuso, respectivamente, nos domínios turístico e jurídico.

Made available in DSpace on 2016-08-17T14:53:00Z (GMT). No. of bitstreams: 1 Mauro Henrique Jansen Pereira.pdf: 3085435 bytes, checksum: 85ddf745d88ff158bbf8aedd3fb5c0ae (MD5) Previous issue date: 2006-06-14 / The generative approach is one of the most productive ways to promote automatic reuse in software product lines, associated with Domain Engineering techniques and methodologies. The multi-agent paradigm aims to provide solutions to approach the growing complexity of software that should operate in non-predictable environments or exposed to fast changes. To obtain the benefits of automatic reuse in multi-agent system families, we need appropriate methods for the multi-agent paradigm, main study object of Multi-agent Domain Engineering. This work proposes GENMADEM, an ontology-based methodology for generative reuse in Multi-agent Domain Engineering whose main products are ontology-based domain models, Domain Specific Languages (DSLs) and application generators. It also contributes with ONTOGENMADEM, an ontology composed by an ontology and a plug-in to the ontology editor Protégé that supports the application of GENMADEM, aiding the analysis, design and implementation of DSLs. A case study that consists of the development of a DSL and a generator design for the domain of information filtering and retrieval is also presented with the goal of evaluation of the methodology. / A abordagem gerativa é um dos meios mais produtivos para promover o reuso automático em linhas de produção de software, aliado a técnicas e metodologias da Engenharia de Domínio. O paradigma multiagente visa fornecer soluções para abordar a crescente complexidade dos softwares que devem operar em ambientes não predizíveis ou sujeitos a mudanças rápidas. Para obtermos os benefícios do reuso automático em famílias de sistemas multiagente, precisamos de métodos adequados ao paradigma multiagente, que são objetos de estudo da Engenharia de Domínio Multiagente. Este trabalho propõe a GENMADEM, uma metodologia baseada em ontologias para o reuso gerativo na Engenharia de Domínio Multiagente cujos principais produtos são modelos de domínio baseados em ontologias, Linguagens Específicas de Domínio (LEDs) e geradores de aplicação. Ele também contribui com a ONTOGENMADEM, uma ferramenta composta por uma ontologia e um plugin para o editor de ontologias Protégé que suporta a aplicação da GENMADEM, auxiliando na análise, projeto e implementação de LEDS. Um estudo de caso que consiste no desenvolvimento de uma LED e projeto do gerador para o domínio da recuperação e filtragem de informação também é apresentado com o objetivo de avaliar a metodologia.

Made available in DSpace on 2016-08-17T14:53:06Z (GMT). No. of bitstreams: 1 UIRATAN ALVES DE SOUSA CAVALCANTE.pdf: 4868154 bytes, checksum: 71d6895bc849a94e0bac2dba2b713adf (MD5) Previous issue date: 2009-12-01 / The agent-oriented development paradigm has achieved a high maturity level over the last decade. However, integrated development environments supporting all phases of agent-oriented development are still missing. MADAE-Pro is a process for the development and reuse of family of multi-agent systems and integrates two complementary process. One is based on Domain Engineering concepts, aiming in creating artifacts of reusable software in the development of an application family in a particular domain problem, and the other is based on Application Engineering, which guides the construction of applications based on reusable software artifacts previously produced in the Domain Engineering process. The environment includes the ONTORMAS ontology and, through inference rules and semantic search over its instances, automates the modeling tasks of the MADAE-Pro process. These features allow for the developer productivity gains and for maintaining the consistence of the knowledge-base, ensuring the success of the reuse in future applications. / O paradigma de desenvolvimento orientado a agentes tem atingido um alto nível de maturidade na última década. Entretanto, ainda faltam ambientes integrados de desenvolvimento de software que suportem todas as fases do desenvolvimento orientado a agentes. MADAE-Pro é um processo para o desenvolvimento e reuso de famílias de sistemas multiagente e integra dois subprocessos complementares. Um é baseado nos conceitos da Engenharia de Domínio, isto é, visa construir artefatos reutilizáveis que representem uma família de aplicações e o outro, baseado na Engenharia de Aplicações, guia o desenvolvimento de uma aplicação específica reutilizando os produtos do primeiro subprocesso. Este trabalho propõe MADAEIDE, um ambiente integrado de desenvolvimento baseado no conhecimento que automatiza o processo desenvolvimento de software multiagente MADAE-Pro. O ambiente agrega a ontologia ONTORMAS e, através de regras de inferência e buscas semânticas diretamente sobre suas instâncias, automatiza as tarefas de modelagem do processo MADAE-Pro. Estas características levam a um ganho de produtividade por parte do desenvolvedor, além de manter uma base de conhecimento consistente, garantido o sucesso do reuso em futuras aplicações.

Submitted by Milton Saito (milton.saito@gvmail.br) on 2013-09-11T03:21:58Z No. of bitstreams: 1 dissertacao-MiltonSaito.pdf: 8406128 bytes, checksum: 2c7b006b9cca9d097d0ee1116e898ef2 (MD5) / Approved for entry into archive by Suzinei Teles Garcia Garcia (suzinei.garcia@fgv.br) on 2013-09-11T13:27:29Z (GMT) No. of bitstreams: 1 dissertacao-MiltonSaito.pdf: 8406128 bytes, checksum: 2c7b006b9cca9d097d0ee1116e898ef2 (MD5) / Made available in DSpace on 2013-09-11T13:28:23Z (GMT). No. of bitstreams: 1 dissertacao-MiltonSaito.pdf: 8406128 bytes, checksum: 2c7b006b9cca9d097d0ee1116e898ef2 (MD5) Previous issue date: 2013-08-14 / Essa dissertação tem como objetivo a modelagem, implementação e a simulação de um mercado de leilão duplo artificial utilizando a abordagem multiagente. Mercado de leilão duplo permite que ofertas de compra e de venda possam ser feitas a qualquer momento e de forma contínua. As bolsas de Nova Iorque (NYSE) e de Chicago (CME) são exemplos deste tipo de leilão. Mercados artificiais são modelos que têm o objetivo de capturar as propriedades dos mercados reais para reproduzir e analisar a dinâmica do mercado através de experimentos computacionais. Assim como no mercado real, o modelo propõe que os agentes interagem entre si assincronamente em sessões de negociações contínuos. Estas últimas características do modelo são viabilizadas através do uso de técnicas e arcabouços tecnológicos que são atualmente utilizados nos mercados reais. Neste trabalho, são investigados os comportamentos do mercado artificial para diferentes grupos de agentes e parâmetros. Ao longo dos experimentos foram constatados que o volume de negociação e a volatilidade dos preços, por exemplo, são diretamente proporcionais ao orçamento dos agentes. Também foram identificados alguns fatos estilizados nas séries de preços geradas a partir do mercado artificial. / The purpose of this work is to model, implement and simulate a double auction artificial market using a multi-agent approach. Double auction markets allow offers to buy and sell to be made at any time and in a continuous fashion. The New York Stock Exchange (NYSE) and the Chicago Mercantile Exchange (CME) are examples of exchanges that adopt this type of auction. Artificial markets are models that aim to capture the properties of real markets to reproduce and analyze the market dynamics through computational experiments. As in real markets, the model proposes that agents interact asynchronously in continuous trading sessions. These features are made possible by using modern techniques and technological frameworks currently used in real markets. In this work, we investigated the behavior of a artificial market using different groups of agents and parameters. Throughout the experiments it was identified that, for example, trading volume and price volatility are directly proportional to the agents' budget. Also, some stylized facts were identified on the price series generated by the artificial market

Tesis por compendio / [ES] Los seres humanos somos por naturaleza seres afectivos, las emociones, el estado de ánimo, nuestra personalidad, o nuestras relaciones con los demás guían nuestras motivaciones y nuestras decisiones. Una de las principales habilidades cognitivas relacionadas con el afecto es la empatía. La empatía es un constructo psicológico cuya definición ha ido evolucionando a lo largo de los años y cuyo significado hace referencia a un amplio abanico de competencias afectivas y cognitivas que son fundamentales en el desarrollo del ser humano como ser social. El uso de la empatía en el ámbito de la inteligencia artificial puede revolucionar la forma en la que interactuamos con las máquinas así como la forma en la que simulamos el comportamiento humano. Por otro lado, hay que tener en cuenta que los seres humanos habitualmente acudimos al uso de distintas palabras como ``triste'' o ``contento'' para expresar o verbalizar el estado afectivo. Sin embargo, estas palabras son simplificaciones que abarcan un amplio espectro de procesos cognitivos y estados mentales. Además, hay que considerar que estas palabras tienen una alta dependencia del idioma y la cultura en la que se utilizan. Por tanto, los modelos de representación computacional de los estados afectivos deben se capaces de adaptarse a distintos entornos culturales y de permitir que un agente exprese o represente, mediante palabras, un determinado estado afectivo. En esta tesis se propone un nuevo modelo de agente empático capaz de adaptar su comportamiento a distintos entornos culturales. Para ello, en primer lugar, se presenta una nueva metodología basada en la experimentación para adaptar un espacio de representación de emociones basado en las dimensiones del placer y la activación para la simulación y el reconocimiento computacional afectivo a diferentes entornos culturales. Los resultados del experimento realizado con hispanohablantes europeos se utilizan para proporcionar un nuevo modelo basado en la lógica difusa para representar estados afectivos en las dimensiones de placer y activación utilizando un enfoque de coordenadas polares. Para demostrar que las diferencias culturales afectan a los valores de placer y activación asociados a cada emoción, el experimento se repitió con participantes portugueses y suecos. En segundo lugar, se presenta un nuevo modelo de elicitación de emociones en agentes afectivos que utiliza lógica difusa. Las emociones generadas en el agente por las reglas de valoración difusa se expresan en el modelo de representación del afecto resultante de los experimentos previamente descritos. Además, se propone un nuevo proceso de regulación del afecto que adapta el estado de ánimo del agente, representado mediante un vector en el espacio placer-activación, cada vez que una emoción es elicitada. En tercer lugar, se propone una formalización de la sintaxis, la semántica y el ciclo de razonamiento de AgentSpeak para permitir el desarrollo de agentes afectivos con capacidades empáticas. Partiendo de las teorías de valoración empática y regulación empática, se modifica la estructura de razonamiento del agente para permitir que la empatía afecte al proceso de toma de decisiones. Finalmente, se presenta un modelo de agente pedagógico empático para la educación sobre buenas prácticas en el uso de las redes sociales. El agente es capaz de reconocer la emoción del usuario cuando interactúa con la red social. En base a la emoción del usuario y su comportamiento en la red social, el agente estima un plan para educar al usuario en el uso correcto y seguro de las redes sociales. / [CA] Els éssers humans som per naturalesa éssers afectius, les emocions, l'estat d'ànim, la nostra personalitat o les nostres relacions amb els altres guien les nostres motivacions i les nostres decisions. Una de les habilitats cognitives principals relacionades amb l'afecte és l'empatia. L'empatia és un constructe psicològic la definició del qual ha anat evolucionant al llarg dels anys i el significat del qual fa referència a un ampli ventall de competències afectives i cognitives que són fonamentals en el desenvolupament de l'ésser humà com a ésser social. L'ús de l'empatia en l'àmbit de la intel·ligència artificial pot revolucionar la forma en la qual interactuem amb les màquines així com la forma en què simulem el comportament humà. D'altra banda, cal tenir en compte que els éssers humans habitualment acudim a l'ús de diferents paraules com ``trist'' o ``content'' per expressar o verbalitzar l'estat afectiu. Tot i això, aquestes paraules són simplificacions que abasten un ampli espectre de processos cognitius i estats mentals. A més, cal considerar que aquestes paraules tenen una alta dependència de l'idioma i la cultura en què s'utilitzen. Per tant, els models de representació computacional dels estats afectius han de ser capaços d'adaptar-se a diferents entorns culturals i de permetre que un agent expresse o represente, mitjançant paraules, un estat afectiu determinat. En aquesta tesi es proposa un nou model d'agent empàtic capaç d'adaptar el seu comportament a diferents entorns culturals. Per això, en primer lloc, es presenta una metodologia nova basada en l'experimentació per adaptar un espai de representació d'emocions basat en les dimensions del plaer i l'activació per a la simulació i el reconeixement computacional afectiu a diferents entorns culturals. Els resultats de l'experiment realitzat amb hispanoparlants europeus es fan servir per proporcionar un nou model basat en la lògica difusa per representar estats afectius en les dimensions de plaer i activació mitjançant un enfocament de coordenades polars. Per demostrar que les diferències culturals afecten els valors de plaer i activació associats a cada emoció, l'experiment es va repetir amb participants portuguesos i suecs. En segon lloc, es presenta un nou model d'elicitació d'emocions en agents afectius que fa servir lògica difusa. Les emocions generades a l'agent per les regles de valoració difusa s'expressen en el model de representació de l'afecte resultant dels experiments descrits prèviament. A més, es proposa un nou procés de regulació de l'afecte que adapta l'estat d'ànim de l'agent, representat mitjançant un vector a l'espai plaer-activació, cada cop que una emoció és elicitada. En tercer lloc, es proposa una formalització de la sintaxi, semàntica i cicle de raonament d'AgentSpeak per permetre el desenvolupament d'agents afectius amb capacitats empàtiques. Partint de les teories de valoració empàtica i regulació empàtica, es modifica l'estructura de raonament de l'agent per permetre que l'empatia afecti el procés de presa de decisions. Finalment, es presenta un model d'agent pedagògic empàtic per a l'educació sobre bones pràctiques en l'ús de les xarxes socials. L'agent és capaç de reconèixer l'emoció de l'usuari quan interactua amb la xarxa social. En base a l'emoció de l'usuari i el seu comportament a la xarxa social, l'agent estima un pla per educar l'usuari en l'ús correcte i segur de les xarxes socials. / [EN] Human beings are, by nature, affective beings; our emotions, moods, personality, or relationships with others guide our motivations and our decisions. One of the main cognitive abilities related to affect is empathy. Empathy is a psychological construct whose definition has evolved over the years and whose meaning refers to a wide range of affective and cognitive competencies that are fundamental in the development of human beings as social beings. The use of empathy in the field of artificial intelligence can revolutionize the way we interact with machines as well as the way we simulate human behavior. On the other hand, it must be considered that human beings usually resort to the use of different words such as ``sad'' or ``happy'' to express or verbalize our affective state. However, these words are simplifications that cover a wide spectrum of cognitive processes and mental states. Moreover, it should be considered that these words have a high dependence on the language and culture in which they are used. Therefore, computational representation models of affective states must adaptable to different cultural environments and to allow an agent to express or represent, by means of words, a given affective state. In this thesis, a new model of empathic agent capable of adapting its behavior to different cultural environments is proposed. To this end, first, a new experiment-based methodology to adapt an emotion representation space based on the dimensions of pleasure and arousal for simulation and affective computational recognition to different cultural environments is presented. The results of an experiment conducted with European Spanish speakers are used to provide a new fuzzy logic-based model for representing affective states in the dimensions of pleasure and arousal using a polar coordinate approach. To prove that cultural differences affect the pleasure and arousal values associated with each emotion, the experiment was replicated with Portuguese and Swedish participants. Secondly, a new model of emotion elicitation in affective agents using fuzzy logic is presented. The emotions generated in the agent by the fuzzy appraisal rules are expressed in the model of affect representation resulting from the previously described experiments. In addition, a new affect regulation process is proposed to adapt the agent's mood, represented by a vector in the pleasure-arousal space, when an emotion is elicited. Third, a formalization of the syntax, semantics and reasoning cycle of AgentSpeak to enable the development of affective agents with empathic capabilities is presented. Drawing on the theories of empathic appraisal and empathic regulation, the agent's reasoning structure is modified to allow empathy to affect the decision-making process. Finally, a model of an empathic pedagogical agent for education on good practices in the use of social networks is introduced. The agent is able to recognize the user's emotion when interacting with the social network. Based on the user's emotion and behavior in the social network, the agent estimates a plan to educate the user in the correct and secure use of social networks. / This thesis has been partially supported by the Generalitat Valenciana and European Social Fund by the FPI grant ACIF/2017/085 and by the Spanish Government project PID2020- 113416RB-I00. / Taverner Aparicio, JJ. (2022). A BDI Empathic Agent Model Based on a Multidimensional Cross-Cultural Emotion Representation [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181181 / TESIS / Compendio

La gestió de xarxes és un camp molt ampli i inclou molts aspectes diferents. Aquesta tesi doctoral està centrada en la gestió dels recursos en les xarxes de banda ampla que disposin de mecanismes per fer reserves de recursos, com per exemple Asynchronous Transfer Mode (ATM) o Multi-Protocol Label Switching (MPLS). Es poden establir xarxes lògiques utilitzant els Virtual Paths (VP) d'ATM o els Label Switched Paths (LSP) de MPLS, als que anomenem genèricament camins lògics. Els usuaris de la xarxa utilitzen doncs aquests camins lògics, que poden tenir recursos assignats, per establir les seves comunicacions. A més, els camins lògics són molt flexibles i les seves característiques es poden canviar dinàmicament. Aquest treball, se centra, en particular, en la gestió dinàmica d'aquesta xarxa lògica per tal de maximitzar-ne el rendiment i adaptar-la a les connexions ofertes.En aquest escenari, hi ha diversos mecanismes que poden afectar i modificar les característiques dels camins lògics (ample de banda, ruta, etc.). Aquests mecanismes inclouen els de balanceig de la càrrega (reassignació d'ample de banda i reencaminament) i els de restauració de fallades (ús de camins lògics de backup). Aquests dos mecanismes poden modificar la xarxa lògica i gestionar els recursos (ample de banda) dels enllaços físics. Per tant, existeix la necessitat de coordinar aquests mecanismes per evitar possibles interferències. La gestió de recursos convencional que fa ús de la xarxa lògica, recalcula periòdicament (per exemple cada hora o cada dia) tota la xarxa lògica d'una forma centralitzada. Això introdueix el problema que els reajustaments de la xarxa lògica no es realitzen en el moment en què realment hi ha problemes. D'altra banda també introdueix la necessitat de mantenir una visió centralitzada de tota la xarxa. En aquesta tesi, es proposa una arquitectura distribuïda basada en un sistema multi agent. L'objectiu principal d'aquesta arquitectura és realitzar de forma conjunta i coordinada la gestió de recursos a nivell de xarxa lògica, integrant els mecanismes de reajustament d'ample de banda amb els mecanismes de restauració preplanejada, inclosa la gestió de l'ample de banda reservada per a la restauració. Es proposa que aquesta gestió es porti a terme d'una forma contínua, no periòdica, actuant quan es detecta el problema (quan un camí lògic està congestionat, o sigui, quan està rebutjant peticions de connexió dels usuaris perquè està saturat) i d'una forma completament distribuïda, o sigui, sense mantenir una visió global de la xarxa. Així doncs, l'arquitectura proposada realitza petits rearranjaments a la xarxa lògica adaptant-la d'una forma contínua a la demanda dels usuaris. L'arquitectura proposada també té en consideració altres objectius com l'escalabilitat, la modularitat, la robustesa, la flexibilitat i la simplicitat.El sistema multi agent proposat està estructurat en dues capes d'agents: els agents de monitorització (M) i els de rendiment (P). Aquests agents estan situats en els diferents nodes de la xarxa: hi ha un agent P i diversos agents M a cada node; aquests últims subordinats als P. Per tant l'arquitectura proposada es pot veure com una jerarquia d'agents. Cada agent és responsable de monitoritzar i controlar els recursos als que està assignat. S'han realitzat diferents experiments utilitzant un simulador distribuït a nivell de connexió proposat per nosaltres mateixos. Els resultats mostren que l'arquitectura proposada és capaç de realitzar les tasques assignades de detecció de la congestió, reassignació dinàmica d'ample de banda i reencaminament d'una forma coordinada amb els mecanismes de restauració preplanejada i gestió de l'ample de banda reservat per la restauració. L'arquitectura distribuïda ofereix una escalabilitat i robustesa acceptables gràcies a la seva flexibilitat i modularitat. / Network management is a wide field including many different topics. This thesis focuses on resource management of broadband networks that have the mechanisms for performing resource reservation, such as Asynchronous Transfer Mode (ATM) or Multi-Protocol Label Switching (MPLS). Logical networks can be established by using Virtual Paths (VP) in ATM or Label Switched Paths (LSP) in MPLS, which we call generically Logical Paths (LP). The network users then use these LPs, which can have pre-reserved resources, to establish their communications. Moreover, LPs are very flexible and their characteristics can be dynamically changed. This work focuses, in particular, on the dynamic management of these logical paths in order to maximise the network performance by adapting the logical network to the offered connections.In this scenario, there are several mechanisms that can affect and modify certain features of the LPs (bandwidth, route, etc.). They include load balancing mechanisms (bandwidth reallocation and re-routing) and fault restoration (utilisation of backup LPs). These two mechanisms can modify the logical network and manage the resources (bandwidth) of the physical links. Therefore, due to possible interferences, there is a need to co-ordinate these mechanisms. Conventional resource management, using a logical network, performs a centralised recalculation of the whole logical network periodically (e.g. every hour / day). This brings the problem that the logical network readjustments do not happen when a problem occurs. Moreover, there is a need of maintaining a centralised network overview. In this thesis, a distributed architecture, based on a Multi-Agent System (MAS), is proposed. The main objective of this architecture is to perform joint resource management at a logical network level, integrating the bandwidth reallocation and LP re-routing with pre-planned restoration and spare bandwidth management. This is performed continuously, not periodically, when a problem is detected (an LP is congested, i.e. it is rejecting new user connections because it is already saturated with user connections) in a completely distributed way, i.e. without any central network overview. Therefore, the proposed architecture performs small rearrangements in the logical network and thus it is continuously being adapted to the user demands. The proposed architecture also considers other objectives, such as scalability, modularity, robustness, simplicity and flexibility. The proposed MAS is structured in two layers of agents: The network Monitoring (M) agents and the Performance (P) agents. All these agents are situated at different network nodes, where the computing facilities are. There is one P agent and several M agents on every node. The M agents are subordinated to the P agents, therefore the proposed architecture can be seen as a hierarchy of agents. Each agent is responsible for monitoring and controlling the resources they are assigned to. We have performed several experiments, using a connection level distributed simulator of our own design. The results show that our architecture is capable of performing the assigned tasks of detecting congestion, dynamic bandwidth reallocation and re-routing in a co-ordinated way with the pre-planned restoration and the spare capacity management. The distributed architecture offers a suitable scalability and robustness due to its flexibility and modularity.

In the last decades, significant theoretical advances have been made on the field of distributed mulit-agent control theory. One of the most common systems that can be modelled as multi-agent systems are the so called formation control problems, in which a network of mobile agents is controlled to move towards a desired final formation. These problems additionally pose practical challenges, namely limited access to information about the global state of the system, which justify the use distributed and localized approaches for solving the control problem. The problem is further complicated if partial or no information is known about the dynamic model of the system. A widely used fundamental challenge of this approach in this setting is that the state-action space size scales exponentially with the number of agents, rendering the problem intractable for a large networks. This thesis presents a scalable and localized reinforcement learning approach to a traditional multi-agent formation control problem, with collision avoidance. A scalable reinforcement learning advantage actor critic algorithm is presented, based on previous work in the literature. Sub-optimal bounds are calculated for the accumulated reward and policy gradient localized approximations. The algorithm is tested on a two dimensional setting, with a network of mobile agents following simple integrator dynamics and stochastic localized policies. Neural networks are used to approximate the continuous value functions and policies. The formation control with collisions avoidance formulation and the algorithm presented show good scalability properties, with a polynomial increase in the number of function approximations parameters with number of agents. The reduced number of parameters decreases learning time for bigger networks, although the efficiency of computation is decreased compared to state of the art machine learning implementations. The policies obtained achieve probably safe trajectories although the lack of dynamic model makes it impossible to guarantee safety. / Under de senaste decennierna har betydande framsteg gjorts inom området för distribuerad mulit-agent reglerteori. Ett av de vanligaste systemen som kan modelleras som multiagentsystem är de så kallade formationskontrollproblemen, där ett nätverk av mobila agenter styrs för att röra sig mot en önskad slutlig formation. om systemets globala tillstånd, vilket motiverar användningen av distribuerade och lokaliserade tillvägagångssätt för att lösa det reglertekniska problemet. Problemet kompliceras ytterligare om delvis eller ingen information är känd om systemets dynamiska modell. Ett allmänt använt tillvägagångssätt för modellfri kontroll är reinforcement learning (RL). En grundläggande utmaning med detta tillvägagångssätt i den här miljön är att storleken på state-action utrymmet skalas exponentiellt med antalet agenter, vilket gör problemet svårlöst för ett stort nätverk. Detta examensarbete presenterar en skalbar och lokaliserad reinforcement learning metod på ett traditionellt reglertekniskt problem med flera agenter, med kollisionsundvikande. En reinforcement learning advantage actor critic algoritm presenteras, baserad på tidigare arbete i litteraturen. Suboptimala gränser beräknas för den ackumulerade belönings- och policygradientens lokaliserade approximationer. Algoritmen testas i en tvådimensionell miljö, med ett nätverk av mobila agenter som följer enkel integratordynamik och stokastiska lokaliserade policyer. Neurala nätverk används för att approximera de kontinuerliga värdefunktionerna och policyerna. Den presenterade formationsstyrningen med kollisionsundvikande formulering och algoritmen visar goda skalbarhetsegenskaper, med en polynomisk ökning av antalet funktionsapproximationsparametrar med antalet agenter. Det minskade antalet parametrar minskar inlärningstiden för större nätverk, även om effektiviteten i beräkningen minskar jämfört med avancerade maskininlärningsimplementeringar. De erhållna policyerna uppnår troligen säkra banor även om avsaknaden av dynamisk modell gör det omöjligt att garantera säkerheten. / En las últimas décadas, se han realizado importantes avances teóricos en el campo de la teoría del control multiagente distribuido. Uno de los sistemas más comunes que se pueden modelar como sistemas multiagente son los llamados problemas de control de formación, en los que se controla una red de agentes móviles para alcanzar una formación final deseada. Estos problemas plantean desafíos prácticos como el acceso limitado a la información del estado global del sistema, que justifican el uso de algoritmos distribuidos y locales para resolver el problema de control. El problema se complica aún más si solo se conoce información parcial o nada sobre el modelo dinámico del sistema. Un enfoque ampliamente utilizado para el control sin conocimiento del modelo dinámico es el reinforcement learning (RL). Un desafío fundamental de este método en este entorno es que el tamaño de la acción y el estado aumenta exponencialmente con la cantidad de agentes, lo que hace que el problema sea intratable para una red grande. Esta tesis presenta un algoritmo de RL escalable y local para un problema tradicional de control de formación con múltiples agentes, con prevención de colisiones. Se presenta un algoritmo “advantage actor-”critic, basado en trabajos previos en la literatura. Los límites subóptimos se calculan para las aproximaciones locales de la función Q y gradiente de la política. El algoritmo se prueba en un entorno bidimensional, con una red de agentes móviles que siguen una dinámica de integrador simple y políticas estocásticas localizadas. Redes neuronales se utilizan para aproximar las funciones y políticas de valor continuo. La formulación de del problema de formación con prevención de colisiones y el algoritmo presentado muestran buenas propiedades de escalabilidad, con un aumento polinómico en el número de parámetros con el número de agentes. El número reducido de parámetros disminuye el tiempo de aprendizaje para redes más grandes, aunque la eficiencia de la computación disminuye en comparación con las implementaciones de ML de última generación. Las politicas obtenidas alcanzan trayectorias probablemente seguras, aunque la falta de un modelo dinámico hace imposible garantizar la completa prevención de colisiones. / A les darreres dècades, s'han realitzat importants avenços teòrics en el camp de la teoria del control multiagent distribuït. Un dels sistemes més comuns que es poden modelar com a sistemes multiagent són els anomenats problemes de control de formació, en els què es controla una xarxa d'agents mòbils per assolir una formació final desitjada. Aquests problemes plantegen reptes pràctics com l'accés limitat a la informació de l'estat global del sistema, que justifiquen l'ús d'algorismes distribuïts i locals per resoldre el problema de control. El problema es complica encara més si només es coneix informació parcial sobre el model dinàmic del sistema. Un mètode àmpliament utilitzat per al control sense coneixement del model dinàmic és el reinforcement learning (RL). Un repte fonamental d'aquest mètode en aquest entorn és que la mida de l'acció i l'estat augmenta exponencialment amb la quantitat d'agents, cosa que fa que el problema sigui intractable per a una xarxa gran. Aquesta tesi presenta un algorisme de RL escalable i local per a un problema tradicional de control de formació amb múltiples agents, amb prevenció de col·lisions. Es presenta un algorisme “advantage actor-”critic, basat en treballs previs a la literatura. Els límits subòptims es calculen per a les aproximacions locals de la funció Q i gradient de la política.’ Lalgoritme es prova en un entorn bidimensional, amb una xarxa ’dagents mòbils que segueixen una dinàmica ’dintegrador simple i polítiques estocàstiques localitzades. Xarxes neuronals s'utilitzen per aproximar les funcions i les polítiques de valor continu. La formulació del problema de formació amb prevenció de col·lisions i l'algorisme presentat mostren bones propietats d'escalabilitat, amb un augment polinòmic en el nombre de paràmetres amb el nombre d'agents. El nombre reduït de paràmetres disminueix el temps d'aprenentatge per a les xarxes més grans, encara que l'eficiència de la computació disminueix en comparació amb les implementacions de ML d'última generació. Les polítiques obtingudes aconsegueixen trajectòries probablement segures, tot i que la manca d'un model dinàmic fa impossible garantir la prevenció completa de col·lisions.