Made available in DSpace on 2016-08-17T14:53:00Z (GMT). No. of bitstreams: 1 Mauro Henrique Jansen Pereira.pdf: 3085435 bytes, checksum: 85ddf745d88ff158bbf8aedd3fb5c0ae (MD5) Previous issue date: 2006-06-14 / The generative approach is one of the most productive ways to promote automatic reuse in software product lines, associated with Domain Engineering techniques and methodologies. The multi-agent paradigm aims to provide solutions to approach the growing complexity of software that should operate in non-predictable environments or exposed to fast changes. To obtain the benefits of automatic reuse in multi-agent system families, we need appropriate methods for the multi-agent paradigm, main study object of Multi-agent Domain Engineering. This work proposes GENMADEM, an ontology-based methodology for generative reuse in Multi-agent Domain Engineering whose main products are ontology-based domain models, Domain Specific Languages (DSLs) and application generators. It also contributes with ONTOGENMADEM, an ontology composed by an ontology and a plug-in to the ontology editor Protégé that supports the application of GENMADEM, aiding the analysis, design and implementation of DSLs. A case study that consists of the development of a DSL and a generator design for the domain of information filtering and retrieval is also presented with the goal of evaluation of the methodology. / A abordagem gerativa é um dos meios mais produtivos para promover o reuso automático em linhas de produção de software, aliado a técnicas e metodologias da Engenharia de Domínio. O paradigma multiagente visa fornecer soluções para abordar a crescente complexidade dos softwares que devem operar em ambientes não predizíveis ou sujeitos a mudanças rápidas. Para obtermos os benefícios do reuso automático em famílias de sistemas multiagente, precisamos de métodos adequados ao paradigma multiagente, que são objetos de estudo da Engenharia de Domínio Multiagente. Este trabalho propõe a GENMADEM, uma metodologia baseada em ontologias para o reuso gerativo na Engenharia de Domínio Multiagente cujos principais produtos são modelos de domínio baseados em ontologias, Linguagens Específicas de Domínio (LEDs) e geradores de aplicação. Ele também contribui com a ONTOGENMADEM, uma ferramenta composta por uma ontologia e um plugin para o editor de ontologias Protégé que suporta a aplicação da GENMADEM, auxiliando na análise, projeto e implementação de LEDS. Um estudo de caso que consiste no desenvolvimento de uma LED e projeto do gerador para o domínio da recuperação e filtragem de informação também é apresentado com o objetivo de avaliar a metodologia.

Made available in DSpace on 2016-08-17T14:53:06Z (GMT). No. of bitstreams: 1 UIRATAN ALVES DE SOUSA CAVALCANTE.pdf: 4868154 bytes, checksum: 71d6895bc849a94e0bac2dba2b713adf (MD5) Previous issue date: 2009-12-01 / The agent-oriented development paradigm has achieved a high maturity level over the last decade. However, integrated development environments supporting all phases of agent-oriented development are still missing. MADAE-Pro is a process for the development and reuse of family of multi-agent systems and integrates two complementary process. One is based on Domain Engineering concepts, aiming in creating artifacts of reusable software in the development of an application family in a particular domain problem, and the other is based on Application Engineering, which guides the construction of applications based on reusable software artifacts previously produced in the Domain Engineering process. The environment includes the ONTORMAS ontology and, through inference rules and semantic search over its instances, automates the modeling tasks of the MADAE-Pro process. These features allow for the developer productivity gains and for maintaining the consistence of the knowledge-base, ensuring the success of the reuse in future applications. / O paradigma de desenvolvimento orientado a agentes tem atingido um alto nível de maturidade na última década. Entretanto, ainda faltam ambientes integrados de desenvolvimento de software que suportem todas as fases do desenvolvimento orientado a agentes. MADAE-Pro é um processo para o desenvolvimento e reuso de famílias de sistemas multiagente e integra dois subprocessos complementares. Um é baseado nos conceitos da Engenharia de Domínio, isto é, visa construir artefatos reutilizáveis que representem uma família de aplicações e o outro, baseado na Engenharia de Aplicações, guia o desenvolvimento de uma aplicação específica reutilizando os produtos do primeiro subprocesso. Este trabalho propõe MADAEIDE, um ambiente integrado de desenvolvimento baseado no conhecimento que automatiza o processo desenvolvimento de software multiagente MADAE-Pro. O ambiente agrega a ontologia ONTORMAS e, através de regras de inferência e buscas semânticas diretamente sobre suas instâncias, automatiza as tarefas de modelagem do processo MADAE-Pro. Estas características levam a um ganho de produtividade por parte do desenvolvedor, além de manter uma base de conhecimento consistente, garantido o sucesso do reuso em futuras aplicações.

Made available in DSpace on 2016-08-17T14:53:16Z (GMT). No. of bitstreams: 1 Mauro Lopes.pdf: 3194169 bytes, checksum: 5496ba534a60c6689d7701eda431ad46 (MD5) Previous issue date: 2006-12-01 / In the current state of the Internet, information security presents a permanent concern. In many cases, information security is vital a maintenance and continuity of the businesses. The organizations have used the Internet as one of the main points for rendering of services for other organizations as well as for their final users. We can cite some organizations such as Banks, Institutions of Education, Administrators of Credit cards and the Federal Government. The use of Security policies associated with a set of tools such as Firewall, Antivirus and IDS (Intrusion Detection System) have helped organizations to achieve some security and thus allowing the continuity of the businesses. On the other extremity of the rendering of services for organizations we have the final users. The necessity for effectiveness in computational security to the final users has increased in function of the considerable growth on the occurrence of attacks to this type of user. This problem creates a niche for the research in security directed to the final user. This work is motivated by the above problem. Our work consists of a proposal of a model and an implementation of a Remote IDS (Intrusion Detection System) using the technology of Multi-agent Systems, Web Services and MDA (Model-Driven Architecture). This model adapts and extends the NIDIA (Network Intrusion Detection System based on Intelligent Agents) to provide a remote IDS on the Internet. The purpose is that users that do not have a local IDS can use the services provided by a remote IDS (e.g. NIDIA). NIDIA is an IDS whose architecture consists of a set of cooperative agents. The Remote IDS functionalities are provided as a set of accessible services on the Internet through Web Services. The architecture of our IDS uses MDA to support metadata management such as profiles of configurations, profiles of users and profiles of services. The prototype of the proposed model and the tests demonstrate the viability of our solution. An illustrative example of the execution of the Remote IDS is presented. / No atual contexto da Internet, a segurança da informação constitui-se uma preocupação permanente. Em muitos casos, a segurança da informação é vital para a manutenção e continuidade dos negócios. As organizações têm usado a Internet como um dos principais pontos para a prestação de serviços para outras organizações assim como para seus usuários finais. Podemos citar algumas organizações como Bancos, Instituições de Ensino, Administradoras de Cartões de Crédito e o Governo Federal. O uso de Políticas de Segurança associado ao uso de um conjunto de ferramentas, como Firewall, Antivírus e IDS (Intrusion Detection System) tem apoiado as organizações no objetivo de manter a segurança e desta forma a continuidade dos negócios. Na outra extremidade da prestação de serviços pelas organizações temos os usuários finais. A necessidade por eficácia em segurança computacional aos usuários finais tem aumentado em função do crescimento considerável na ocorrência de ataques a este tipo de usuário. Este problema cria um nicho para a pesquisa em segurança voltada ao usuário final. Esta dissertação tem por motivação esse cenário, consistindo na proposta do modelo e a implementação de um IDS Remoto usando a tecnologia de Sistemas Multiagentes, Web services e MDA (Model-Driven Architecture). O modelo adapta e extende o NIDIA (Network Intrusion Detection System based on Intelligent Agents) para prover um IDS remoto na Internet. A proposta é que usuários que não têm um IDS local possam usar os serviços providos por nosso IDS Remoto. O NIDIA é um IDS cuja arquitetura consiste em um conjunto de agentes cooperativos. As funcionalidades do IDS Remoto são providas como um conjunto de serviços acessíveis na Internet através de Web services. O nosso modelo de IDS usa MDA para suportar o gerenciamento de metadados tais como profiles de configuração, profiles de usuários e profiles de serviços. A implementação do protótipo do modelo proposto e os testes realizados demonstram a viabilidade da solução. Desta forma, um exemplo ilustrativo do funcionamento do IDS Remoto é apresentado.

Submitted by Milton Saito (milton.saito@gvmail.br) on 2013-09-11T03:21:58Z No. of bitstreams: 1 dissertacao-MiltonSaito.pdf: 8406128 bytes, checksum: 2c7b006b9cca9d097d0ee1116e898ef2 (MD5) / Approved for entry into archive by Suzinei Teles Garcia Garcia (suzinei.garcia@fgv.br) on 2013-09-11T13:27:29Z (GMT) No. of bitstreams: 1 dissertacao-MiltonSaito.pdf: 8406128 bytes, checksum: 2c7b006b9cca9d097d0ee1116e898ef2 (MD5) / Made available in DSpace on 2013-09-11T13:28:23Z (GMT). No. of bitstreams: 1 dissertacao-MiltonSaito.pdf: 8406128 bytes, checksum: 2c7b006b9cca9d097d0ee1116e898ef2 (MD5) Previous issue date: 2013-08-14 / Essa dissertação tem como objetivo a modelagem, implementação e a simulação de um mercado de leilão duplo artificial utilizando a abordagem multiagente. Mercado de leilão duplo permite que ofertas de compra e de venda possam ser feitas a qualquer momento e de forma contínua. As bolsas de Nova Iorque (NYSE) e de Chicago (CME) são exemplos deste tipo de leilão. Mercados artificiais são modelos que têm o objetivo de capturar as propriedades dos mercados reais para reproduzir e analisar a dinâmica do mercado através de experimentos computacionais. Assim como no mercado real, o modelo propõe que os agentes interagem entre si assincronamente em sessões de negociações contínuos. Estas últimas características do modelo são viabilizadas através do uso de técnicas e arcabouços tecnológicos que são atualmente utilizados nos mercados reais. Neste trabalho, são investigados os comportamentos do mercado artificial para diferentes grupos de agentes e parâmetros. Ao longo dos experimentos foram constatados que o volume de negociação e a volatilidade dos preços, por exemplo, são diretamente proporcionais ao orçamento dos agentes. Também foram identificados alguns fatos estilizados nas séries de preços geradas a partir do mercado artificial. / The purpose of this work is to model, implement and simulate a double auction artificial market using a multi-agent approach. Double auction markets allow offers to buy and sell to be made at any time and in a continuous fashion. The New York Stock Exchange (NYSE) and the Chicago Mercantile Exchange (CME) are examples of exchanges that adopt this type of auction. Artificial markets are models that aim to capture the properties of real markets to reproduce and analyze the market dynamics through computational experiments. As in real markets, the model proposes that agents interact asynchronously in continuous trading sessions. These features are made possible by using modern techniques and technological frameworks currently used in real markets. In this work, we investigated the behavior of a artificial market using different groups of agents and parameters. Throughout the experiments it was identified that, for example, trading volume and price volatility are directly proportional to the agents' budget. Also, some stylized facts were identified on the price series generated by the artificial market

Tesis por compendio / [ES] Los seres humanos somos por naturaleza seres afectivos, las emociones, el estado de ánimo, nuestra personalidad, o nuestras relaciones con los demás guían nuestras motivaciones y nuestras decisiones. Una de las principales habilidades cognitivas relacionadas con el afecto es la empatía. La empatía es un constructo psicológico cuya definición ha ido evolucionando a lo largo de los años y cuyo significado hace referencia a un amplio abanico de competencias afectivas y cognitivas que son fundamentales en el desarrollo del ser humano como ser social. El uso de la empatía en el ámbito de la inteligencia artificial puede revolucionar la forma en la que interactuamos con las máquinas así como la forma en la que simulamos el comportamiento humano. Por otro lado, hay que tener en cuenta que los seres humanos habitualmente acudimos al uso de distintas palabras como ``triste'' o ``contento'' para expresar o verbalizar el estado afectivo. Sin embargo, estas palabras son simplificaciones que abarcan un amplio espectro de procesos cognitivos y estados mentales. Además, hay que considerar que estas palabras tienen una alta dependencia del idioma y la cultura en la que se utilizan. Por tanto, los modelos de representación computacional de los estados afectivos deben se capaces de adaptarse a distintos entornos culturales y de permitir que un agente exprese o represente, mediante palabras, un determinado estado afectivo. En esta tesis se propone un nuevo modelo de agente empático capaz de adaptar su comportamiento a distintos entornos culturales. Para ello, en primer lugar, se presenta una nueva metodología basada en la experimentación para adaptar un espacio de representación de emociones basado en las dimensiones del placer y la activación para la simulación y el reconocimiento computacional afectivo a diferentes entornos culturales. Los resultados del experimento realizado con hispanohablantes europeos se utilizan para proporcionar un nuevo modelo basado en la lógica difusa para representar estados afectivos en las dimensiones de placer y activación utilizando un enfoque de coordenadas polares. Para demostrar que las diferencias culturales afectan a los valores de placer y activación asociados a cada emoción, el experimento se repitió con participantes portugueses y suecos. En segundo lugar, se presenta un nuevo modelo de elicitación de emociones en agentes afectivos que utiliza lógica difusa. Las emociones generadas en el agente por las reglas de valoración difusa se expresan en el modelo de representación del afecto resultante de los experimentos previamente descritos. Además, se propone un nuevo proceso de regulación del afecto que adapta el estado de ánimo del agente, representado mediante un vector en el espacio placer-activación, cada vez que una emoción es elicitada. En tercer lugar, se propone una formalización de la sintaxis, la semántica y el ciclo de razonamiento de AgentSpeak para permitir el desarrollo de agentes afectivos con capacidades empáticas. Partiendo de las teorías de valoración empática y regulación empática, se modifica la estructura de razonamiento del agente para permitir que la empatía afecte al proceso de toma de decisiones. Finalmente, se presenta un modelo de agente pedagógico empático para la educación sobre buenas prácticas en el uso de las redes sociales. El agente es capaz de reconocer la emoción del usuario cuando interactúa con la red social. En base a la emoción del usuario y su comportamiento en la red social, el agente estima un plan para educar al usuario en el uso correcto y seguro de las redes sociales. / [CA] Els éssers humans som per naturalesa éssers afectius, les emocions, l'estat d'ànim, la nostra personalitat o les nostres relacions amb els altres guien les nostres motivacions i les nostres decisions. Una de les habilitats cognitives principals relacionades amb l'afecte és l'empatia. L'empatia és un constructe psicològic la definició del qual ha anat evolucionant al llarg dels anys i el significat del qual fa referència a un ampli ventall de competències afectives i cognitives que són fonamentals en el desenvolupament de l'ésser humà com a ésser social. L'ús de l'empatia en l'àmbit de la intel·ligència artificial pot revolucionar la forma en la qual interactuem amb les màquines així com la forma en què simulem el comportament humà. D'altra banda, cal tenir en compte que els éssers humans habitualment acudim a l'ús de diferents paraules com ``trist'' o ``content'' per expressar o verbalitzar l'estat afectiu. Tot i això, aquestes paraules són simplificacions que abasten un ampli espectre de processos cognitius i estats mentals. A més, cal considerar que aquestes paraules tenen una alta dependència de l'idioma i la cultura en què s'utilitzen. Per tant, els models de representació computacional dels estats afectius han de ser capaços d'adaptar-se a diferents entorns culturals i de permetre que un agent expresse o represente, mitjançant paraules, un estat afectiu determinat. En aquesta tesi es proposa un nou model d'agent empàtic capaç d'adaptar el seu comportament a diferents entorns culturals. Per això, en primer lloc, es presenta una metodologia nova basada en l'experimentació per adaptar un espai de representació d'emocions basat en les dimensions del plaer i l'activació per a la simulació i el reconeixement computacional afectiu a diferents entorns culturals. Els resultats de l'experiment realitzat amb hispanoparlants europeus es fan servir per proporcionar un nou model basat en la lògica difusa per representar estats afectius en les dimensions de plaer i activació mitjançant un enfocament de coordenades polars. Per demostrar que les diferències culturals afecten els valors de plaer i activació associats a cada emoció, l'experiment es va repetir amb participants portuguesos i suecs. En segon lloc, es presenta un nou model d'elicitació d'emocions en agents afectius que fa servir lògica difusa. Les emocions generades a l'agent per les regles de valoració difusa s'expressen en el model de representació de l'afecte resultant dels experiments descrits prèviament. A més, es proposa un nou procés de regulació de l'afecte que adapta l'estat d'ànim de l'agent, representat mitjançant un vector a l'espai plaer-activació, cada cop que una emoció és elicitada. En tercer lloc, es proposa una formalització de la sintaxi, semàntica i cicle de raonament d'AgentSpeak per permetre el desenvolupament d'agents afectius amb capacitats empàtiques. Partint de les teories de valoració empàtica i regulació empàtica, es modifica l'estructura de raonament de l'agent per permetre que l'empatia afecti el procés de presa de decisions. Finalment, es presenta un model d'agent pedagògic empàtic per a l'educació sobre bones pràctiques en l'ús de les xarxes socials. L'agent és capaç de reconèixer l'emoció de l'usuari quan interactua amb la xarxa social. En base a l'emoció de l'usuari i el seu comportament a la xarxa social, l'agent estima un pla per educar l'usuari en l'ús correcte i segur de les xarxes socials. / [EN] Human beings are, by nature, affective beings; our emotions, moods, personality, or relationships with others guide our motivations and our decisions. One of the main cognitive abilities related to affect is empathy. Empathy is a psychological construct whose definition has evolved over the years and whose meaning refers to a wide range of affective and cognitive competencies that are fundamental in the development of human beings as social beings. The use of empathy in the field of artificial intelligence can revolutionize the way we interact with machines as well as the way we simulate human behavior. On the other hand, it must be considered that human beings usually resort to the use of different words such as ``sad'' or ``happy'' to express or verbalize our affective state. However, these words are simplifications that cover a wide spectrum of cognitive processes and mental states. Moreover, it should be considered that these words have a high dependence on the language and culture in which they are used. Therefore, computational representation models of affective states must adaptable to different cultural environments and to allow an agent to express or represent, by means of words, a given affective state. In this thesis, a new model of empathic agent capable of adapting its behavior to different cultural environments is proposed. To this end, first, a new experiment-based methodology to adapt an emotion representation space based on the dimensions of pleasure and arousal for simulation and affective computational recognition to different cultural environments is presented. The results of an experiment conducted with European Spanish speakers are used to provide a new fuzzy logic-based model for representing affective states in the dimensions of pleasure and arousal using a polar coordinate approach. To prove that cultural differences affect the pleasure and arousal values associated with each emotion, the experiment was replicated with Portuguese and Swedish participants. Secondly, a new model of emotion elicitation in affective agents using fuzzy logic is presented. The emotions generated in the agent by the fuzzy appraisal rules are expressed in the model of affect representation resulting from the previously described experiments. In addition, a new affect regulation process is proposed to adapt the agent's mood, represented by a vector in the pleasure-arousal space, when an emotion is elicited. Third, a formalization of the syntax, semantics and reasoning cycle of AgentSpeak to enable the development of affective agents with empathic capabilities is presented. Drawing on the theories of empathic appraisal and empathic regulation, the agent's reasoning structure is modified to allow empathy to affect the decision-making process. Finally, a model of an empathic pedagogical agent for education on good practices in the use of social networks is introduced. The agent is able to recognize the user's emotion when interacting with the social network. Based on the user's emotion and behavior in the social network, the agent estimates a plan to educate the user in the correct and secure use of social networks. / This thesis has been partially supported by the Generalitat Valenciana and European Social Fund by the FPI grant ACIF/2017/085 and by the Spanish Government project PID2020- 113416RB-I00. / Taverner Aparicio, JJ. (2022). A BDI Empathic Agent Model Based on a Multidimensional Cross-Cultural Emotion Representation [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181181 / TESIS / Compendio

[pt] Determinar a proveniência dos dados, isto é, o processo que levou a esses dados, é vital em muitas áreas, especialmente quando é essencial que os resultados ou ações sejam confiáveis. Com o crescente número de aplicações baseadas em inteligência artificial, criou-se a necessidade de torná-las capazes de explicar seu comportamento e responder às suas decisões. Isso é um desafio, especialmente se as aplicações forem distribuídas e compostas de vários agentes autônomos, formando um Sistema Multiagente (SMA). Uma maneira fundamental de tornar tais sistemas explicáveis é rastrear o comportamento do agente, isto é, registrar a origem de suas ações e raciocínios, como em uma depuração onisciente. Embora a ideia de proveniência já tenha sido explorada em alguns contextos, ela não foi extensivamente explorada no contexto de SMA, deixando muitas questões para serem compreendidas e abordadas. Nosso objetivo neste trabalho é justificar a importância da proveniência dos dados para SMA, discutindo quais perguntas podem ser respondidas em relação ao comportamento do SMA, utilizando a proveniência e ilustrando, através de cenários de aplicação, os benefícios que a proveniência proporciona para responder a essas questões. Este estudo envolve a criação de um framework de software, chamado FProvW3C, que suporta a coleta e armazenamento da proveniência dos dados produzidos pelo SMA, que foi integrado a plataforma BDI4JADE (41), formando o que denominamos de Prov-BDI4JADE. Por meio desta plataforma, utilizando exemplos de sistemas autônomos, demostramos com rigor que, o uso da proveniência de dados em SMA é uma solução sólida, para tornar transparente o processo de raciocínio e ação do agente. / [en] Determining the data provenance, that is, the process that led to those data, is vital in many areas, especially when it is essential that the results or actions be reliable. With the increasing number of applications based on artificial intelligence, the need has been created to make them capable of explaining their behavior and be responsive to their decisions. This is a challenge especially if the applications are distributed, and composed of multiple autonomous agents, forming a Multiagent System (MAS). A key way of making such systems explicable is to track the agent s behavior, that is, to record the source of their actions and reasoning, as in an omniscient debugging. Although the idea of provenance has already been explored in some contexts, it has not been extensively explored in the context of MAS, leaving many questions to be understood and addressed. Our objective in this work is to justify the importance of the data provenance to MAS, discussing which questions can be answered regarding the behavior of MAS using the provenance and illustrating, through application scenarios, to demonstrate the benefits that provenance provides to reply to these questions. This study involves the creation of a software framework, called FProvW3C, which supports the collects and stores the provenance of the data produced by the MAS, which was integrated with the platform BDI4JADE (41), forming what we call Prov-BDI4JADE. Through this platform, using examples of autonomous systems, we have rigorously demonstrated that the use of data provenance in MAS is a solid solution to make the agent’s reasoning and action process transparent.

[ES] Recientemente, hay una fuerte y creciente influencia de aplicaciones en línea en nuestro día a día. Más concretamente las redes sociales se cuentan entre las plataformas en línea más usadas, que permiten a usuarios comunicarse e interactuar desde diferentes partes del mundo todos los días. Dado que estas interacciones conllevan diferentes riesgos, y además los adolescentes tienen características que los hacen más vulnerables a ciertos riesgos, es deseable que el sistema pueda guiar a los usuarios cuando se encuentren interactuando en línea, para intentar mitigar la probabilidad de que caigan en uno de estos riesgos. Esto conduce a una experiencia en línea más segura y satisfactoria para usuarios de este tipo de plataformas. El interés en aplicaciones de inteligencia artificial capaces de realizar análisis de sentimientos ha crecido recientemente. Los usos de la detección automática de sentimiento de usuarios en plataformas en línea son variados y útiles. Se pueden usar polaridades de sentimiento para realizar minería de opiniones en personas o productos, y así descubrir las inclinaciones y opiniones de usuarios acerca de ciertos productos (o ciertas características de ellos), para ayudar en campañas de marketing, y también opiniones acerca de personas como políticos, para descubrir la intención de voto en un periodo electoral, por ejemplo. En esta tesis, se presenta un Sistema Multi-Agente (SMA), el cual integra agentes que realizan diferentes análisis de sentimientos y de estrés usando texto y dinámicas de escritura (usando análisis unimodal y multimodal), y utiliza la respuesta de los analizadores para generar retroalimentación para los usuarios y potencialmente evitar que caigan en riesgos y difundan comentarios en plataformas sociales en línea que pudieran difundir polaridades de sentimiento negativas o niveles altos de estrés. El SMA implementa un análisis en paralelo de diferentes tipos de datos y generación de retroalimentación a través del uso de dos mecanismos diferentes. El primer mecanismo se trata de un agente que realiza generación de retroalimentación y guiado de usuarios basándose en un conjunto de reglas y la salida de los analizadores. El segundo mecanismo es un módulo de Razonamiento Basado en Casos (CBR) que usa no solo la salida de los analizadores en los mensajes del usuario interactuando para predecir si su interacción puede generar una futura repercusión negativa, sino también información de contexto de interacciones de usuarios como son los tópicos sobre los que hablan o información sobre predicciones previas en mensajes escritos por la gente que conforma la audiencia del usuario. Se han llevado a cabo experimentos con datos de una red social privada generada en laboratorio con gente real usando el sistema en tiempo real, y también con datos de Twitter.com para descubrir cuál es la eficacia de los diferentes analizadores implementados y del módulo CBR al detectar estados del usuario que se propagan más en la red social. Esto conlleva descubrir cuál de las técnicas puede prevenir mejor riesgos potenciales que los usuarios pueden sufrir cuando interactúan, y en qué casos. Se han encontrado diferencias estadísticamente significativas y la versión final del SMA incorpora los analizadores que mejores resultados obtuvieron, un agente asesor o guía basado en reglas y un módulo CBR. El trabajo de esta tesis pretende ayudar a futuros desarrolladores de sistemas inteligentes a crear sistemas que puedan detectar el estado de los usuarios interactuando en sitios en línea y prevenir riesgos que los usuarios pudiesen enfrentar. Esto propiciaría una experiencia de usuario más segura y satisfactoria. / [CA] Recentment, hi ha una forta i creixent influència d'aplicacions en línia en el nostre dia a dia, i concretament les xarxes socials es compten entre les plataformes en línia més utilitzades, que permeten a usuaris comunicar-se i interactuar des de diferents parts del món cada dia. Donat que aquestes interaccions comporten diferents riscos, i a més els adolescents tenen característiques que els fan més vulnerables a certs riscos, seria desitjable que el sistema poguera guiar als usuaris mentre es troben interactuant en línia, per així poder mitigar la probabilitat de caure en un d'aquests riscos. Açò comporta una experiència en línia més segura i satisfactòria per a usuaris d'aquest tipus de plataformes. L'interés en aplicacions d'intel·ligència artificial capaces de realitzar anàlisi de sentiments ha crescut recentment. Els usos de la detecció automàtica de sentiments en usuaris en plataformes en línia són variats i útils. Es poden utilitzar polaritats de sentiment per a realitzar mineria d'opinions en persones o productes, i així descobrir les inclinacions i opinions d'usuaris sobre certs productes (o certes característiques d'ells), per a ajudar en campanyes de màrqueting, i també opinions sobre persones com polítics, per a descobrir la intenció de vot en un període electoral, per exemple. En aquesta tesi, es presenta un Sistema Multi-Agent (SMA), que integra agents que implementen diferents anàlisis de sentiments i d'estrés utilitzant text i dinàmica d'escriptura (utilitzant anàlisi unimodal i multimodal), i utilitza la resposta dels analitzadors per a generar retroalimentació per als usuaris i potencialment evitar que caiguen en riscos i difonguen comentaris en plataformes socials en línia que pogueren difondre polaritats de sentiment negatives o nivells alts d'estrés. El SMA implementa una anàlisi en paral·lel de diferents tipus de dades i generació de retroalimentació a través de l'ús de dos mecanismes diferents. El primer mecanisme es tracta d'un agent que realitza generació de retroalimentació i guia d'usuaris basant-se en un conjunt de regles i l'eixida dels analitzadors. El segon mecanisme és un mòdul de Raonament Basat en Casos (CBR) que utilitza no solament l'eixida dels analitzadors en els missatges de l'usuari per a predir si la seua interacció pot generar una futura repercussió negativa, sinó també informació de context d'interaccions d'usuaris, com són els tòpics sobre els quals es parla o informació sobre prediccions prèvies en missatges escrits per la gent que forma part de l'audiència de l'usuari. S'han realitzat experiments amb dades d'una xarxa social privada generada al laboratori amb gent real utilitzant el sistema implementat en temps real, i també amb dades de Twitter.com per a descobrir quina és l'eficàcia dels diferents analitzadors implementats i del mòdul CBR en detectar estats de l'usuari que es propaguen més a la xarxa social. Açò comporta descobrir quina de les tècniques millor pot prevenir riscos potencials que els usuaris poden sofrir quan interactuen, i en quins casos. S'han trobat diferències estadísticament significatives i la versió final del SMA incorpora els analitzadors que millors resultats obtingueren, un agent assessor o guia basat en regles i un mòdul CBR. El treball d'aquesta tesi pretén ajudar a futurs dissenyadors de sistemes intel·ligents a crear sistemes que puguen detectar l'estat dels usuaris interactuant en llocs en línia i prevenir riscos que els usuaris poguessen enfrontar. Açò propiciaria una experiència d'usuari més segura i satisfactòria. / [EN] In the present days, there is a strong and growing influence of on-line applications in our daily lives, and concretely Social Network Sites (SNSs) are one of the most used on-line social platforms that allow users to communicate and interact from different parts of the world every day. Since this interaction poses several risks, and also teenagers have characteristics that make them more vulnerable to certain risks, it is desirable that the system could be able to guide users when interacting on-line, to try and mitigate the probability of incurring one of those risks. This would in the end lead to a more satisfactory and safe experience for the users of such on-line platforms. Recently, interest in artificial intelligence applications being able to perform sentiment analysis has risen. The uses of detecting the sentiment of users in on-line platforms or sites are variated and rewarding. Sentiment polarities can be used to perform opinion mining on people or products, and discover the inclinations and opinions of users on certain products (or certain features of them) to help marketing campaigns, and also on people such as politics, to discover the voting intention for example in electoral periods. In this thesis, a Multi-Agent System (MAS) is presented, which integrates agents that perform different sentiment and stress analyses using text and keystroke dynamics data (using both unimodal and multi-modal analysis). The MAS uses the output of the analyzers for generating feedback for users and potentially avoids them from incurring risks and spreading comments in on-line social platforms that could lead to the spread of negative sentiment or high-stress levels. Moreover, the MAS incorporates parallelized analyses of different data types and feedback generation via the use of two different mechanisms. On the one hand, a rule-based advisor agent has been implemented, that generates feedback or guiding for users based on the output of the analyzers and a set of rules. On the other hand, a Case-Based Reasoning (CBR) module that uses not only the output of the different analyzers on the messages of the user interacting, but also context information from user interactions such as the topics being talked about or information about the previous states detected on messages written by people in the audience of the user. Experiments with data from a private SNS generated in a laboratory with real people using the system in real-time, and also with data from Twitter.com have been performed to ascertain the efficacy of the different analyzers implemented and the CBR module on detecting states of the user that propagate more in the network, which leads to discovering which of the techniques is able to better prevent potential risks that users could face when interacting, and in which cases. Significant differences were found and the final version of the MAS incorporates the best-performing analyzer agents, a rule-based advisor agent, and a CBR module. In the end, this thesis aims to help intelligent systems developers to build systems that are able to detect the state of users interacting in on-line sites and prevent risks that they could face, leading to a more satisfactory and safe user experience. / This thesis was funded by the following research projects: Privacy in Social Educational Environments during Child-hood and Adolescence (PESEDIA), Ministerio de Economia y Empresa (TIN2014-55206-R) and Intelligent Agents for Privacy Advice in Social Networks (AI4PRI), Ministerio de Economia y Empresa (TIN2017-89156-R) / Aguado Sarrió, G. (2021). MAS-based affective state analysis for user guiding in on-line social environments [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/164902 / TESIS

Dans cette recherche, je prends comme objet d´étude les modifications dans le modèle de régulation de la problématique des droits de l'homme en Colombie dans la période 2006-2014. Plus précisément, je me concentre sur l'analyse des deux principaux résultats de ce processus de changement. En premier lieu, la formulation de la Politique intégrale des droits de l'homme et droit international humanitaire (PIDH-DIH), qui a commencé à être discuté en 2006 et a été formulée finalement en 2013. En deuxième lieu, le design et mise en œuvre du Système national des droits humains de l´État colombien (SNDHC), créé en 2011 et qui intégra comme cadre normative la PIDH-DIH en 2014. Ces deux résultats définissent l'état actuel du modèle de régulation. D´une part, une politique publique concertée d´après un schéma intersectoriel multi-agent, avec la participation des acteurs tant étatiques comme non étatiques et qui a été intégrée dans le fonctionnement du SNDHC. D´autre part, la ré-concentration de la fonctionne de régulation dans l'Etat colombien, laissant peu de place pour l'incidence politique aux acteurs non étatiques. Cet état actuel du modèle de régulation des droits de l'homme en Colombie est le principal résultat que je veux analyser et expliquer dans cette recherche.Dans ce processus ils ont participé activement plusieurs acteurs de différents domaines de la coopération internationale au développement avec la Colombie, ainsi que le Bureau du Haut-Commissaire des Nations Unies pour les droits de l'homme basé en Colombie (HCDH-C). Cela a permis que tant le processus de changement dans le modèle de régulation, ainsi que les deux résultats centraux de ce processus étaient directement liés et déterminés par les dynamiques internationales, en particulier les dynamiques propres du système international des droits de l'homme centré sur les Nations Unies (SIDH-ONU). Ce système a subi des changements importants au cours de la première décennie des années 2000 qui ont conduit à la génération de nouvelles réquisitions en termes de régulation et d'accomplissement des droits de l'homme au niveau national. En tant que l'État colombien fait partie du SIDH-ONU et que, par conséquent, l'évolution domestique du modèle de régulation est partiellement déterminée par la dynamique du régime international des droits de l´homme, donc on doit prendre en compte ces nouvelles réquisitions de régulation générées au niveau international pour l'analyse du processus de changement dans le modèle de régulation au niveau domestique en Colombie. / In this research, I take as object of study the changes in the regulation model of the human rights problematic in Colombia in the period 2006-2014. Specifically, I focus on the analysis of the two main results of this process of change. First, the formulation of the Integral policy of human rights and international humanitarian law (IPHR-IHL), which began to be discussed in 2006 and was finally issued in 2013. Second, the design and implementation of the National system of human rights of the Colombian State (NSHRC), created in 2011 and which integrated in 2014 the IPHR-IHL as normative framework. These two results define the current state of the regulation model. On the one hand, a public policy negotiated and concerted upon an intersectorial and multi-agent schema, with the participation of both state and non-state actors, which was integrated into the functioning of the NSHRC. On the other hand, the re-concentration of the regulation functions in the Colombian state, leaving little room to the non-state actors for their political influence. This current state of the human rights regulation model in Colombia is the main result that I want to analyze and explain in this research.In this process, several actors have taken an active role from different areas of the international development cooperation with Colombia, and also the Office of the UN High Commissioner for Human Rights based in Colombia (OHCHR-C). This allowed that both the process of change in the regulation model and the two central outcomes of this process were directly related to and determined by the international dynamics, especially the dynamics proper to the international system of human rights centered at the United Nations (ISHR-UN). This system has undergone significant changes during the first decade of the 2000s that led to the generation of new requirements in terms of regulation and fulfillment of the human rights normativity at the national level. As far as the Colombian state is part of the ISHR-UN and that, therefore, the domestic evolution of the regulatory model is partly determined by the dynamics of this international regime, we must take into account these new regulatory requirements generated at the international scale for the analysis of the processes of change in the regulation model at the domestic level in Colombia. / En esta investigación tomo como objeto de estudio los cambios en el modelo de regulación de la problemática de derechos humanos en Colombia en el período 2006-2014. Específicamente, me enfoco en el análisis de los dos principales resultados de este proceso de cambio. Primero, la formulación de la Política Integral de Derechos Humanos y Derecho Internacional Humanitario (PIDH-DIH), que se empezó a discutir en el año 2006 y se formuló finalmente en el año 2013. Segundo, el diseño e implementación del Sistema Nacional de Derechos Humanos del Estado Colombiano (SNDHC), creado en el año 2011, al cual se integró la PIDH-DIH como marco normativo en el año 2014. Estos dos resultados definen el estado actual del modelo de regulación: una política pública concertada en un esquema intersectorial multiagente (agentes estatales y agentes no estatales) e integrada al funcionamiento del SNDHC, cuyo diseño institucional concentró la función de regulación en el Estado, dejando poco margen de incidencia política a los agentes no estatales. Este estado actual del modelo de regulación de los derechos humanos en Colombia es el principal resultado que busco analizar y explicar en esta investigación.En este proceso tomaron parte activa, entre otros, varios sectores de la cooperación internacional para el desarrollo con Colombia, así como la Oficina del Alto Comisionado de las Naciones Unidas para los Derechos Humanos con sede en Colombia (OACNUDH-C). Esto permitió que tanto el proceso de cambio en el modelo de regulación como los dos resultados centrales de este proceso se conectarán y estuvieran directamente determinados por dinámicas internacionales, particularmente las dinámicas propias del Sistema Internacional de Derechos Humanos centrado en las Naciones Unidas (SIDH-ONU). Este sistema experimentó cambios normativos e institucionales de importancia en la primera década de los años 2000 que generaron nuevos requerimientos en materia de regulación y cumplimiento de los derechos humanos a nivel doméstico. En la medida en que el Estado colombiano hace parte del SIDH-ONU y, por tanto, la evolución doméstica del modelo de regulación está parcialmente determinada por las dinámicas de este régimen internacional, para abordar el análisis del cambio en el modelo de regulación en Colombia debo tomar en cuenta estos nuevos requerimientos de regulación generados a nivel internacional.

La gestió de xarxes és un camp molt ampli i inclou molts aspectes diferents. Aquesta tesi doctoral està centrada en la gestió dels recursos en les xarxes de banda ampla que disposin de mecanismes per fer reserves de recursos, com per exemple Asynchronous Transfer Mode (ATM) o Multi-Protocol Label Switching (MPLS). Es poden establir xarxes lògiques utilitzant els Virtual Paths (VP) d'ATM o els Label Switched Paths (LSP) de MPLS, als que anomenem genèricament camins lògics. Els usuaris de la xarxa utilitzen doncs aquests camins lògics, que poden tenir recursos assignats, per establir les seves comunicacions. A més, els camins lògics són molt flexibles i les seves característiques es poden canviar dinàmicament. Aquest treball, se centra, en particular, en la gestió dinàmica d'aquesta xarxa lògica per tal de maximitzar-ne el rendiment i adaptar-la a les connexions ofertes.En aquest escenari, hi ha diversos mecanismes que poden afectar i modificar les característiques dels camins lògics (ample de banda, ruta, etc.). Aquests mecanismes inclouen els de balanceig de la càrrega (reassignació d'ample de banda i reencaminament) i els de restauració de fallades (ús de camins lògics de backup). Aquests dos mecanismes poden modificar la xarxa lògica i gestionar els recursos (ample de banda) dels enllaços físics. Per tant, existeix la necessitat de coordinar aquests mecanismes per evitar possibles interferències. La gestió de recursos convencional que fa ús de la xarxa lògica, recalcula periòdicament (per exemple cada hora o cada dia) tota la xarxa lògica d'una forma centralitzada. Això introdueix el problema que els reajustaments de la xarxa lògica no es realitzen en el moment en què realment hi ha problemes. D'altra banda també introdueix la necessitat de mantenir una visió centralitzada de tota la xarxa. En aquesta tesi, es proposa una arquitectura distribuïda basada en un sistema multi agent. L'objectiu principal d'aquesta arquitectura és realitzar de forma conjunta i coordinada la gestió de recursos a nivell de xarxa lògica, integrant els mecanismes de reajustament d'ample de banda amb els mecanismes de restauració preplanejada, inclosa la gestió de l'ample de banda reservada per a la restauració. Es proposa que aquesta gestió es porti a terme d'una forma contínua, no periòdica, actuant quan es detecta el problema (quan un camí lògic està congestionat, o sigui, quan està rebutjant peticions de connexió dels usuaris perquè està saturat) i d'una forma completament distribuïda, o sigui, sense mantenir una visió global de la xarxa. Així doncs, l'arquitectura proposada realitza petits rearranjaments a la xarxa lògica adaptant-la d'una forma contínua a la demanda dels usuaris. L'arquitectura proposada també té en consideració altres objectius com l'escalabilitat, la modularitat, la robustesa, la flexibilitat i la simplicitat.El sistema multi agent proposat està estructurat en dues capes d'agents: els agents de monitorització (M) i els de rendiment (P). Aquests agents estan situats en els diferents nodes de la xarxa: hi ha un agent P i diversos agents M a cada node; aquests últims subordinats als P. Per tant l'arquitectura proposada es pot veure com una jerarquia d'agents. Cada agent és responsable de monitoritzar i controlar els recursos als que està assignat. S'han realitzat diferents experiments utilitzant un simulador distribuït a nivell de connexió proposat per nosaltres mateixos. Els resultats mostren que l'arquitectura proposada és capaç de realitzar les tasques assignades de detecció de la congestió, reassignació dinàmica d'ample de banda i reencaminament d'una forma coordinada amb els mecanismes de restauració preplanejada i gestió de l'ample de banda reservat per la restauració. L'arquitectura distribuïda ofereix una escalabilitat i robustesa acceptables gràcies a la seva flexibilitat i modularitat. / Network management is a wide field including many different topics. This thesis focuses on resource management of broadband networks that have the mechanisms for performing resource reservation, such as Asynchronous Transfer Mode (ATM) or Multi-Protocol Label Switching (MPLS). Logical networks can be established by using Virtual Paths (VP) in ATM or Label Switched Paths (LSP) in MPLS, which we call generically Logical Paths (LP). The network users then use these LPs, which can have pre-reserved resources, to establish their communications. Moreover, LPs are very flexible and their characteristics can be dynamically changed. This work focuses, in particular, on the dynamic management of these logical paths in order to maximise the network performance by adapting the logical network to the offered connections.In this scenario, there are several mechanisms that can affect and modify certain features of the LPs (bandwidth, route, etc.). They include load balancing mechanisms (bandwidth reallocation and re-routing) and fault restoration (utilisation of backup LPs). These two mechanisms can modify the logical network and manage the resources (bandwidth) of the physical links. Therefore, due to possible interferences, there is a need to co-ordinate these mechanisms. Conventional resource management, using a logical network, performs a centralised recalculation of the whole logical network periodically (e.g. every hour / day). This brings the problem that the logical network readjustments do not happen when a problem occurs. Moreover, there is a need of maintaining a centralised network overview. In this thesis, a distributed architecture, based on a Multi-Agent System (MAS), is proposed. The main objective of this architecture is to perform joint resource management at a logical network level, integrating the bandwidth reallocation and LP re-routing with pre-planned restoration and spare bandwidth management. This is performed continuously, not periodically, when a problem is detected (an LP is congested, i.e. it is rejecting new user connections because it is already saturated with user connections) in a completely distributed way, i.e. without any central network overview. Therefore, the proposed architecture performs small rearrangements in the logical network and thus it is continuously being adapted to the user demands. The proposed architecture also considers other objectives, such as scalability, modularity, robustness, simplicity and flexibility. The proposed MAS is structured in two layers of agents: The network Monitoring (M) agents and the Performance (P) agents. All these agents are situated at different network nodes, where the computing facilities are. There is one P agent and several M agents on every node. The M agents are subordinated to the P agents, therefore the proposed architecture can be seen as a hierarchy of agents. Each agent is responsible for monitoring and controlling the resources they are assigned to. We have performed several experiments, using a connection level distributed simulator of our own design. The results show that our architecture is capable of performing the assigned tasks of detecting congestion, dynamic bandwidth reallocation and re-routing in a co-ordinated way with the pre-planned restoration and the spare capacity management. The distributed architecture offers a suitable scalability and robustness due to its flexibility and modularity.

In the last decades, significant theoretical advances have been made on the field of distributed mulit-agent control theory. One of the most common systems that can be modelled as multi-agent systems are the so called formation control problems, in which a network of mobile agents is controlled to move towards a desired final formation. These problems additionally pose practical challenges, namely limited access to information about the global state of the system, which justify the use distributed and localized approaches for solving the control problem. The problem is further complicated if partial or no information is known about the dynamic model of the system. A widely used fundamental challenge of this approach in this setting is that the state-action space size scales exponentially with the number of agents, rendering the problem intractable for a large networks. This thesis presents a scalable and localized reinforcement learning approach to a traditional multi-agent formation control problem, with collision avoidance. A scalable reinforcement learning advantage actor critic algorithm is presented, based on previous work in the literature. Sub-optimal bounds are calculated for the accumulated reward and policy gradient localized approximations. The algorithm is tested on a two dimensional setting, with a network of mobile agents following simple integrator dynamics and stochastic localized policies. Neural networks are used to approximate the continuous value functions and policies. The formation control with collisions avoidance formulation and the algorithm presented show good scalability properties, with a polynomial increase in the number of function approximations parameters with number of agents. The reduced number of parameters decreases learning time for bigger networks, although the efficiency of computation is decreased compared to state of the art machine learning implementations. The policies obtained achieve probably safe trajectories although the lack of dynamic model makes it impossible to guarantee safety. / Under de senaste decennierna har betydande framsteg gjorts inom området för distribuerad mulit-agent reglerteori. Ett av de vanligaste systemen som kan modelleras som multiagentsystem är de så kallade formationskontrollproblemen, där ett nätverk av mobila agenter styrs för att röra sig mot en önskad slutlig formation. om systemets globala tillstånd, vilket motiverar användningen av distribuerade och lokaliserade tillvägagångssätt för att lösa det reglertekniska problemet. Problemet kompliceras ytterligare om delvis eller ingen information är känd om systemets dynamiska modell. Ett allmänt använt tillvägagångssätt för modellfri kontroll är reinforcement learning (RL). En grundläggande utmaning med detta tillvägagångssätt i den här miljön är att storleken på state-action utrymmet skalas exponentiellt med antalet agenter, vilket gör problemet svårlöst för ett stort nätverk. Detta examensarbete presenterar en skalbar och lokaliserad reinforcement learning metod på ett traditionellt reglertekniskt problem med flera agenter, med kollisionsundvikande. En reinforcement learning advantage actor critic algoritm presenteras, baserad på tidigare arbete i litteraturen. Suboptimala gränser beräknas för den ackumulerade belönings- och policygradientens lokaliserade approximationer. Algoritmen testas i en tvådimensionell miljö, med ett nätverk av mobila agenter som följer enkel integratordynamik och stokastiska lokaliserade policyer. Neurala nätverk används för att approximera de kontinuerliga värdefunktionerna och policyerna. Den presenterade formationsstyrningen med kollisionsundvikande formulering och algoritmen visar goda skalbarhetsegenskaper, med en polynomisk ökning av antalet funktionsapproximationsparametrar med antalet agenter. Det minskade antalet parametrar minskar inlärningstiden för större nätverk, även om effektiviteten i beräkningen minskar jämfört med avancerade maskininlärningsimplementeringar. De erhållna policyerna uppnår troligen säkra banor även om avsaknaden av dynamisk modell gör det omöjligt att garantera säkerheten. / En las últimas décadas, se han realizado importantes avances teóricos en el campo de la teoría del control multiagente distribuido. Uno de los sistemas más comunes que se pueden modelar como sistemas multiagente son los llamados problemas de control de formación, en los que se controla una red de agentes móviles para alcanzar una formación final deseada. Estos problemas plantean desafíos prácticos como el acceso limitado a la información del estado global del sistema, que justifican el uso de algoritmos distribuidos y locales para resolver el problema de control. El problema se complica aún más si solo se conoce información parcial o nada sobre el modelo dinámico del sistema. Un enfoque ampliamente utilizado para el control sin conocimiento del modelo dinámico es el reinforcement learning (RL). Un desafío fundamental de este método en este entorno es que el tamaño de la acción y el estado aumenta exponencialmente con la cantidad de agentes, lo que hace que el problema sea intratable para una red grande. Esta tesis presenta un algoritmo de RL escalable y local para un problema tradicional de control de formación con múltiples agentes, con prevención de colisiones. Se presenta un algoritmo “advantage actor-”critic, basado en trabajos previos en la literatura. Los límites subóptimos se calculan para las aproximaciones locales de la función Q y gradiente de la política. El algoritmo se prueba en un entorno bidimensional, con una red de agentes móviles que siguen una dinámica de integrador simple y políticas estocásticas localizadas. Redes neuronales se utilizan para aproximar las funciones y políticas de valor continuo. La formulación de del problema de formación con prevención de colisiones y el algoritmo presentado muestran buenas propiedades de escalabilidad, con un aumento polinómico en el número de parámetros con el número de agentes. El número reducido de parámetros disminuye el tiempo de aprendizaje para redes más grandes, aunque la eficiencia de la computación disminuye en comparación con las implementaciones de ML de última generación. Las politicas obtenidas alcanzan trayectorias probablemente seguras, aunque la falta de un modelo dinámico hace imposible garantizar la completa prevención de colisiones. / A les darreres dècades, s'han realitzat importants avenços teòrics en el camp de la teoria del control multiagent distribuït. Un dels sistemes més comuns que es poden modelar com a sistemes multiagent són els anomenats problemes de control de formació, en els què es controla una xarxa d'agents mòbils per assolir una formació final desitjada. Aquests problemes plantegen reptes pràctics com l'accés limitat a la informació de l'estat global del sistema, que justifiquen l'ús d'algorismes distribuïts i locals per resoldre el problema de control. El problema es complica encara més si només es coneix informació parcial sobre el model dinàmic del sistema. Un mètode àmpliament utilitzat per al control sense coneixement del model dinàmic és el reinforcement learning (RL). Un repte fonamental d'aquest mètode en aquest entorn és que la mida de l'acció i l'estat augmenta exponencialment amb la quantitat d'agents, cosa que fa que el problema sigui intractable per a una xarxa gran. Aquesta tesi presenta un algorisme de RL escalable i local per a un problema tradicional de control de formació amb múltiples agents, amb prevenció de col·lisions. Es presenta un algorisme “advantage actor-”critic, basat en treballs previs a la literatura. Els límits subòptims es calculen per a les aproximacions locals de la funció Q i gradient de la política.’ Lalgoritme es prova en un entorn bidimensional, amb una xarxa ’dagents mòbils que segueixen una dinàmica ’dintegrador simple i polítiques estocàstiques localitzades. Xarxes neuronals s'utilitzen per aproximar les funcions i les polítiques de valor continu. La formulació del problema de formació amb prevenció de col·lisions i l'algorisme presentat mostren bones propietats d'escalabilitat, amb un augment polinòmic en el nombre de paràmetres amb el nombre d'agents. El nombre reduït de paràmetres disminueix el temps d'aprenentatge per a les xarxes més grans, encara que l'eficiència de la computació disminueix en comparació amb les implementacions de ML d'última generació. Les polítiques obtingudes aconsegueixen trajectòries probablement segures, tot i que la manca d'un model dinàmic fa impossible garantir la prevenció completa de col·lisions.