Se propone una metodología de desarrollo de aplicaciones de tiempo real estricto que van a ser ejecutadas en plataformas distribuidas abiertas. En esta metodología, el diseñador de la aplicación no conoce la carga de trabajo de la plataforma que será ejecutada concurrentemente junto con la aplicación que diseña. La metodología se basa en el paradigma de reserva de recursos, y utiliza como base el concepto de plataforma virtual, tanto para describir el uso de los recursos que una aplicación requiere, como para ejecutar la aplicación satisfaciendo sus requisitos temporales. La plataforma virtual es utilizada en el proceso de negociación con el servicio de reserva de recursos de la plataforma física, con objeto de obtener una configuración de la aplicación que haga compatible su ejecución con la carga de trabajo que ya se está ejecutando en dicha plataforma. La metodología aborda todas las fases del desarrollo de una aplicación: describe la información que debe asociarse al código de la aplicación para poder ser configurado, así como el proceso que permite analizar independientemente su planificabilidad en base a la plataforma virtual; especifica el proceso de despliegue de la aplicación y define la información que se utiliza para negociar su ejecución con el servicio de reserva de recursos de la plataforma física y para generar los datos de configuración que deben ser asignados al código cuando se ejecute. Todos estos procesos son dirigidos por modelos, por lo que la tesis aborda la definición de las transformaciones de modelos requeridas, así como la formulación de los metamodelos formales utilizados en ellas. Por otro lado, aunque la tecnología es independiente de la plataforma de ejecución, se especifica la funcionalidad que debe ofrecer el servicio de reserva de recursos presente en la misma para dar soporte a la metodología propuesta, y se analiza su compatibilidad con algunas implementaciones actualmente disponibles / This thesis proposes a methodology for the development of hard real-time applications that will be executed in open distributed platforms. When this methodology is applied, the application designer does not know the workload of the platform that will execute concurrently with the designed application. The methodology is based on the resource reservation paradigm, and relies on the concept of virtual platform, both to describe the resources usage required by an application to execute, and to run the application guaranteeing the fulfillment of the specified timing requirements. The virtual platform is also used on the negotiation process with the resource reservation service of the physical platform in order to obtain a configuration of the application that supports its execution together with the current workload running on that platform. The methodology deals with all the phases of the application design: it describes the information that must be associated to the application code in order to obtain a proper configuration, as well as the process that allows an independent schedulability analysis of the application based on its virtual platform; it specifies the application deployment process and defines the information that is used to negotiate the execution of the application with the resource reservation service of the physical platform, and to generate the configuration data that must be assigned to the code when it is executed. The methodology follows a model-driven perspective, so the thesis addresses the required models transformations, as well as the formulation of the metamodels used in them. Moreover, although the technology is independent from the execution platform, the functionality that must be provided by the resource reservation service to support the proposed technology is specified and its compatibility with other implementations is analyzed.

[pt] A adaptação dinâmica de aplicações distribuídas tem se tornado um recurso cada vez mais essencial na construção de sistemas de computação. Isso é justificado especialmente pelo avanço da tecnologia, que tem permitido a automação de tarefas complexas em domínios de aplicação cada vez menos tolerantes à suspensão de serviços. Nesta dissertação é proposto o LuaOrb Adaptation Framework, que utiliza os recursos da linguagem Lua na adaptação dinâmica de sistemas baseados em componentes do Modelo de Componentes de CORBA (CCM - CORBA Component Model ). Através desse framework é possível utilizar as abstrações de papéis e protocolos para realizar adaptações criando novas interações entre os componentes do sistema, assim como reconfigurar dinamicamente os componentes CCM. Devido a limitações do modelo CCM, é proposta uma adaptação desse modelo para a linguagem Lua, de onde surge o conceito de contêiner dinâmico, que permite a construção de componentes dinamicamente adaptáveis através de alterações na estrutura e implementação desses componentes. O contêiner dinâmico permite que essas alterações sejam feitas em níveis diferentes, ou seja, no nível de uma única instância ou implementação de componente, assim como em todas as instâncias de um determinado componente. / [en] Dynamic adaptation of distributed applications has become an essential feature in development of computer systems, mainly justified by nowadays technology, which enables complex tasks to be performed by computers in application domains less suited for service interruption. This dissertation proposes the LuaOrb Adaptation Framework, which uses features of the programming language Lua to dynamically adapt systems based on the CORBA Component Model (CCM). This framework uses abstractions like roles and protocols to adapt systems by creating new interactions between systems components, as well as provides features for dynamic reconfigurations of CCM components. Due to limitations of CCM, an adaptation of this model to Lua concepts is proposed, resulting in the definition of dynamic containers, which enable development of dynamically adaptable components by changes on component structure and implementation. Dynamic containers allows adaptations to be done on different levels, namely on the level of a single component instance or implementation, as well as on all instances of a given component.

[pt] O presente trabalho introduz o conceito de impostores com relevo: uma maneira eficiente para representar objetos por imagens em sistemas que requerem visualização em tempo real, especialmente jogos 3D e ambientes de realidade virtual. Para tanto, mesclam-se métodos tipicamente pertencentes à área de renderização baseada em imagens com métodos tradicionais de visualização baseada em geometria. A técnica requer do usuário apenas a modelagem geométrica da entidade a ser representada. Posteriormente o sistema sintetiza texturas com relevo, dinamicamente atualizadas quando necessário, e as visualiza utilizando o método de mapeamento de texturas com relevo. Esta abordagem permite inserir modelos complexos, tanto pela sua natureza geométrica, como pelo seu processo de visualização, no pipeline gráfico em tempo real. Além disso, os impostores com relevo procuram aproveitar o tempo ocioso ou recursos paralelos disponíveis no processador, de forma a balancear a carga de processamento de visualização entre CPU/GPU. Estes impostores também tornam possível a representação de qualquer tipo de objeto geométrico através de mapeamento de texturas com relevo. / [en] The present work introduces the concept of relief impostors: an efficient manner of representing objects by images in systems that require real time rendering, such as 3D games and virtual reality environments. For this purpose, typical methods of image-based rendering are mixed with traditional geometry based rendering methods. This technique only requires from the user the geometric modeling of the entity to be represented. After this, the system synthesizes relief textures, dynamically refreshed when necessary, and renders them using the method of relief texture mapping. This approach allows complex models to be inserted into the real time pipeline system. This complexity arise either from the geometric nature of the model or its process of visualization. Also, the relief impostors try to use the idle time or parallel resources available on the processor, in order to balance the work to be done between the CPU and GPU. Furthermore, they make possible the representation of any kind of geometric object by the relief texture mapping technique.

[pt] Os avanços recentes na tecnologia de simulação paralela de reservatórios de petróleo têm permitido a simulação numérica de domínios cada vez mais discretizados. Essas simulações produzem um volume de dados sem precedentes, que precisam ser visualizados em ambientes 3D, possibilitando assim a análise e inspeção cuidadosa do modelo. Tais modelos tornam as técnicas convencionais de visualização inviáveis, criando a necessidade de se desenvolver soluções escaláveis de visualização. A necessidade de se visualizar dados tão complexos introduz diversos problemas computacionais que precisam ser tratados para visualizar o modelo com taxas de renderização interativas, como a impossibilidade de armazenar o dado todo em memória principal. Existem duas linhas principais para o tratamento de modelos de tal magnitude: renderização distribuída e técnicas de multi-resolução. Nesse trabalho são propostas soluções para a visualização de modelos massivos de reservatório de petróleo em cada uma dessas frentes de pesquisa, e é feita uma discussão acerca das vantagens e limitações de cada solução. Na primeira parte do trabalho, é proposto um sistema distribuído com ordenação no fim para a renderização de tais modelos em agrupamentos de PCs, onde cada PC é equipado com múltiplas GPUs. Dado o uso eficiente de cada GPU e de um estágio de composição parcial, nossa proposta trata dos problemas de escalabilidade que surgem em todo sistema com ordenação no fim em clusters de médio a grande porte. Na segunda parte do trabalho, é proposta uma estrutura hierárquica de multi-resolução de malhas de reservatórios de petróleo, com um novo algoritmo de simplificação feito especificamente para tais malhas. A estrutura hierárquica traz novidades em relação a trabalhos relacionados, fazendo uma estimativa de erro projetado menos conservadora. É feita uma proposta para a renderização com multi-resolução com garantia de uma taxa mínima de renderização, que é o objetivo principal de tais sistemas. Além disso, é feita uma proposta para odesenho do wireframe e das propriedades associadas à malha original do modelo de reservatório mapeados sobre as malhas simplificadas, o que torna a estrutura de multi-resolução independente das propriedades geradas pela simulação, garantindo o seu reuso ao longo de múltiplas simulações do mesmo modelo. Nossos experimentos computacionais demonstram a eficiência das soluções propostas. / [en] Recent advances in parallel architectures for the numerical simulation of natural black oil reservoirs have allowed the simulation of very discretized domains. As a consequence, these simulations produce an unprecedented volume of data, which must be visualized in 3D environments for careful analysis and inspection of the model. Conventional scientific visualization techniques of such very large models are not viable, creating a demand for the development of scalable visualization solutions. The need for the visualization of such complex data introduces several computational issues which must be addressed in order to achieve interactive rendering rates, such as the impossibility of storing the entire data in main memory. There are two main research areas which propose solutions for the visualization of models with such magnitude: distributed rendering and multi-resolution techniques. This work proposes solutions for the visualization of massively complex reservoir models in each of these research areas, and a discussion over the advantages and limitations of each solution is made. In the first part of the work, we propose a distributed system based on a sort-last approach for the rendering of such models in PC clusters, where each PC is equipped with multiple GPUs. Given an efficient use of the available GPUs, combined with a pipelined implementation and the use of partial image compositions on the cluster nodes, our proposal tackles the scalability issues that arise when using mid-to-large GPU clusters. The second part of the work brings the proposal of a hierarchical multi-resolution structure of black oil reservoir meshes, with a new simplification algorithm designed specifically for such meshes. The hierarchical structure brings some new approaches in relation to related work, doing a much less conservative projected error estimation. We propose a minimum refresh rate guarantee strategy for our multiresolution rendering, which is the main goal for such systems. Afterwards, we introduce a proposal for the rendering of data associated with the original reservoir mesh mapped over the simplified meshes, such as the original model grid wireframe and reservoir properties. This proposal guarantees an independence between the multi-resolution structure and the properties generated by a simulation, which guarantees the reuse of the structure among several simulations of the same model. Experimental results demonstrate the effectiveness of the proposed solutions.

[pt] Poucos estudos têm investigado e propôs uma solução de middleware para a Internet das Coisas Móveis (IoMT), onde as coisas inteligentes (Objetos Inteligente) podem ser movidos, ou podem mover-se de forma autônoma, mas permanecem acessíveis a partir de qualquer outro computador através da Internet. Neste contexto, existe uma necessidade de gateways com eficiência energética para fornecer conectividade para uma grande variedade de objetos inteligentes. As soluções propostas têm mostrado que os dispositivos móveis (smartphones e tablets) são uma boa opção para se tornar os intermediários universais, proporcionando um ponto de conexão para os objetos inteligentes vizinhos com tecnologias de comunicação de curto alcance. No entanto, eles só se preocupam apenas sobre a transmissão de dados de sensores-primas (obtido a partir de objetos inteligentes conectados) para a nuvem onde o processamento (e.g. agregação) é executada. Comunicação via Internet é uma atividade de forte drenagem da bateria em dispositivos móveis; Além disso, a largura de banda pode não ser suficiente quando grandes quantidades de informação estão sendo recebidas dos objetos inteligentes. Por isso, consideramos que uma parte do processamento deve ser empurrada tão perto quanto possível das fontes. A respeito disso, processamento de eventos complexos (CEP) é muitas vezes usado para o processamento em tempo real de dados heterogêneos e pode ser uma tecnologia chave para ser incluído nas Gateways. Ele permite uma maneira de descrever o processamento como consultas expressivas que podem ser implantados ou removidos dinamicamente no vôo. Assim, sendo adequado para aplicações que têm de lidar com adaptação dinâmica de processamento local. Esta dissertação descreve uma extensão de um middleware móvel com a inclusão de processamento contínuo dos dados do sensor, a sua concepção e implementação de um protótipo para Android. Experimentos têm mostrado que a nossa implementação proporciona uma boa redução no consumo de energia e largura de banda. / [en] Few studies have investigated and proposed a middleware solution for the Internet of Mobile Things (IoMT), where the smart things (Smart Objects) can be moved, or else can move autonomously, but remain accessible from any other computer over the Internet. In this context, there is a need for energy-efficient gateways to provide connectivity to a great variety of Smart Objects. Proposed solutions have shown that mobile devices (smartphones and tablets) are a good option to become the universal intermediates by providing a connection point to nearby Smart Objects with short-range communication technologies. However, they only focus on the transmission of raw sensor data (obtained from connected Smart Objects) to the cloud where processing (e.g. aggregation) is performed. Internet Communication is a strong battery-draining activity for mobile devices; moreover, bandwidth may not be sufficient when large amounts of information is being received from the Smart Objects. Hence, we argue that some of the processing should be pushed as close as possible to the sources. In this regard, Complex Event Processing (CEP) is often used for real-time processing of heterogeneous data and could be a key technology to be included in the gateways. It allows a way to describe the processing as expressive queries that can be dynamically deployed or removed on-the- fly. Thus, being suitable for applications that have to deal with dynamic adaptation of local processing. This dissertation describes an extension of a mobile middleware with the inclusion of continuous processing of sensor data, its design and prototype implementation for Android. Experiments have shown that our implementation delivers good reduction in energy and bandwidth consumption.

Los sistemas distribuidos gozan hoy de fundamental importancia entre los sistemas de información, debido a sus potenciales capacidades de tolerancia a fallos y escalabilidad, que permiten su adecuación a las aplicaciones actuales, crecientemente exigentes. Por otra parte, el desarrollo de aplicaciones distribuidas presenta también dificultades específicas, precisamente para poder ofrecer la escalabilidad, tolerancia a fallos y alta disponibilidad que constituyen sus ventajas. Por eso es de gran utilidad contar con componentes distribuidas específicamente diseñadas para proporcionar, a más bajo nivel, un conjunto de servicios bien definidos, sobre los cuales las aplicaciones de más alto nivel puedan construir su propia semántica más fácilmente. Es el caso de los servicios orientados a grupos, de uso muy extendido por las aplicaciones distribuidas, a las que permiten abstraerse de los detalles de las comunicaciones. Tales servicios proporcionan primitivas básicas para la comunicación entre dos miembros del grupo o, sobre todo, las transmisiones de mensajes a todo el grupo, con garantías concretas. Un caso particular de servicio orientado a grupos lo constituyen los servicios de pertenencia a grupos, en los cuales se centra esta tesis. Los servicios de pertenencia a grupos proporcionan a sus usuarios una imagen del conjunto de procesos o máquinas del sistema que permanecen simultáneamente conectados y correctos. Es más, los diversos participantes reciben esta información con garantías concretas de consistencia. Así pues, los servicios de pertenencia constituyen una componente fundamental para el desarrollo de sistemas de comunicación a grupos y otras aplicaciones distribuidas. El problema de pertenencia a grupos ha sido ampliamente tratado en la literatura tanto desde un punto de vista teórico como práctico, y existen múltiples realizaciones de servicios de pertenencia utilizables. A pesar de ello, la definición del problema no es única. Por el contrario, dependien / Bañuls Polo, MDC. (2006). Protocolos de pertenencia a grupos para entornos dinámicos [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/1886

[pt] Neste trabalho propomos usar o ALua, um mecanismo de comunicação orientado a eventos, baseado na linguagem interpretada Lua, para coordenação e desenvolvimento de aplicações paralelas distribuídas. ALua é um modelo de programação dual para aplicações paralelas distribuídas, que age como elemento de ligação, permitindo que partes pré- compiladas do programa sejam executadas em diferentes máquinas. Novas tecnologias em programação paralela, como computação em grade, e o interesse atual em computação distribuída para redes geográficas demandam novos níveis de flexibilidade, como o uso de estratégias de adaptação e a habilidade para um usuário interferir em uma computação sem a necessidade de interrompê-la. Além disso, devido a sua natureza assíncrona, a programação dirigida a eventos oferece um modelo apropriado para ambiente sujeitos a falhas e retardos, que são freqüentes no contexto de redes geográficas. Neste trabalho, mostramos que o ALua pode trazer a flexibilidade desejada, através de mecanismos de adaptação e monitoramento não só de aplicações, mas do próprio ambiente de execução, e ainda tirar proveito de sua natureza interpretada para permitir a intervenção do usuário na aplicação mesmo durante a sua execução. / [en] In this work we propose the use of Alua, an event-driven communication mechanism for coordinating and developing distributed parallel applications, based on the interpreted language Lua. Alua adopts a multilinguage programming model for distributed parallel applications, acting as a gluing element among precompiled program parts running on different machines. New developments in parallel programming, such as Grid computing, and current interest in wide-area distributed computing demand new levels of flexibility, such as the use of adaptive strategies and the ability for an user to interfer with a computation without having to stop it. Furthermore, because of its asynchronous nature, event-driven programming provides a suitable model for environments subject to failures and delays that are frequent in the context of geographically distributed computing. In this work we show that ALua can achieve the required flexibility through mechanisms for monitoring and adapting not only applications, but also the execution environment, and also exploit its interpretive nature to allow the programmer to modify the behavior of the application during its execution.

El objetivo de este trabajo es la definición de una metodología para la representación y análisis del comportamiento de tiempo real de sistemas que han sido diseñados utilizando el paradigma de orientación a objetos. La metodología que se propone, denominada UML-MAST, concilia las diferencias entre la visión del diseñador de sistemas de tiempo real y la del de sistemas orientados a objetos. A tal fin define un nivel de abstracción adecuado para los elementos de modelado del comportamiento de tiempo real, que permite formularlos con una estructura paralela a la arquitectura lógica del sistema, y vincularlos a esta. La semántica de modelado sigue el perfil UML para planificabilidad, rendimiento y tiempo (SPT) estandarizado por el OMG, del que UML-MAST puede considerase una implementación. La propuesta se integra con las herramientas de análisis y diseño de sistemas de tiempo real MAST (Modeling and Analysis Suite for Real-Time Applications), que analiza los modelos y retorna los resultados al modelo inicial para su interpretación por el diseñador. Asimismo, se han definido criterios para la extensión de esta metodología a otros niveles de abstracción tales como sistemas basados en componentes y sistemas implementados utilizando Ada 95. Parte de los resultados de este trabajo han sido incorporados por el OMG a su perfil SPT. / The main objective of this work has been the definition of a methodology for the representation and analysis of the timing behaviour of real-time distributed systems designed following the object oriented paradigm. The methodology proposed is called UML-MAST, and reconciles the mismatch between the visions of the object oriented designer and the real-time systems designer. To get this, it has been developed a particular level of abstraction that holds all the modelling elements needed to represent real-time behaviour, structuring the models following the logical architecture of the system. The semantics of the modelling elements follows the "UML Profile for Schedulability, Performance and Time" (SPT), a standard of the Object Management Group (OMG) to which this thesis has reported a number of contributions. UML-MAST can also be considered a particular specialization of its schedulability analysis sub-profile. UML-MAST is integrated in the framework of the Modeling and Analysis Suite for Real-Time Applications (MAST), a modelling environment with a set of tools that enable the analysis of a model and the recovery of its results in it. Criteria for the extension of the methodology to higher levels of abstraction have been defined. As examples, its extension to the modelling of component-based systems as well as to distributed systems developed with Ada95 have been explored and formulated.

In the last decades, significant theoretical advances have been made on the field of distributed mulit-agent control theory. One of the most common systems that can be modelled as multi-agent systems are the so called formation control problems, in which a network of mobile agents is controlled to move towards a desired final formation. These problems additionally pose practical challenges, namely limited access to information about the global state of the system, which justify the use distributed and localized approaches for solving the control problem. The problem is further complicated if partial or no information is known about the dynamic model of the system. A widely used fundamental challenge of this approach in this setting is that the state-action space size scales exponentially with the number of agents, rendering the problem intractable for a large networks. This thesis presents a scalable and localized reinforcement learning approach to a traditional multi-agent formation control problem, with collision avoidance. A scalable reinforcement learning advantage actor critic algorithm is presented, based on previous work in the literature. Sub-optimal bounds are calculated for the accumulated reward and policy gradient localized approximations. The algorithm is tested on a two dimensional setting, with a network of mobile agents following simple integrator dynamics and stochastic localized policies. Neural networks are used to approximate the continuous value functions and policies. The formation control with collisions avoidance formulation and the algorithm presented show good scalability properties, with a polynomial increase in the number of function approximations parameters with number of agents. The reduced number of parameters decreases learning time for bigger networks, although the efficiency of computation is decreased compared to state of the art machine learning implementations. The policies obtained achieve probably safe trajectories although the lack of dynamic model makes it impossible to guarantee safety. / Under de senaste decennierna har betydande framsteg gjorts inom området för distribuerad mulit-agent reglerteori. Ett av de vanligaste systemen som kan modelleras som multiagentsystem är de så kallade formationskontrollproblemen, där ett nätverk av mobila agenter styrs för att röra sig mot en önskad slutlig formation. om systemets globala tillstånd, vilket motiverar användningen av distribuerade och lokaliserade tillvägagångssätt för att lösa det reglertekniska problemet. Problemet kompliceras ytterligare om delvis eller ingen information är känd om systemets dynamiska modell. Ett allmänt använt tillvägagångssätt för modellfri kontroll är reinforcement learning (RL). En grundläggande utmaning med detta tillvägagångssätt i den här miljön är att storleken på state-action utrymmet skalas exponentiellt med antalet agenter, vilket gör problemet svårlöst för ett stort nätverk. Detta examensarbete presenterar en skalbar och lokaliserad reinforcement learning metod på ett traditionellt reglertekniskt problem med flera agenter, med kollisionsundvikande. En reinforcement learning advantage actor critic algoritm presenteras, baserad på tidigare arbete i litteraturen. Suboptimala gränser beräknas för den ackumulerade belönings- och policygradientens lokaliserade approximationer. Algoritmen testas i en tvådimensionell miljö, med ett nätverk av mobila agenter som följer enkel integratordynamik och stokastiska lokaliserade policyer. Neurala nätverk används för att approximera de kontinuerliga värdefunktionerna och policyerna. Den presenterade formationsstyrningen med kollisionsundvikande formulering och algoritmen visar goda skalbarhetsegenskaper, med en polynomisk ökning av antalet funktionsapproximationsparametrar med antalet agenter. Det minskade antalet parametrar minskar inlärningstiden för större nätverk, även om effektiviteten i beräkningen minskar jämfört med avancerade maskininlärningsimplementeringar. De erhållna policyerna uppnår troligen säkra banor även om avsaknaden av dynamisk modell gör det omöjligt att garantera säkerheten. / En las últimas décadas, se han realizado importantes avances teóricos en el campo de la teoría del control multiagente distribuido. Uno de los sistemas más comunes que se pueden modelar como sistemas multiagente son los llamados problemas de control de formación, en los que se controla una red de agentes móviles para alcanzar una formación final deseada. Estos problemas plantean desafíos prácticos como el acceso limitado a la información del estado global del sistema, que justifican el uso de algoritmos distribuidos y locales para resolver el problema de control. El problema se complica aún más si solo se conoce información parcial o nada sobre el modelo dinámico del sistema. Un enfoque ampliamente utilizado para el control sin conocimiento del modelo dinámico es el reinforcement learning (RL). Un desafío fundamental de este método en este entorno es que el tamaño de la acción y el estado aumenta exponencialmente con la cantidad de agentes, lo que hace que el problema sea intratable para una red grande. Esta tesis presenta un algoritmo de RL escalable y local para un problema tradicional de control de formación con múltiples agentes, con prevención de colisiones. Se presenta un algoritmo “advantage actor-”critic, basado en trabajos previos en la literatura. Los límites subóptimos se calculan para las aproximaciones locales de la función Q y gradiente de la política. El algoritmo se prueba en un entorno bidimensional, con una red de agentes móviles que siguen una dinámica de integrador simple y políticas estocásticas localizadas. Redes neuronales se utilizan para aproximar las funciones y políticas de valor continuo. La formulación de del problema de formación con prevención de colisiones y el algoritmo presentado muestran buenas propiedades de escalabilidad, con un aumento polinómico en el número de parámetros con el número de agentes. El número reducido de parámetros disminuye el tiempo de aprendizaje para redes más grandes, aunque la eficiencia de la computación disminuye en comparación con las implementaciones de ML de última generación. Las politicas obtenidas alcanzan trayectorias probablemente seguras, aunque la falta de un modelo dinámico hace imposible garantizar la completa prevención de colisiones. / A les darreres dècades, s'han realitzat importants avenços teòrics en el camp de la teoria del control multiagent distribuït. Un dels sistemes més comuns que es poden modelar com a sistemes multiagent són els anomenats problemes de control de formació, en els què es controla una xarxa d'agents mòbils per assolir una formació final desitjada. Aquests problemes plantegen reptes pràctics com l'accés limitat a la informació de l'estat global del sistema, que justifiquen l'ús d'algorismes distribuïts i locals per resoldre el problema de control. El problema es complica encara més si només es coneix informació parcial sobre el model dinàmic del sistema. Un mètode àmpliament utilitzat per al control sense coneixement del model dinàmic és el reinforcement learning (RL). Un repte fonamental d'aquest mètode en aquest entorn és que la mida de l'acció i l'estat augmenta exponencialment amb la quantitat d'agents, cosa que fa que el problema sigui intractable per a una xarxa gran. Aquesta tesi presenta un algorisme de RL escalable i local per a un problema tradicional de control de formació amb múltiples agents, amb prevenció de col·lisions. Es presenta un algorisme “advantage actor-”critic, basat en treballs previs a la literatura. Els límits subòptims es calculen per a les aproximacions locals de la funció Q i gradient de la política.’ Lalgoritme es prova en un entorn bidimensional, amb una xarxa ’dagents mòbils que segueixen una dinàmica ’dintegrador simple i polítiques estocàstiques localitzades. Xarxes neuronals s'utilitzen per aproximar les funcions i les polítiques de valor continu. La formulació del problema de formació amb prevenció de col·lisions i l'algorisme presentat mostren bones propietats d'escalabilitat, amb un augment polinòmic en el nombre de paràmetres amb el nombre d'agents. El nombre reduït de paràmetres disminueix el temps d'aprenentatge per a les xarxes més grans, encara que l'eficiència de la computació disminueix en comparació amb les implementacions de ML d'última generació. Les polítiques obtingudes aconsegueixen trajectòries probablement segures, tot i que la manca d'un model dinàmic fa impossible garantir la prevenció completa de col·lisions.