No description available.

In an optimal visiting problem, we want to control a trajectory that has to pass as close as possible to a collection of target points or regions. We introduce a hybrid control-based approach for the classic problem where the trajectory can switch between a group of discrete states related to the targets of the problem. The model is subsequently adapted to a mean-field game framework, that is when a huge population of agents plays the optimal visiting problem with a controlled dynamics and with costs also depending on the distribution of the population. In particular, we investigate a single continuity equation with possible sinks and sources and the field possibly depending on the mass of the agents. The same problem is also studied on a network framework. More precisely, we study a mean-field game model by proving the existence of a suitable definition of an approximated mean-field equilibrium and then we address the passage to the limit.

Abstract Resource allocation and interference management in wireless small cell networks have been areas of key research interest in the past few years. Although a large number of research studies have been carried out, the needs for high capacity, reliability, and energy efficiency in the emerging fifth-generation (5G) networks warrants the development of methodologies focusing on ultra-dense and self-organizing small cell network (SCN) scenarios. In this regard, the prime motivation of this thesis is to propose an array of distributed methodologies to solve the problem of joint resource allocation and interference management in SCNs pertaining to different network architectures. The present dissertation proposes and investigates distributed control mechanisms for wireless SCNs mainly in three cases: a backhaul-aware interference management mechanism of the uplink of wireless SCNs, a dynamic cluster-based approach for maximizing the energy efficiency of dense wireless SCNs, and a joint power control and user scheduling mechanism for optimizing energy efficiency in ultra-dense SCNs. Optimizing SCNs, especially in the ultra-dense regime, is extremely challenging due to the severe coupling in interference and the dynamics of both queues and channel states. Moreover, due to the lack of inter-base station/cluster communications, smart distributed learning mechanisms are required to autonomously choose optimal transmission strategies based on local information. To overcome these challenges, an array of distributed algorithms are developed by combining the tools from machine learning, Lyapunov optimization and mean-field theory. For each of the above proposals, extensive sets of simulations have been carried out to validate the performance of the proposed methods compared to conventional models that fail to account for the limitations due to network scale, dynamics of queue and channel states, backhaul heterogeneity and capacity constraints, and the lack of coordination between network elements. The results of the proposed methods yield significant gains of the proposed methods in terms of energy savings, rate improvements, and delay reductions compared to the conventional models studied in the existing literature. / Tiivistelmä Langattomien piensoluverkkojen resurssien allokointi ja häiriön hallinta on ollut viime vuosina tärkeä tutkimuskohde. Tutkimuksia on tehty paljon, mutta uudet viidennen sukupolven (5G) verkot vaativat suurta kapasiteettia, luotettavuutta ja energiatehokkuutta. Sen vuoksi on kehitettävä menetelmiä, jotka keskittyy ultratiheisiin ja itseorganisoituviin piensoluverkkoihin. (SCN). Tämän väitöskirjan tärkein tavoite onkin esittää joukko hajautettuja menetelmiä piensoluverkkojen yhteisten resurssien allokointiin ja häiriön hallintaan, kun käytössä on erilaisia verkkoarkkitehtuureja. Tässä väitöskirjassa ehdotetaan ja tutkitaan hajautettuja menetelmiä langattomien piensoluverkkojen hallintaan kolmessa eri tilanteessa: välityskanavan huomioiva häiriönhallinta menetelmä langattomissa piensoluverkoissa, dynaamisiin klustereihin perustuva malli tiheiden langattomien piensoluverkkojen energiatehokkuuden maksimointiin ja yhteinen tehonsäädön ja käyttäjien allokaatio menetelmä ultratiheiden piensoluverkkojen energiatehokkuuden optimointiin. Ultratiheiden piensoluverkkojen optimointi on erittäin haastavaa häiriön sekä jonojen ja kanavatilojen vahvojen kytkösten vuoksi. Lisäksi, koska klustereilla/tukiasemilla ei ole kommunikaatiota, tarvitaan hajautettuja oppimisalgoritmeja, jotta saadaan itsenäisesti valittua optimaaliset lähetys menetelmät hyödyntäen vain paikallista tietoa. Tämän vuoksi kehitetään useita hajautettuja algoritmeja, jotka hyödyntävät koneoppimista, Lyapunov optimointia ja mean-field teoriaa. Kaikki yllä olevat esitetyt menetelmät on validoitu laajoilla simulaatioilla, joilla on voitu todentaa niiden suorituskyky perinteisiin malleihin verrattuna. Perinteiset mallit eivät pysty ottamaan huomioon verkon laajuuden, jonon ja kanavatilojen dynamiikan, eri välityskanavien ja rajallisen kapasiteetin asettamia rajoituksia sekä verkon elementtien välisen koordinoinnin puuttumista. Esitetyt menetelmät tuottavat huomattavia parannuksia energiansäästöön, siirtonopeuteen ja viiveiden vähentämiseen verrattuna perinteisiin malleihin, joita kirjallisuudessa on tarkasteltu.

Diese Dissertation behandelt zwei Hauptthemen: Mean-Field-Kontrollprobleme (MFC)/-Spiele (MFG) mit mehrdimensionalen singulären Kontrollen sowie den Kontrollrandomisierungsansatz und dessen Anwendungen im Reinforcement Learning. Das erste Kapitel führt MFC-Probleme mit singulären Kontrollen ein, bei denen die Kosten von Zustand, Kontrolle und deren gemeinsamer Verteilung abhängen. Mittels Two-Layer-Parametrisierungen stellen wir die Zielfunktion über stetige Funktionen von Parametrisierung dar, leiten ein dynamisches Programmierungsprinzip (DPP) her und charakterisieren die Wertfunktion als minimale Supersolution einer quasi-variationellen Ungleichung im Wasserstein-Raum. Im zweiten Kapitel betrachten wir MFGs, bei denen Einfluss und Kosten der singulären Kontrolle vom Zustand und der Kontrolle abhängen. Wir führen MFGs von Parametrisierungen ein und zeigen, dass die Zielfunktion auf der Menge der Parametrisierungen stetig ist. Wir beweisen die Existenz von Nash-Gleichgewichten sowohl im MFG der Parametrisierungen als auch im MFG mit singulären Kontrollen. Das dritte Kapitel behandelt MFC-Probleme mit gemeinsamem Rauschen mittels des Kontrollrandomisierungsansatzes, bei dem wir den Kontrollprozess durch einen Poisson-Punktprozess ersetzen und stattdessen dessen Intensität kontrollieren. Nach Reformulierung zulässiger Kontrollen als L0-wertige Prozesse, nur angepasst an das gemeinsame Rauschen, konstruieren wir ein äquivalentes randomisiertes Kontrollproblem und stellen die Wertfunktion mittels einer Rückwärts-Stochastischen-Differentialgleichung (BSDE) dar und leiten ein DPP her. Das vierte Kapitel entwickelt ein Policy-Gradient-Framework für Continuous-Time Reinforcement Learning, basierend auf dem Zusammenhang zwischen stochastischen Kontrollproblemen und randomisierten Problemen. Wir leiten eine Policy-Gradient-Darstellung mit Intensität-Policies her und entwickeln Actor-Critic-Algorithmen, veranschaulicht anhand von Optimal-Switching-Problemen im Energiesektor. / This thesis explores two main areas: mean-field control (MFC)/games (MFG) with multi-dimensional singular controls and the control randomisation approach together with its applications to reinforcement learning. The first chapter introduces MFC problems with singular controls and costs depending on the state, control, and their joint law. Using novel two-layer parametrisations, we rewrite rewards in terms of continuous functions of parametrisation of the control process, derive a dynamic programming principle (DPP) and characterise the value function as the minimal supersolution to a quasi-variational inequality in the Wasserstein space. The second chapter extends this framework to MFGs where both the impact and costs of singular controls depend on the state and control. We introduce a novel class of MFGs with a broader set of admissible controls, called MFGs of parametrisations, prove that the reward functional is continuous on the set of parametrisations and establish the existence of Nash equilibria in both the MFG of parametrisations and the underlying MFG with singular controls. The third chapter addresses MFC problems with common noise using the control randomisation technique, replacing the control process with a Poisson point process, controlling its intensity instead. By reformulating admissible controls as L0-valued processes adapted only to the common noise, we construct an equivalent randomised control problem and represent the value function via a backward stochastic differential equation (BSDE) with constrained jumps and derive a randomised DPP. The fourth chapter develops a policy gradient framework for continuous-time reinforcement learning based on the connection between stochastic control and randomised problems. We derive a new policy gradient representation featuring parametrised intensity policies and develop tailored actor-critic algorithms, demonstrated via numerical case studies of optimal switching problems in the energy sector.