Optimization problems are ubiquitous in all quantitative scientific disciplines, from computer science and engineering to operations research and economics. Developing algorithms for solving various optimization problems has been the focus of mathematical research for years. In the last decade, optimization research has become even more popular due to its applications in the rapidly developing field of machine learning. In this thesis, we discuss a few fundamental and well-studied optimization problem classes: decentralized distributed optimization (Chapters 2 to 4), distributed optimization under similarity (Chapter 5), affinely constrained optimization (Chapter 6), minimax optimization (Chapter 7), and high-order optimization (Chapter 8). For each problem class, we develop the first provably optimal algorithm: the complexity of such an algorithm cannot be improved for the problem class given. The proposed algorithms show state-of-the-art performance in practical applications, which makes them highly attractive for potential generalizations and extensions in the future.

Cette thèse étudie des problèmes d’optimisation distribuée avec différentes structures d’observationset leurs applications aux réseaux sans fil et aux problèmes de Smart Grids. Spécifiquement,une structure d’observation asymétrique entre deux agents est considérée, où un premieragent a connaissance complète à propos de la réalisation d’un état aléatoire, et l’autre agent neconnaît rien à propos de cet état. Dans ce contexte, la question est de savoir comment transmettrede l’information depuis le premier agent vers le second agent dans le but d’utiliser de manièreoptimale les ressources de communication. Plusieurs modèles sont étudiés dans cette thèse. Pourtous, un élément commun est le fait que la source d’information doit être encodée de manièreappropriée pour optimiser l’utilisation de la configuration du système. Un premier modèle estétudié où aucun canal de communication n’est disponible entre les agents et ils ont une fonctiond’utilité commune. Cependant, le seul moyen de communiquer est via les actions choisiespar les agents. Comme les actions ont une influence sur le paiement, l’agent informé encode saconnaissance à propos de l’état dans ses actions, qui seront observées de manière imparfaite parle second agent. Ce dernier décodera l’information et choisira ses actions dans le but de maximiserla fonction objectif commune. Nous utilisons des outils de théorie de l’information pourcaractériser ce compromis optimal par une contrainte d’information, et appliquons ce scénario àun problème de contrôle de puissance pour un canal à interférence. Notre nouvelle stratégie (lecontrôle de puissance codé) donne des gains très prometteurs comparés aux approches classiques.Dans une seconde partie, nous considérons qu’il existe un canal dédié de communication, c’està-dire que les actions de l’agent informé n’ont pas d’influence sur le paiement et sont seulementutiles pour la transmission d’information. De plus, les agents sont supposés avoir des intérêtsdivergents, si bien que l’agent informé n’a pas nécessairement d’incitation à envoyer tout sonsavoir à l’agent non informé. La théorie des jeux et les jeux de « Cheap talk » en particulier sontle bon cadre pour analyser ce genre de problème. Nous caractérisons le schéma de signal sur lequelles agents se seront mis d’accord. Ce schéma amènera à un équilibre de Nash, est donc optimiserala façon dont la communication est faite. Ce modèle est d’un intérêt particulier pour les réseauxde véhicules électriques où un véhicule électrique doit envoyer son besoin en terme de puissancede charge à un aggrégateur qui choisira un niveau de charge effectif pour le véhicule électrique.Ce dernier ne se souciera que de son besoin, alors que l’aggrégateur se soucie également de l’étatdu réseau. Ce modèle aide à optimiser la façon dont le réseau est utilisé.Enfin, nous considérons un modèle avec plus de deux agents, où le but principal est pourtous les agents de retrouver l’observation parfaite des actions passées de tous les agents. Ceci estd’un intérêt très particulier d’un point de vue de la théorie des jeux pour caractériser les utilitésespérées de long terme des agents. Dans ce modèle, nous ajoutons un encodeur qui observeparfaitement toutes les actions passées et aidera les agents à obtenir l’observation parfaite. Enfait, ceci sera possible si la bonne contrainte d’information est satisfaite. Nous caractérisonsdonc cette dernière, en utilisant un schéma de codage hybride combinant des outils classiques dethéorie de l’information ainsi que des outils de la théorie des graphes / This thesis studies distributed optimization problems with different observation structuresand application to wireless network and Smart Grids problems. Specifically, an asymmetricobservation structure between two agents is considered, where a first agent has full knowledgeabout the realization of a random state, and the other agent does not know anything about thisstate. In this context, the question is how to transmit information from the first agent to thesecond agent in order to use in an optimal way the communication resources. Several modelsare studied in this thesis. For all of them, a common element is that the information source hasto be encoded in an appropriate manner to optimize the use of the system’s configuration. Afirst model is studied where no dedicated channel for communication is available between agentsand they have the same objective function. Therefore, the only way communication is possible isthrough the actions chosen by agents. As actions are payoff relevant, the first agent has to findthe optimal tradeoff between transmission of information and payoff maximization. The informedagent encodes his knowledge about the state into his actions, which will be imperfectly observedby the second agent. The latter will decode the information and choose his actions in order tomaximize the common objective function. We use tools from information theory to characterizethis optimal tradeoff by an information constraint, and apply this scenario to a power controlproblem in an interference channel setting. Our new strategy (the coded power control ) givessome promising gains compare to classical approaches.In a second part, we consider that there exists a dedicated channel for communication, that isto say the actions of the informed agent are not payoff relevant and are only useful for transmissionof information. Furthermore, agents are supposed to have diverging interests, so that the informedagent does not necessarily have an incentive to send all his knowledge to the uninformed agent.Game theory and Cheap talk game in particular appears to be the right framework to analyzethis problem. We characterize the signal scheme that agents will agree on. This scheme willlead to a Nash Equilibrium, thus will optimize the way communication is done. This model is ofparticular interest for electrical vehicles networks where an electrical vehicle has to send his needin term of power to an aggregator which will choose an effective charging level for the electricalvehicle. The latter only cares about his need in term of power whereas the aggregator also takesinto account the network status. The considered model help to optimize the way the network isused.We finally consider a model with more than two agents, where the main goal is for all agentsto retrieve perfect observations of all past actions of all agents. This is of particular interest ina game theory point of view to characterize the long term expected utilities of the agents. Inthis model, we add an encoder who perfectly oberves all past actions and will help agents tohave perfect monitoring. In fact, this is possible if the right information constraint is satisfied.We thus characterized the latter, using a hybrid coding scheme combining classical informationtheoretic scheme and tools from graph theory.

Notre société étant plus dépendante que jamais au vecteur électrique, la moindre perturbation du transport ou de l’acheminement de l’électricité a un impact social et économique important. La fiabilité et la sécurité des réseaux électriques sont donc cruciales pour les gestionnaires de réseaux, en plus des aspects économiques. De plus, les réseaux de transport sont interconnectés pour réduire les coûts des opérations et pour améliorer la sécurité. Un des plus grand défis des gestionnaires des réseaux de transport est ainsi de se coordonner avec les réseaux voisins, ce qui soulève des problèmes liés à la taille du problème, à l’interopérabilité et à la confidentialité des données.Cette thèse se focalise principalement sur la sécurité des opérations sur les réseaux électriques, c’est pourquoi l’évolution des principales caractéristiques des blackouts, qui sont des échecs de la sécurité des réseaux, sont étudiés sur la période 2005-2016. L’approche de cette étude consiste à déterminer quelles sont les principales caractéristiques des incidents de ces 10 dernières années, afin d’identifier ce qui devrait être intégré pour réduire le risque que ces incidents se reproduisent. L’évolution a été étudiée et comparé avec les caractéristiques des blackouts qui se sont produit avant 2005. L’étude se focalise sur les préconditions qui ont mené à ces blackouts et sur les cascades, et particulièrement sur le rôle de la vitesse des cascades. Les caractéristiques importante sont extraites et intégrées dans la suite de notre travail.Un algorithme résolvant un problème préventif d’Optimal Power Flow avec contraintes de sécurité (SCOPF) de manière distribuée est ainsi développé. Ce problème consiste en l’ajout de contraintes qui assure qu’après la perte de n’importe quel appareil d’importance, le nouveau point d’équilibre, atteint suite au réglage primaire en fréquence, respecte les contraintes du système. L’algorithme développé utilise une décomposition fine du problème et est implémenté sous le paradigme multi-agent, basé sur deux catégories d’agents : les appareils et les bus. Les agents sont coordonnés grâce à l’ « Alternating Direction Method of Multipliers (ADMM)» et grâce à un problème de consensus. Cette décomposition procure l’autonomie et la confidentialité nécessaire aux différents acteurs du système, mais aussi, un bon passage à l’échelle par rapport à la taille du problème. Cet algorithme a aussi pour avantage d’être robuste à n’importe quelle perturbation, incluant la séparation du système en plusieurs régions.Puis, pour prendre en compte l’incertitude sur la production créée par les erreurs de prédiction des fermes éoliennes, une approche distribuée à deux étapes est développée pour résoudre un problème d’Optimal Power Flow avec contraintes probabilistes (CCOPF), d’une manière complétement distribuée. Les erreurs de prédiction des fermes éoliennes sont modélisées par des lois normales indépendantes et les écarts par rapport aux plannings de production sont considérés compensés par le réglage primaire en fréquence. La première étape de l’algorithme a pour but de déterminer des paramètres de sensibilités nécessaires pour formuler le problème. Les résultats de cette étape sont ensuite des paramètres d’entrée de la seconde étape qui, elle, résout le problème de CCOPF. Une extension de cette formulation permet d’ajouter de la flexibilité au problème en permettant la réduction de la production éolienne. Cet algorithme est basé sur la même décomposition fine que précédemment où les agents sont également coordonnés par l’ADMM et grâce à un problème de consensus. En conclusion, cet algorithme en deux étapes garantit la confidentialité et l’autonomie des différents acteurs, et est parallèle et adaptée aux plateformes hautes performances. / Our societies are more dependent on electricity than ever, thus any disturbance in the power transmission and delivery has major economic and social impact. The reliability and security of power systems are then crucial to keep, for power system operators, in addition to minimizing the system operating cost. Moreover, transmission systems are interconnected to decrease the cost of operation and improve the system security. One of the main challenges for transmission system operators is therefore to coordinate with interconnected power systems, which raises scalability, interoperability and privacy issues. Hence, this thesis is concerned with how TSOs can operate their networks in a decentralized way but coordinating their operation with other neighboring TSOs to find a cost-effective scheduling that is globally secure.The main focus of this thesis is the security of power systems, this is why the evolution of the main characteristics of the blackouts that are failures in power system security, of the period 2005-2016 is studied. The approach consists in determining what the major characteristics of the incidents of the past 10 years are, to identify what should be taken into account to mitigate the risk of incidents. The evolution have been studied and compared with the characteristics of the blackouts before 2005. The study focuses on the pre-conditions that led to those blackouts and on the cascades, and especially the role of the cascade speed. Some important features are extracted and later integrated in our work.An algorithm that solve the preventive Security Constrained Optimal Power Flow (SCOPF) problem in a fully distributed manner, is thus developed. The preventive SCOPF problem consists in adding constraints that ensure that, after the loss of any major device of the system, the new steady-state reached, as a result of the primary frequency control, does not violate any constraint. The developed algorithm uses a fine-grained decomposition and is implemented under the multi-agent system paradigm based on two categories of agents: devices and buses. The agents are coordinated with the Alternating Direction method of multipliers in conjunction with a consensus problem. This decomposition provides the autonomy and privacy to the different actors of the system and the fine-grained decomposition allows to take the most of the decomposition and provides a good scalability regarding the size of the problem. This algorithm also have the advantage of being robust to any disturbance of the system, including the separation of the system into regions.Then, to account for the uncertainty of production brought by wind farms forecast error, a two-step distributed approach is developed to solve the Chance-Constrained Optimal Power Flow problem, in a fully distributed manner. The wind farms forecast errors are modeled by independent Gaussian distributions and the mismatches with the initials are assumed to be compensated by the primary frequency response of generators. The first step of this algorithm aims at determining the sensitivity factors of the system, needed to formulate the problem. The results of this first step are inputs of the second step that is the CCOPF. An extension of this formulation provides more flexibility to the problem and consists in including the possibility to curtail the wind farms. This algorithm relies on the same fine-grained decomposition where the agents are again coordinated by the ADMM and a consensus problem. In conclusion, this two-step algorithm ensures the privacy and autonomy of the different system actors and it is de facto parallel and adapted to high performance platforms.

Avec l'importance que prend le parc de véhicules électriques rechargeable (VER) depuis ces dix dernières années et au vu de l'important taux de croissance le caractérisant, se pose alors la question de l'infrastructure de recharge y inhérente. Une manière d'en tirer bénéfice et d'en minimiser l'impact consistera en l'agrégation en flotte et de gérer cette dernière en conséquence. L'objectif général de la thèse est de proposer et de développer des algorithmes décentralisés qui permettront de minimiser les impacts les plus critiques attendus d'une forte pénétration de VERs. La prise en compte de la réversibilité des chargeurs actuels et de leur fonctionnement sur les quatre quadrants, les algorithmes proposés, rendent également possible la fourniture de services système au réseau ; cependant il faut aussi tenir compte du caractère aléatoire de plusieurs variables telles que les heures d'arrivée te de départ des véhicules considérés, de l'état de charge initial entre autres. Cette thèse introduit d'abord une approche globale et une optimisation locale afin d'établir un benchmark solide à des fins d'évaluation des techniques développées dans ce travail. Vient ensuite ce qui est la contribution majeure représentée par deux méthodologies d'optimisation lesquelles sont basées sur la théorie des jeux évolutionniste. Toutes les deux techniques introduisent la notion d'équité dans la répartition des tâches et des ressources entre VERs et donnent plus de poids aux contraintes liées au rôle de l'usager/propriétaire du véhicule et de son implication dans la gestion de la demande. En outre, l'une de ces méthodes comprend des solutions de rechange pour intégrer la charge rapide dans le processus de planification, tandis que l'autre méthode permet au VER de fournir des services auxiliaires comme le remplissage des creux de demande, l'effacement de la pointe le pic de rasage, active, d'équilibrer la puissance active ou encore de fournir de l'énergie réactive. / With a stock of Plug-in electric vehicles (PEVs) under continuous grow during the last ten years, concerns have been raised in terms of their charging infrastructure and their integration into the electricity distribution systems. If PEVs are considered as a fleet, both their impact and benefit for the electrical power system can be substantial. The general objective of this thesis is to propose and develop decentralized algorithms allowing to mitigate the most critical impacts expected to occur with the integration of PEVs. Taking into account the reversibility of chargers, the proposed algorithms are intended to consider re-injection of energy, in order to provide ancillary services to the grid. Moreover, algorithms are supposed to consider the stochastic nature of variables like the arrival and departure of PEVs, their initial state of charge, among others. Under these premises and taking into account earlier contributions, this thesis introduces a centralized approach and a distributed optimization approach in order to have a solid benchmark for the justification of the most elaborate contributions of the last part of this work. After these first experiences, the most important contribution of this thesis is represented in two decentralized optimization methodologies that were developed in details based on concepts of evolutionary game theory. Both of them introduce the concept of fairness in the allocation of tasks and resources among PEVs, and give more weight to social constraints represented on the role of PEV owners in the load managing process. Furthermore, one of these methodologies includes alternatives to integrate fast charging rates in the scheduling process, while the other methodology allows PEVs to provide ancillary services like valley filling, peak shaving, active and reactive power balancing, and reactive power supply.

Network utility maximization has emerged as a powerful tool in studying flow control, resource allocation and other cross-layer optimization problems. In this work, we study a flow control problem in the optimization framework. The objective is to maximize the sum utility of the users subject to the flow constraints of the network. The utility maximization is solved in a distributed setting; the network operator does not know the user utility functions and the users know neither the rate choices of other users nor the flow constraints of the network. We build upon a popular decomposition technique proposed by Kelly [Eur. Trans. Telecommun., 8(1), 1997] to solve the utility maximization problem in the aforementioned distributed setting. The technique decomposes the utility maximization problem into a user problem, solved by each user and a network problem solved by the network. We propose an iterative algorithm based on this decomposition technique. In each iteration, the users communicate to the network their willingness to pay for the network resources. The network allocates rates in a proportionally fair manner based on the prices communicated by the users. The new feature of the proposed algorithm is that the rates allocated by the network remains feasible at all times. We show that the iterates put out by the algorithm asymptotically tracks a differential inclusion. We also show that the solution to the differential inclusion converges to the system optimal point via Lyapunov theory. We use a popular benchmark algorithm due to Kelly et al. [J. of the Oper. Res. Soc., 49(3), 1998] that involves fast user updates coupled with slow network updates in the form of additive increase and multiplicative decrease of the user flows. The proposed algorithm may be viewed as one with fast user update and fast network update that keeps the iterates feasible at all times. Simulations suggest that our proposed algorithm converges faster than the aforementioned benchmark algorithm. When the flows originate or terminate at a single node, the network problem is the maximization of a so-called d-separable objective function over the bases of a polymatroid. The solution is the lexicographically optimal base of the polymatroid. We map the problem of finding the lexicographically optimal base of a polymatroid to the geometrical problem of finding the concave cover of a set of points on a two-dimensional plane. We also describe an algorithm that finds the concave cover in linear time. Next, we consider the minimization of a more general objective function, i.e., a separable convex function, over the bases of a polymatroid with a special structure. We propose a novel decomposition algorithm and show the proof of correctness and optimality of the algorithm via the theory of polymatroids. Further, motivated by the need to handle piece-wise linear concave utility functions, we extend the decomposition algorithm to handle the case when the separable convex functions are not continuously differentiable or not strictly convex. We then provide a proof of its correctness and optimality.

Abstract The use of multiple antennas is a fundamental requirement in future wireless networks as it helps to increase the reliability and spectral efficiency of mobile radio links. In this thesis, we study convex optimization based radio resource allocation methods for the downlink of multi-antenna systems. First, the problem of admission control in the downlink of a multicell multiple-input single-output (MISO) system has been considered. The objective is to maximize the number of admitted users subject to a signal-to-interference-plus-noise ratio (SINR) constraint at each admitted user and a transmit power constraint at each base station (BS). We have cast the admission control problem as an ℓ0 minimization problem; it is known to be combinatorial, NP-hard. Centralized and distributed algorithms to solve this problem have been proposed. To develop the centralized algorithm, we have used sequential convex programming (SCP). The distributed algorithm has been derived by using the consensus-based alternating direction method of multipliers in conjunction with SCP. We have shown numerically that the proposed admission control algorithms achieve a near-to-optimal performance. Next, we have extended the admission control problem to provide fairness, where long-term fairness among the users has been guaranteed. We have focused on proportional and max-min fairness, and proposed dynamic control algorithms via Lyapunov optimization. Results show that these proposed algorithms guarantee fairness. Then, the problem of admission control for the downlink of a MISO heterogeneous networks (hetnet) has been considered, and the proposed centralized and distributed algorithms have been adapted to find a solution. Numerically, we have illustrated that the centralized algorithm achieves a near-to-optimal performance, and the distributed algorithm’s performance is closer to the optimal value. Finally, an algorithm to obtain the set of all achievable power-rate tuples for a multiple-input multiple-output hetnet has been provided. The setup consists of a single macrocell and a set of femtocells. The interference power to the macro users from the femto BSs has been kept below a threshold. To find the set of all achievable power-rate tuples, a two-dimensional vector optimization problem is formulated, where we have considered maximizing the sum-rate while minimizing the sum-power, subject to maximum power and interference threshold constraints. This problem is known to be NP-hard. A solution method is provided by using the relationship between the weighted sum-rate maximization and weighted-sum-mean-squared-error minimization problems. The proposed algorithm was used to evaluate the impact of imposing interference threshold constraints and the co-channel deployments in a hetnet. / Tiivistelmä Monen antennin käyttö on perusvaatimus tulevissa langattomissa verkoissa, koska se auttaa lisäämään matkaviestinyhteyksien luotettavuutta ja spektritehokkuutta. Tässä väitöskirjassa tutkitaan konveksiin optimointiin perustuvia radioresurssien allokointimenetelmiä moniantennijärjestelmien alalinkin suunnassa. Ensiksi on käsitelty pääsynvalvonnan ongelmaa alalinkin suuntaan monen solun moni-tulo yksi-lähtö (MISO) -verkoissa. Tavoitteena on maksimoida hyväksyttyjen käyttäjien määrä, kun hyväksytyille käyttäjille on asetettu signaali-häiriö-kohinasuhteen (SINR) rajoitus, ja tukiasemille lähetystehon rajoitus. Pääsynvalvonnan ongelma on muotoiltu ℓ0-minimointiongelmana, jonka tiedetään olevan kombinatorinen, NP-vaikea ongelma. Ongelman ratkaisemiseksi on ehdotettu keskitettyjä ja hajautettuja algoritmeja. Keskitetty optimointialgoritmi perustuu sekventiaaliseen konveksiin optimointiin. Hajautettu algoritmi pohjautuu konsensusoptimointimenetelmään ja sekventiaaliseen konveksiin optimointiin. Ehdotettujen pääsynvalvonta-algoritmien on numeerisesti osoitettu saavuttavan lähes optimaalinen suorituskyky. Lisäksi pääsynvalvontaongelma on laajennettu takaamaan pitkän aikavälin oikeudenmukaisuus käyttäjien välillä. Työssä käytetään erilaisia määritelmiä oikeudenmukaisuuden takaamiseen, ja ehdotetaan dynaamisia algoritmeja pohjautuen Lyapunov-optimointiin. Tulokset osoittavat, että ehdotetuilla algoritmeilla taataan käyttäjien välinen oikeudenmukaisuus. Tämän jälkeen käsitellään heterogeenisen langattoman MISO-verkon pääsynvalvonnan ongelmaa. Edellä ehdotettuja keskitettyjä ja hajautettuja algoritmeja on muokattu tämän ongelman ratkaisemiseksi. Työssä osoitetaan numeerisesti, että sekä keskitetyllä että hajautetulla algoritmilla saavutetaan lähes optimaalinen suorituskyky. Lopuksi on laadittu algoritmi, jolla löydetään kaikki saavutettavissa olevat teho-datanopeusparit heterogeenisessä langattomassa moni-tulo moni-lähtö (MIMO) -verkossa. Verkko koostuu yhdestä makrosolusta ja useasta piensolusta. Piensolutukiasemista makrokäyttäjiin kohdistuvan häiriön teho on pidetty tietyn rajan alapuolella. Kaikkien saavutettavien teho-datanopeusparien löytämiseksi on laadittu kaksiulotteinen vektorioptimointiongelma, jossa maksimoidaan summadatanopeus pyrkien minimoimaan kokonaisteho, kun enimmäisteholle ja häiriökynnykselle on asetettu rajoitukset. Tämän ongelman tiedetään olevan NP-vaikea. Ongelman ratkaisemiseksi käytetään painotetun summadatanopeuden maksimointiongelman, ja painotetun keskineliövirheen minimointiongelman välistä suhdetta. Ehdotettua algoritmia käytettiin arvioimaan häiriörajoitusten ja saman kanavan käyttöönoton vaikutusta heterogeenisessä langattomassa verkossa.

Les protocoles de consensus ont gagné beaucoup d’intérêt ces dernières années. Dans cette thèse, nous étudions les problèmes d’optimisation, de contrôle, et de théorie de jeu qui se posent dans ces protocoles. Tout d’abord, nous étudions les techniques d’optimisation pour des problèmes de sélection de poids permettant ainsi d’augmenter la vitesse de convergence de protocoles de consensus dans les réseaux. Nous proposons de sélectionner les poids en appliquant un algorithme d’approximation: minimisation de la norme p de Schatten de la matrice de poids. Nous caractérisons l’erreur induite par cette approximation et nous montrons que l’algorithme proposé a l’avantage qu’il peut être soit résolu de façon distribuée. Ensuite, nous proposons un cadre conceptuel d’analyse des jeux d’adversaire qui peut ajouter du bruit aux poids utilisés par l’algorithme de consensus de moyenne afin d’éloigner le système de consensus. Nous analysons également la performance des algorithmes de consensus de moyenne où les informations échangées entre les agents voisins sont soumises à la quantification uniforme déterministe (les valeurs réelles envoyées par les nœuds de leurs voisins sont tronquées). Le problème de la terminaison des protocoles de consensus s’avère difficile dans le cadre distribué. Nous proposons un algorithme distribué pour la terminaison des protocoles de consensus. L’algorithme réduit la charge de communication tout en garantissant la convergence vers un consensus. Enfin, nous proposons une mesure de similarité qui évalue la qualité d’un regroupement (clustering) des nœuds dans un réseau. Un algorithme local de clustering basé sur cette métrique est donné. / Consensus protocols have gained a lot of interest in the recent years. In this thesis, we study optimization, control, and game theoretical problems arising in consensus protocols. First, we study optimization techniques for weight selection problems to increase the speed of convergence of discrete-time consensus protocols on networks. We propose to select the weights by applying an approximation algorithm: minimizing the Schatten p-norm of the weight matrix. We characterize the approximation error and we show that the proposed algorithm has the advantage that it can be solved in a totally distributed way. Then we propose a game theoretical framework for an adversary that can add noise to the weights used by averaging protocols to drive the system away from consensus. We give the optimal strategies for the game players (the adversary and the network designer) and we show that a saddle-point equilibrium exists in mixed strategies. We also analyze the performance of distributed averaging algorithms where the information exchanged between neighboring agents is subject to deterministic uniform quantization (e.g., when real values sent by nodes to their neighbors are truncated). Consensus algorithms require that nodes exchange messages persistently to reach asymptotically consensus. We propose a distributed algorithm that reduces the communication overhead while still guaranteeing convergence to consensus. Finally, we propose a score metric that evaluates the quality of clusters such that the faster the random walk mixes in the cluster and the slower it escapes, the higher is the score. A local clustering algorithm based on this metric is proposed.

<div>In recent years, the amount of data in the information processing systems has significantly increased, which is also referred to as big-data. The design of systems handling big-data calls for a scalable approach, which brings distributed systems into the picture. In contrast to centralized systems, data are spread across the network of agents in the distributed system, and agents cooperatively complete tasks through local communications and local computations. However, the design and analysis of distributed systems, in which no central coordinators with complete information are present, are challenging tasks. In order to support communication among agents to enable multi-agent coordination among others, practical communication constraints should be taken into consideration in the design and analysis of such systems. The focus of this dissertation is to provide design and analysis of distributed network processing using finite-rate communications among agents. In particular, we address the following open questions: 1) can one design algorithms balancing a graph weight matrix using finite-rate and simplex communications among agents? 2) can one design algorithms computing the average of agents’ states using finite-rate and simplex communications? and 3) going beyond of ad-hoc algorithmic designs, can one design a black-box mechanism transforming a general class of algorithms with unquantized communication to their finite-bit quantized counterparts?</div><div><br></div><div>This dissertation addresses the above questions. First, we propose novel distributed algorithms solving the weight-balancing and average consensus problems using only finite-rate simplex communications among agents, compliant to the directed nature of the network topology. A novel convergence analysis is put forth, based on a new metric inspired by the</div><div>positional system representations. In the second half of this dissertation, distributed optimization subject to quantized communications is studied. Specifically, we consider a general class of linearly convergent distributed algorithms cast as fixed-point iterate, and propose a novel black-box quantization mechanism. In the proposed mechanism, a novel quantizer preserving linear convergence is proposed, which is proved to be more communication efficient than state-of-the-art quantization mechanisms. Extensive numerical results validate our theoretical findings.</div>

L'apprentissage des matrices de rang faible est un problème de grande importance dans les statistiques, l'apprentissage automatique, la vision par ordinateur et les systèmes de recommandation. En raison de sa nature NP-difficile, une des approches principales consiste à résoudre sa relaxation convexe la plus étroite : la minimisation de la norme de trace. Parmi les différents algorithmes capables de résoudre cette optimisation, on peut citer la méthode de Frank-Wolfe, particulièrement adaptée aux matrices de grande dimension. En préparation à l'utilisation d'infrastructures distribuées pour accélérer le calcul, cette étude vise à explorer la possibilité d'exécuter l'algorithme de Frank-Wolfe dans un réseau en étoile avec le modèle BSP (Bulk Synchronous Parallel) et à étudier son efficacité théorique et empirique. Concernant l'aspect théorique, cette étude revisite le taux de convergence déterministe de Frank-Wolfe et l'étend à des cas non déterministes. En particulier, il montre qu'avec le sous-problème linéaire résolu de manière appropriée, Frank-Wolfe peut atteindre un taux de convergence sous-linéaire à la fois en espérance et avec une probabilité élevée. Cette contribution pose la fondation théorique de l'utilisation de la méthode de la puissance itérée ou de l'algorithme de Lanczos pour résoudre le sous-problème linéaire de Frank-Wolfe associé à la minimisation de la norme de trace. Concernant l'aspect algorithmique, dans le cadre de BSP, cette étude propose et analyse quatre stratégies pour le sous-problème linéaire ainsi que des méthodes pour la recherche linéaire. En outre, remarquant la propriété de mise à jour de rang-1 de Frank-Wolfe, il met à jour le gradient de manière récursive, avec une représentation dense ou de rang faible, au lieu de le recalculer de manière répétée à partir de zéro. Toutes ces conceptions sont génériques et s'appliquent à toutes les infrastructures distribuées compatibles avec le modèle BSP. Concernant l'aspect empirique, cette étude teste les conceptions algorithmiques proposées dans un cluster Apache SPARK. Selon les résultats des expériences, pour le sous-problème linéaire, la centralisation des gradients ou la moyenne des vecteurs singuliers est suffisante dans le cas de faible dimension, alors que la méthode de la puissance itérée distribuée, avec aussi peu qu'une ou deux itérations par époque, excelle dans le cas de grande dimension. La librairie Python développée pour les expériences est modulaire, extensible et prête à être déployée dans un contexte industriel. Cette étude a rempli sa fonction de preuve de concept. Suivant le chemin qu'il met en place, des solveurs peuvent être implémentés pour différentes infrastructures, parmi lesquelles des clusters GPU, pour résoudre des problèmes pratiques dans des contextes spécifiques. En outre, ses excellentes performances dans le jeu de données ImageNet le rendent prometteur pour l'apprentissage en profondeur. / Learning low-rank matrices is a problem of great importance in statistics, machine learning, computer vision, recommender systems, etc. Because of its NP-hard nature, a principled approach is to solve its tightest convex relaxation : trace norm minimization. Among various algorithms capable of solving this optimization is the Frank-Wolfe method, which is particularly suitable for high-dimensional matrices. In preparation for the usage of distributed infrastructures to further accelerate the computation, this study aims at exploring the possibility of executing the Frank-Wolfe algorithm in a star network with the Bulk Synchronous Parallel (BSP) model and investigating its efficiency both theoretically and empirically. In the theoretical aspect, this study revisits Frank-Wolfe's fundamental deterministic sublinear convergence rate and extends it to nondeterministic cases. In particular, it shows that with the linear subproblem appropriately solved, Frank-Wolfe can achieve a sublinear convergence rate both in expectation and with high probability. This contribution lays the theoretical foundation of using power iteration or Lanczos iteration to solve the linear subproblem for trace norm minimization. In the algorithmic aspect, within the BSP model, this study proposes and analyzes four strategies for the linear subproblem as well as methods for the line search. Moreover, noticing Frank-Wolfe's rank-1 update property, it updates the gradient recursively, with either a dense or a low-rank representation, instead of repeatedly recalculating it from scratch. All of these designs are generic and apply to any distributed infrastructures compatible with the BSP model. In the empirical aspect, this study tests the proposed algorithmic designs in an Apache SPARK cluster. According to the experiment results, for the linear subproblem, centralizing the gradient or averaging the singular vectors is sufficient in the low-dimensional case, whereas distributed power iteration, with as few as one or two iterations per epoch, excels in the high-dimensional case. The Python package developed for the experiments is modular, extensible and ready to deploy in an industrial context. This study has achieved its function as proof of concept. Following the path it sets up, solvers can be implemented for various infrastructures, among which GPU clusters, to solve practical problems in specific contexts. Besides, its excellent performance in the ImageNet dataset makes it promising for deep learning.

Cette thèse porte essentiellement sur l'étude d'algorithmes d'optimisation. Les problèmes de programmation intervenant en apprentissage automatique ou en traitement du signal sont dans beaucoup de cas composites, c'est-à-dire qu'ils sont contraints ou régularisés par des termes non lisses. Les méthodes proximales sont une classe d'algorithmes très efficaces pour résoudre de tels problèmes. Cependant, dans les applications modernes de sciences des données, les fonctions à minimiser se représentent souvent comme une espérance mathématique, difficile ou impossible à évaluer. C'est le cas dans les problèmes d'apprentissage en ligne, dans les problèmes mettant en jeu un grand nombre de données ou dans les problèmes de calcul distribué. Pour résoudre ceux-ci, nous étudions dans cette thèse des méthodes proximales stochastiques, qui adaptent les algorithmes proximaux aux cas de fonctions écrites comme une espérance. Les méthodes proximales stochastiques sont d'abord étudiées à pas constant, en utilisant des techniques d'approximation stochastique. Plus précisément, la méthode de l'Equation Differentielle Ordinaire est adaptée au cas d'inclusions differentielles. Afin d'établir le comportement asymptotique des algorithmes, la stabilité des suites d'itérés (vues comme des chaines de Markov) est étudiée. Ensuite, des généralisations de l'algorithme du gradient proximal stochastique à pas décroissant sont mises au point pour resoudre des problèmes composites. Toutes les grandeurs qui permettent de décrire les problèmes à résoudre s'écrivent comme une espérance. Cela inclut un algorithme primal dual pour des problèmes régularisés et linéairement contraints ainsi qu'un algorithme d'optimisation sur les grands graphes. / This thesis mainly studies optimization algorithms. Programming problems arising in signal processing and machine learning are composite in many cases, i.e they exhibit constraints and non smooth regularization terms. Proximal methods are known to be efficient to solve such problems. However, in modern applications of data sciences, functions to be minimized are often represented as statistical expectations, whose evaluation is intractable. This cover the case of online learning, big data problems and distributed computation problems. To solve this problems, we study in this thesis proximal stochastic methods, that generalize proximal algorithms to the case of cost functions written as expectations. Stochastic proximal methods are first studied with a constant step size, using stochastic approximation techniques. More precisely, the Ordinary Differential Equation method is adapted to the case of differential inclusions. In order to study the asymptotic behavior of the algorithms, the stability of the sequences of iterates (seen as Markov chains) is studied. Then, generalizations of the stochastic proximal gradient algorithm with decreasing step sizes are designed to solve composite problems. Every quantities used to define the optimization problem are written as expectations. This include a primal dual algorithm to solve regularized and linearly constrained problems and an optimization over large graphs algorithm.