Convex optimization problems are a class of mathematical problems which arise in numerous applications. Although interior-point methods can in principle solve these problems efficiently, they may become intractable for solving large-scale problems or be unsuitable for real-time embedded applications. Iterations of operator splitting methods are relatively simple and computationally inexpensive, which makes them suitable for these applications. However, some of their known limitations are slow asymptotic convergence, sensitivity to ill-conditioning, and inability to detect infeasible problems. The aim of this thesis is to better understand operator splitting methods and to develop reliable software tools for convex optimization. The main analytical tool in our investigation of these methods is their characterization as the fixed-point iteration of a nonexpansive operator. The fixed-point theory of nonexpansive operators has been studied for several decades. By exploiting the properties of such an operator, it is possible to show that the alternating direction method of multipliers (ADMM) can detect infeasible problems. Although ADMM iterates diverge when the problem at hand is unsolvable, the differences between subsequent iterates converge to a constant vector which is also a certificate of primal and/or dual infeasibility. Reliable termination criteria for detecting infeasibility are proposed based on this result. Similar ideas are used to derive necessary and sufficient conditions for linear (geometric) convergence of an operator splitting method and a bound on the achievable convergence rate. The new bound turns out to be tight for the class of averaged operators. Next, the OSQP solver is presented. OSQP is a novel general-purpose solver for quadratic programs (QPs) based on ADMM. The solver is very robust, is able to detect infeasible problems, and has been extensively tested on many problem instances from a wide variety of application areas. Finally, operator splitting methods can also be effective in nonconvex optimization. The developed algorithm significantly outperforms a common approach based on convex relaxation of the original nonconvex problem.

Le procédé de fabrication de mélanges (PM) consiste à déterminer les proportions optimales à mélanger d'un ensemble de composants de façon que le produit obtenu satisfasse un ensemble de spécifications sur leurs propriétés. Deux caractéristiques importantes du problème de mélange sont les bornes dures sur les propriétés du mélange et l'incertitude répandue dans le procédé. Dans ce travail, on propose une méthode pour la production de mélanges robustes en temps réel qui minimise le coût de la recette et la sur-qualité du mélange. La méthode est basée sur les techniques de l'Optimisation Robuste et sur l'hypothèse que les lois des mélange sont linéaires. On exploite les polytopes sous-jacents pour mesurer, visualiser et caractériser l'infaisabilité du PM et on analyse la modification des bornes sur les composants pour guider le procédé vers le ``meilleur`` mélange robuste. On propose un ensemble d'indicateurs et de visualisations en vue d'offrir une aide à la décision. / The oil blending process (BP) consists in determining the optimal proportions to blend from a set of available components such that the final product fulfills a set of specifications on their properties. Two important characteristics of the blending problem are the hard bounds on the blend's properties and the uncertainty pervading the process. In this work, a real-time optimization method is proposed for producing robust blends while minimizing the blend quality giveaway and the recipe's cost. The method is based on the Robust Optimization techniques and under the assumption that the components properties blend linearly. The blending intrinsic polytopes are exploited in order to measure, visualize and characterize the infeasibility of the BP. A fine analysis of the components bounds modifications is conducted to guide the process towards the ``best`` robust blend. A set of indices and visualizations provide a helpful support for the decision maker.

This master thesis studies the problem of parameter identification for system biology. Two methods have been studied. The method of interval analysis uses subpaving as a class of objects to manipulate and store inner and outer approximations of compact sets. This method works well with the model given as a system of differential equations, but has its limitations, since the analytical expression for the solution to the ODE is not always obtainable, which is needed for constructing the inclusion function. The other method, studied, is SDP-relaxation of a nonlinear and non-convex feasibility problem. This method, implemented in the toolbox bio.SDP, works with system of difference equations, obtained using the Euler discretization method. The discretization method is not exact, raising the need of bounding this discretization error. Several methods for bounding this error has been studied. The method of ∞-norm optimization, also called worst-case-∞-norm is applied on the one-step error estimation method. The methods have been illustrated solving two system biological problems and the resulting SCP have been compared. / Det här examensarbetet studerar problemet med parameteridentifiering för systembiologi. Två metoder har studerats. Metoden med intervallanalys använder union av intervallvektorer som klass av objekt för att manipulera och bilda inre och yttre approximationer av kompakta mängder. Denna metod fungerar väl för modeller givna som ett system av differentialekvationer, men har sina begränsningar, eftersom det analytiska uttrycket för lösningen till differentialekvationen som är nödvändigt att känna till för att kunna formulera inkluderande funktioner, inte alltid är tillgängliga. Den andra studerade metoden, använder SDP-relaxering, som ett sätt att komma runt problemet med olinjäritet och icke-konvexitet i systemet. Denna metod, implementerad i toolboxen bio.SDP, utgår från system av differensekvationer, framtagna via Eulers diskretiserings metod. Diskretiseringsmetoden innehåller fel och osäkerhet, vilket gör det nödvändigt att estimera en gräns för felets storlek. Några felestimeringsmetoder har studerats. Metoden med ∞-norm optimering, också kallat worst-case-∞-norm är tillämpat på ett-stegs felestimerings metoder. Metoderna har illustrerats genom att lösa två system biologiska problem och de accepterade parametermängderna, benämnt SCP, har jämförts och diskuterats.

Graph partitioning is a fundamental optimization problem that has been intensively studied. Many graph partitioning formulations are important as building blocks for divide-and-conquer algorithms on graphs as well as to many applications such as VLSI layout, packet routing in distributed networks, clustering and image segmentation. Unfortunately such problems are notorious for the huge gap between known best known approximation algorithms and hardness of approximation results. In this thesis, we study approximation algorithms for graph partitioning problems using a strong hierarchy of relaxations based on semi-definite programming, called Lasserre Hierachy. Our main contribution in this thesis is a propagation based rounding framework for solutions arising from such relaxations. We present a novel connection between the quality of solutions it outputs and column based matrix reconstruction problem. As part of our work, we derive optimal bounds on the number of columns necessary together with efficient randomized and deterministic algorithms to find such columns. Using this framework, we derive approximation schemes for many graph partitioning problems with running times dependent on how fast the graph spectrum grows. Our final contribution is a fast SDP solver for this rounding framework: Even though SDP relaxation has nO(r) many variables, we achieve running times of the form 2O(r) poly(n) by only partially solving the relevant part of relaxation. In order to achieve this, we present a new ellipsoid algorithm that returns certificate of infeasibility.

Dans le secteur électrique et chez EDF, l'optimisation mathématique est utilisée pour modéliser et résoudre des problèmes de gestion de la production d'électricité.Citons quelques applications : la modélisation des problèmes d'équilibre des marchés, la gestion des risques d'épuisement des barrages, la programmation des arrêts de tranches nucléaires.Plus particulièrement l'hydroélectricté est une énergie renouvelable, peu chère, flexible mais limitée.Exploiter l'hydraulique constitue donc un enjeu important.Nous nous intéressons à des problèmes d'optimisation de Programmation Non Linéaire en Nombres Entiers (PNLNE) dont les variables de décision sont continues ou discrètes et dont les fonctions exprimant l'objectif et les contraintes sont linéaires ou non.Les non-linéarités et la combinatoire induite par les variables entières rendent les PNLNE difficiles à résoudre.En effet les méthodes existantes n'arrivent pas toujours à résoudre les grands PNLNE à l'optimalité avec des temps de calcul limités.En amont des performances de résolution, la faisabilité est une question préliminaire à aborder puisqu'il faut s'assurer que les PNLNE à résoudre admettent des solutions.Lorsqu'il y a des infaisabilités dans des modèles complexes, il est très utile mais très difficile de les analyser.Par ailleurs la résolution de PNLNE est plus difficile si l'on requiert une certification de la précision exacte des résultats.En effet les méthodes résolutions sont en général mises en oeuvre en arithmétique flottante, ce qui peut donner lieu à une précision approchée.Nous abordons deux problèmes d'optimisation liés à la planification de la production hydraulique, Hydro Unit-Commitment (HUC) en Anglais.Etant données des ressources d'eau finies dans les barrages l'objet du HUC est de prescrire des programmes de production les plus rentables qui soient compatibles avec les spécifications techniques des usines hydrauliques.Le volume, le débit et la puissance sont représentés par des variables continues tandis que l'activation des turbines est communément formulée avec des variables binaires.Les non-linéarités proviennent en général des fonctions qui expriment la puissance générée en fonction du volume et du débit.Nous distinguons deux problèmes : un PLNE avec des caractéristiques linéaires et discrètes et un PNL avec des caractéristiques non linéaires et continues.Dans le 2ème chapitre, nous traitons de la faisabilité d'un HUC réel en PLNE.Comparé à un HUC standard le modèle inclut deux spécifications supplémentaires : des points de fonctionnements discrets sur la courbe puissance-débit ainsi que des niveaux cibles pour le volume des réservoirs.Les complications liées aux données réelles et au calcul numérique, associées aux spécifications du modèle rendent notre problème difficile à résoudre et souvent infaisable.Nous procédons par étape pour identifier et traiter les sources d'infaisabilité, à savoir les erreurs numériques et les infaisabilités de modélisation, pour rendre le problème faisable.Des résultats numériques étayent l'efficacité de notre méthode sur un ensemble de test de 66 instances réelles qui contient de nombreuses infaisabilités.Le 3ème chapitre porte sur l'adaptation de l'algorithme Multiplicative Weights Update (MWU) à la PNLNE.Cette adaptation est fondée sur une reformulation paramétrée spécifique dénommée pointwise.Nous définissons des propriétés souhaitables pour obtenir de bonnes reformulations pointwise et nous fournissons des règles pour adapter l'algorithme étape par étape.Nous démontrons que notre matheuristique du MWU conserve une garantie d'approximation relative contrairement à la plupart des heuristiques.Le MWU est comparée à la méthode Multi-Start pour résoudre un HUC en PNL et les résultats numériques penchent en faveur du MWU. / In the electricity industry, and more specifically at the French utility company EDF, mathematical optimization is used to model and solve problems related to electricity production management.To name a few applications: planning for capacity investments, managing depletion risks of hydro-reservoirs, scheduling outages and refueling for nuclear plants.More specifically, hydroelectricity is a renewable, cheap, flexible but limited source of energy.Harnessing hydroelectricity is thus critical for electricity production management.We are interested in Mixed-Integer Non-Linear Programming (MINLP) optimization problems.They are optimization problems whose decision variables can be continuous or discrete and the functions to express the objective and constraints can be linear or non-linear.The non-linearities and the combinatorial aspect induced by the integer variables make these problems particularly difficult to solve.Indeed existing methods cannot always solve large MINLP problems to the optimum within limited computational timeframes.Prior to solution performance, feasibility is preliminary challenge to tackle since we want to ensure the MINLP problems to solve admit feasible solutions.When infeasibilities occur in complex models, it is useful but not trivial to analyze their causes.Also, certifying the exactness of the results compounds the difficulty of solving MINLP problems as solution methods are generally implemented in floating-point arithmetic, which may lead to approximate precision.In this thesis, we work on two optimization problems - a Mixed-Integer Linear Program (MILP) and a Non-Linear Program (NLP) - related to Short-Term Hydropower production Scheduling (STHS).Given finite resources of water in reservoirs, the purpose of STHS is to prescribe production schedules with largest payoffs that are compatible with technical specifications of the hydroelectric plants.While water volumes, water flows, and electric powers can be represented with continuous variables, commitment statuses of turbine units usually have to be formulated with binary variables.Non-linearities commonly originate from the Input/Output functions that model generated power according to water volume and water flow.We decide to focus on two distinguished problems: a MILP with linear discrete features and a NLP with non-linear continuous features.In the second chapter, we deal with feasibility issues of a real-world MILP STHS.Compared with a standard STHS problem, the model features two additional specifications:discrete operational points of the power-flow curve and mid-horizon and final strict targets for reservoir levels.Issues affecting real-world data and numerical computing, together with specific model features, make our problem harder to solve and often infeasible.Given real-world instances, we reformulate the model to make the problem feasible.We follow a step-by-step approach to exhibit and cope with one source of infeasility at a time, namely numerical errors and model infeasibilities.Computational results show the effectiveness of the approach on an original test set of 66 real-world instances that demonstrated a high occurrence of infeasibilities.The third chapter is about the transposition of the Multiplicative Weights Update algorithm to the (nonconvex) nonlinear and mixed integer nonlinear programming setting, based on a particular parametrized reformulation of the problem - denoted pointwise.We define desirable properties for deriving pointwise reformulation and provide generic guidelines to transpose the algorithm step-by-step.Unlike most metaheuristics, we show that our MWU metaheuristic still retains a relative approximation guarantee in the NLP and MINLP settings.We benchmark it computationally to solve a hard NLP STHS.We find it compares favorably to the well-known Multi-Start method, which, on the other hand, offers no approximation guarantee.

Dans cette thèse, nous nous étudions des algorithmes d’optimisation non linéaire. D’une part nous proposons des techniques de détection rapide de la non-réalisabilité d’un problème à résoudre. D’autre part, nous analysons le comportement local des algorithmes pour la résolution de problèmes singuliers. Dans la première partie, nous présentons une modification d’un algorithme de lagrangien augmenté pour l’optimisation avec contraintes d’égalité. La convergence quadratique du nouvel algorithme dans le cas non-réalisable est démontrée théoriquement et numériquement. La seconde partie est dédiée à l’extension du résultat précédent aux problèmes d’optimisation non linéaire généraux avec contraintes d’égalité et d’inégalité. Nous proposons une modification d’un algorithme de pénalisation mixte basé sur un lagrangien augmenté et une barrière logarithmique. Les résultats théoriques de l’analyse de convergence et quelques tests numériques montrent l’avantage du nouvel algorithme dans la détection de la non-réalisabilité. La troisième partie est consacrée à étudier le comportement local d’un algorithme primal-dual de points intérieurs pour l’optimisation sous contraintes de borne. L’analyse locale est effectuée sans l’hypothèse classique des conditions suffisantes d’optimalité de second ordre. Celle-ci est remplacée par une hypothèse plus faible basée sur la notion de borne d’erreur locale. Nous proposons une technique de régularisation de la jacobienne du système d’optimalité à résoudre. Nous démontrons ensuite des propriétés de bornitude de l’inverse de ces matrices régularisées, ce qui nous permet de montrer la convergence superlinéaire de l’algorithme. La dernière partie est consacrée à l’analyse de convergence locale de l’algorithme primal-dual qui est utilisé dans les deux premières parties de la thèse. En pratique, il a été observé que cet algorithme converge rapidement même dans le cas où les contraintes ne vérifient l’hypothèse de qualification de Mangasarian-Fromovitz. Nous démontrons la convergence superlinéaire et quadratique de cet algorithme, sans hypothèse de qualification des contraintes. / This thesis is devoted to the study of numerical algorithms for nonlinear optimization. On the one hand, we propose new strategies for the rapid infeasibility detection. On the other hand, we analyze the local behavior of primal-dual algorithms for the solution of singular problems. In the first part, we present a modification of an augmented Lagrangian algorithm for equality constrained optimization. The quadratic convergence of the new algorithm in the infeasible case is theoretically and numerically demonstrated. The second part is dedicated to extending the previous result to the solution of general nonlinear optimization problems with equality and inequality constraints. We propose a modification of a mixed logarithmic barrier-augmented Lagrangian algorithm. The theoretical convergence results and the numerical experiments show the advantage of the new algorithm for the infeasibility detection. In the third part, we study the local behavior of a primal-dual interior point algorithm for bound constrained optimization. The local analysis is done without the standard assumption of the second-order sufficient optimality conditions. These conditions are replaced by a weaker assumption based on a local error bound condition. We propose a regularization technique of the Jacobian matrix of the optimality system. We then demonstrate some boundedness properties of the inverse of these regularized matrices, which allow us to prove the superlinear convergence of our algorithm. The last part is devoted to the local convergence analysis of the primal-dual algorithm used in the first two parts of this thesis. In practice, it has been observed that this algorithm converges rapidly even in the case where the constraints do not satisfy the Mangasarian-Fromovitz constraint qualification. We demonstrate the superlinear and quadratic convergence of this algorithm without any assumption of constraint qualification.