Depuis son introduction, la programmation mathématique à deux niveaux suscite un intérêt toujours croissant. En effet, vu ses applications dans une multitude de problèmes concrets (problèmes de gestion, planification économique, chimie, sciences environnementales,...), beaucoup de recherches ont été effectuées afin de contribuer à la résolution de cette classe de problèmes. Cette thèse est consacrée à l'étude de quelques classes de problèmes d'optimisation à deux niveaux, à savoir, les problèmes à deux niveaux forts, les problèmes à deux niveaux forts-faibles et les problèmes à deux niveaux semi-vectoriels. Le premier chapitre est consacré aux rappels de quelques définitions et résultats de topologie et d'analyse convexe que nous avons utilisé dans la suite. Dans le deuxième chapitre, nous avons rappelé quelques résultats théoriques et algorithmiques établis dans la littérature pour la résolution de quelques classes de problèmes d'optimisation à deux niveaux. Le troisième chapitre est consacré à l'étude d'un problème à deux niveaux fort-faible (SWBL). Vu la difficulté que présente cette classe de problèmes dans l'étude de l'existence de solutions, et afin de donner de nouvelles perspectives à leur résolution, nous avons procédé à une régularisation du problème. Sous des conditions suffisantes et via cette régularisation, nous avons montré que le problème (SWBL) admet au moins une solution. Dans le quatrième chapitre, nous avons donné une approche de dualité à un problème d'optimisation à deux niveaux fort (S). Cette approche est basée sur l'utilisation d'une régularisation et la dualité de Fenchel-Lagrange. En utilisant cette approche, nous avons donné des conditions nécessaires d'optimalité pour le problème (S). Enfin, des conditions suffisantes d'optimalité sont obtenues pour (S) sans utiliser l'approche. Une application concrète est donnée sur l'allocation de ressources. Dans le cinquième chapitre, nous avons étudié un problème à deux niveaux semi-vectoriel (SVBL). Pour ce problème, nous avons donné une approche de dualité en utilisant une régularisation, une scalarisation et la dualité de Fenchel-Lagrange. Puis, via cette approche et sous des hypothèses appropriées, nous avons donné des conditions nécessaires d'optimalité pour une classe de solutions du problème (SVBL). Finalement, des conditions suffisantes d'optimalité sont établies sont établies sans utiliser l'approche de dualité. / Since its introduction, the class of tao-level programming problems has attracted increasing interest. Indeed, because of its applications in a multitude of concrete problems (management problems, economic planning, chemistry, environmental sciences,...), several researchers have been interested in the study of such class of problems. This thesis deals with the study of some classes of two-level optimization problems, namely, strong two-level problems, strong-weak two-level problems and semi-vectorial two-level problems. In the first chapter, we have recalled some definitions and results related to topology and convex analysis that we have used in our study. In the second chapter, we have discussed some theoretical and algorithmic results established in the literature for solving some classes of two-level optimization problems. The third chapter deals with strong-weak Stackelberg problems. As it is well-known, such a class of problems presents difficulties in its study concerning the existence of solutions. So that, for a strong-weak two-level optimization problem, we have first given a regularization. Then, via this regularization and under appropriate assumptions we have shown the existence of solutions to such a problem. This result generalizes the one given in the literature for weak Stackelberg problems. In the fourth chapter, we have given a duality approach for a strong two-level programming problem (S). The duality approach is based on the use of a regularization and the Fenchel-Lagrange duality. Then, via this approach, we have given necessary optimality conditions for (S). Finally, sufficient optimality conditions are given for the initial problem (S). An application to a two-level resource allocation problem is given. In the fifth chapter, we have considered a semivectorial two-level programming problem (SVBL) where the upper and lower levels are vectorial and scalar respectively. For such a problem, we have given a duality approach based on the use of a regularization, a scalarization and the Fenchel-Lagrange duality. Then, via this approach we have established necessary optimality conditions for (SVBL). Finally, we have given sufficient optimality conditions without using the duality approach.

Cette thèse aborde l'optimisation multicritère et l'optimisation à deux niveaux. L'investigation porte principalement sur les méthodes, les applications et les liens possibles entre les deux classes d'optimisation. Premièrement, nous développons une méthode de résolution des problèmes d'optimisation linéaire multicritère. Pour ce faire, nous introduisons une nouvelle caractérisation des faces efficaces et exploitons le résultat selon lequel l'ensemble des tableaux idéaux associés aux sommets extrêmes dégénérés est connexe. Ceci a permis de développer une approche de parcours de sommet extrême pour générer l'ensemble des solutions efficaces. Dans le même ordre d'idée, nous développons une méthode de résolution des problèmes linéaires à deux niveaux. L'approche est basée sur un résultat, que nous avons formalisé et démontré, qui stipule que la solution optimale du problème linéaire à deux niveaux est l'un des sommets extrêmes du domaine admissible. L'implémentation de l'approche a permis de démontrer qu'il existait dans la littérature des problèmes dont les solutions connues étaient fausses. Deuxièmement, en termes d'applications, nous construisons un modèle d'optimisation multicritère pouvant être exploité dans l'optique d'une planification optimale de la distribution de l'énergie électrique au Cameroun. Nous proposons aussi, à partir d'un modèle d'optimisation à deux niveaux, une technique dont la mise en œuvre par l'État pourrait permettre de protéger les industries locales de la concurrence des firmes internationales. Enfin, nous étudions l'interrelation entre l'optimisation multicritère et l'optimisation à deux niveaux. Tout d'abord, nous tirons des conditions de Pareto-optimalité des solutions du problème à deux niveaux. Ensuite, nous montrons qu'il est possible d'obtenir une solution optimale de certaines classes de problèmes d'optimisation à deux niveaux en résolvant deux problèmes particuliers d'optimisation multicritère. Puis, nous étudions le cas de problème à deux niveaux dans lequel chaque décideur possède plusieurs fonctions objectifs conflictuelles, en nous focalisant sur le cas linéaire. Après, nous construisons un problème artificiel d'optimisation linéaire multicritère dont l'ensemble des solutions efficaces est égal au domaine des solutions admissibles du problème du leader. Pour terminer, nous utilisons ce résultat pour proposer deux approches de résolution dépendant chacune des aspirations du leader / This thesis addresses two important classes of optimization : multiobjective optimization and bilevel optimization. The investigation concerns their solution methods, applications, and possible links between them. First of all, we develop a procedure for solving Multiple Objective Linear Programming Problems (MOLPP). The method is based on a new characterization of efficient faces. It exploits the connectedness property of the set of ideal tableaux associated to degenerated points in the case of degeneracy. We also develop an approach for solving Bilevel Linear Programming Problems (BLPP). It is based on the result that an optimal solution of the BLPP is reachable at an extreme point of the underlying region. Consequently, we develop a pivoting technique to find the global optimal solution on an expanded tableau that represents the data of the BLPP. The solutions obtained by our algorithm on some problems available in the literature show that these problems were until now wrongly solved. Some applications of these two areas of optimization problems are explored. An application of multicriteria optimization techniques for finding an optimal planning for the distribution of electrical energy in Cameroon is provided. Similary, a bilevel optimization model that could permit to protect any economic sector where local initiatives are threatened is proposed. Finally, the relationship between the two classes of optimization is investigated. We first look at the conditions that guarantee that the optimal solution of a given BPP is Pareto optimal for both upper and lower level objective functions. We then introduce a new relation that establishes a link between MOLPP and BLPP. Moreover, we show that, to solve a BPP, it is possible to solve two artificial M0PPs. In addition, we explore Bilevel Multiobjective Programming Problem (BMPP), a case of BPP where each decision maker (DM) has more than one objective function. Given a MPP, we show how to construct two artificial M0PPs such that any point that is efficient for both problems is also efficient for the BMPP. For the linear case specially, we introduce an artificial MOLPP such that its resolution can permit to generate the whole feasible set of the leader DM. Based on this result and depending on whether the leader can evaluate or not his preferences for his different objective functions, two approaches for obtaining efficient solutions are presented

The primary goal of this work is to propose a methodology for discovering hyperparameters. Hyperparameters aid systems in convergence when well-tuned and handcrafted. However, to this end, poorly chosen hyperparameters leave practitioners in limbo, between concerns with implementation or improper choice in hyperparameter and system configuration. We specifically analyze the choice of learning rate in stochastic gradient descent (SGD), a popular algorithm. As a secondary goal, we attempt the discovery of fixed points using smoothing of the loss landscape by exploiting assumptions about its distribution to improve the update rule in SGD. Smoothing of the loss landscape has been shown to make convergence possible in large-scale systems and difficult black-box optimization problems. However, we use stochastic value gradients (SVG) to smooth the loss landscape by learning a surrogate model and then backpropagate through this model to discover fixed points on the real task SGD is trying to solve. Additionally, we construct a gym environment for testing model-free algorithms, such as Proximal Policy Optimization (PPO) as a hyperparameter optimizer for SGD. For tasks, we focus on a toy problem and analyze the convergence of SGD on MNIST using model-free and model-based reinforcement learning methods for control. The model is learned from the parameters of the true optimizer and used specifically for learning rates rather than for prediction. In experiments, we perform in an online and offline setting. In the online setting, we learn a surrogate model alongside the true optimizer, where hyperparameters are tuned in real-time for the true optimizer. In the offline setting, we show that there is more potential in the model-based learning methodology than in the model-free configuration due to this surrogate model that smooths out the loss landscape and makes for more helpful gradients during backpropagation. / L’objectif principal de ce travail est de proposer une méthodologie de découverte des hyperparamètres. Les hyperparamètres aident les systèmes à converger lorsqu’ils sont bien réglés et fabriqués à la main. Cependant, à cette fin, des hyperparamètres mal choisis laissent les praticiens dans l’incertitude, entre soucis de mise en oeuvre ou mauvais choix d’hyperparamètre et de configuration du système. Nous analysons spécifiquement le choix du taux d’apprentissage dans la descente de gradient stochastique (SGD), un algorithme populaire. Comme objectif secondaire, nous tentons de découvrir des points fixes en utilisant le lissage du paysage des pertes en exploitant des hypothèses sur sa distribution pour améliorer la règle de mise à jour dans SGD. Il a été démontré que le lissage du paysage des pertes rend la convergence possible dans les systèmes à grande échelle et les problèmes difficiles d’optimisation de la boîte noire. Cependant, nous utilisons des gradients de valeur stochastiques (SVG) pour lisser le paysage des pertes en apprenant un modèle de substitution, puis rétropropager à travers ce modèle pour découvrir des points fixes sur la tâche réelle que SGD essaie de résoudre. De plus, nous construisons un environnement de gym pour tester des algorithmes sans modèle, tels que Proximal Policy Optimization (PPO) en tant qu’optimiseur d’hyperparamètres pour SGD. Pour les tâches, nous nous concentrons sur un problème de jouet et analysons la convergence de SGD sur MNIST en utilisant des méthodes d’apprentissage par renforcement sans modèle et basées sur un modèle pour le contrôle. Le modèle est appris à partir des paramètres du véritable optimiseur et utilisé spécifiquement pour les taux d’apprentissage plutôt que pour la prédiction. Dans les expériences, nous effectuons dans un cadre en ligne et hors ligne. Dans le cadre en ligne, nous apprenons un modèle de substitution aux côtés du véritable optimiseur, où les hyperparamètres sont réglés en temps réel pour le véritable optimiseur. Dans le cadre hors ligne, nous montrons qu’il y a plus de potentiel dans la méthodologie d’apprentissage basée sur un modèle que dans la configuration sans modèle en raison de ce modèle de substitution qui lisse le paysage des pertes et crée des gradients plus utiles lors de la rétropropagation.