Constrained optimization is pivotal in deep learning for enforcing predefined operational, ethical, and regulatory constraints in models. This thesis explores iterative gradient-based methods for solving constrained optimization. These methods are preferred for their adaptability in the non-convex, stochastic, and high-dimensional learning landscape of neural networks.
Lagrangian methods, which integrate constraints directly into the objective function using Lagrange multipliers, are particularly effective. This formulation facilitates a unified approach to handle both the model's performance and its adherence to constraints simultaneously. However, the min-max problems inherent in Lagrangian frameworks often suffer from unstable oscillatory dynamics. Solving them using traditional gradient descent-ascent methods potentially leads to suboptimal convergence and prolonged training times.
To mitigate these issues, this thesis introduces the νPI algorithm, a novel algorithm that integrates Proportional-Integral (PI) control theory into the optimization of Lagrange multipliers. The νPI algorithm is designed to stabilize the optimization process by adjusting the updates to the Lagrange multipliers based on the current and past constraint violations, effectively dampening the oscillations typically observed with gradient descent-ascent methods.
Experimental validations across various deep learning applications demonstrate that νPI not only stabilizes the learning process but also accelerates convergence to optimal or near-optimal solutions, outperforming traditional methods in terms of reliability and speed. Through its application, νPI proves to be a robust tool in managing the dynamics of constrained optimization, enhancing the capability of deep learning models to meet stringent external constraints. / L’optimisation contrainte est essentielle dans l’apprentissage profond pour faire respecter
les contraintes opérationnelles, éthiques et réglementaires prédéfinies dans les modèles. Cette
thèse explore les méthodes itératives basées sur le gradient pour résoudre l’optimisation contrainte. Ces méthodes sont privilégiées pour leur adaptabilité dans le paysage d’apprentissage
non convexe, stochastique et de haute dimension des réseaux neuronaux.
Les méthodes lagrangiennes, qui intègrent directement les contraintes dans la fonction
objectif à l’aide de multiplicateurs de Lagrange, sont particulièrement efficaces. Cette
formulation facilite une approche unifiée pour gérer simultanément la performance du modèle
et son adhérence aux contraintes. Cependant, les problèmes min-max inhérents aux cadres
lagrangiens souffrent souvent de dynamiques oscillatoires instables. Leur résolution à l’aide
des méthodes traditionnelles de descente de gradient-ascent peut potentiellement conduire à
une convergence sous-optimale et à des temps de formation prolongés.
Pour atténuer ces problèmes, cette thèse introduit l’algorithme νPI, un nouvel algorithme
qui intègre la théorie de contrôle Proportionnel-Intégral (PI) dans l’optimisation des multiplicateurs de Lagrange. L’algorithme νPI est conçu pour stabiliser le processus d’optimisation
en ajustant les mises à jour des multiplicateurs de Lagrange en fonction des violations de
contraintes actuelles et passées, atténuant efficacement les oscillations typiquement observées
avec les méthodes de descente de gradient-ascent.
Les validations expérimentales à travers diverses applications d’apprentissage profond
démontrent que νPI stabilise non seulement le processus d’apprentissage mais accélère
également la convergence vers des solutions optimales ou quasi-optimales, surpassant les
méthodes traditionnelles en termes de fiabilité et de vitesse. Grâce à son application, νPI se
révèle être un outil robuste pour gérer les dynamiques de l’optimisation contrainte, améliorant
la capacité des modèles d’apprentissage profond à répondre à des contraintes externes strictes.
| Identifer | oai:union.ndltd.org:umontreal.ca/oai:papyrus.bib.umontreal.ca:1866/33899 |
| Date | 08 1900 |
| Creators | Sohrabi, Motahareh |
| Contributors | Lacoste-Julien, Simon |
| Source Sets | Université de Montréal |
| Language | English |
| Detected Language | French |
| Type | thesis, thèse |
| Format | application/pdf |
Page generated in 0.0019 seconds