Notre travail a porté principalement sur des aspects méthodologiques et sur des caractérisations expérimentales des techniques floues et neuronales, avec deux bancs d'essai: un pendule inversé et des fours industriels. Dans une première étape, nous avons travaillé sur des régulateurs flous de la première génération. Nous avons proposé une méthode pour minimiser les erreurs dues à la quantification lors des mises en œuvre avec table de décision. D'autre part, des études expérimentales ont permis d'expliquer l'amélioration de régulations floues par rapport à des régulations conventionnelles. Nous avons ainsi souligné les rôles, parfois bénéfiques, des non-linéarités liées aux interpolations ou aux saturations naturelles. Dans une deuxième étape, nous nous sommes intéressés aux structures de régulation neuronale directe, utilisant l'apprentissage spécialisé avec l'algorithme de rétropropagation. Nous avons développé une stratégie de régulation neuronale à régime glissant, automatiquement élaborée à partir d'une connaissance initiale très faible. Nous avons validé cette méthode avec des modèles simulés du pendule inversé et vérifié la possibilité de stabiliser le système réel. Dans une troisième étape, nous nous sommes penchés sur des améliorations de lois de régulation PID, par introduction de non linéarités significatives. Dans un premier temps, nous avons proposé deux méthodologies de réglage d'adaptateurs flous de PID (parfois appelés superviseurs flous), agissant à partir de la position dans le plan de phase. Une des méthodes de supervision inclut des garanties de stabilité. Dans un deuxième temps, nous avons mis en œuvre et amélioré une méthode d'auto-réglage d'un régulateur flou par un système flou, partant d'une loi de régulation floue initiale quasi-linéaire (résultant de l'application des règles d'équivalence). Des améliorations ont été apportées sur les fours par rapport à une régulation PID industrielle

Les modulateurs electro-optiques (EOM) sont des composants importants dans les systemes de telecommunication. Malheureusement, ils ne sont pas parfaitement stables dans Ie temps et leur fonction de transfert (TF) a tendance a se decaler durant Ie temps d'operation. La derive de la TF d'un EOM peut etre expliquee par des effets differents tels que les changements de la temperature ambiante, de la polarisation ou de l'efficacite de couplage optique. La these presente une methode de me sure de la derive de la TF de I'EOM (a grace d'estimation du comportement non-linearite du modulateur, NLl), et propose deux systemes instrumentaux pour ameliorer son fonctionnement: Ie premier pour contraler la temperature de l'EOM, il est possible de forcement reduire cette derive, Ie deuxieme pour compenser la derive (la stabilisation du point de fonctionnement autour du point quadrature est obtenue jusqu'au 0,22% ou la fluctuation de phase est de 0,44°). Ces techniques ont ete aussi appliquees pour ameliorer Ie comportement d'un oscillateur optoelectronique haute frequence. Nous avons realise les experiences par asservissement de temperature, par compensation de la derive. Pour une stabilite de I'OEO a court terme, la stabilisation de la frequence est amelioree jusqu'a 28% en utilisant un contrale de temperature seule etjusqu'a 71 % avec les deux processus. Pour une stabilite de l'OEO a long terme, en deux cas sans contra Ie, I'OEO fonctionne pendant 3 heures et pendant 1,6 heure (puis I'OEO ne marche plus). En utilisant une compensation de la derive de la TF de I'EOM, l'OEO fonctionne bien meme apres 7 heures et 8 heures.

Les modulateurs electro-optiques (EOM) sont des composants importants dans les systemes de telecommunication. Malheureusement, ils ne sont pas parfaitement stables dans Ie temps et leur fonction de transfert (TF) a tendance a se decaler durant Ie temps d'operation. La derive de la TF d'un EOM peut etre expliquee par des effets differents tels que les changements de la temperature ambiante, de la polarisation ou de l'efficacite de couplage optique. La these presente une methode de me sure de la derive de la TF de I'EOM (a grace d'estimation du comportement non-linearite du modulateur, NLl), et propose deux systemes instrumentaux pour ameliorer son fonctionnement: Ie premier pour contraler la temperature de l'EOM, il est possible de forcement reduire cette derive, Ie deuxieme pour compenser la derive (la stabilisation du point de fonctionnement autour du point quadrature est obtenue jusqu'au 0,22% ou la fluctuation de phase est de 0,44°). Ces techniques ont ete aussi appliquees pour ameliorer Ie comportement d'un oscillateur optoelectronique haute frequence. Nous avons realise les experiences par asservissement de temperature, par compensation de la derive. Pour une stabilite de I'OEO a court terme, la stabilisation de la frequence est amelioree jusqu'a 28% en utilisant un contrale de temperature seule etjusqu'a 71 % avec les deux processus. Pour une stabilite de l'OEO a long terme, en deux cas sans contra Ie, I'OEO fonctionne pendant 3 heures et pendant 1,6 heure (puis I'OEO ne marche plus). En utilisant une compensation de la derive de la TF de I'EOM, l'OEO fonctionne bien meme apres 7 heures et 8 heures. / Electro-optic modulators (EOM) are important components in telecommunication systems. Unfortunately, there are some physical effects like ambient temperature variations, polarization and inherent photorefractive coefficient which are due to the drift of EOM transfer function (TF). The thesis presents a method for measuring the drift of the TF of EOM (based on a nonlinearity behavior of modulator - NLl), and propose two instrumentation systems to improve their operations: one to control the temperature of EOM, it is possible to significantly reduce the drift, the second to compensate the drift (the bias point stabilization around the quadrature point is obtained up to 0.22% or the phase fluctuation is 0.44°). These techniques have been applied to improve the behavior of an optoelectronic oscillator high frequency. Four experiments are carried out by controlling the EOM temperature and by compensating the EOM drift. For a short-term stability of OEO, the stabilization of the frequency is obtained with 28% with using a temperature control, up to 71 % with the two techniques. For a long-term stability of OEO, in cases without any control, the OEO has worked for 3 hours and for 1.6 hours (then, the OEO does not work anymore). By using the drift compensation of the EOM FT, the OEO has correctly worked even more than 7 hours and 8 hours.

Le déploiement généralisé de modèles d’apprentissage automatique de plus en plus performants a entraîné des pressions croissantes pour améliorer la robustesse, la sécurité et l’équité de ces modèles—-souvent en raison de considérations réglementaires et éthiques. En outre, la mise en œuvre de solutions d’intelligence artificielle dans des applications réelles est limitée par leur incapacité actuelle à garantir la conformité aux normes industrielles et aux réglementations gouvernementales. Les pipelines standards pour le développement de modèles d’apprentissage automatique adoptent une mentalité de “construire maintenant, réparer plus tard”, intégrant des mesures de sécurité a posteriori. Cette accumulation continue de dette technique entrave le progrès du domaine à long terme. L’optimisation sous contraintes offre un cadre conceptuel accompagné d’outils algorithmiques permettant d’imposer de manière fiable des propriétés complexes sur des modèles d’apprentissage automatique. Cette thèse appelle à un changement de paradigme dans lequel les contraintes constituent une partie intégrante du processus de développement des modèles, visant à produire des modèles d’apprentissage automatique qui sont intrinsèquement sécurisés par conception. Cette thèse offre une perspective holistique sur l’usage de l’optimisation sous contraintes dans les tâches d’apprentissage profond. Nous examinerons i) la nécessité de formulations contraintes, ii) les avantages offerts par le point de vue de l’optimisation sous contraintes, et iii) les défis algorithmiques qui surgissent dans la résolution de ces problèmes. Nous présentons plusieurs études de cas illustrant l’application des techniques d’optimisation sous contraintes à des problèmes courants d’apprentissage automatique. Dans la Contribution I, nous plaidons en faveur de l’utilisation des formulations sous contraintes en apprentissage automatique. Nous soutenons qu’il est préférable de gérer des régularisateurs interprétables via des contraintes explicites plutôt que par des pénalités additives, particulièrement lorsqu’il s’agit de modèles non convexes. Nous considérons l’entraînement de modèles creux avec une régularisation L0 et démontrons que i) il est possible de trouver des solutions réalisables et performantes à des problèmes de grande envergure avec des contraintes non convexes ; et que ii) l’approche contrainte peut éviter les coûteux ajustements par essais et erreurs inhérents aux techniques basées sur les pénalités. La Contribution II approfondit la contribution précédente en imposant des contraintes explicites sur le taux de compression atteint par les Représentations Neuronales Implicites—-une classe de modèles visant à entreposer efficacement des données (telles qu’une image) dans les paramètres d’un réseau neuronal. Dans ce travail, nous nous concentrons sur l’interaction entre la taille du modèle, sa capacité représentationnelle, et le temps d’entraînement requis. Plutôt que de restreindre la taille du modèle à un budget fixe (qui se conforme au taux de compression requis), nous entraînons un modèle surparamétré et creux avec des contraintes de taux de compression. Cela nous permet d’exploiter la puissance de modèles plus grands pour obtenir de meilleures reconstructions, plus rapidement, sans avoir à nous engager à leur taux de compression indésirable. La Contribution III présente les avantages des formulations sous contraintes dans une application réaliste de la parcimonie des modèles avec des contraintes liées à l’équité non différentiables. Les performances des réseaux neuronaux élagués se dégradent de manière inégale entre les sous-groupes de données, nécessitant ainsi l’utilisation de techniques d’atténuation. Nous proposons une formulation qui impose des contraintes sur les changements de précision du modèle dans chaque sous-groupe, contrairement aux travaux antérieurs qui considèrent des contraintes basées sur des métriques de substitution (telles que la perte du sous-groupe). Nous abordons les défis de la non-différentiabilité et de la stochasticité posés par nos contraintes proposées, et démontrons que notre méthode s’adapte de manière fiable aux problèmes d’optimisation impliquant de grands modèles et des centaines de sous-groupes. Dans la Contribution IV, nous nous concentrons sur la dynamique de l’optimisation lagrangienne basée sur le gradient, une technique populaire pour résoudre les problèmes sous contraintes non convexes en apprentissage profond. La nature adversariale du jeu min-max lagrangien le rend sujet à des comportements oscillatoires ou instables. En nous basant sur des idées tirées de la littérature sur les régulateurs PID, nous proposons un algorithme pour modifier les multiplicateurs de Lagrange qui offre une dynamique d’entraînement robuste et stable. Cette contribution met en place les bases pour que les praticiens adoptent et mettent en œuvre des approches sous contraintes avec confiance dans diverses applications réelles. Dans la Contribution V, nous fournissons un aperçu de Cooper : une bibliothèque pour l’optimisation sous contraintes basée sur le lagrangien dans PyTorch. Cette bibliothèque open-source implémente toutes les contributions principales présentées dans les chapitres précédents et s’intègre harmonieusement dans le cadre PyTorch. Nous avons développé Cooper dans le but de rendre les techniques d’optimisation sous contraintes facilement accessibles aux chercheurs et praticiens de l’apprentissage automatique. / The widespread deployment of increasingly capable machine learning models has resulted in mounting pressures to enhance the robustness, safety and fairness of such models--often arising from regulatory and ethical considerations. Further, the implementation of artificial intelligence solutions in real-world applications is limited by their current inability to guarantee compliance with industry standards and governmental regulations. Current standard pipelines for developing machine learning models embrace a “build now, fix later” mentality, retrofitting safety measures as afterthoughts. This continuous incurrence of technical debt hinders the progress of the field in the long-term. Constrained optimization offers a conceptual framework accompanied by algorithmic tools for reliably enforcing complex properties on machine learning models. This thesis calls for a paradigm shift in which constraints constitute an integral part of the model development process, aiming to produce machine learning models that are inherently secure by design. This thesis provides a holistic perspective on the use of constrained optimization in deep learning tasks. We shall explore i) the need for constrained formulations, ii) the advantages afforded by the constrained optimization standpoint and iii) the algorithmic challenges arising in the solution of such problems. We present several case-studies illustrating the application of constrained optimization techniques to popular machine learning problems. In Contribution I, we advocate for the use of constrained formulations in machine learning. We argue that it is preferable to handle interpretable regularizers via explicit constraints, rather than using additive penalties, specially when dealing with non-convex models. We consider the training of sparse models with L0-regularization and demonstrate that i) it is possible to find feasible, well-performing solutions to large-scale problems with non-convex constraints; and that ii) the constrained approach can avoid the costly trial-and-error tuning inherent to penalty-based techniques. Contribution II expands on the previous contribution by imposing explicit constraints on the compression-rate achieved by Implicit Neural Representations—-a class of models that aim to efficiently store data (such as an image) within a neural network’s parameters. In this work we concentrate on the interplay between the model size, its representational capacity and the required training time. Rather than restricting the model size to a fixed budget (that complies with the required compression rate), we train an overparametrized, sparse model with compression-rate constraints. This allows us to exploit the power of larger models to achieve better reconstructions, faster; without having to commit to their undesirable compression rate. Contribution III showcases the advantages of constrained formulations in a realistic model sparsity application with non-differentiable fairness-related constraints. The performance of pruned neural networks degrades unevenly across data sub-groups, thus requiring the use of mitigation techniques. We propose a formulation that imposes constraints on changes in the model accuracy in each sub-group, in contrast to prior work which considers constraints based on surrogate metrics (such as the sub-group loss). We address the non-differentiability and stochasticity challenges posed by our proposed constraints, and demonstrate that our method scales reliably to optimization problems involving large models and hundreds of sub-groups. In Contribution IV, we focus on the dynamics of gradient-based Lagrangian optimization, a popular technique for solving the non-convex constrained problems arising in deep learning. The adversarial nature of the min-max Lagrangian game makes it prone to oscillatory or unstable behaviors. Based on ideas from the PID control literature, we propose an algorithm for updating the Lagrange multipliers which yields robust, stable training dynamics. This contribution lays the groundwork for practitioners to adopt and implement constrained approaches confidently in diverse real-world applications. In Contribution V, we provide an overview of Cooper: a library for Lagrangian-based constrained optimization in PyTorch. This open-source library implements all the core contributions presented in the preceding chapters and integrates seamlessly with the PyTorch framework. We developed Cooper with the goal of making constrained optimization techniques readily available to machine learning researchers and practitioners.