L’apprentissage automatique repose pour un bon nombre de problèmes sur la minimisation d’une fonction de coût, pour ce faire il tire parti de la vaste littérature sur l’optimisation qui fournit des algorithmes et des garanties de convergences pour ce type de problèmes. Cependant récemment plusieurs modèles d’apprentissage automatique qui ne peuvent pas être formulé comme la minimisation d’un coût unique ont été propose, à la place ils nécessitent de définir un jeu entre plusieurs joueurs qui ont chaque leur propre objectif. Un de ces modèles sont les réseaux antagonistes génératifs (GANs). Ce modèle génératif formule un jeu entre deux réseaux de neurones, un générateur et un discriminateur, en essayant de tromper le discriminateur qui essaye de distinguer les vraies images des fausses, le générateur et le discriminateur s’améliore résultant en un équilibre de Nash, ou les images produites par le générateur sont indistinguable des vraies images. Malgré leur succès les GANs restent difficiles à entrainer à cause de la nature antagoniste du jeu, nécessitant de choisir les bons hyperparamètres et résultant souvent en une dynamique d’entrainement instable. Plusieurs techniques de régularisations ont été propose afin de stabiliser l’entrainement, dans cette thèse nous abordons ces instabilités sous l’angle d’un problème d’optimisation. Nous commençons par combler le fossé entre la littérature d’optimisation et les GANs, pour ce faire nous formulons GANs comme un problème d’inéquation variationnelle, et proposons de la littérature sur le sujet pour proposer des algorithmes qui convergent plus rapidement. Afin de mieux comprendre quels sont les défis de l’optimisation des jeux, nous proposons plusieurs outils afin d’analyser le paysage d’optimisation des GANs. En utilisant ces outils, nous montrons que des composantes rotationnelles sont présentes dans le voisinage des équilibres, nous observons également que les GANs convergent rarement vers un équilibre de Nash mais converge plutôt vers des équilibres stables locaux (LSSP). Inspirer par le succès des GANs nous proposons pour finir, une nouvelle famille de jeux que nous appelons adversarial example games qui consiste à entrainer simultanément un générateur et un critique, le générateur cherchant à perturber les exemples afin d’induire en erreur le critique, le critique cherchant à être robuste aux perturbations. Nous montrons qu’à l’équilibre de ce jeu, le générateur est capable de générer des perturbations qui transfèrent à toute une famille de modèles. / Many machine learning (ML) problems can be formulated as minimization problems, with a large optimization literature that provides algorithms and guarantees to solve this type of problems. However, recently some ML problems have been proposed that cannot be formulated as minimization problems but instead require to define a game between several players where each player has a different objective. A successful application of such games in ML are generative adversarial networks (GANs), where generative modeling is formulated as a game between a generator and a discriminator, where the goal of the generator is to fool the discriminator, while the discriminator tries to distinguish between fake and real samples. However due to the adversarial nature of the game, GANs are notoriously hard to train, requiring careful fine-tuning of the hyper-parameters and leading to unstable training. While regularization techniques have been proposed to stabilize training, we propose in this thesis to look at these instabilities from an optimization perspective. We start by bridging the gap between the machine learning and optimization literature by casting GANs as an instance of the Variational Inequality Problem (VIP), and leverage the large literature on VIP to derive more efficient and stable algorithms to train GANs. To better understand what are the challenges of training GANs, we then propose tools to study the optimization landscape of GANs. Using these tools we show that GANs do suffer from rotation around their equilibrium, and that they do not converge to Nash-Equilibria. Finally inspired by the success of GANs to generate images, we propose a new type of games called Adversarial Example Games that are able to generate adversarial examples that transfer across different models and architectures.

Ce mémoire présente une méthode de reconstruction de la surface d’un pare-brise à partir d’une image observée au travers de celui-ci. Cette image est déformée, car les rayons lumineux traversant le pare-brise subissent deux réfractions : une de chaque côté du verre. La déformation de l’image est dépendante de la forme du pare-brise, c’est donc cette donnée qui est utilisée pour résoudre le problème. La première étape est la construction d’un champ de vecteurs dans l’espace ambiant à partir des déviations des rayons lumineux passant par le pare-brise. Elle repose sur la loi de la réfraction de Snell-Descartes et sur des hypothèses simplificatrices au sujet de la courbure et de l’épaisseur du pare-brise. Le vecteur en un point de ce champ correspond à une prédiction du vecteur normal à la surface, sous l’hypothèse que celle-ci passe par le point en question. La deuxième étape est de trouver une surface compatible avec le champ de vecteurs obtenu. Pour y arriver, on formule un problème de minimisation où la donnée minimisée est la différence entre les vecteurs normaux à la surface et ceux construits à partir des mesures du système d’inspection. Il en résulte une équation d’Euler-Lagrange non linéaire à laquelle on impose des conditions de Dirichlet. Le graphe de la solution à ce problème est alors la surface recherchée. La troisième étape est une méthode de point fixe pour résoudre l’équation d’Euler-Lagrange. Elle donne une suite d’équations de Poisson linéaires dont la limite des solutions respecte l’équation non linéaire étudiée. On utilise le théorème du point fixe de Banach pour obtenir des conditions suffisantes d’existence et d’unicité de la solution, qui sont aussi des conditions suffisantes pour lesquelles la méthode de point fixe converge. / This Master’s thesis presents a method for the reconstruction of a windshield surface using an image observed through it. This image is distorted because the light rays passing through the windshield undergo two refractions : one on each side of the glass. The distortion depends on the windshield shape and therefore this data is used to solve the problem. The first step is the construction of a vector field in the ambient space, from the deviations of the light rays passing through the windshield. This step relies on the Snell-Descartes refraction law and on simplifying assumptions regarding the curvature and thickness of a windshield. A vector at a point of this field corresponds to a prediction of the surface normal vector at this point, under the hypothesis that this point lies on the surface. The second step is to find a surface that is compatible with the obtained vector field. For this purpose, a minimisation problem is formulated for which the minimized variable is the difference between the surface normal vector and the one deduced from the system’s measurements. This leads to a nonlinear Euler- Lagrange equation for which the Dirichlet boundary conditions are imposed. The graph of the solution is the desired surface. The third step is a fixed-point method to solve the Euler- Lagrange equation. At the center of this method is a sequence of linear Poisson equations, each giving an approximating solution. It is shown that the limit of this sequence of solutions respects the original nonlinear equation. The Banach fixed-point theorem is used to get sufficient existence and uniqueness conditions, that are also sufficient conditions under which the proposed fixed-point method converges.

Ce mémoire est composé de deux articles qui ont pour but commun de lever le voile et de compléter le schéma d’Askey des q–polynômes orthogonaux dans la limite q = −1. L’objectif est donc de trouver toutes les familles de polynômes orthogonaux dans la limite −1, de caractériser ces familles et de les connecter aux autres familles de polynômes orthogonaux −1 déjà introduites. Dans le premier article, une méthode basée sur la prise de limites dans les relations de récurrence est présentée. En utilisant cette méthode, plusieurs nouvelles familles de polynômes orthogonaux sur des intervals continus sont introduites et un schéma est construit reliant toutes ces familles de polynômes −1. Dans le second article, un ensemble de polynômes, orthogonaux sur l’agencement de quatre grilles linéaires, nommé les polynômes de para-Bannai-Ito est introduit. Cette famille de polynômes complète ainsi la liste des parapolynômes. / This master thesis contains two articles with the common goal of unveiling and completing the Askey scheme of q–orthogonal polynomials in the q = −1 limit. The main objective is to find and characterize new families of -1 orthogonal polynomials and connect them to other already known families. In the first article, a method based on applying limits in recurrence relations is presented. This method is used to find many new families of polynomials orthogonal with respect to continuous measure. A −1 scheme containing them is constructed and a compendium containing the properties of all such families is included. In the second article, a new set of polynomials named the para–Bannai–Ito polynomials is introduced. This new set, orthogonal on a linear quadri–lattice, completes the list of parapolynomials, but it is also a step toward the finalization of the -1 scheme of polynomials orthogonal on finite grids.

Les outils de programmation sont des programmes informatiques qui aident les humains à programmer des ordinateurs. Les outils sont de toutes formes et tailles, par exemple les éditeurs, les compilateurs, les débogueurs et les profileurs. Chacun de ces outils facilite une tâche principale dans le flux de travail de programmation qui consomme des ressources cognitives lorsqu’il est effectué manuellement. Dans cette thèse, nous explorons plusieurs outils qui facilitent le processus de construction de systèmes intelligents et qui réduisent l’effort cognitif requis pour concevoir, développer, tester et déployer des systèmes logiciels intelligents. Tout d’abord, nous introduisons un environnement de développement intégré (EDI) pour la programmation d’applications Robot Operating System (ROS), appelé Hatchery (Chapter 2). Deuxièmement, nous décrivons Kotlin∇, un système de langage et de type pour la programmation différenciable, un paradigme émergent dans l’apprentissage automatique (Chapter 3). Troisièmement, nous proposons un nouvel algorithme pour tester automatiquement les programmes différenciables, en nous inspirant des techniques de tests contradictoires et métamorphiques (Chapter 4), et démontrons son efficacité empirique dans le cadre de la régression. Quatrièmement, nous explorons une infrastructure de conteneurs basée sur Docker, qui permet un déploiement reproductible des applications ROS sur la plateforme Duckietown (Chapter 5). Enfin, nous réfléchissons à l’état actuel des outils de programmation pour ces applications et spéculons à quoi pourrait ressembler la programmation de systèmes intelligents à l’avenir (Chapter 6). / Programming tools are computer programs which help humans program computers. Tools come in all shapes and forms, from editors and compilers to debuggers and profilers. Each of these tools facilitates a core task in the programming workflow which consumes cognitive resources when performed manually. In this thesis, we explore several tools that facilitate the process of building intelligent systems, and which reduce the cognitive effort required to design, develop, test and deploy intelligent software systems. First, we introduce an integrated development environment (IDE) for programming Robot Operating System (ROS) applications, called Hatchery (Chapter 2). Second, we describe Kotlin∇, a language and type system for differentiable programming, an emerging paradigm in machine learning (Chapter 3). Third, we propose a new algorithm for automatically testing differentiable programs, drawing inspiration from techniques in adversarial and metamorphic testing (Chapter 4), and demonstrate its empirical efficiency in the regression setting. Fourth, we explore a container infrastructure based on Docker, which enables reproducible deployment of ROS applications on the Duckietown platform (Chapter 5). Finally, we reflect on the current state of programming tools for these applications and speculate what intelligent systems programming might look like in the future (Chapter 6).