Spelling suggestions: "subject:"comme"" "subject:"somme""
81 |
Influence de la nanostructuration énergétique des substrats dans l'adhésion et la différenciation des cellules neuronales modèles PC12Lamour, Guillaume 24 June 2010 (has links) (PDF)
Les paramètres de surface contrôlent les fonctions des cellules, en coopération avec leurs codes génétiques. Des études récentes soulignent l'impact combiné des signaux chimiques, topographiques et mécaniques des substrats d'adhésion sur les processus de différenciation. Cette étude se focalise sur le paramètre énergétique, et plus spécialement, sur l'influence exercée par la distribution spatiale des énergies de surface sur la différenciation des cellules neuronales. Le modèle étudié est constitué par les cellules de la lignée PC12, capables de se différencier en neurones suite au traitement par le facteur de croissance nerveux (NGF). Les cellules sont cultivées sur des surfaces de verre modifiées par auto-assemblage de monocouches d'alkylsiloxanes ou de biopolymères. La modification de la nature chimique et du degré d'organisation des monocouches module la distribution des composantes dispersives et polaires de l'énergie de surface, à une échelle inférieure au micron. Sur des substrats très homogènes (dotés de terminaisons CH3, NH2, ou OH), l'adhésion des cellules PC12 est modulée par le degré d'affinité chimique, et peu de cellules initient des neurites. Inversement, sur des substrats localement très hétérogènes, les cellules adhèrent quel que soit le couple chimique produisant les hétérogénéités (NH2/OH ou CH3/OH), et elles génèrent un nombre important de neurites en moins de 48 h, sans traitement au NGF. Ce travail démontre que les hétérogénéités chimiques de surface exercent une influence critique sur les processus de régénérescence des cellules nerveuses, en induisant des gradients dans les énergies d'adhésion aux échelles nanométriques.
|
82 |
Equilibres corrélés, jeux d'évolution et dynamique de populationsViossat, Yannick 15 December 2005 (has links) (PDF)
La thèse se compose de trois parties dont les deux premières se rattachent à la théorie des jeux et la troisième à la biologie théorique. La première partie est consacrée à l'étude des équilibres corrélés. Après avoir étudié les propriétés de la techique de réduction duale et développé ses applications, nous utilisons cette technique pour montrer que l'ensemble des jeux ayant un unique équilibre corrélé est ouvert, ce qui n'est pas vrai des équilibres de Nash, et pour caractériser la classe des jeux dont le polytope des équilibres corrélés contient un équilibre de Nash dans son intérieur relatif. Cette classe étend et généralise celle des jeux à somme nulle. Deux autres contributions sont également présentées.<br /> <br />La deuxième partie est consacrée aux jeux d'évolution, et étudie le lien entre l'issue de processus évolutifs et les concepts stratégiques statiques. Nous montrons notamment que les dynamiques d'évolution peuvent éliminer toutes les stratégies appartennant au support d'au moins un équilibre corrélé, et ce pour n'importe quelle dynamique monotone et pour des ensembles ouverts de jeux et de conditions initiales. L'élimination de toutes les stratégies dans le support des équilibres de Nash se produit sous toutes les dynamiques d'adaptation myope régulières et, sous la dynamique des réplicateurs ou la dynamique de meilleure réponse, à partir de presque toutes les conditions initiales. <br /><br />La troisième partie, co-écrite, étudie les déterminants de la séparation entre lignée germinale et lignée somatique chez les algues vertes volvocales.
|
83 |
Ingénierie de l'intrication photonique pour l'information quantique et l'optique quantique fondamentaleKaiser, Florian 12 November 2012 (has links) (PDF)
Le but de cette thèse est de développer des sources d'intrication photonique pour étudier les réseaux de communication quantique et l'optique quantique fondamentale. Trois sources très performantes sont construites uniquement autour de composants standards de l'optique intégrée et des télécommunications optiques. La première source génère de l'intrication en polarisation via une séparation deterministe des paires de photons dans deux canaux adjacents des télécommunications. Cette source est donc naturellement adaptée à la cryptographie quantique dans les réseaux à multiplexage en longueurs d'ondes. La seconde source génère, pour la première fois, de l'intrication en time-bins croisés, autorisant l'implémentation de crypto-systèmes quantiques à base d'analyseurs passifs uniquement. La troisième source génère, avec une efficacité record, de l'intrication en polarisation via un convertisseur d'observable temps/polarisation. La bande spectrale des photons peut être choisie sur plus de cinq ordres de grandeur (25 MHz - 4 THz), rendant la source compatible avec toute une variété d'applications avancées, telles que la cryptographie, les relais et les mémoires quantiques. Par ailleurs, cette source est utilisée pour revisiter la notion de Bohr sur la complémentarité des photons uniques en employant un interféromètre de Mach-Zehnder dont la lame s ́eparatrice de sortie se trouve dans une superposition quantique d'être à la fois présente et absente. Enfin, pour adapter la longueur d'onde des paires des photons télécoms intriqués vers les longueurs d'ondes d'absorption des mémoires quantiques actuelles, un convertisseur cohérent de longueur d'onde est présenté et discuté.
|
84 |
Essays on two-player games with asymmetric information / Essai sur les jeux à deux joueurs avec information asymétriqueSun, Lan 02 December 2016 (has links)
Cette thèse est une contribution à la théorie économique sur trois aspects: la dynamique de prix dans les marchés financiers avec asymétrie d’information, la mise à jour des croyances et les raffinements d'équilibre dans les jeux de signaux, et l'introduction de l'ambiguïté dans la théorie du prix limite. Dans le chapitre 2, nous formalisons un jeu d'échange à somme nulle entre un secteur mieux informé et un autre qui l'est moins, pour déterminer de façon endogène, la dynamique du prix sous-jacent. Dans ce modèle, joueur 1 est informé de la conjoncture (L) mais est incertain de la croyance de joueur 2, car ce dernier est seulement informé à travers un message (M) qui est lié à cette conjoncture. Si L et M sont indépendants, alors le processus de prix sera une Martingale Continue à Variation Maximale (CMMV) et joueur 1 peut disposer de cet avantage informationnel. Par contre, si L et M ne sont pas indépendants, joueur 1 ne révèlera pas son information pendant le processus, et il ne bénéficiera donc pas de son avantage en matière d'information. Dans le chapitre 3, je propose une définition de l'équilibre de Test d'hypothèse (HTE) pour des jeux de signaux généraux, avec des joueurs non-Bayésiens qui sont soumis à une règle de mise à jour selon le modèle de vérification d'hypothèse caractérisé par Ortoleva (2012). Un HTE peut être différent d'un équilibre séquentiel de Nash en raison d'une incohérence dynamique. Par contre, dans le cas où joueur 2 traite seulement un message à probabilité nulle comme nouvelle inespérée, un HTE est un raffinement d'équilibre séquentiel de Nash et survit au critère intuitif dans les jeux de signaux généraux mais pas inversement. Nous fournissons un théorème d'existence qui couvre une vaste classe de jeux de signaux qui sont souvent étudiés en économie. Dans le chapitre 4, j'introduis l’ambiguïté dans un modèle d'organisation industrielle classique, dans lequel l'entreprise déjà établie est soit informée de la vraie nature de la demande agrégée, soit soumise à une incertitude mesurable classique sur la conjoncture, tandis qu'un éventuel nouvel arrivant fait face à une incertitude a la Knight (ambiguïté) concernant cette conjoncture. Je caractérise les conditions sou lesquelles le prix limite émerge en équilibre, et par conséquent l'ambigüité diminue la probabilité d'entrée. L'analyse du bien-être montre que le prix limite est plus nocif dans un marché où la demande escomptée est plus élevée que dans un autre où celle-ci est moindre. / This thesis contributes to the economic theory literature in three aspects: price dynamics in financial markets with asymmetric information belief updating and equilibrium refinements in signaling games, and introducing ambiguity in limit pricing theory. In chapter 2, we formulate a zero-sum trading game between a better informed sector and a less 1nformed sector to endogenously determine the underlying price dynamics. In this model, player 1 is informed of the state (L) but is uncertain about player 2's belief about the state, because player 2 is informed through some message (M) related to the state. If L and M are independent, then the price proces s will be a Continuous Martingale of Maximal Variation (CMMV), and player 1 can benefit from his informational advantage. However, if L and M are not independent, player 1 will not reveal his information during the trading process, therefore, he does not benefit from his informational advantage. In chapter 3, I propose a definition of Hypothesis Testing Equilibrium (HTE) for general signaling games with non-Bayesian players nested, by an updating rule according to the Hypothesis Testing model characterized by Ortoleva (2012). An HTE may differ from a sequential Nash equilibrium because of dynamic inconsistency. However, in the case in which player 2 only treats a zero-probability message as an unexpected news, an HTE is a refinement of sequential Nash equilibrium and survives the intuitive Critenon in general signaling games but not vice versa. We provide an existence theorem covering a broad class of signaling games often studied in economics. In chapter 4, I introduce ambiguity in a standard industry organization model, in which the established firm is either informed of the true state of aggregate demand or is under classical measurable uncertainty about the state, while the potential entrant is under Knightian uncertainty (ambiguity) about the state. I characterize the conditions under which limit pricing emerges in equilibria, and thus ambiguity decreases the probability of entry. Welfare analysis shows that limit pricing is more harmful in a market with higher expected demand than in a market with lower expected demand.
|
85 |
Différents aspects de la physique nucléaire depuis les basses énergies jusqu'aux énergies intermédiaires / Different aspects of nuclear physics from low energies up to intermediate energiesLallouet, Yoann 19 December 2011 (has links)
Cette thèse porte sur l'étude de différents aspects de la physique nucléaire depuis les basses énergies jusqu'aux énergies intermédiaires. Pour les basses énergies, où la matière nucléaire est essentiellement constituée de nucléons en interaction, la partie I traite de la fusion-fission des noyaux super-lourds, et la partie II des règles de somme associées aux interactions de type Skyrme. Pour les énergies intermédiaires, la matière nucléaire étant alors considérée comme une phase hadronique principalement constituée de pions, la partie III se focalise sur l'hydrodynamique relativiste de la matière nucléaire avec brisure spontanée de symétrie chirale. Dans la partie I, on s'intéresse à la formation puis à la désexcitation des noyaux super-lourds. On étudie donc la formation du noyau composé avec effets de mémoire. Pour la désexcitation d'un noyau super-lourd, l'existence d'un puits isomérique dans la barrière de potentiel change la dynamique de désexcitation et augmente les temps de fission. Cette dernière étude pourrait être utile à l'étude de la dynamique de la fission des actinides. Dans la partie II, les règles de somme M1 et M3 associées aux potentiels phénoménologiques de type Skyrme sont calculées à partir de leurs définitions intrinsèques. On détermine alors M1 jusqu'au niveau tensoriel et M3 avec potentiel central. Dans la partie III, pour le traitement hydrodynamique de la matière hadronique appliqué aux collisions d'ions lourds on peut, en première approximation, écarter les modifications induites par la brisure spontanée de symétrie chirale mais pas celles dues à l'aspect dissipatif. / This study focuses on different aspects of nuclear physics from low energies to intermediate ones. For the low energies, the nuclear matter is essentially constituted from interacting nucleons. Part I is on the fusion-fission of super-heavy elements, while Part II is on the Skyrme interactions-associated sum rules. In the case of the intermediate energies, where the nuclear matter is considered as being an hadronic phase mainly constituted from pions, Part III is focused on nuclear matter relativistic hydrodynamics with spontaneous chiral symmetry breaking. In Part I, the formation and the desexcitation of super-heavy nuclei are being studied. We analyzed the formation of compound nuclei including the memory effects. For super-heavy nuclei desexcitation, the existence of isomeric state within the potential barrier modifies the desexcitation dynamics and increases the fission time. This latter study could be useful for the study of the actinides fission. In Part II, the phenomenological Skyrme effective interactions- associated M1 and M3 sum rules are being calculated based on their intrinsic definitions. We identify then M1 up to the tensorial level and M3 with central potential. In Part III, as for the hadronic matter hydrodynamics being applied to heavy ions collisions, and as a first approach only, we can neglect spontaneous chiral symmetry but certainly not the dissipative impact.
|
86 |
On the distribution of the values of arithmetical functions / Sur la répartition des valeurs des fonctions arithmétiquesHassani, Mehdi 08 December 2010 (has links)
La thèse concerne différents aspects de la répartition des fonctions arithmétiques.1. Deshouillers, Iwaniec et Luca se sont récemment intéressés à la répartition modulo 1 de suites qui sont des valeurs moyennes de fonctions multiplicatives, par exemple phi(n)/n où phi est la fonction d'Euler. Nous étendons leur travail à la densité modulo 1 de suites qui sont des valeurs moyennes sur des suites polynômiales, typiquement n^2+1.2. On sait depuis les travaux de Katai, il y a une quarantaine d'années que la fonction de répartition des valeurs de phi(p-1)/(p-1) (où p parcourt les nombres premiers) est continue, purement singulière, strictement croissante entre 0 et 1/2. On précise cette étude en montrant que cette fonction de répartition a une dérivée infinie à gauche de tout point phi(2n)/(2n). / Abstract
|
87 |
Contribution à la commande de systèmes non linéaires sous échantillonnage apériodique / Contribution to the control of nonlinear systems under aperiodic samplingOmran, Hassan 24 March 2014 (has links)
Cette thèse est dédiée à l’analyse de stabilité des systèmes non linéaires sous échantillonnage variant avec le temps. Lors de l’implémentation numérique d’un contrôleur qui est calculé en temps-continu (approche par émulation), il est d'un grand intérêt de fournir des critères de stabilité et d’estimer la borne supérieure de l’intervalle d’échantillonnage qui garantit la stabilité du système en temps discret. Plusieurs travaux récents ont abordé ces questions dans le cas de modèles linéaires, mais la question a rarement été abordée dans une étude quantitative et formelle pour les systèmes non linéaires.Tout d'abord, le mémoire présente un aperçu sur les systèmes échantillonnés. Les défis et les principales méthodes pour l'analyse de stabilité sont présentés pour le cas des systèmes linéaires invariants dans le temps et celui des systèmes non linéaires. Ensuite, l’analyse de la stabilité locale des systèmes bilinéaires échantillonnés contrôlés par un retour d'état linéaire est considérée. Deux approches sont utilisées, la première basée sur la théorie des systèmes hybrides, la seconde basée sur l’analyse des ensembles invariants contractants. Cette dernière approche est inspirée par la théorie de la dissipativité. L’ensemble de ces résultats conduisent à des conditions suffisantes de stabilité exprimées sous forme LMI.Enfin, les conditions de stabilité basées sur la dissipativité sont étendues au cas des systèmes non linéaires affines en l'entrée. Les résultats sont ensuite repris dans le cas spécifique des systèmes non linéaires polynomiaux où les conditions de stabilité sont vérifiées numériquement en utilisant la décomposition en somme des carrés (SOS). / This PhD thesis is dedicated to the stability analyzis of nonlinear systems under sampled-data control, with arbitrarily time-varying sampling intervals. When a controller is designed in continuous-time, and then implemented digitally (emulation approach), it is of great interest to provide stability criteria, and to estimate the bound on the sampling intervals which guarantees the stability of the sampled-data system. Whereas several works deal with linear models, the issue has been rarely addressed in a formal quantitative study in the nonlinear case.First, an overview on sampled-data control is presented. Challenges and main methodologies for stability analysis are presented for both the linear time-invariant and the nonlinear cases.Then, local stability of bilinear sampled-data systems controlled by a linear state feedback is considered by using two approaches: the first one is based on hybrid systems theory; the second one is based on the analyzis of contractive invariant sets and is inspired by the dissipativity theory. Both approaches provide sufficient stability conditions in the form of LMI.Finally, the dissipativity–based stability conditions are extended for the more general case of nonlinear systems which are affine in the input, including the case of polynomial systems which leads to conditions in the form of sum of squares (SOS).
|
88 |
Problèmes de switching optimal, équations différentielles stochastiques rétrogrades et équations différentielles partielles intégrales. / Multi-modes switching problem, backward stochastic differential equations and partial differential equationsZhao, Xuzhe 30 September 2014 (has links)
Cette thèse est composée de trois parties. Dans la première nous montrons l'existence et l'unicité de la solution continue et à croissance polynomiale, au sensviscosité, du système non linéaire de m équations variationnelles de type intégro-différentiel à obstacles unilatéraux interconnectés. Ce système est lié au problème du switching optimal stochastique lorsque le bruit est dirigé par un processus de Lévy. Un cas particulier du système correspond en effet à l’équation d’Hamilton-Jacobi-Bellman associé au problème du switching et la solution de ce système n’est rien d’autre que la fonction valeur du problème. Ensuite, nous étudions un système d’équations intégro-différentielles à obstacles bilatéraux interconnectés. Nous montrons l’existence et l’unicité des solutions continus à croissance polynomiale, au sens viscosité, des systèmes min-max et max-min. La démarche conjugue les systèmes d’EDSR réfléchies ainsi que la méthode de Perron. Dans la dernière partie nous montrons l’égalité des solutions des systèmes max-min et min-max d’EDP lorsque le bruit est uniquement de type diffusion. Nous montrons que si les coûts de switching sont assez réguliers alors ces solutions coïncident. De plus elles sont caractérisées comme fonction valeur du jeu de switching de somme nulle. / There are three main results in this thesis. The first is existence and uniqueness of the solution in viscosity sense for a system of nonlinear m variational integral-partial differential equations with interconnected obstacles. From the probabilistic point of view, this system is related to optimal stochastic switching problem when the noise is driven by a Lévy process. As a by-product we obtain that the value function of the switching problem is continuous and unique solution of its associated Hamilton-Jacobi-Bellman system of equations. Next, we study a general class of min-max and max-min nonlinear second-order integral-partial variational inequalities with interconnected bilateralobstacles, related to a multiple modes zero-sum switching game with jumps. Using Perron’s method and by the help of systems of penalized unilateral reflected backward SDEs with jumps, we construct a continuous with polynomial growth viscosity solution, and a comparison result yields the uniqueness of the solution. At last, we deal with the solutions of systems of PDEs with bilateral inter-connected obstacles of min-max and max-min types in the Brownian framework. These systems arise naturally in stochastic switching zero-sum game problems. We show that when the switching costs of one side are smooth, the solutions of the min-max and max-min systems coincide. Furthermore, this solution is identified as the value function of the zero-sum switching game.
|
89 |
Mesure de la section efficace d'électroproduction de photons sur le neutron à Jefferson Lab en vue de la séparation du terme de diffusion Compton profondément virtuelle / Measurement of the photon electroproduction cross section off the neutron at Jefferson Lab in view of the separation of the deeply virtual Compton scattering termDesnault, Camille 17 September 2015 (has links)
La section efficace d'électroproduction de photons sur le nucléon est proportionnelle aux amplitudes au carré de diffusion Compton profondément virtuelle (DVCS) et du Bethe-Heitler ainsi qu'un terme d'interférence de ces deux processus. Sa mesure sur le neutron fut réalisée dans le cadre de l'expérience E08-025 qui s'est déroulée en 2010 dans le Hall A à Jefferson Lab (USA). Par une forte sensibilité au terme d'interférence, elle aura permis l'extraction de trois observables dépendantes des Distributions Généralisées de Partons (GPDs), ainsi que la perspective de séparer par une méthode Rosenbluth le terme |DVCS|².Les GPDs sont des fonctions de structure qui nous permettent de comprendre la structure interne des nucléons en terme de corrélation entre les distributions en position transverse et en impulsion longitudinale des quarks au sein du nucléon. Plus qu'un moyen d'accéder à une image tri-dimensionnelle de la composition élémentaire du nucléon, la détermination des GPDs du neutron permettrait par la règle de somme de Ji l'accès au moment angulaire des quarks dans le nucléon, la pièce manquante à la compréhension du mystère lié au spin du nucléon.Cette thèse aborde le contexte théorique de la mesure de la section efficace d'électroproduction de photons sur le neutron, puis une description de la configuration expérimentale utilisée pour sa réalisation. Elle expose la sélection des données d'intérêt pour cette mesure et présente les résultats obtenus par une méthode d'ajustement des données à une simulation Monte Carlo dont la démarche est expliquée en détails. Pour finir, une étude systématique des résultats achève ce manuscrit. / The photon electroproduction cross section off the nucleon is proportional to the deeply virtual Compton scattering (DVCS) and Bethe-Heitler amplitudes squared together with an interference term between these two processes. Its measurement on the neutron has been performed in the framework of the E08-025 experiment which took place in 2010 in Hall A at Jefferson Lab (USA). Thanks to a high sensibility to the interference term, it made possible the extraction of three Generalized Parton Distributions (GPDs) dependent observables, as well as the prospect to extract the |DVCS|² term through a Rosenbluth separation.The GPDs are structure functions which allow to understand the internal structure of nucleons in term of the correlation between transverse spatial and longitudinal momentum distributions of quarks inside the nucleon. More than a way to access a three-dimensional picture of the elementary arrangement of the nucleon, the measurement of GPDs on the neutron would give access by the Ji's sum rule to the angular momentum of quarks in the nucleon, the missing piece for the understanding of the nucleon spin puzzle.This thesis outlines the theoretical context of the measurement of the photon electroproduction cross section off the neutron, and the experimental setup used for its achievement. It describes the selection of the experimental data of interest for this measurement and presents the results obtained from a fitting method of data to a Monte Carlo simulation, which is explained in detail. Finally, a systematic study of the results completes this manuscript.
|
90 |
Multi-player games in the era of machine learningGidel, Gauthier 07 1900 (has links)
Parmi tous les jeux de société joués par les humains au cours de l’histoire, le jeu de go était considéré comme l’un des plus difficiles à maîtriser par un programme informatique [Van Den Herik et al., 2002]; Jusqu’à ce que ce ne soit plus le cas [Silveret al., 2016]. Cette percée révolutionnaire [Müller, 2002, Van Den Herik et al., 2002] fût le fruit d’une combinaison sophistiquée de Recherche arborescente Monte-Carlo et de techniques d’apprentissage automatique pour évaluer les positions du jeu, mettant en lumière le grand potentiel de l’apprentissage automatique pour résoudre des jeux. L’apprentissage antagoniste, un cas particulier de l’optimisation multiobjective, est un outil de plus en plus utile dans l’apprentissage automatique. Par exemple, les jeux à deux joueurs et à somme nulle sont importants dans le domain des réseaux génératifs antagonistes [Goodfellow et al., 2014] ainsi que pour maîtriser des jeux comme le Go ou le Poker en s’entraînant contre lui-même [Silver et al., 2017, Brown andSandholm, 2017]. Un résultat classique de la théorie des jeux indique que les jeux convexes-concaves ont toujours un équilibre [Neumann, 1928]. Étonnamment, les praticiens en apprentissage automatique entrainent avec succès une seule paire de réseaux de neurones dont l’objectif est un problème de minimax non-convexe et non-concave alors que pour une telle fonction de gain, l’existence d’un équilibre de Nash n’est pas garantie en général. Ce travail est une tentative d'établir une solide base théorique pour l’apprentissage dans les jeux. La première contribution explore le théorème minimax pour une classe particulière de jeux non-convexes et non-concaves qui englobe les réseaux génératifs antagonistes. Cette classe correspond à un ensemble de jeux à deux joueurs et a somme nulle joués avec des réseaux de neurones. Les deuxième et troisième contributions étudient l’optimisation des problèmes minimax, et plus généralement, les inégalités variationnelles dans le cadre de l’apprentissage automatique. Bien que la méthode standard de descente de gradient ne parvienne pas à converger vers l’équilibre de Nash de jeux convexes-concaves simples, il existe des moyens d’utiliser des gradients pour obtenir des méthodes qui convergent. Nous étudierons plusieurs techniques telles que l’extrapolation, la moyenne et la quantité de mouvement à paramètre négatif. La quatrième contribution fournit une étude empirique du comportement pratique des réseaux génératifs antagonistes. Dans les deuxième et troisième contributions, nous diagnostiquons que la méthode du gradient échoue lorsque le champ de vecteur du jeu est fortement rotatif. Cependant, une telle situation peut décrire un pire des cas qui ne se produit pas dans la pratique. Nous fournissons de nouveaux outils de visualisation afin d’évaluer si nous pouvons détecter des rotations dans comportement pratique des réseaux génératifs antagonistes. / Among all the historical board games played by humans, the game of go was considered one of the most difficult to master by a computer program [Van Den Heriket al., 2002]; Until it was not [Silver et al., 2016]. This odds-breaking break-through [Müller, 2002, Van Den Herik et al., 2002] came from a sophisticated combination of Monte Carlo tree search and machine learning techniques to evaluate positions, shedding light upon the high potential of machine learning to solve games. Adversarial training, a special case of multiobjective optimization, is an increasingly useful tool in machine learning. For example, two-player zero-sum games are important for generative modeling (GANs) [Goodfellow et al., 2014] and mastering games like Go or Poker via self-play [Silver et al., 2017, Brown and Sandholm,2017]. A classic result in Game Theory states that convex-concave games always have an equilibrium [Neumann, 1928]. Surprisingly, machine learning practitioners successfully train a single pair of neural networks whose objective is a nonconvex-nonconcave minimax problem while for such a payoff function, the existence of a Nash equilibrium is not guaranteed in general. This work is an attempt to put learning in games on a firm theoretical foundation. The first contribution explores minimax theorems for a particular class of nonconvex-nonconcave games that encompasses generative adversarial networks. The proposed result is an approximate minimax theorem for two-player zero-sum games played with neural networks, including WGAN, StarCrat II, and Blotto game. Our findings rely on the fact that despite being nonconcave-nonconvex with respect to the neural networks parameters, the payoff of these games are concave-convex with respect to the actual functions (or distributions) parametrized by these neural networks. The second and third contributions study the optimization of minimax problems, and more generally, variational inequalities in the context of machine learning. While the standard gradient descent-ascent method fails to converge to the Nash equilibrium of simple convex-concave games, there exist ways to use gradients to obtain methods that converge. We investigate several techniques such as extrapolation, averaging and negative momentum. We explore these techniques experimentally by proposing a state-of-the-art (at the time of publication) optimizer for GANs called ExtraAdam. We also prove new convergence results for Extrapolation from the past, originally proposed by Popov [1980], as well as for gradient method with negative momentum. The fourth contribution provides an empirical study of the practical landscape of GANs. In the second and third contributions, we diagnose that the gradient method breaks when the game’s vector field is highly rotational. However, such a situation may describe a worst-case that does not occur in practice. We provide new visualization tools in order to exhibit rotations in practical GAN landscapes. In this contribution, we show empirically that the training of GANs exhibits significant rotations around Local Stable Stationary Points (LSSP), and we provide empirical evidence that GAN training converges to a stable stationary point, which is a saddle point for the generator loss, not a minimum, while still achieving excellent performance.
|
Page generated in 0.3148 seconds