Dans cette thèse nous étudions des questions de stabilité géométrique pour des variétés kähleriennes à courbure scalaire constante (cscK) avec classe de cohomologie transcendante. En tant que point de départ, nous introduisons des notions généralisées de K-stabilité, étendant une image classique introduite par G. Tian et S. Donaldson dans le cadre des variétés polarisées. Contrairement à la théorie classique, ce formalisme nous permet de traiter des questions de stabilité pour des variétés kähleriennes compactes non projectives ainsi que des variétés projectives munis de polarisations non rationnelles. Dans une première partie, nous étudions les rayons sous-géodésiques associés aux configurations tests dites cohomologiques, objets introduitent dans cette thèse. Nous établissons ainsi des formules fondamentales pour la pente asymptotique d'une famille de fonctionnelles d'énergie, le long de ces rayons géodésiques. Ceci est lié au couplage de Deligne en géométrie algébrique, et ce formalise permet en particulier de comprendre le comportement asymptotique d'un grand nombre de fonctionnelles d'énergie classiques en géométrie kählerienne, y compris la fonctionnelle d'Aubin-Mabuchi et la K-énergie. En particulier, ceci fournit une approche pluripotentielle naturelle pour étudier le comportement asymptotique des fonctionnelles d'énergie dans la théorie de K-stabilité. En s'appuyant sur cette première partie, nous démontrons ensuite un certain nombre de résultats de stabilité pour les variétés cscK. Tout d'abord, nous prouvons que les variétés cscK sont K-semistables dans notre sens généralisé, prolongeant ainsi un résultat dû à Donaldson dans le cadre projectif. En supposant que le groupe d'automorphisme est discret, nous montrons en outre que la K-stabilité est une condition nécessaire pour l'existence des métriques cscK sur des variétés kähleriennes compactes. Plus précisément, nous prouvons que la coercivité de la K-énergie implique la K-stabilité uniforme, ainsi généralisant des résultats de Mabuchi, Stoppa, Berman, Dervan et Boucksom-Hisamoto-Jonsson pour des variétés polarisées. Cela donne une preuve nouvelle et plus générale d'une direction de la conjecture Yau-Tian-Donaldson dans ce contexte. L'autre direction (suffisance de K-stabilité) est considérée comme l'un des problèmes ouverts les plus importants en géométrie kählerienne. Nous donnons enfin des résultats partiels dans le cas des variétés kähleriennes compactes qui admettent des champs de vecteurs holomorphes non triviaux. Nous discutons également autour des perspectives et applications de notre théorie de K-stabilité pour les variétés kähleriennes avec classe transcendante, notamment à l'étude des lieux de stabilité dans le cône de Kähler. / In this thesis we are interested in questions of geometric stability for constant scalar curvature Kähler (cscK) manifolds with transcendental cohomology class. As a starting point we develop generalized notions of K-stability, extending a classical picture for polarized manifolds due to G. Tian, S. Donaldson, and others, to the setting of arbitrary compact Kähler manifolds. We refer to these notions as cohomological K-stability. By contrast to the classical theory, this formalism allows us to treat stability questions for non-projective compact Kähler manifolds as well as projective manifolds endowed with non-rational polarizations. As a first main result and a fundamental tool in this thesis, we study subgeodesic rays associated to test configurations in our generalized sense, and establish formulas for the asymptotic slope of a certain family of energy functionals along these rays. This is related to the Deligne pairing construction in algebraic geometry, and covers many of the classical energy functionals in Kähler geometry (including Aubin's J-functional and the Mabuchi K-energy functional). In particular, this yields a natural potential-theoretic aproach to energy functional asymptotics in the theory of K-stability. Building on this foundation we establish a number of stability results for cscK manifolds: First, we show that cscK manifolds are K-semistable in our generalized sense, extending a result due to S. Donaldson in the projective setting. Assuming that the automorphism group is discrete we further show that K-stability is a necessary condition for existence of constant scalar curvature Kähler metrics on compact Kähler manifolds. More precisely, we prove that coercivity of the Mabuchi functional implies uniform K-stability, generalizing results of T. Mabuchi, J. Stoppa, R. Berman, R. Dervan as well as S. Boucksom, T. Hisamoto and M. Jonsson for polarized manifolds. This gives a new and more general proof of one direction of the Yau-Tian-Donaldson conjecture in this setting. The other direction (sufficiency of K-stability) is considered to be one of the most important open problems in Kähler geometry. We finally give some partial results in the case of compact Kähler manifolds admitting non-trivial holomorphic vector fields, discuss some further perspectives and applications of the theory of K-stability for compact Kähler manifolds with transcendental cohomology class, and ask some questions related to stability loci in the Kähler cone.

Dans tout ce qui suit, nous considérons une variété riemannienne compacte de dimension au moins égale à 2. A tout domaine (suffisamment régulier) , on peut associer la première valeur propre ?Ù de l’opérateur de Laplace-Beltrami avec condition de Dirichlet au bord. Nous dirons qu’un domaine est extrémal (sous entendu, pour la première valeur propre de l’opérateur de Laplace-Beltrami) si est un point critique de la fonctionnelle Ù? ?O sous une contrainte de volume V ol(Ù) = c0. Autrement dit, est extrémal si, pour toute famille régulière {Ot}te (-t0,t0) de domaines de volume constant, telle que Ù 0 = Ù, la dérivée de la fonction t ? ?Ot en 0 est nulle. Rappelons que les domaines extrémaux sont caractérisés par le fait que la fonction propre, associée à la première valeur propre sur le domaine avec condition de Dirichlet au bord, a une donnée de Neumann constante au bord. Ce résultat a été démontré par A. El Soufi et S. Ilias en 2007. Les domaines extrémaux sont donc des domaines sur lesquels peut être résolu un problème elliptique surdéterminé. L’objectif principal de cette thèse est la construction de domaines extrémaux pour la première valeur propre de l’opérateur de Laplace-Beltrami avec condition de Dirichlet au bord. Nous donnons des résultats d’existence de domaines extrémaux dans le cas de petits volumes ou bien dans le cas de volumes proches du volume de la variété. Nos résultats permettent ainsi de donner de nouveaux exemples non triviaux de domaines extrémaux. Le premier résultat que nous avons obtenu affirme que si une variété admet un point critique non dégénéré de la courbure scalaire, alors pour tout volume petit il existe un domaine extrémal qui peut être construit en perturbant une boule géodésique centrée en ce point critique non dégénéré de la courbure scalaire. La méthode que nous utilisons pour construire ces domaines extrémaux revient à étudier l’opérateur (non linéaire) qui à un domaine associe la donnée de Neumann de la première fonction propre de l’opérateur de Laplace-Beltrami sur le domaine. Il s’agit d’un opérateur (hautement non linéaire), nonlocal, elliptique d’ordre 1. Dans Rn × R/Z, le domaine cylindrique Br × R/Z, o`u Br est la boule de rayon r > 0 dans Rn, est un domaine extrémal. En étudiant le linéarisé de l’opérateur elliptique du premier ordre défini par le problème précédent et en utilisant un résultat de bifurcation, nous avons démontré l’existence de domaines extrémaux nontriviaux dans Rn × R/Z. Ces nouveaux domaines extrémaux sont proches de domaines cylindriques Br × R/Z. S’ils sont invariants par rotation autour de l’axe vertical, ces domaines ne sont plus invariants par translations verticales. Ce deuxi`eme r´esultat donne un contre-exemple à une conjecture de Berestycki, Caffarelli et Nirenberg énoncée en 1997. Pour de grands volumes la construction de domaines extrémaux est techniquement plus difficile et fait apparaître des phénomènes nouveaux. Dans ce cadre, nous avons dû distinguer deux cas selon que la première fonction propre Ø0 de l’opérateur de Laplace-Beltrami sur la variété est constante ou non. Les résultats que nous avons obtenus sont les suivants : 1. Si Ø0 a des points critiques non dégénérés (donc en particulier n’est pas constante), alors pour tout volume assez proche du volume de la variété, il existe un domaine extrémal obtenu en perturbant le complément d’une boule géodésique centrée en un des points critiques non dégénérés de Ø0. 2. Si Ø0 est constante et la variété admet des points critiques non dégénérés de la courbure scalaire, alors pour tout volume assez proche du volume de la variété il existe un domaine extrémal obtenu en perturbant le complément d’une boule géodésique centrée en un des points critiques non dégénérés de la courbure scalaire / In what follows, we will consider a compact Riemannian manifold whose dimension is at least 2. Let Ù be a (smooth enough) domain and ?O the first eigenvalue of the Laplace-Beltrami operator on Ù with 0 Dirichlet boundary condition. We say that Ù is extremal (for the first eigenvalue of the Laplace-Beltrami operator) if is a critical point for the functional Ù? ?O with respect to variations of the domain which preserve its volume. In other words, Ù is extremal if, for all smooth family of domains { Ù t}te(-t0,t0) whose volume is equal to a constant c0, and Ù 0 = Ù, the derivative of the function t ? ?Ot computed at t = 0 is equal to 0. We recall that an extremal domain is characterized by the fact that the eigenfunction associated to the first eigenvalue of the Laplace-Beltrami operator over the domain with 0 Dirichlet boundary condition, has constant Neumann data at the boundary. This result has been proved by A. El Soufi and S. Ilias in 2007. Extremal domains are then domains over which can be solved an elliptic overdeterminated problem. The main aim of this thesis is the construction of extremal domains for the first eigenvalue of the Laplace-Beltrami operator with 0 Dirichlet boundary condition. We give some existence results of extremal domains in the cases of small volume or volume closed to the volume of the manifold. Our results allow also to construct some new nontrivial exemples of extremal domains. The first result we obtained states that if the manifold has a nondegenerate critical point of the scalar curvature, then, given a fixed volume small enough, there exists an extremal domain that can be constructed by perturbation of a geodesic ball centered in that nondegenerated critical point of the scalar curvature. The methode used is based on the study of the operator that to a given domain associes the Neumann data of the first eigenfunction of the Laplace-Beltrami operator over the domain. It is a highly nonlinear, non local, elliptic first order operator. In Rn × R/Z, the circular-cylinder-type domain Br × R/Z, where Br is the ball of radius r > 0 in Rn, is an extremal domain. By studying the linearized of the elliptic first order operator defined in the previous problem, and using some bifurcation results, we prove the existence of nontrivial extremal domains in Rn × R/Z. Such extremal domains are closed to the circular-cylinder-type domains Br × R/Z. If they are invariant by rotation with respect to the vertical axe, they are not invariant by vertical translations. This second result gives a counterexemple to a conjecture of Berestycki, Caffarelli and Nirenberg stated in 1997. For big volumes the construction of extremal domains is technically more difficult and shows some new phenomena. In this context, we had to distinguish two cases, according to the fact that the first eigenfunction Ø0 of the Laplace-Beltrami operator over the manifold is constant or not. The results obtained are the following : 1. If Ø0 has a nondegenerated critical point (in particular it is not constant), then, given a fixed volume closed to the volume of the manifold, there exists an extremal domain obtained by perturbation of the complement of a geodesic ball centered in a nondegenerated critical point of Ø0. 2. If Ø0 is constant and the manifold has some nondegenerate critical points of the scalar curvature, then, for a given fixed volume closed to the volume of the manifold, there exists an extremal domain obtained by perturbation of the complement of a geodesic ball centered in a nondegenerate critical point of the scalar curvature