Dans une première partie, on se donne un groupe réductif connexe complexe G, et on classifie les modules simples dont le cône des vecteurs primitifs admet une déformation G-invariante non triviale. On relie cette classification à celle des algèbres de Jordan simples, et aussi à celle (due à Akhiezer) des variétés projectives lisses dont les orbites sous l'action d'un groupe algébrique affine connexe sont un diviseur et son complémentaire. Notre principal outil est le schéma de Hilbert invariant d'Alexeev et Brion; on en détermine les premiers exemples. On détermine aussi les déformations infinitésimales (non nécessairement G-invariantes) des cônes des vecteurs primitifs; elles sont triviales pour presque tous les modules simples. Dans une seconde partie, on construit le ``schéma Quot invariant'' et on en détermine une classe d'exemples dans le cas où l'espace ambiant est un cône des vecteurs primitifs.

Pour toute variété affine W munie d'une opération d'un groupe réductif G, le schéma de Hilbert invariant est un espace de modules qui classifie les sous-schémas fermés de W, stables par l'opération de G, et dont l'algèbre affine est somme directe de G-modules simples avec des multiplicités finies préalablement fixées. Dans cette thèse , on étudie d'abord le schéma de Hilbert invariant, noté H, qui paramètre les sous-schémas fermés GL(V)-stables Z de W=n1 V oplus n2 V^* tels que k[Z] est isomorphe à la représentation régulière de GL(V) comme GL(V)-module. Si dim(V)<3,on montre que H est une variété lisse, et donc que le morphisme de Hilbert-Chow gamma: H -> W//G est une résolution des singularités du quotient W//G. En revanche, si dim(V)=3, on montre que H est singulier. Lorsque dim(V)<3, on décrit H par des équations et aussi comme l'espace total d'un fibré vectoriel homogène au dessus d'un produit de deux grassmanniennes. On se place ensuite dans le cadre symplectique en prenant n1=n2 et en remplaçant W par la fibre en 0 de l'application moment mu: W -> End(V). On considère alors le schéma de Hilbert invariant H' qui paramètre les sous-schémas contenus dans mu^{-1}(0). On montre que H' est toujours réductible, mais que sa composante principale Hp' est lisse lorsque dim(V)<3. Dans ce cas, le morphisme de Hilbert-Chow est une résolution (parfois symplectique) des singularités du quotient mu^{-1}(0)//G. Lorsque dim(V)<3, on décrit Hp' comme l'espace total d'un fibré vectoriel homogène au dessus d'une variété de drapeaux. Enfin, on obtient des résultats similaires lorsque l'on remplace GL(V) par un autre groupe classique (SL(V), SO(V), O(V), Sp(V)) que l'on fait opérer d'abord dans W=nV, puis dans la fibre en 0 de l'application moment. / Let W be an affine variety equipped with an action of a reductive group G. The invariant Hilbert scheme is a moduli space which classifies the G-stable closed subschemes of W such that the affine algebra is the direct sum of simple G-modules with previously fixed finite multiplicities. In this thesis, we first study the invariant Hilbert scheme, denoted H. It parametrizes the GL(V)-stable closed subschemes Z of W=n1 V oplus n2 V^* such that k[Z] is isomorphic to the regular representation of GL(V) as GL(V)-module. If dim(V)<3, we show that H is a smooth variety, so that the Hilbert-Chow morphism gamma: H -> W//G is a resolution of singularities of the quotient W//G. However, if dim(V)=3, we show that H is singular. When dim(V)<3, we describe H by equations and also as the total space of a homogeneous vector bundle over the product of two Grassmannians. Then we consider the symplectic setting by letting n1=n2 and replacing W by the zero fiber of the moment map mu: W -> End(V). We study the invariant Hilbert scheme H' which parametrizes the subschemes included in mu^{-1}(0). We show that H' is always reducible, but that its main component Hp' is smooth if dim(V)<3. In this case, the Hilbert-Chow morphism is a resolution of singularities (sometimes a symplectic one) of the quotient mu^{-1}(0)//G. When dim(V)=3, we describe Hp' as the total space of a homogeneous vector bundle over a flag variety. Finally, we get similar results when we replace GL(V) by some other classical group (SL(V), SO(V), O(V), Sp(V)) acting first on W=nV, then on the zero fiber of the moment map.

Pour toute variété affine W munie d'une opération d'un groupe réductif G, le schéma de Hilbert invariant est un espace de modules qui classifie les sous-schémas fermés de W, stables par l'opération de G, et dont l'algèbre affine est somme directe de G-modules simples avec des multiplicités finies préalablement fixées. Dans cette thèse , on étudie d'abord le schéma de Hilbert invariant, noté H, qui paramètre les sous-schémas fermés GL(V)-stables Z de W=n1 V oplus n2 V^* tels que k[Z] est isomorphe à la représentation régulière de GL(V) comme GL(V)-module. Si dim(V)<3,on montre que H est une variété lisse, et donc que le morphisme de Hilbert-Chow gamma: H -> W//G est une résolution des singularités du quotient W//G. En revanche, si dim(V)=3, on montre que H est singulier. Lorsque dim(V)<3, on décrit H par des équations et aussi comme l'espace total d'un fibré vectoriel homogène au dessus d'un produit de deux grassmanniennes. On se place ensuite dans le cadre symplectique en prenant n1=n2 et en remplaçant W par la fibre en 0 de l'application moment mu: W -> End(V). On considère alors le schéma de Hilbert invariant H' qui paramètre les sous-schémas contenus dans mu^{-1}(0). On montre que H' est toujours réductible, mais que sa composante principale Hp' est lisse lorsque dim(V)<3. Dans ce cas, le morphisme de Hilbert-Chow est une résolution (parfois symplectique) des singularités du quotient mu^{-1}(0)//G. Lorsque dim(V)<3, on décrit Hp' comme l'espace total d'un fibré vectoriel homogène au dessus d'une variété de drapeaux. Enfin, on obtient des résultats similaires lorsque l'on remplace GL(V) par un autre groupe classique (SL(V), SO(V), O(V), Sp(V)) que l'on fait opérer d'abord dans W=nV, puis dans la fibre en 0 de l'application moment.