Chez les plantes à fleurs, la gynodioécie -- système dans lequel coexistent des individus femelles et des individus hermaphrodites -- est le système de reproduction le plus commun après l'hermaphrodisme. La question de l'évolution et surtout du maintien de la gynodioécie et du polymorphisme génétique sous-jacent a intrigué les chercheurs depuis le 19e siecle. Aujourd'hui, les grands principes de son évolution sont posés mais beaucoup de zones d'ombres persistent. Durant ma thèse, j'ai exploré trois aspects de la gynodioécie en utilisant une approche expérimentale chez l'espèce Silene nutans et une approche théorique. Je me suis en premier lieu intéressée au déterminisme génétique de la gynodioécie grâce à la réalisation de croisements contrôlés qui m'ont permis de montrer que le déterminisme génétique du sexe était cytonucléaire, c'est à dire contrôlé par plusieurs gènes de stérilité mâle cytoplasmique (CMS) et plusieurs restaurateurs nucléaires de fertilité. En parallèle, j'ai porté une attention particulière aux plantes gynomonoïques -- celles où coexistent sur le même pied des fleurs pistillés (femelles) et des fleurs parfaites (hermaphrodites) -- fréquentes chez Silene nutans comme chez d'autres espèces gynodioïques. J'ai montré que les caractéristiques reproductrices et florales de ce troisième phénotype sexuel étaient souvent intermédiaires entre celles des femelles et des hermaphrodites mais pouvaient dépendre de la proportion de fleurs pistillées sur la plante. Par ailleurs et contrairement à ce qui avait été suggéré, la plasticité du phénotype gynomonoïque s'est révélée être relativement réduite, suggérant un déterminisme génétique dont la caractérisation est encore en cours. La troisième partie de ma thèse a été motivée par les preuves récentes d'hétéroplasmie -- coexistence de différents génomes mitochondriaux au sein d'un individu -- et de la transmission occasionnelle du génome mitochondrial par le pollen chez Silene vulgaris. J'ai montré théoriquement que la présence d'un gène de stérilité mâle cytoplasmique favorisait l'évolution de la fuite paternelle de mitochondries. J'ai également vérifié expérimentalement l'hérédité mitochondriale chez Silene nutans par le génotypage des descendances de croisements contrôlés. / In flowering plants, gynodioecy -- a system in which females and hermaphrodites coexist within populations -- is the most common sexual system after hermaphroditism. The evolution and maintenance of gynodiocy and its underlying polymorphism have puzzled evolutionary biologists since the 19th century. The main principles of its evolution are well known but some points remain vague. During my PhD, I explored three aspects of gynodioecy using an experimental approach in the species Silene nutans and a theoretical approach. First, I studied the genetic determination of gynodioecy using controlled crosses that showed that the genetic determination of sex was cytonuclear, i.e. controlled by several cytoplasmic male sterility (CMS) genes and several nuclear restorers of fertility. Second, I focused on gynomonoecious plants -- those that carry both pistillate (female) flowers and perfect (hermaphrodite) flowers -- that are frequently found in Silene nutans as in other gynodioecious species. I showed that the floral and reproductive traits of this third sex phenotype were often intermediate between those of females and hermaphrodites but varied with varying proportions of pistillate flowers on the plant. Contrary to what was previously thought, the plasticity of the gynomoneocious phenotype was found to be limited, suggesting a genetic determination whose characterization is still in progress. The third part of my PhD was motivated by recent evidences of heteroplasmy -- the coexistence of different mitochondrial genomes within an individual -- and occasional transmission of the mitochondrial genome through pollen in Silene vulgaris. I showed theoretically that the occurrence of a cytoplasmic male sterility gene can favor the evolution of paternal leakage of mitochondria. I also investigated mitochondrial inheritance in Silene nutans by genotyping progenies from controlled crosses.