L'objectif de ce travail de thèse est d'examiner le rôle de la sous-criticité du coeur, en tant que moyen pour améliorer la sûreté des systèmes nucléaires innovants, notamment des réacteurs à sel fondu, dédiés à la production d'énergie et/ou à la transmutation/incinération des déchets nucléaires. La sûreté intrinsèque est considérée comme l'objectif ultime de cette amélioration. Une tentative d'appliquer une approche systématisée pour l'analyse de la contribution de la sous-criticitité au comportement intrinsèque des systèmes hybrides est effectuée. Les résultats de cette étude prouvent que la sous-criticité améliore bien la sûreté des réacteurs nucléaires, et même, dans certaines configurations, permet d'attendre la sûreté intrinsèque. Dans tous les cas, un choix approprié du niveau de sous-criticité rend les transitoires plus lents et monotones. Il est montré que le point faible pour des systèmes hybrides avec une source indépendante de neutrons sont les transitoires thermo-hydrauliques non protégés tandis que pour des hybrides avec des sources couplées ce sont les transitoires de réactivité. Pour surmonter les inconvénients intrinsèques à ces deux types de systèmes hybrides, un nouveau principe de réalisation des systèmes hybrides couplés est proposé (concept DENNY). De plus, des approches, qui permettent de remédier à certains problèmes de sûreté, sont proposées. Une analyse préliminaire du potentiel de sûreté intrinsèque pour un réacteur à sel fondu avec spectre rapide (concept REBUS) est effectuée. Enfin, le potentiel des sources alternatives de neutrons basées sur des réactions thermonucléaires et photo-nucléaires est examiné.