Les hétérostructures à base d'alliage Silicium Germanium (SiGe) sont utilisées dans certains transistors depuis la fin des années '90. De nouveaux composants très prometteurs pour la nanoélectronique pourraient être fabriqués en utilisant les propriétés quantiques d'objets de basse dimensionalité à base de SiGe. Pour cela, la taille et l'organisation de ces objets doivent être parfaitement contrôlées à l'échelle nanométrique. Le but est d'atteindre des tailles d'îlots de ~20 nm et une densité ~1011/cm2. Une voie simple et peu coûteuse pour la réalisation de telles nanostructures est l'auto-organisation naturelle d'îlots quantiques de Ge par la croissance par épitaxie par jets moléculaires (EJM). Les trois problèmes qui persistent à l'heure actuelle pour réaliser ce type de structures sont : 1) l'interdiffusion entre le Ge et le substrat ; 2) la taille moyenne des îlots qui est très inhomogène et toujours supérieure à 70 nm; 3) l'organisation des îlots de taille nanométrique, impossible à réaliser à grande échelle par des techniques locales. Dans ce travail nous avons étudié l'auto-organisation d'îlots de Ge sur des substrats vicinaux de Si nanostructurés, en utilisant un processus à deux étapes qui consiste en : i) l'auto-structuration naturelle du substrat et ii) la nucléation préférentielle des îlots de Ge sur les motifs créés. Dans les trois premiers chapitres des rappels bibliographiques sur les mécanismes de croissance et d'auto-organisation, sur les instabilités de croissance et sur les simulations Monte Carlo sont présentés. Les résultats, à la fois théoriques et expérimentaux de ce travail, ont permis de mettre en évidence une pseudo-barrière Ehrlich-Schwoebel inverse implicite à l'origine de l'instabilité cinétique qui se développe durant l'homoépitaxie Si/Si(001). Les exposants critiques de l'évolution de cette instabilité ont été extraits expérimentalement et sont en bon accord avec la théorie. Les instabilités qui apparaissent durant la croissance SiGe/Si ont des origines complexes liées à un couplage de la contrainte et de la cinétique. Par ailleurs, nous avons mis en évidence une réduction importante de l'énergie élastique d'un système comprenant un îlot de Ge, une couche de mouillage de Ge et un substrat à motifs de Si (où chaque motif est représenté par des marches) lorsque le motif présente au moins trois marches.