Les surfaces cristallines jouent un rôle essentiel dans grand nombre d'applications des nanotechnologies, une surface étant souvent un support nécessaire pour des nano-objets. La surface support peut être à son tour nano-structurée, et intervenir ainsi directement dans les propriétés du matériau réalisé. Ainsi, parmi les défis à relever pour maîtriser la morphologie de la surface et donc contrôler les nanostructures, il y a la compréhension des mécanismes moteurs à l'origine des instabilités de surface. Ce travail de thèse constitue une étude théorique accompagnée par des simulations Monte-Carlo de la dynamique des instabilités de croissance. C'est une contribution à la compréhension des mécanismes microscopiques gouvernant ces instabilités. Deux démarches ont été suivies dans cette étude : la première est une étude statistique qui consiste à analyser la morphologie de la surface instable, puis de proposer des modèles numériques (barrière Ehrlich-Schwoebel, impuretés) et des équations analytiques capables de décrire ces instabilités et remonter enfin aux mécanismes atomistiques sous-jacents. La deuxième, est une étude de la dynamique des marches qui a pour but de prévoir puis de déterminer les mécanismes atomistiques exacts gouvernants le mouvement de ces marches et les échanges de matière entre elles à l'aide de mesures de la distribution de largeur des terrasses (TWD). Les résultats de ce travail ont abouti à la mise en évidence de nouveaux mécanismes de nanostructuration spontanée [impuretés], ainsi que sur le développement et la validation numérique de nouveaux outils mathématiques [approche de Fokker-Planck] pour décrire les fluctuations des séparations entre les marches (TWDs) sur les surfaces loin de l'équilibre.