Bien qu'intervenant dans de nombreuses situations industrielles et géophysiques, les écoulements granulaires sont aujourd'hui encore mal compris. Dans cette thèse, nous étudions deux instabilités qui apparaissent lorsque l'on fait couler un milieu granulaire par gravité sur un plan incliné rugueux. Nous avons tout d'abord étudié une nouvelle instabilité observée dans le régime d'écoulement rapide et dilué, lorsque le plan est fortement incliné. Cette instabilité se manifeste par l'apparition spontanée de vortex longitudinaux au sein de l'écoulement. A partir de mesures expérimentales, nous proposons un mécanisme d'instabilité qui fait appel au concept de "température granulaire". Ce mécanisme est ensuite validé par une analyse de stabilité dans le cadre de la théorie cinétique des milieux granulaires. La deuxième instabilité que nous avons étudiée apparaît dans le régime d'écoulement dense. Dans certains cas, on observe la formation de vagues de grande longueur d'onde qui se propagent dans la direction de l'écoulement. Nous avons étudié expérimentalement la formation de ces ondes de surface en forçant l'instabilité, dans l'esprit des expériences sur les systèmes ouverts en mécanique des fluides. Les résultats sont ensuite confrontés à une approche moyennée dans l'épaisseur. Cette étude montre que les propriétés de l'instabilité "classique" en ondes de surface peuvent être profondément modifiées par la rhéologie des écoulements granulaires denses.