Ce mémoire de thèse synthétise trois années de recherches dédiées à la modélisation numérique des instabilités et ruptures se produisant dans les géomatériaux et ouvrages comme les glissements de terrains. L'approche considérée dans ces modélisations relève de la mécanique des milieux continus et est fondée sur l'exploitation de lois de comportement phénoménologiques et l'utilisation d'un code aux éléments finis. L'étude de ces instabilités est effectuée grâce au critère de Hill (1958) qui est basée sur le signe du travail du second ordre. Après un chapitre bibliographique sur les lois de comportements pour matériaux granulaires et sur les critères de stabilité matérielle, le second chapitre est dédié à l'étude du critère du travail du second ordre local par une analyse au niveau du comportement d'un point matériel. Le troisième chapitre propose une étude de ce critère à l'échelle d'une structure, et repose sur l'analyse aux valeurs propres et vecteurs propres de la partie symétrique de la matrice de rigidité globale issue d'un calcul par éléments finis. Enfin, dans le dernier chapitre nous présentons les modélisations de deux glissements de terrains : Petacciato en Italie, et Ballendaz en Savoie, qui se sont manifestés après des périodes de fortes pluies. L'association d'un modèle hydro-mécanique couplé prenant en compte la saturation partielle des sols, et du critère du travail du second ordre a permis de décrire correctement les surfaces de ruptures observées in situ.