La stabilité des exploitations à ciel ouvert (mines ou carrières) excavées dans des massifs rocheux dépend de leur géométrie, des caractéristiques géométriques de la fracturation (orientation et espacement) du massif et des caractéristiques mécaniques du massif et des discontinuités. L'évaluation du risque d'instabilité rocheuse dépend de la quantité et la qualité des informations disponibles sur le massif rocheux et des méthodes d'analyse mises en œuvre pour évaluer le comportement mécanique de l'assemblage de blocs rocheux. Différents sites de talus naturels, d'excavation routière et de carrières et mines à ciel ouvert présentés dans le mémoire montrent que les informations connues peuvent beaucoup varier d'un site à l'autre. Les étapes de collecte et de synthèse des données, puis de modélisation afin d'analyser la stabilité d'une pente rocheuse conduisent à des incertitudes. Le mémoire traite plus particulièrement de l'influence des incertitudes géométriques et différentes méthodes de regroupement des fractures en familles sont explorées. La combinaison du travail proposé par différents auteurs conduit à une nouvelle méthode nommée PSMY. Cette méthode ainsi que la méthode spectrale ont été programmées sous l'environnement Mathematica et les résultats sont comparés à des regroupements "manuels" réalisé avec le logiciel DIPS. Les méthodes de regroupement sont présentées selon le pourcentage d'orientations classé par la méthode. L’orientation et l’espacement des familles de fractures sont ajustées à des lois statistiques. Les paramètres statistiques sont comparés en fonction de la méthode regroupement. Ces paramètres influencent la construction d'un modèle géométrique du massif rocheux appelé DFN (Discrete Fracture Network). L'influence des regroupements sur l'analyse de stabilité est étudiée à partir de modélisation stochastiques à l'équilibre limite utilisant les logiciels SWEDGE et RESOBLOK. Ces logiciels ne prennent pas en compte les mêmes incertitudes et en sortie ils fournissent des indicateurs de stabilité différents. Une analyse de sensibilité des indicateurs (nombre de blocs instables, volume moyen du bloc instable, volume total instable) aux méthodes de regroupement et aux orientations de talus est réalisée. Une analyse de variance permet de préciser l'influence de ces deux facteurs. Une évaluation de l’état de stabilité global du massif, en fonction de la cohésion et de l'angle de frottement est proposée. L'influence de la méthode de modélisation est évoquée en comparant des calculs tridimensionnels à l'équilibre limite et des modélisations bidimensionnel et tridimensionnels en éléments discrets rigides ou déformables. Un couplage entre le logiciel RESOBLOK (équilibre limite) et LMGC90 (éléments discrets) permet de comparer les analyses pour une même géométrie. Pour le cas de la déviation d'Ax-les-Thermes et certaines configurations géométriques instables l’influence des paramètres de modèles sur stabilité du talus est testée. Plusieurs variantes sont comparées. La simulation d’une excavation en 3D multi phases est réalisée et l’indice de mobilisation est étudié pour comparer les divers types de contacts dans LMGC90 par rapport à l’éventuel glissement des blocs dans les étapes successives / The stability of open-cast operations (mines or quarries), excavated in rock mass depends on their geometry, the geometrical characteristics of the rock mass fractures (orientation and spacing) and the mechanical characteristics of the rock mass and the discontinuities. The assessment of the rock instability risk depends on the quantity and quality of the available information on the rock mass and the analysis methods used for the evaluation of the mechanical behavior of the rock block collection. Different sites of natural rock slopes, of road cuts, and of open-cast mines and quarries, described in the present document, show that the known information can vary a lot from one site to the other. The steps of data gathering and analysis, then the modelling step used to analyze the stability of the rock slope, lead to uncertainties. The present work deals in particular with the influence of the geometrical uncertainties, and the different clustering methods, to define families of fractures, are examined. The combination of works suggested by several authors leads to a new method called PSMY. This method, together with the spectral method, was coded in the Mathematica platform, and the obtained results are compared with "hand-made" clusters, done with the DIPS software. The clustering methods are presented according to the ratio of classified orientations. The orientation and spacing of fracture families are fitted by statistical law. The statistical parameters are compared according to the clustering method used. These parameters have an influence on the construction of the rock mass geometrical model, called DFN (Discrete Fracture Network). The influence of the clusters on the stability analysis is studied from the stochastic models based on the limit equilibrium analysis, in the SWEDGE and RESOBLOK software. These programs do not take into account the same uncertainties, and as a result, they give different stability indicators. A sensitivity analysis of these indicators (number of unstable blocks, average volume of unstable blocks, and total volume of unstable blocks) versus the clustering methods used, and the orientation of the slopes, is carried out. A variance analysis allows an evaluation of the influence of these factors. The assessment of the global stability condition of the rock mass, depending on the cohesion and the friction angle, is proposed. The influence of the modeling method is analyzed by comparing 3D calculations using the limit equilibrium calculations, and 2D and 3D models using discrete rigid and deformable blocks. A coupling between RESOBLOK (limit equilibrium) and LMGC90 (discrete elements) allows the comparison of results on the same original geometry. For the case of Ax-les-Thermes road-cut, and for various unstable geometries, the influence of the model parameters is tested. Several cases are compared. The 3D simulation of an excavation, at different steps, is performed, and the mobilization index is studied, in order to compare several types of contacts, within the LMGC model, in relation to the possible sliding of blocks, at those different steps