Les vibrations des systèmes de forage pétrolier sont à l'origine de nombreux dysfonctionnements (ruptures des tiges par une fatigue accélérée, réduction des performances, endommagement des outils de mesures, endommagement des parois du puits, etc.). Face à la complexité des puits forés aujourd'hui, la maîtrise des vibrations des systèmes de forage est plus que jamais un enjeu majeur dans la réussite économique d'un projet pétrolier. Durant l'opération de forage, les tiges en rotation entrent en interaction avec les parois du puits (tubage et/ou formation) et encaissent dans certains cas des vibrations sévères. On distingue généralement trois modes de vibrations suivant le plan de leur occurrence : axiales, latérales et de torsion. Nous ne nous intéressons dans ce mémoire qu'aux vibrations latérales des tiges de forage. Si les vibrations latérales ont fait l'objet de nombreuses études dans le passé, il reste néanmoins des axes d'amélioration possible, tant sur la compréhension des phénomènes (contact garniture-puits par exemple) que sur la recherche de méthodes numériques permettant de réduire les temps de calcul. Dans le cadre de cette thèse, un modèle a été développé pour étudier les vibrations latérales des garnitures de forage dans des forages à trajectoires complexes. Ce modèle permet de prédire les vibrations latérales des tiges pour des paramètres opératoires donnés (vitesse de rotation, poids sur l'outil de forage). Un modèle numérique en éléments finis a été développé pour résoudre les équations du mouvement et analyser ainsi la sensibilité des vibrations aux paramètres opératoires du forage en particulier la vitesse de rotation et l'effort axial dans les tiges. Le modèle permet en outre d'analyser la réponse dynamique d'une garniture en cours du forage (conception). En outre, cette étude a permis de mieux élucider le phénomène sévère de précession des tiges (whirling), très nuisible à l'intégrité mécanique des systèmes de forage. Un nouveau banc d'essais a été mis au point par le Centre de Géosciences de Mines ParisTech pour reproduire les vibrations latérales, mieux comprendre le phénomène du whirling et valider les résultats numériques du modèle. Par ailleurs, des mesures dynamiques en surfaces et en fond de puits au cours de forages réels ont été analysées afin de mettre en évidence les vibrations latérales les plus sévères et en particulier le whirling. Ces données de terrain ont permis de comparer les fréquences propres du système mesurées et celles fournies par le modèle numérique. / Drillstring vibrations are commonly observed during oil & gas well drilling operations. Vibrations are a major cause of drilling tools dysfunction (drillstring breaking because of fatigue, reduced drilling efficiency, measurement-while-drilling tools failure, damaging of drill bits, etc.). Because of the increasing complexity of oil & gas wells drilled nowadays, operators need to mitigate efficiently the drillstring vibrations in order to successfully achieve the drilling process. During the drilling operation, rotating drillstrings are in interaction with the well borehole (casing and/or rock) which may lead to severe vibrations. Different vibrations modes occur simultaneously while drilling, we identify mainly three modes: axial, torsional and lateral. This work deals only with lateral vibrations. Literature survey papers show numerous experimental and numerical studies carried out on drillstring dynamics. The developed models don't take into account sufficiently the complex drillstring-borehole interactions or the efficient numerical methods needed to reduce the computation time. A new drillstring dynamics model has been developed within this thesis in order to compute the lateral vibrations of drillstrings in a complex well trajectory. Given the operating parameters (rotary speed, weight on bit) the model predicts the dynamics response of the drillstring in terms of lateral vibrations. A finite element model has been implemented to solve for the equations of motion of the dynamics model and study the dependence of the lateral vibrations on some operating parameters of the system, mainly the rotary speed and the axial load on the drillstrings. The finite element model can be used to compute and enhance the dynamic response of a given drillstring configuration for design issues. Besides, the model can be used to understand some dynamic phenomena encountered while drilling (post-analysis). Moreover, this study was useful to better understand the “whirling” phenomenon which is very harmful for the drilling system components. A new lateral vibrations simulator was built at Mines ParisTech in order to understand the whirling phenomenon and validate the numerical results provided by the dynamics model. Surface and downhole fieldmeasurements have been analyzed in order to understand the occurrence of whirling. The eigenfrequencies evaluated from the field data have been found very close to those provided by the dynamics model.