La thèse est consacrée à la modélisation et à l'analyse par voie numérique de l'écoulement dans une pompe à vide turbomoléculaire hybride, combinant une succession d'étages de type rotor et stator et un Holweck. Une approche de type Test Particle Monte Carlo 3D a été développée pour des configurations de pompes industrielles (géométries complexes d'aubes, gestion des étages rotor et stator) dans un souci d'optimisation des coûts de simulation. L'outil numérique développé a été validé pour des configurations académiques et industrielles, en s'appuyant notamment sur des résultats expérimentaux obtenus grâce au banc d'essai de l'entreprise aVP. L'apport de l'approche TPMC3D par rapport aux méthodes de design disponibles en début de thèse a été clairement démontré pour le régime moléculaire libre. Quelques préconisations de design ont également pu être formulées en utilisant le code développé. Le potentiel d'une approche de type Direct Simulation Monte Carlo, prenant en compte les interactions entre molécules du gaz, a également été établi en 2D pour le régime de transition. / The thesis is devoted to the modeling and the numerical analysis of the flow in a turbomolecular vacuum pump of hybrid type, that is combining a succession of rotor and stator stages with an Holweck. A 3D Test Particle Monte Carlo approach has been developed for simulating industrial pump configurations (complex blade geometries, management of rotor and stator stages), with attention paid to the optimization of the computational cost. The numerical tool developed in the thesis has been validated for academic and industrial test cases, relying in particular on reference experimental results obtained on the test rig of the aVP company. The prediction improvement brought by the TPMC 3D approach with respect to the design tools available at the start of the thesis has been clearly demonstrated for the free molecular flow regime. Some design recommendations have also been formulated using the developed solver. The potential of a Direct Simulation Monte Carlo approach, taking into account the interactions between gas molecules, has also been established in 2D for the transition regime.