Les propriétés thermiques exceptionnelles de l’hélium superfluide, ou He-II, sont mises à profit pour la réfrigération cryogénique d'installations de forte puissance, bien que les mécanismes physiques sous-jacents restent mal compris. L’He-II peut être décrit à l’échelle macroscopique comme la superposition de deux fluides en interaction : un fluide normal se comportant comme un liquide ordinaire, et un superfluide sans viscosité. En présence d’une source de chaleur, un contre-courant s’établit naturellement entre ces deux composantes. L’évacuation de la chaleur par ce contre-courant est limitée par l’apparition d’instabilités dans des conditions mal comprises ; la grande dispersion des données expérimentales ne permettant pas de discriminer les différents modèles théoriques. Cette thèse examine à l’aide de simulations numériques le rôle des conditions aux bords et du couplage mutuel entre les deux composantes de l’He-II dans le déclenchement des instabilités de contre-courant.Une approche originale de type Boltzmann sur réseau a été développée pour modéliser à l’échelle mésoscopique l'interaction entre les deux composantes de l’He-II. Un code reproduisant les écoulements de contre-courant en conduite 2d et 3d a été développé et validé. Les résultats obtenus indiquent des effets d’entrée de conduite amplifiés pour la composante superfluide, qui engendrent des pertes de charge anormalement élevées. Le mécanisme responsable de ces effets d’entrée a été étudié et il est montré qu'il peut fausser la détection du seuil de transition dans des conduites trop courtes ; ceci peut expliquer en partie la dispersion des données expérimentales.Pour illustrer la puissance de l'approche dans une géométrie complexe, le sillage d'un obstacle dans un écoulement de contre-courant a été simulé. La présence de zones de recirculation des deux côtés de l’obstacle, déjà observée expérimentalement, est retrouvée et expliquée par un mécanisme original de parois virtuelles. / The exceptional thermal properties of superfluid helium, or He-II, are exploited to the cryogenic refrigeration of high power installations, although the underlying physical mechanisms remain poorly understood. The He-II can be described macroscopically as the superposition of two fluids in interaction: a normal fluid behaves as an ordinary liquid, and a superfluid without viscosity. In the presence of a heat source, a counterflow established between these two components. The heat dissipation by this counterflow is limited by the occurrence of instabilities in misunderstood condition; the wide dispersion of experimental data does not allow to discriminate between the different theoretical models. This thesis examines using numerical simulations the role of boundary conditions and the mutual coupling between the two components of the He-II in triggering instabilities in counterflow.An innovative lattice Boltzmann type approach was developed to model the mesoscopic scale interaction between the two components of the He-II. A code reproducing counterflow in 2D and 3D conducts has been developed and validated. The results obtained indicate amplified entrance effects for superfluid component, which generate abnormally high pressure drops. The head of these entrance effects mechanism has been studied and it is shown that it can distort the detection of the transition threshold in too short pipes; This may partly explain the dispersion of experimental data.To illustrate the power of the approach in a complex geometry, the wake of an obstacle in a counterflow was simulated. The presence of recirculation areas on both sides of the obstacle, already observed experimentally, is found and explained by a new mechanism using "virtual walls".