Le travail présenté dans ce mémoire est une contribution à l'étude numérique des systèmes tourbillonnaires hélicoïdaux qui sont émis dans le sillage des rotors (éoliennes, hélicoptères,...) et de leurs instabilités. Ici, ces écoulements sont localement modélisés par un ensemble de tourbillons à symétrie hélicoïdale. À l'aide d'un code de simulation numérique directe dédié, des solutions de base quasi-stationnaires sont obtenues pour différents systèmes tourbillonnaires. Une caractérisation précise et détaillée de ces solutions est ensuite effectuée : vitesse de rotation, taille et ellipticité du cœur, structure des champs de vitesse et de vorticité... À l'aide d'un algorithme d'Arnoldi couplé à une version linéarisée du code, on détermine les modes dominants d'instabilité ayant la même symétrie que l'écoulement de base, en fonction des paramètres du système: nombre de vortex, pas hélicoïdal, taille de cœur, nombre de Reynolds et présence d'un vortex de moyeu. En dessous d'un certain pas hélicoïdal critique, l'instabilité est dominée par un mode de déplacement global analogue au mode d’appariement d'une allé infinie de points vortex ou d'anneaux tourbillonnaires. En régime non linéaire, ce mode est à l'origine d'une dynamique complexe du système: dépassements, saute-mouton et fusion. On utilise un autre code linéarisé pour déterminer les modes instables qui brisent la symétrie hélicoïdale de l'état de base, caractérisés par une longueur suivant l'axe. À faible nombre d'onde, ces modes induisent localement des rapprochements entre portions de spires voisines. À grand nombre d'onde, on observe un autre type de mode qui déforme les cœurs tourbillonnaires via l'instabilité elliptique. / The work presented in this manuscript is a contribution to the numerical study of helical vortex systems and their instabilities, as encountered in the near wake of rotors (wind turbines, helicopters,~...). In this work, such flows are locally modelled within the framework of helical symmetry. Using a dedicated DNS code, helical quasi-stationary basic state solutions are obtained for several configurations, and accurate tools for their characterisation are developed: angular velocity, core size and ellipticity, structure of the velocity and vorticity fields... An Arnoldi algorithm is then coupled to a linearised version of the code. The dominant instability modes with the same symmetry as the base flow are extracted as a function of the system parameters: number of vortices, helical pitch, core size, Reynolds number, presence of a central hub vortex. Under a critical helical pitch, the instability is dominated by a global displacement mode analogous to the pairing mode of an infinite array of point vortices or vortex rings. In the nonlinear regime, this mode gives rise to complex dynamics: overtaking events, leapfrogging and merging. Another linearised code is then used to extract modes characterised by a wavelength along the helix, which break the helical symmetry of the base flow. At low wavenumbers, these modes induce local displacements of the vortices and bring together portions of neighbouring coils. At large wavenumbers, another type of mode is found, which deforms the vortex cores through the elliptical instability mechanism.