Les moteurs à propergol solide de certains lanceurs spatiaux peuvent présenter des oscillations de poussée provoquées par des oscillations de la pression interne du moteur. Il est désormais connu qu'une instabilité hydrodynamique propre à l'écoulement et mise en évidence par une approche de stabilité linéaire, appelée Vortex Shedding Parietal, est le phénomène à l'origine de ces oscillations. Cependant plusieurs questions subsistent quant à l'apparition de ces oscillations. En particulier, on constate que ces oscillations ne sont observées que dans la seconde moitié du tir. On suppose que la transition laminaire-turbulent de l'écoulement joue un rôle dans ce phénomène. Par ailleurs, l'utilisation possible de la géométrie étoilée pour les blocs de propergol de géométrie étoilée oblige à reprendre l'étude de stabilité linéaire pour l'étude de ces oscillations. Cette thèse porte ainsi à la fois sur l'étude de la stabilité linéaire de l'écoulement induit par une géométrie étoilée et sur la transition laminaire-turbulent d'une configuration circulaire. Une solution analytique de l'écoulement au sein d'un conduit à paroi débitante de géométrie étoilée est d'abord obtenue. Le profil de vitesse associé peut présenter des points d'inflexion en fonction de la déformation radiale ou du nombre de Reynolds de l'écoulement. Ensuite les approches de stabilité linéaire locale et biglobale sont appliquées à cette solution. Par rapport au cas circulaire, cette étude de stabilité linéaire met en évidence la possible existence d'un ou plusieurs modes amplifiés. Enfin, une simulation numérique LES de la transition laminaire-turbulent de la configuration du montage VALDO est effectuée. / Solid rocket motors may exhibit thrust oscillations induced by pressure oscillations inside the engine. In the scientific literature, the so-called vortex shedding parietal, a hydrodynamic instability specific to the internal flow, has been proven to be the triggering mechanism through linear stability analyses. However, some questions still remain. These oscillations are observed during the second half of Ariane 5 launches only, the laminar-turbulent transition of the intern flow being expected to play a significant role in that behavior. Additionally, non-circular grain shapes used in some engines may impact the stability study. The present PhD work extends the base flow linear stability studies to star-shaped geometries and investigate transition mechanisms in a circular configuration. Firstly, an analytical expression of the base flow in a duct with a star-shaped cross-section is determined. Wall-normal injection is assumed, which is representative of solid rocket engines. The velocity profile may exhibit an inflection point depending on both the Reynolds number and wall radial deformation. Secondly, both local and biglobal stability analyses are applied to this flow. In contrast to the circular case, the flow may exhibit one or several unstable modes. Lastly, a large eddy simulation of the VALDO experimental test bench is performed. The influence of the acoustic impedance of the outflow boundary condition on the amplitude of pressure oscillations is highlighted.