Les systèmes de combustion sont sujets aux instabilités de combustion (IC). Elles résultent d'un couplage constructif entre le taux de dégagement de chaleur instationnaire et des modes acoustiques du système. Les IC peuvent mettre en danger la performance et l'intégrité des systèmes de combustion. Même si ces phénomènes sont connus depuis plus d'un siècle, éviter quelles aient lieux dans les chambres de combustions industrielles reste difficile. Les objectifs de cette thèse sont les suivants : (1) étudier la dynamique des modes acoustiques, (2) analyser la réponse de flamme d'un moteur de fusée à propergol liquide H2/O2 (appelé "BKD"), sujet aux IC, à l'aide de la Simulation aux Grandes Echelles (SGE) et (3) dériver, utiliser et étudier des conditions limites permettant d'imposer des impédances acoustiques complexes en SGE. / Combustion devices are prone to combustion instabilities. They arise from a constructive coupling between the unsteady heat release rate of the flame and the resonant acoustic modes of the entire system. The occurence of such instabilities can pose a threat to both performance and integrity of combustion systems. Although these phenomena have been known for more than a century, avoiding their appearance in industrial engines is still challenging. The objective of this thesis is threefold: (1) study the dynamics of the resonant acoustic modes, (2) investigate the flame response of a liquid rocket engine under unstable conditions using Large Eddy Simulation(LES) and (3) derive, use and study Time Domain Impedance Boundary Conditions (TDIBCs), i.e. boundary conditions modeling complex acoustic impedances.