Cette thèse décrit l'étude d'une chambre de combustion innovante de type Trapped Vortex Combustor (TVC): ce concept utilise des cavités de gaz chauds pour stabiliser des flammes prémélangées pauvres. A partir d'une étude globale d'un point de fonctionnement instable, l'approche scientifique vise à différencier l'impact des différents mécanismes physiques. La structure de l'écoulement inerte est étudiée finement avant de mener une étude spatio-Temporelle sur un point de fonctionnement instable, en conditions réactives. L'analyse permet de comprendre les interactions entre la structure de la flamme, la topologie de l'écoulement et l'acoustique du brûleur. Différents mécanismes pilotant l'apparition d'instabilités de combustion sont mis en évidence, et des recommandations sont fournies afin de les supprimer. Un vérification a posteriori permet de valider l'importance de ces mécanismes, notamment grâce à la détermination de diagrammes de stabilité de flamme. / This thesis describes the investigation of an innovative trapped vortex combustor (TVC): this concept uses recirculating hot gas flow trapped in cavities to stabilize lean main flames. Based on a global investigation of an unstable operating condition, the scientific strategy aims to treat separately the different physical mechanisms. The inert flow structure is analyzed prior to leading a spatio-Temporal study on an unstable mode. This investigation aims to understand the flaine-Flow-Acoustic interactions in the combustor. Several mechanisms piloting combustion instabilities are highlighted, and recommandations are provided in order to suppress them. An a posteriori check validate the preponderance of these mechanisms, in particular with the determination of stability flaine diagrams.