Ce travail de thèse concerne l’étude du processus d’instabilité modulationnelle (MI) dans des fibres optiques présentant un profil de dispersion périodique. La MI est un phénomène bien connu mais la majorité des études réalisées dans le contexte des fibres optiques concerne le cas de dispersion uniforme axialement. L’objectif de ces travaux est de démontrer expérimentalement l’établissement de la MI dans une fibre optique micro-structurée (PCF) dont la dispersion varie de façon sinusoïdale. La première partie présente les principales caractéristiques des fibres optiques et les principaux processus physiques mis en jeu, ainsi que les outils de simulations numériques employés. La seconde partie débute par une présentation du contexte de l’étude et est ensuite consacrée aux résultats. Tout d’abord, nous introduisons le concept du mécanisme de quasi-accord de phase (QPM) dans les systèmes périodiques longitudinaux. Ensuite, nous présentons la démonstration expérimentale du processus de MI dans ce type de fibre. Le spectre obtenu est composé de dix lobes de MI sur 10 THz. De plus, nous proposons une description détaillée de la dynamique de formation des différents lobes de MI. Nous démontrons théoriquement et expérimentalement la génération d’une nouvelle famille de lobes de MI due à une combinaison entre la dispersion oscillante et la dispersion d’ordre quatre. Enfin, cette seconde partie est clôturée par l’élaboration d’un outil analytique, basé sur le modèle à trois ondes tronqué. Il permet d’interpréter simplement la dynamique de formation des lobes de MI et de contrôler le spectre de MI d’une fibre à dispersion oscillante. / This thesis concerns the modulation instability (MI) process in optical fibers with a periodic dispersion landscape. MI is a well-known phenomenon but in the context of optical fibers most studies were performed in the presence of uniform dispersion. The aim of this work is to experimentally demonstrate the MI process in a special type of fiber: a photonic crystal fiber (PCF) presenting a sinusoidal dispersion profile. Part 1 focuses on the main characteristics of optical fibers, on the main physical processes occurring in fibers and on three numerical tools used. Part 2 starts with the context of the study. First, we introduce the quasi-phase matching (QPM) mechanism in longitudinal periodic systems. Then, we report an experimental demonstration of the MI process in this kind of fiber. The experimental MI spectrum is composed of ten MI lobes in a range of 10 THz. We propose a detailed description of MI lobes dynamics. We then study the impact of fourth-order dispersion on the MI process in DOFs. We demonstrate theoretically and experimentally the presence of a new MI windows due to a combination of oscillating second-order dispersion and fourth-order dispersion. Finally, this second part ends with the development of an analytical tool based on the truncated three-wave model. It allows simple interpretations of MI lobes dynamics during their propagation. We show that this tool is very accurate and allows controlling MI spectrum of a DOF.