Ce travail de thèse concerne l'étude du processus d'instabilité modulationnelle (MI) dans des fibres optiques présentant un profil de dispersion périodique. La MI est un phénomène bien connu mais la majorité des études réalisées dans le contexte des fibres optiques concerne le cas de dispersion uniforme axialement. L'objectif de ces travaux est de démontrer expérimentalement l'établissement de la MI dans une fibre optique micro-structurée (PCF) dont la dispersion varie de façon sinusoïdale. La première partie présente les principales caractéristiques des fibres optiques et les principaux processus physiques mis en jeu, ainsi que les outils de simulations numériques employés. La seconde partie débute par une présentation du contexte de l'étude et est ensuite consacrée aux résultats. Tout d'abord, nous introduisons le concept du mécanisme de quasi-accord de phase (QPM) dans les systèmes périodiques longitudinaux. Ensuite, nous présentons la démonstration expérimentale du processus de MI dans ce type de fibre. Le spectre obtenu est composé de dix lobes de MI sur 10 THz. De plus, nous proposons une description détaillée de la dynamique de formation des différents lobes de MI. Nous démontrons théoriquement et expérimentalement la génération d'une nouvelle famille de lobes de MI due à une combinaison entre la dispersion oscillante et la dispersion d'ordre quatre. Enfin, cette seconde partie est clôturée par l'élaboration d'un outil analytique, basé sur le modèle à trois ondes tronqué. Il permet d'interpréter simplement la dynamique de formation des lobes de MI et de contrôler le spectre de MI d'une fibre à dispersion oscillante.