Ce manuscrit de thèse présente l’étude d’instabilités non-linéaires et la génération d’ondes scélérates complexes liées à la propagation de la lumière dans des fibres optiques standards des télécommunications optiques. Un rappel est tout d’abord présenté sur les phénomènes physiques linéaires et non-linéaires impliqués et qui peuvent présenter une analogie directe avec le domaine de l’hydrodynamique. Les différentes formes d’ondes scélérates liées au processus d’instabilité de modulation, aussi appelées « breathers », sont alors présentées, elles sont obtenues par la résolution de l’équation de Schrödinger non-linéaire. À partir de ces solutions exactes, divers systèmes expérimentaux sont alors conçus par simulation numérique à partir de deux méthodes d’excitation d’ondes scélérates. La première est une génération exacte à partir des solutions analytiques en effectuant une mise en forme spectrale en intensité et en phase d’un peigne de fréquence optique. La seconde méthode est basée sur des conditions initiales approchées avec des ondes continues modulées sinusoïdalement. Les mesures expérimentales réalisées avec ces deux méthodes démontrent parfaitement la génération d’ondes scélérates complexes (solutions d’ordre supérieur du système) issues de la superposition non-linéaire ou collisions de « breathers » de premier ordre. Enfin, nous avons également étudié un système non-linéaire équivalent au modèle de Manakov, qui fait intervenir la propagation de deux ondes distinctes avec des polarisations orthogonales dans une fibre optique. L’analyse de stabilité et des simulations numériques de ce système multi-variable mettent en évidence un nouveau régime d’instabilité de modulation vectorielle ainsi que de nouvelles solutions d’ondes scélérates noires et couplées en polarisation. Un nouveau système expérimental mis en place a permis de confirmer ces prédictions théoriques avec un excellent accord quantitatif. / This manuscript presents the generation of complex rogue waves related to nonlinear instabilities occurring through the propagation of light in standard optical fibers. Linear and nonlinear physical phenomena involved are first listed, in particular some of them by analogy with the field of hydrodynamics. The different forms of rogue waves induced by the modulation instability process are then presented. They are also known as "breathers", and they are obtained by solving the nonlinear Schrödinger equation. From these exact solutions, various experimental systems were designed by means of numerical simulations based on two rogue-wave excitation methods. The first one is an exact generation of mathematical solutions based on the spectral shaping of an optical frequency comb. The second method uses approximate initial conditions with a simple sinusoidal modulation of continuous waves. For both cases, experimental measurements demonstrate the generation of complex rogue waves (i.e., higher-order solutions of the system) arising from the nonlinear superposition or collision of first-order breathers. Finally, we also studied a nonlinear fiber system equivalent to the Manakov model, which involves the propagation of two distinct waves with orthogonal polarizations. The stability analysis and numerical simulations of this multi-component system highlight a novel regime of vector modulation instability and the existence of coupled dark rogue-wave solutions. A new experimental system setup was conceived and theoretical predictions are confirmed with an excellent quantitative agreement.