Ce travail de thèse examine la possibilité d'utiliser de nouvelles fibres optiques fortement non-linéaires pour des applications de régénération tout-optique à 40 Gbit/s. Les fibres optiques étudiées sont des fibres optiques microstructurées en verre de silice et en verre de chalcogénure fabriquées dans le cadre d'une collaboration avec la Plate-forme d'Etudes et de Recherche sur les Fibres Optiques Spéciales (PERFOS, Lannion) et l'Equipe Verres et Céramiques (EVC) de l'UMR Sciences Chimiques de Rennes. Le régénérateur optique étudié est le régénérateur proposé par P.V. Mamyshev, basé sur le phénomène d'automodulation de phase dans une fibre optique non-linéaire. Les résultats originaux obtenus lors de ce travail de thèse se situent sur les trois plans suivants : la modélisation de la propagation non-linéaire dans les fibres optiques, la caractérisation de fibres optiques non linéaires et l'étude d'un régénérateur tout-optique à 40 Gbit/s. <br />En ce qui concerne la modélisation de la propagation non-linéaire, ce travail passe en revue plusieurs méthodes de résolution de l'équation non-linéaire de Schrödinger (ENLS) connues sous le nom de méthodes split-step Fourier. Pour trois de ces méthodes, une modification astucieuse de l'algorithme de résolution numérique de l'ENLS permettant d'augmenter l'efficacité de la méthode est proposée. Ce travail présente également une nouvelle méthode split-step Fourier permettant de résoudre l'ENLS avec une précision choisie.<br />Pour la partie concernant la caractérisation de fibres optiques non-linéaires, ce travail présente, pour la première fois, les caractérisations optiques de fibres optiques microstructurées en verre de chalcogénure et démontre leur fort potentiel pour des applications non-linéaires. Des caractérisations non-linéaires de fibres optiques microstructurées en verre de silice présentant une faible atténuation et un gain Raman record sont également présentées. Une nouvelle méthode pour mesurer simultanément la dispersion chromatique et le coefficient non-linéaire de fibres optiques, basée sur l'effet de compression soliton, est proposée.<br />Concernant l'étude du régénérateur de Mamyshev, ce travail propose une étude théorique conduisant à l'élaboration d'un abaque pour le dimensionnement du régénérateur et permettant d'étudier le rôle du pré-filtrage et le mécanisme de gigue temporelle introduite par le régénérateur. L'étude expérimentale du régénérateur met en évidence le rôle néfaste de l'effet Brillouin et du mélange à quatre ondes sur les performances d'un régénérateur à 40 Gbit/s. Une nouvelle architecture de régénérateur, basée sur l'utilisation d'un compresseur d'impulsions, est proposée afin d'éliminer ces effets indésirables. Son efficacité est démontrée au cours d'une expérience de régénération en boucle à recirculation.