Les systèmes de transmission de données numériques par fibre optique, multiplexés en longueur d'onde et fonctionnant au débit de 40 Gbit/s par canal, seront bientôt indispensables pour absorber l'augmentation attendue de la demande en capacité, que les systèmes actuels à 10 Gbit/s ne pourront plus assurer. L'étude de technologies avancées permettant leur optimisation est alors indispensable. Pour cela, nous avons d'abord étudié des formats de modulation permettant une propagation optimale des signaux optiques en présence d'une capacité plus élevée. La transmission binaire à profil de phase contrôlé et la modulation de phase sur quatre niveaux répondent à ces critères. Nous avons également étudié les effets de propagation prédominants à 40 Gbit/s, les effets non-linéaires dits intra-canaux. La modulation de phase assure aussi une tolérance accrue à ces effets, qui est exaltée par l'utilisation de l'alternance de polarisation. Nous avons ensuite étudié différents systèmes à 40 Gbit/s. Par ces études nous avons d'abord montré que les systèmes sous-marins conventionnels, conçus pour 10 Gbit/s, peuvent être utilisés à 40 Gbit/s grâce à la modulation de phase et à une compensation de la pente de dispersion. Nous avons ensuite testé des systèmes équipés d'un codage de l'information à l'émission dans le but de diminuer l'impact des effets intra-canaux. Leur performance peut s'améliorer grâce à des modifications minimales de la séquence d'information. Nous avons enfin montré que les systèmes sous-marins de nouvelle génération améliorés, sans fibres compensatrices mais équipés d'un dispositif de conjugaison de phase optique ont le potentiel de surpasser les systèmes existants.