Dans le contexte de l'expansion de la téléphonie mobile et de l'Internet de l'année 2000, la conception de systèmes de transmission numériques sur fibre optique atteignant des capacités de l'ordre du terabit/s est envisagée par les équipementiers. Ce travail de thèse contribue à répondre à ce défi technologique, dans le cadre des systèmes terrestres utilisant la technique du multiplexage en longueur d'onde (WDM). Les solutions explorées consistent, premièrement en l'évolution du débit par canal de 10 Gbit/s à 40 Gbit/s puis en l'augmentation de la capacité d'information transmise par unité de bande passante optique jusqu'à 1.28 bit.s-1Hz-1. Les adaptations des systèmes sont préalablement analysées par simulations numériques offrant des règles d'ingénierie et des idées nouvelles puis les résultats de ces analyses sont concrétisés par des expériences de transmission démonstratives allant jusqu'à un multiplexage de 256 canaux à 40 Gbit/s soit une capacité totale de 10 Tbit/s.

Les systèmes de transmission de données numériques par fibre optique, multiplexés en longueur d'onde et fonctionnant au débit de 40 Gbit/s par canal, seront bientôt indispensables pour absorber l'augmentation attendue de la demande en capacité, que les systèmes actuels à 10 Gbit/s ne pourront plus assurer. L'étude de technologies avancées permettant leur optimisation est alors indispensable. Pour cela, nous avons d'abord étudié des formats de modulation permettant une propagation optimale des signaux optiques en présence d'une capacité plus élevée. La transmission binaire à profil de phase contrôlé et la modulation de phase sur quatre niveaux répondent à ces critères. Nous avons également étudié les effets de propagation prédominants à 40 Gbit/s, les effets non-linéaires dits intra-canaux. La modulation de phase assure aussi une tolérance accrue à ces effets, qui est exaltée par l'utilisation de l'alternance de polarisation. Nous avons ensuite étudié différents systèmes à 40 Gbit/s. Par ces études nous avons d'abord montré que les systèmes sous-marins conventionnels, conçus pour 10 Gbit/s, peuvent être utilisés à 40 Gbit/s grâce à la modulation de phase et à une compensation de la pente de dispersion. Nous avons ensuite testé des systèmes équipés d'un codage de l'information à l'émission dans le but de diminuer l'impact des effets intra-canaux. Leur performance peut s'améliorer grâce à des modifications minimales de la séquence d'information. Nous avons enfin montré que les systèmes sous-marins de nouvelle génération améliorés, sans fibres compensatrices mais équipés d'un dispositif de conjugaison de phase optique ont le potentiel de surpasser les systèmes existants.