Des méthodes de modulation et de détection de la lumière originales ont été étudiées afin d’améliorer la performance des systèmes de transmission optique longue distance. Des formats de modulation multiplexés en polarisation, utilisant plusieurs niveaux de phase ont été étudiés en particulier. La détection cohérente associée à un traitement numérique du signal a également été choisie au niveau de la réception afin d’optimiser la performance du système. Cela permet notamment de compenser de façon très efficace les distorsions linéaires introduites par la propagation dans le fibre optique, telles que la dispersion chromatique et la dispersion modales de polarisation. Après propagation sur grande distance, le rapport signal à bruit devient une limitation importante. L’autre limitation provient des interactions non linéaire entre la lumière et la fibre optique qui limitent la puissance maximale que l’on peut injecter dans la fibre optique.La première transmission multiplexée en longueur d’onde sur grandes distances (>1000km) utilisant la détection cohérente a notamment été démontrée.Afin de minimiser l’impact de ces effets non linéaires, différentes stratégies ont été proposées et investiguées. L’impact du multiplexage de polarisation a notamment été quantifié dans des configuration où la dispersion chromatique de la fibre est compensée régulièrement dans la liaison et dans le cas où elle n’est compensée qu’en fin de liaison de façon numérique.La proposition d’utiliser un format de modulation à 2 niveaux de phase ainsi que les algorithmes permettant de le détecter ont été fait. Le gain de performance obtenu par rapport à la solution conventionnelle à 4 niveaux de phase a été montré.Au débit de 100Gb/s, la démonstration de la première transmission sur des distances transocéanique a également été faite.Ces travaux de recherche ont été notamment utilisés pour définir puis développer des produits Alcatel-Lucent qui sont maintenant commercialisés, à 40Gb/s en utilisant un format de modulation multiplexé en polarisation à deux niveaux de phase, et à 100Gb/s en utilisant un format multiplexé en polarisation à quatre niveaux de phase. / Modulation and detection methods have been studied to improve the performance of optical long distance communication systems. Polarization division multiplexed modulation and multilevel phase modulation format have been evaluated. Coherent detection associated with digital signal processing has been selected at the receiver side to optimize system performance. This receiver design allows especially to compensate linear distortions induced by fiber optics propagation very efficiently. After long distance propagation, optical signal to noise ratio is a major limitation. The other main limitation comes from non linear interactions of light and fiber optics which put a limit on the maximum power to be injected within fiber optics.The first wavelength division multiplexed transmission over long distances (>1000km) using coherent detection has been demonstrated.Various strategies have been proposed to minimize the impact of non linear effect. The impact of polarisation multiplexing has been quantified in configuration where chromatic dispersion is either regularly optically compensated within the line or digitally compensated at the receiver end.The proposition to use a polarization multiplexed format using only 2 phase levels as well as the algorithms capable to detect them has been done. The performance gain obtained compared to the convention solution using 4 phase levels has been demonstrated.At 100Gb/s bit rate, the demonstration of the first transmission over trans-oceanic distance has also been done.These research work have been used to define and then develop Alcatel-Lucent products which are now commercialized, at 40Gb/s by using a polarization multiplexed and 2 phase levels modulation format, and at 100Gb/s by using a polarization multiplexed 4 phase levels format.

Des méthodes de modulation et de détection de la lumière originales ont été étudiées afin d'améliorer la performance des systèmes de transmission optique longue distance. Des formats de modulation multiplexés en polarisation, utilisant plusieurs niveaux de phase ont été étudiés en particulier. La détection cohérente associée à un traitement numérique du signal a également été choisie au niveau de la réception afin d'optimiser la performance du système. Cela permet notamment de compenser de façon très efficace les distorsions linéaires introduites par la propagation dans le fibre optique, telles que la dispersion chromatique et la dispersion modales de polarisation. Après propagation sur grande distance, le rapport signal à bruit devient une limitation importante. L'autre limitation provient des interactions non linéaire entre la lumière et la fibre optique qui limitent la puissance maximale que l'on peut injecter dans la fibre optique.La première transmission multiplexée en longueur d'onde sur grandes distances (>1000km) utilisant la détection cohérente a notamment été démontrée.Afin de minimiser l'impact de ces effets non linéaires, différentes stratégies ont été proposées et investiguées. L'impact du multiplexage de polarisation a notamment été quantifié dans des configuration où la dispersion chromatique de la fibre est compensée régulièrement dans la liaison et dans le cas où elle n'est compensée qu'en fin de liaison de façon numérique.La proposition d'utiliser un format de modulation à 2 niveaux de phase ainsi que les algorithmes permettant de le détecter ont été fait. Le gain de performance obtenu par rapport à la solution conventionnelle à 4 niveaux de phase a été montré.Au débit de 100Gb/s, la démonstration de la première transmission sur des distances transocéanique a également été faite.Ces travaux de recherche ont été notamment utilisés pour définir puis développer des produits Alcatel-Lucent qui sont maintenant commercialisés, à 40Gb/s en utilisant un format de modulation multiplexé en polarisation à deux niveaux de phase, et à 100Gb/s en utilisant un format multiplexé en polarisation à quatre niveaux de phase.

Aujourd'hui, le format « Quadrature Phase Shift Keying » avec multiplexage de polarisation (DP-QPSK) opérant à 100 Gbps est devenue un standard pour la transmission WDM longue distance. Une alternative au format DP-QPSK permettant d’atteindre des débits de 100 Gbps et plus (400 G & 1Tbps) est l’ « Orthogonal Frequency Division Multiplexing » (OFDM). Mais, des interrogations subsistent quant à sa robustesse aux effets non linéaires. Dans cette thèse nous avons étudié le potentiel de la technologie OFDM pour la transmission WDM longue distance à 100 Gbps. Le traitement du signal est détaillé ainsi que la mise en œuvre du transmetteur et récepteur OFDM cohérent. Nous présentons aussi les résultats expérimentaux de la transmission obtenus dans plusieurs configurations. Dans l’une de ces configurations, le canal modulé avec le format DP-OFDM coherent (Co-DP-OFDM) est multiplexé avec 40 canaux modulés en DP-QPSK à 100 Gbps. Les canaux ont ensuite été transmis sur 1000 km de fibre G.652 sans gestion de dispersion chromatique. Dans une autre configuration, les canaux Co-DP-OFDM et Co-DP-QPSK sont combinés avec 78 canaux 10 Gbps NRZ-OOK et transmis sur 1000 km de fibre G.652 avec gestion de dispersion. Nous avons montré que le Co-DP-OFDM et Co-DP-QPSK ont des performances similaires après une transmission de 1000 km sur une ligne sans gestion de dispersion, et nous avons aussi montré que la transmission de ces formats sur une infrastructure de fibre deployée est possible à condition de réduire de 5 dB la puissance des canaux 10 Gbps NRZ-OOK par rapport aux canaux à100 Gbps. Ces résultats sont précieux pour la prochaine génération de systèmes WDM à 400 Gbps ou 1 Tbps. / Today the 100 Gbps coherent dual polarization quadrature phase shift keying (Co-DP-QPSK) is standardized as the industrial solution for long-haul WDM transmission. Another alternative format to DP-QPSK that permits also to reach a data rate of 100 Gbps and beyond is the coherent orthogonal frequency division multiplexing (OFDM) format. However a doubt exists over the ability of OFDM to be as efficient as QPSK for long-haul WDM transmission due to its supposed higher sensitivity to nonlinear effects . In this thesis, we have investigated the potential of Co-DP-OFDM for 100 Gbps WDM transport. The digital signal processing algorithms are detailed as well as the various experimental set-ups required to carry out and validate the 100 Gbps transceiver. We also present the transmission results obtained with several configurations. In one of these configurations, the 100 Gbps Co-DP-OFDM channel is multiplexed with forty 100 Gbps DP-QPSK channels and all these channels are transmitted over 1000 km of DCF-free G.652 fiber, while in another configuration, the Co-DP-OFDM and Co-DP-QPSK channels are combined with seventy eight 10 Gbps NRZ-OOK channels and transmitted over 1000 km of dispersion managed G.652 fiber line. We have demonstrated that OFDM and QPSK have nearly the same performance after a transmission over 1000 km, and also we have demonstrated that the transmission of these two formats over legacy fiber infrastructure is possible under the condition of decreasing by 5 dB the 10 Gbps NRZ-OOK channel power with respect to the 100 Gbps channels. The results presented in this thesis are very valuable when considering the next generation of 400 Gbps or 1 Tbps for WDM systems.