La prochaine génération d'infrastructures de communication par fibre optique comprendra des systèmes de transmission longue distance avec du multiplexage en longueur d'onde (WDM) à 40 et 100 Gb / s, et sera très probablement basée sur la détection cohérente. Le travail de thèse décrit dans ce manuscrit étudie ces systèmes. Nous démontrons d'abord leur tolérance inégalée à des effets physiques linéaires de propagation, grâce au traitement numérique du signal réalisé dans le récepteur. Néanmoins, les systèmes optiques peuvent être limités aussi par des effets non-linéaires de propagation. Cette thèse explore le comportement non-linéaire des signaux détectés avec un récepteur cohérent, spécialement quand ils sont multiplexés en polarisation. Nous avons particulièrement étudié l'évolution de l'impact des non-linéarités quand le débit augmente de 40 à 100 Gb/s, en démontrant que l'augmentation du débit accroît la tolérance à certaines non-linéarités. Cette thèse examine également l'interaction entre la dispersion modale de polarisation (PMD) et les non-linéarités. Contrairement aux systèmes existants, nous avons prouvé que, lorsque la PDM est distribuée, elle s'avère souvent être bénéfique en réduisant les pénalités causées par les non-linéarités. Au contraire, quand la PMD est localisée, elle peut augmenter la dégradation causée par lesdites non-linéarités. Finalement, comme une preuve de l'intérêt porté par les opérateurs aux technologies à 100 Gb/s, ce manuscrit présente les résultats d'un essai de terrain que nous avons mené récemment sur le réseau de Telefónica en Espagne montrant le potentiel des technologies cohérente pour moderniser les réseaux existants.