Le bruit de phase est un problème important dans la conception de systèmes cohérents optiques. Bien que le bruit de phase soit étudié énormément dans les communications sans fil, certains aspects de bruit de phase sont nouveaux dans des systèmes cohérents optiques. Dans cette thèse, nous explorons les statistiques de bruit de phase dans les systèmes optiques cohérentes et proposons une nouvelle technique pour améliorer la robustesse du système envers le bruit de phase. Notre première contribution traite de l’étude des statistiques de bruit de phase en présence de compensation électronique de la dispersion chromatique (CD) dans des systèmes cohérents. Nous montrons que le modèle proposé précédemment pour l’interaction de CD avec bruit de phase doit être modifié à cause d’un modèle trop simple pour la récupération de phase. Nous dérivons une expression plus précise pour le bruit de phase estimé par la récupération de phase avec décision dirigée (DD), et utilisons cette expression pour modifier les statistiques de décision pour les symboles reçus. Nous calculons le taux d’erreur binaire (BER) pour le format de transmission DQPSK semi-analytiquement en utilisant nos statistiques de décision modifiées et montrons que pour la récupération de phase idéale, le BER semi-analytique est bien assorti avec le BER simulé avec la technique Monte-Carlo (MC). Notre deuxième contribution est l’adaptation d’une technique de codage MLCM pour les systèmes cohérents limités par le bruit de phase et le bruit blanc additif Gaussien (AWGN). Nous montrons que la combinaison d’une constellation optimisée pour le bruit de phase avec MLCM offre un système robuste à complexité modérée. Nous vérifions que la performance de MLCM dans des systèmes cohérents avec constellations 16-aires se détériorés par le bruit de phase non-linéaire et de Wiener. Pour le bruit de phase non-linéaire, notre conception de MLCM démontre une performance supérieure par rapport àune conception de MLCM déjà présente dans la littérature. Pour le bruit de phase de Wiener, nous comparons deux format de transmission, constellations carrées et optimisée pour bruit de phase, et deux techniques de codage, MLCM et codage à débit uniforme. Nos résultats expérimentaux pour BER après codage suivent les mêmes tendances que le BER simulé et confirment notre conception. / Phase noise is an important issue in designing today’s optical coherent systems. Although phase noise is studied heavily in wireless communications, some aspects of phase noise are novel in optical coherent systems. In this thesis we explore phase noise statistics in optical coherent systems and propose a novel technique to increase system robustness toward phase noise. Our first contribution deals with the study of phase noise statistics in the presence of electronic chromatic dispersion (CD) compensation in coherent systems. We show that previously proposed model for phase noise and CD interaction must be modified due to an overly simple model of carrier phase recovery. We derive a more accurate expression for the estimated phase noise of decision directed (DD) carrier phase recovery, and use this expression to modify the decision statistics of received symbols. We calculate bit error rate (BER) of a differential quadrature phase shift keying (DQPSK) system semi-analytically using our modified decision statistics and show that for ideal DD carrier phase recovery the semi-analytical BER matches the BER simulated via Monte-Carlo (MC) technique. We show that the semi-analytical BER is a lower bound of simulated BER from Viterbi-Viterbi (VV) carrier phase recovery for a wide range of practical system parameters. Our second contribution is concerned with adapting a multi-level coded modulation (MLCM) technique for phase noise and additive white Gaussian noise (AWGN) limited coherent system. We show that the combination of a phase noise optimized constellation with MLCM offers a phase-noise robust system at moderate complexity. We propose a numerical method to design set-partitioning (mapping bits to symbols) and optimizing code rates for minimum block error rate (BLER).We verify MLCM performance in coherent systems of 16-ary constellations impaired by nonlinear and Wiener phase noise. For nonlinear phase noise, superior performance of our MLCM design over a previously designed MLCM system is demonstrated in terms of BLER. For Wiener phase noise, we compare optimized and square 16-QAM constellations assuming either MLCM or uniform rate coding. We compare post forward error correction (FEC) BER in addition to BLER by both simulation and experiment and show that superior BLER performance is translated into post FEC BER. Our experimental post FEC BER results follow the same trends as simulated BER, validating our design.