La majeure partie des communications mondiales est transportée par des systèmes transocéaniques à fibre optique. Il est estimé que d'ici 2020 le trafic de données atteindra 4.3 ZB par an. Afin de faire face à cette demande, différentes technologies sont actuellement étudiées pour augmenter la capacité des systèmes de transmission très longue distance. Avec l'avènement des circuits intégrés à haute vitesse, des formats de modulation avancés et des techniques de traitement de signal numérique (DSP) peuvent être utilisés pour maximiser l'efficacité spectrale de transmission. Par ailleurs, la capacité des systèmes modernes est fortement limitée par les effets non-linéaires de type Kerr dans la fibre. Ainsi, la première partie de ce travail est axée sur l’étude de la performance et des gains réalisables par des techniques DSP à faible complexité pour mitiger les effets non-linéaires monocanal. En outre, l’utilisation des formats de modulation multiniveaux à haute efficacité spectrale au-delà de 16QAM a pris de l'ampleur pour augmenter le débit de transmission des systèmes, notamment avec l’introduction des formats QAM avec mise en forme probabiliste (PCS-QAM), plus performants que les formats QAM classiques. La deuxième partie de ce travail présente donc une comparaison théorique ainsi qu’expérimentale du format PCS-64QAM avec d’autres formats à haute efficacité spectrale pour les distances transatlantiques. La mise en œuvre d’un format PCS-64QAM conçu pour les distances transpacifiques est également abordée. Enfin, la dernière partie de ce travail concrétise les résultats des travaux menés dans les deux sections précédentes en présentant plusieurs records de transmission / Global data traffic is expected to reach up to 4.3 ZB per year by 2020. With the majority of the global communications being transported on submarine point-to-point fiber-optic systems, different cutting-edge technologies have been under research to cope with this unprecedented traffic growth. Continuous advances in high-speed integrated circuits have allowed the use of advanced modulation formats and digital signal processing (DSP) techniques to maximize the transmission spectral efficiency. With mitigation of fiber linear effects efficiently carried out by DSP with relative low-complexity, the capacity of modern fiber optic systems rests limited by fiber nonlinearities. To this extent, in the first part of this work, the performance and achievable benefits of low-complexity DSP techniques aiming to mitigate fiber Kerr nonlinear effects are investigated. Besides nonlinear compensation techniques, the use of multi-level modulation formats beyond 16QAM and high symbol rate channels have gained momentum to increase the system spectral efficiency. One of the major breakthroughs in the recent years, has been the introduction of QAM-based probabilistic constellation shaping (PCS-QAM), which has proven to outperform regular QAM formats. In this sense, in the second part of this work, the practical achievable rate increase brought by PCS-QAM for transoceanic distances is investigated. A theoretical and experimental comparison with other high-capacity formats is performed, and the design of a PCS-QAM for trans-Pacific distances is addressed. Finally, in the last section, several transmission records using the two above techniques are reported