Au cours des dernières années, les services haut débit et les applications Internet ont explosé, provoquant un problème de saturation dans les réseaux et engendrant une augmentation de la demande de débit. Ceci a poussé les opérateurs à augmenter la capacité de leurs systèmes de transmission optiques WDM en introduisant les systèmes 100G et plus dans les réseaux coeurs. Avec les nouvelles possibilités offertes par les circuits numériques rapides, les systèmes optiques à réception cohérente ont attiré beaucoup d'attention durant ces dernières années. Outre l'amélioration de la sensibilité du récepteur, l'intérêt réside aussi dans l'augmentation de l'efficacité spectrale ainsi que la robustesse contre les effets de propagation dans les fibres. Dans cette thèse, nous développons des outils robustes de traitement numérique du signal spécifiques au canal optique et aux transmissions utilisant le multiplexage de polarisation(POLMUX) et des modulations de phase et d'amplitude (QAM). Ces algorithmes effectuent les opérations d'estimation de phase et de l'écart de fréquence, ainsi que d'égalisation et poursuite des variations du canal. L'optimisation de ces algorithmes est essentielle vu qu'ils sont à implémenter dans des circuits opérant à quelques dizaines de MHz. En outre, comme les QAMs sont plus sensibles aux distorsions du canal, il est essentiel de construire des algorithmes plus robustes et des estimateurs plus précis que ceux déjà proposés pour les modulations de phase. Nos algorithmes sont testés à travers des simulations d'un système POLMUX-16QAM et validés par un traitement offline des mesures expérimentales réalisées à HHI, Berlin dans le cadre du projet EURO-FOS