La détection optique cohérente et le traitement numérique du signal sont au coeur de la nouvelle génération de systèmes de transmission sur fibre. Ces systèmes utilisent des formats de modulation à grande efficacité spectrale et sont très robustes à la propagation sur le canal de transmission optique. Ils offrent ainsi aux opérateurs de télécommunications les moyens de décupler la capacité de leurs réseaux de transport tout en conservant leurs infrastructures fibre existantes. Cette thèse développe différentes problématiques relatives à la conception de fonctions numériques pour les récepteurs optiques à détection cohérente fonctionnant aux débits de 100 Gbit/s et au-delà. Elle aborde les aspects de complexité calculatoire de l'égalisation numérique du canal optique, puis évalue l'apport des techniques dans le domaine fréquentiel en vue de rendre les traitements compatibles avec les contraintes matérielles de la mise en oeuvre à très haut débit. Le second point étudié concerne les difficultés potentielles de l'utilisation du multiplexage en polarisation. La dernière partie de la thèse traite de l'étude conjointe des fonctions d'égalisation et de synchronisation porteuse et phase pour l'application aux formats de modulation à très grande efficacité spectrale.