Les formats de modulation bidimensionnels (i.e. basés sur l’amplitude et la phase de l’onde porteuse) ont gagné depuis peu le domaine des transmissions par fibre optique grâce aux progrès conjoints de l’électronique rapide et du traitement du signal, indispensables pour réaliser les récepteurs opto-électroniques utilisant la détection cohérente des signaux optiques. Pour pallier les limites actuelles en rapidité de commutation des circuits intégrés électroniques, une voie de recherche a été ouverte il y a quelques années, consistant à utiliser des technologies optiques pour faciliter la parallélisation du traitement du signal, notamment dans l’étape d’échantillonnage ultra-rapide du signal rendu possible par des horloges optiques très performantes. Le thème principal de cette thèse concerne l’étude théorique et expérimentale de la fonction de conversion analogique-numérique (ADC) de signaux optiques par un récepteur opto-électronique cohérent, associant les étapes d’échantillonnage optique linéaire, de conversion analogique-numérique et de traitement du signal. Un prototype, utilisant une solution originale pour la source d’échantillonnage, est modélisé, réalisé et caractérisé, permettant la reconstruction temporelle de signaux optiques modulés selon divers formats : NRZ, QPSK, 16-QAM. Les limitations optiques et électroniques du système sont analysées, notamment l’impact sur la reconstruction des signaux de divers paramètres : le taux d’extinction de la source optique, les paramètres de l’ADC (bande passante BW, temps d’intégration et nombre effectif de bits ENOB). Par ailleurs, de nouveaux algorithmes de traitement du signal sont proposés dans le cadre de la transmission optique cohérente à haut débit utilisant des formats de modulation bidimensionnels (amplitude et phase) : deux solutions sont proposées pour la compensation du déséquilibre de quadrature IQ dans les transmissions mono-porteuses: une méthode originale de l’estimation du maximum du rapport signal sur bruit ainsi qu’une nouvelle structure de compensation et d’égalisation conjointes; ces deux méthodes sont validées expérimentalement et numériquement avec un signal 16-QAM. Par ailleurs, une solution améliorée de récupération de porteuse (décalage de fréquence et estimation de la phase), basée sur une décomposition harmonique circulaire de la fonction de maximum de vraisemblance logarithmique, est validée numériquement pour la première fois dans le contexte des transmissions optiques (jusqu’à une modulation de 128-QAM). Enfin les outils développés dans ce travail ont finalement permis la démonstration d’une transmission sur 100 km d’un signal QPSK à 10 Gbaud fortement limité par un bruit de phase non linéaire et régénéré optiquement à l’aide d’un limiteur de puissance préservant la phase basé sur une nanocavité de cristal photonique. / Bi-dimensional modulation formats based on amplitude and phase signal modulation, are now commonly used in optical communications thanks to breakthroughs in the field of electronic and digital signal processing (DSP) required in coherent optical receivers. Photonic solutions could compensate for nowadays limitations of electrical circuits bandwidth by facilitating the signal processing parallelization. Photonic is particularly interesting for signal sampling thanks to available stable optical clocks. The heart of the present work concerns analog-to-digital conversion (ADC) as a key element in coherent detection. A prototype of linear optical sampling using an original solution for the optical sampling source, is built and validated with the successful equivalent time reconstruction of NRZ, QPSK and 16-QAM signals. Some optical and electrical limitations of the system are experimentally and numerically analyzed, notably the extinction ratio of the optical source or the ADC parameters (bandwidth, integration time, effective number of bits ENOB). Moreover, some new DSPs tools are developed for optical transmission using bi-dimensional modulation formats (amplitude and phase). Two solutions are proposed for IQ quadrature imbalance compensation in single carrier optical coherent transmission: an original method of maximum signal-to-noise ratio estimation (MSEM) and a new structure for joint compensation and equalization; these methods are experimentally and numerically validated with 16-QAM signals. Moreover, an improved solution for carrier recovery (frequency offset and phase estimation) based on a circular harmonic expansion of a maximum loglikelihood function is studied for the first time in the context of optical telecommunications. This solution which can operate with any kind of bi-dimensional modulation format signal is numerically validated up to 128-QAM. All the DSP tools developed in this work are finally used in a demonstration of a 10 Gbaud QPSK 100 km transmission experiment, featuring a strong non-linear phase noise limitation and regenerated using a phase preserving and power limiting function based on a photonic crystal nanocavity.