La capacité ultime du canal dans les systèmes de transmission optique à longue distance est limitée par les effets non linéaires liés à la propagation dans les fibres optiques. Des techniques de compensation des effets non-linéaires, tel que la DBP (Digital Back Propagation), ont été proposées pour surmonter ces limitations et accroître la capacité. Compte tenu de leur complexité d’implémentation, leur gain en performance reste très limité. Cela a déclenché très récemment la recherche de nouvelles techniques de communication prenant en compte la non-linéarité de la fibre. Une nouvelle méthode de communication en régime non-linéaire, basée sur la théorie de la transformation spectrale inverse (IST pour Inverse Spectral Transform), a été proposée pour surmonter la limitation induite par ces effets. Cette méthode, proposée à l'origine par Hasegawa en 1993, encore appelée communication aux valeurs propres (ou multi-solitons), est basée sur l'observation fondamentale selon laquelle le spectre non linéaire d'un signal optique est invariant (à l'exception d'un déphasage linéaire trivial) lors de la propagation dans la fibre optique, comme décrit par l’équation non linéaire de Schrödinger (NLSE pour Non-Linear Schrödinger Equation). Cela signifie que si la transformée spectrale directe (DST) (également appelée NFT pour Nonlinear Fourier Transform) du signal reçu peut être calculée, le spectre de valeurs propres peut être entièrement récupéré.Cette thèse porte sur une technique de communication de type NFT connue sous le nom de multiplexage non linéaire en fréquence (NFDM pour Non-Linear Fourier Transform). Différentes configurations de systèmes optiques NFDM ont été évalués numériquement et validés expérimentalement. Dans un premier temps, la structure d’un système NFDM en mono-polarisation utilisant le spectre continu des fréquences non-linéaires dans une fibre en régime de dispersion normale est décrite. Pour ce faire, une forme NFT du vecteur NLSE, encore appelé système de Manakov, a été développé numériquement. Sur la base de ces algorithmes, la méthode NFDM a été étendue aux systèmes multiplexés par division de polarisation (PMD) et validée expérimentalement pour la première fois en utilisant le spectre continu. Finalement, l’expérience a été répliquée en régime de dispersion anormale. Afin d'étudier les contraintes de mise en œuvre, des études numériques supplémentaires ont été effectués pour la transmission de signaux NFDM utilisant la modulation du spectre continu. / Nonlinear effects in optical fiber set the ultimate limit to the channel capacity in long-haul optical transmission systems. Advanced nonlinear compensation techniques such as digital backpropagation (DBP) have been proposed as a solution to overcome the channel capacity crunch. However, given theircomputational complexity, in a practical environment their performance gainremains very limited. This triggered a search for a novel communication system design that takes fiber nonlinearity into consideration. A new nonlinearcommunication method, based on the theory of the inverse spectral transform, has been proposed to overcome the nonlinear capacity crunch. Thismethod, originally proposed by Hasegawa in 1993 and called eigenvalue (ormulti-soliton) communication, is based on the fundamental observation thatthe nonlinear spectrum of an optical signal is invariant (except for a triviallinear phase shift) upon propagation in the fiber channel, as described bythe nonlinear Schrödinger equation (NLSE). This means that if the directspectral transform (also known as nonlinear Fourier transform (NFT)) ofthe received signal can be computed, the eigenvalue spectrum can be fullyrecovered.This thesis focuses on a NFT-based communication technique known as nonlinear frequency division multiplexing (NFDM). The NFDM optical systemis numerically assessed and experimentally demonstrated. First, the structure of the proposed single-polarization NFDM system using the continuousspectrum in the normal dispersion regime is presented. To that end, theNFT of the vector NLSE, or Manakov system, was numerically developed.Based on these algorithms the NFDM method was extended to polarizationdivision multiplexed (PMD) systems, and experimentally validated for thefirst time using the continuous spectrum. Finally, the experiment will bereplicated in the anomalous dispersion regime.Additional numerical studies are presented, in order to investigate the implementation challenges of the proposed NFDM techniques for the continuousspectrum modulation.

Les formats de modulation bidimensionnels (i.e. basés sur l’amplitude et la phase de l’onde porteuse) ont gagné depuis peu le domaine des transmissions par fibre optique grâce aux progrès conjoints de l’électronique rapide et du traitement du signal, indispensables pour réaliser les récepteurs opto-électroniques utilisant la détection cohérente des signaux optiques. Pour pallier les limites actuelles en rapidité de commutation des circuits intégrés électroniques, une voie de recherche a été ouverte il y a quelques années, consistant à utiliser des technologies optiques pour faciliter la parallélisation du traitement du signal, notamment dans l’étape d’échantillonnage ultra-rapide du signal rendu possible par des horloges optiques très performantes. Le thème principal de cette thèse concerne l’étude théorique et expérimentale de la fonction de conversion analogique-numérique (ADC) de signaux optiques par un récepteur opto-électronique cohérent, associant les étapes d’échantillonnage optique linéaire, de conversion analogique-numérique et de traitement du signal. Un prototype, utilisant une solution originale pour la source d’échantillonnage, est modélisé, réalisé et caractérisé, permettant la reconstruction temporelle de signaux optiques modulés selon divers formats : NRZ, QPSK, 16-QAM. Les limitations optiques et électroniques du système sont analysées, notamment l’impact sur la reconstruction des signaux de divers paramètres : le taux d’extinction de la source optique, les paramètres de l’ADC (bande passante BW, temps d’intégration et nombre effectif de bits ENOB). Par ailleurs, de nouveaux algorithmes de traitement du signal sont proposés dans le cadre de la transmission optique cohérente à haut débit utilisant des formats de modulation bidimensionnels (amplitude et phase) : deux solutions sont proposées pour la compensation du déséquilibre de quadrature IQ dans les transmissions mono-porteuses: une méthode originale de l’estimation du maximum du rapport signal sur bruit ainsi qu’une nouvelle structure de compensation et d’égalisation conjointes; ces deux méthodes sont validées expérimentalement et numériquement avec un signal 16-QAM. Par ailleurs, une solution améliorée de récupération de porteuse (décalage de fréquence et estimation de la phase), basée sur une décomposition harmonique circulaire de la fonction de maximum de vraisemblance logarithmique, est validée numériquement pour la première fois dans le contexte des transmissions optiques (jusqu’à une modulation de 128-QAM). Enfin les outils développés dans ce travail ont finalement permis la démonstration d’une transmission sur 100 km d’un signal QPSK à 10 Gbaud fortement limité par un bruit de phase non linéaire et régénéré optiquement à l’aide d’un limiteur de puissance préservant la phase basé sur une nanocavité de cristal photonique. / Bi-dimensional modulation formats based on amplitude and phase signal modulation, are now commonly used in optical communications thanks to breakthroughs in the field of electronic and digital signal processing (DSP) required in coherent optical receivers. Photonic solutions could compensate for nowadays limitations of electrical circuits bandwidth by facilitating the signal processing parallelization. Photonic is particularly interesting for signal sampling thanks to available stable optical clocks. The heart of the present work concerns analog-to-digital conversion (ADC) as a key element in coherent detection. A prototype of linear optical sampling using an original solution for the optical sampling source, is built and validated with the successful equivalent time reconstruction of NRZ, QPSK and 16-QAM signals. Some optical and electrical limitations of the system are experimentally and numerically analyzed, notably the extinction ratio of the optical source or the ADC parameters (bandwidth, integration time, effective number of bits ENOB). Moreover, some new DSPs tools are developed for optical transmission using bi-dimensional modulation formats (amplitude and phase). Two solutions are proposed for IQ quadrature imbalance compensation in single carrier optical coherent transmission: an original method of maximum signal-to-noise ratio estimation (MSEM) and a new structure for joint compensation and equalization; these methods are experimentally and numerically validated with 16-QAM signals. Moreover, an improved solution for carrier recovery (frequency offset and phase estimation) based on a circular harmonic expansion of a maximum loglikelihood function is studied for the first time in the context of optical telecommunications. This solution which can operate with any kind of bi-dimensional modulation format signal is numerically validated up to 128-QAM. All the DSP tools developed in this work are finally used in a demonstration of a 10 Gbaud QPSK 100 km transmission experiment, featuring a strong non-linear phase noise limitation and regenerated using a phase preserving and power limiting function based on a photonic crystal nanocavity.