Le trafic internet mondial étant toujours plus important, l’augmentation du débit transmis dans les fibres optiques de façon à diminuer le coût par bit est nécessaire. Les technologies actuelles sur fibres monomodes approchent une limite fondamentale empêchant une augmentation conséquente du débit dans les fibres optiques. Une nouvelle technique appelée le multiplexage de mode spatial est une solution pour dépasser cette limite. Plusieurs modes spatiaux, correspondant aux solutions des équations de propagation, sont multiplexés dans une fibre spécifique pour multiplier le débit transmis par le nombre de modes utilisés. Pour la mise en œuvre de cette technique, ma stratégie est de séparer les modes spatiaux de façon hybride, c'est-à-dire d’abord optiquement puis avec un traitement numérique relativement peu complexe. Dans cette approche, la diaphonie entre les modes non dégénérés n’est pas compensée et doit donc être minimisée sur toute la ligne de transmission pour une transmission de données de bonne qualité. Par l’utilisation d’un multiplexeur-démultiplexeur et d’une fibre pouvant propager six modes spatiaux et induisant peu de diaphonie, j’ai réalisé la transmission d’un signal monocanal de 6x100 Gbit/s dans une fibre de 40 km. Pour des transmissions plus longues que 80 km, un amplificateur est nécessaire pour compenser les pertes de la fibre optique. J’ai donc conçu un amplificateur à fibre dopé Erbium pour cinq modes spatiaux induisant peu de diaphonie et avec un gain supérieur à 15 dB pour tous les modes et réalisé la transmission d’un signal de 5x100 Gbit/s sur une distance de 80 km avec un traitement numérique relativement simple. / With the growth of the internet traffic, it is necessary to increase the throughput of optical fibers in such a manner that the cost per transmitted bit decreases. With the current single mode fiber technologies, we are approaching a fundamental limit which prevents us to continue to increase the throughput in these fibers. A new technique called spatial mode multiplexing is investigated as a solution to overcome this limit. Several spatial modes, corresponding to the solutions of the propagation equations in the fiber, are multiplexed into a specific fiber in order to multiply the throughput by the number of transmitted modes. To implement this technique, my strategy is to separate modes first optically and to use a relatively low complex digital signal processing (DSP). Thus the crosstalk between spatial modes should be minimized in the whole transmission line to retrieve the data. By using a multiplexer-demultiplexer and a fiber supporting six modes and inducing low crosstalk, I achieved 40 km long transmission of six modes each transporting 100 Gb/s on a single wavelength. Transmissions longer than 80 km need an amplifier supporting all modes to compensate the losses in the optical fiber. I thus built a five modes Erbium doped fiber amplifier with low crosstalk and >15 dB gain to achieve the transmission of five modes carrying each 100 Gbit/s in an 80 km long fiber with low complex DSP.

Les systèmes de transmission optiques (STOs) déployés actuellement utilisent la détection cohérente pour les débits de 40 Gb/s et 100 Gb/s. Une modulation QPSK ( « Quadrature Phase Shift Keying »), c’est à dire avec 4 niveaux de phase, associée à un multiplexage de polarisation (« PDM » pour « Polarization Division Multiplexing ») permet de transporter 4 bits par symbole. L’utilisation des formats de modulation plus complexes, tels que le 16QAM (pour « Quadrature Amplitude Modulation »), avec 16 états possibles, permet d’augmenter le débit transmis. Cependant, cette méthode réduit fortement la portée de transmission. Par exemple, si on passe de 100 Gb/s PDM-QPSK à 200 Gb/s PDM-16QAM, la portée est réduite par un facteur cinq. Une approche nouvelle et en rupture afin d’augmenter la capacité est le multiplexage en mode (MDM, pour « Mode Division Multiplexing »). Cette approche est investiguée dans le cadre de ma thèse. Je commence ma thèse avec des généralités sur les STOs, suivi d’une présentation de leur évolution historique dans le contexte de la demande de capacité croissante dans les réseaux de télécommunications. Ensuite je montre plusieurs options pour continuer la croissance de capacité dans les STOs avant de me focaliser sur le MDM. Je décris tous les nouveaux éléments clés d’un système MDM typique, notamment la fibre et l’amplificateur légèrement multimodaux, le multiplexeur / démultiplexeur de modes et le nouveau système de réception, en me fondant sur des résultats théoriques, numériques et expérimentaux. Je termine avec une présentation des expériences de transmission MDM, où nous étions parmi les premières équipes mondiales à réaliser une telle démonstration / Currently deployed optical transmission systems use coherent detection for data rates of 40 Gb/s and 100 Gb/s. Quadrature phase shift keying (QPSK) modulation using four phase levels in combination with polarization division multiplexing (PDM) allows transmitting four bits per symbol. The use of more complex modulation formats, such as 16 level quadrature amplitude modulation (16QAM) allows increasing the data rate. However, this method reduces dramatically the transmission reach. For example, when passing from 100 Gb/s PDM-QPSK to 200 Gb/s PDM-16QAM, the reach is reduced by a factor of five. A new and disruptive approach in order to increase the capacity is mode division multiplexing (MDM), and this approach is investigated in the frame of my thesis. I start my thesis with some generalities on optical transmission systems followed by a presentation of their historical evolution against the background of the increasing capacity demand in the worldwide telecommunication networks. Afterwards I show some ways to continue the capacity growth in optical transmission systems before focusing on MDM. I describe the new key elements, notably the few-mode fiber and the few-mode amplifier, the mode-multiplexer / -demultiplexer and the new receiver system. I finish with a presentation of some experiments using entire MDM systems, which allowed us to be among the first research teams worldwide to realize a successful MDM transmission