Orientadores: Michel Zamboni Rached, Julio Cesar Rodrigues Fernandes de Oliveira / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-23T22:08:51Z (GMT). No. of bitstreams: 1 Silva_EdsonPortoda_M.pdf: 2920023 bytes, checksum: 44d415ca69c358709f1b816f7e603047 (MD5) Previous issue date: 2013 / Resumo: O Resumo poderá ser visualizado no texto completo da tese digital / Abstract: The complete Abstract is available with the full electronic document. / Mestrado / Telecomunicações e Telemática / Mestre em Engenharia Elétrica

Advances in fiber optic communications and the convergence of the optical-wireless network will dramatically increase the network heterogeneity and complexity. The goal of our research is to create smart receivers that can autonomously identify and demodulate, without prior knowledge, nearly any signal emerging from the next-generation of high-speed optical communication networks.

Coherent detection together with multilevel modulation formats has the potential to significantly increase the capacity of existing optical communication systems at no extra cost in signal bandwidth. However, these modulation formats are more susceptible to the impact of different noise sources and distortions as the distance between its constellation points in the complex plane reduces with the modulation index. In this context, digital signal processing (DSP) plays a key role as it allows compensating for the impairments occurring during signal generation, transmission and/or detection relaxing the complexity of the overall system. The transition towards pluggable optical transceivers, offers flexibility for network design/upgrade but sets strict requirements on the power consumption of the DSP thus limiting its complexity. The DSP module complexity however, scales with the modulation order and, in this scenario, low complex yet high performance DSP algorithms are highly desired. In this thesis, we mainly focus on the impact of laser phase noise arising from the transmitter and local oscillator (LO) lasers in coherent optical communication systems employing high order modulation formats. In these systems, the phase noise of the transmitting and LO lasers translate into phase noise in the received constellation impeding the proper recovery of the transmitted data. In order to increase the system phase noise tolerance, we firstly explore the possibility of re-arranging the constellation points in a circularly shaped mQAM (C-mQAM) constellation shape to exploit its inherent phase noise tolerance. Different low-complex carrier phase recovery (CPR) schemes applicable to these constellations are proposed along with a discussion on its performance and implementation complexity. Secondly, the design guidelines of high performance and low complex CPR schemes for conventional square mQAM constellations are presented. We identify the inherent limitation of the state-of-the-art blind phase search (BPS) carrier phase recovery algorithm which hinders its achievable performance and implementation complexity and present a low complex solution to overcome it. The design guidelines of multi-stage CPR schemes for high order modulation formats, where the BPS algorithm is employed at any of the stages, are also provided and discussed. Finally, the interplay between the received dispersed signal and the LO phase noise is analytically investigated to characterize the origin of the equalization enhanced phase noise phenomena. / <p>QC 20170516</p> / EU project ICONE, gr. #608099

Polarization mode dispersion (PMD) arises as a result of the birefringence in optical fibers, due to inherent asymmetries and deformities from external stresses. The spectral components of the input optical pulse propagate with different group velocities. Consequently, pulse duration increases leading to intersymbol interference between consequent symbols, leading to performance reduction of the coherent systems. In order to compensate for the PMD, we use adaptive linear PMD equalizers. Due to the dynamic and random nature of PMD, it is crucial for a system designer to efficiently simulate the PMD-induced outage probabilities of 10-5. Because of this stringent requirement, it is computationally costly to use the conventional Monte Carlo methods. To overcome this hurdle, Importance Sampling methods, such as the multicanonical Monte Carlo method have been applied in the past in order to efficiently reduce the simulation time required to estimate the statistics of these rare events. The multicanonical Monte Carlo method does not require any prior knowledge of which rare events contribute significantly to the PMD-induced outages. In essence, multicanonical Monte Carlo simulations adaptively bias the input random variables with a priori unknown weights. The PMD emulation model consists of a concatenation of birefringent sections, simulated based on MMC. The objective of this dissertation is to apply, for the first time, the multicanonical Monte Carlo method to accurately and efficiently evaluate the performance of adaptive, blind, feed-forward PMD equalizers employed in coherent polarization division multiplexed (PDM) quadrature phase-shift keying (QPSK) systems in all order PMD emulation model. In the exclusive presence of PMD, we demonstrated that the half-symbol-period-spaced adaptive electronic equalizers, based on the constant modulus algorithm (CMA) equalizers perform slightly better than the decision directed least mean square (DD-LMS) counterparts at links with larger PMD values, whereas the opposite holds true for the low PMD regime. Due to their distinguishable performance in different regimes of the PMD, they provided an even better performance when running DD-LMS after a first round of CMA-based equalization than using either one of the equalization algorithms stand alone. Finally, the joint presence of PMD and intermediate frequency offset or PMD and random differential phase carrier shifts slightly worsened the performance of the coherent PDM QPSK systems, independently of the equalizer. Although these random differential carrier phase shifts are typically omitted in similar PMD studies in intensity modulated/direct detection (IM/DD) systems, they should be taken into account in due to the phase sensitivity of the PDM QPSK coherent systems. / Οι οπτικές ίνες παρουσιάζουν διπλοθλαστικότητα, η οποία οφείλεται σε κατασκευαστικές ατέλειες των οπτικών ινών και σε εξωτερικούς παράγοντες. Η διπλοθλαστικότητα προκαλεί διασπορά μεταξύ των φασματικών συνιστωσών ενός διαμορφωμένου οπτικού σήματος. Κάθε φασματική συνιστώσα, ανάλογα με την πόλωσή της στην είσοδο της οπτικής ίνας, υφίσταται διαφορετική αλλαγή φάσης κατά τη διέλευσή της μέσα από την οπτική ίνα. Το φαινόμενο αυτό ονομάζεται διασπορά τρόπων πόλωσης. Η διασπορά τρόπων πόλωσης στην οπτική ίνα προκαλεί παραμόρφωση του οπτικού σήματος κι αλληλοπαρεμβολή συμβόλων στον οπτικό δέκτη, με αποτέλεσμα τη μείωση της απόδοσης ενός σύμφωνου οπτικού τηλεπικοινωνιακού συστήματος. Για την αντιμετώπιση του φαινομένου, χρησιμοποιούνται οι προσαρμοστικοί γραμμικοί εξισωτές διασποράς τρόπων πόλωσης. Εξαιτίας της στατιστικής φύσης του φαινομένου, πιθανότητες διακοπής της λειτουργίας της τάξεως του 10-5 ενός σύμφωνου συστήματος, τετραδικής διαμόρφωσης φάσης με πολυπλεξία πόλωσης της τάξεως με εξισωτές διασποράς τρόπων πόλωσης, υπολογίστηκαν βάσει της πολυκανονικής Monte Carlo μεθόδου (MMC). Στην MMC μέθοδο. οι παράμετροι στην είσοδο του συστήματος κατευθύνονται, έτσι ώστε στην έξοδο, η (άγνωστη) συνάρτηση πυκνότητας πιθανότητας της παραμέτρου ελέγχου να υπολογίζεται με ακρίβεια ακόμα και στις ουρές της. Το πλεονέκτημα της ΜΜC, σε σχέση με τις μεθόδους δειγματοληψίας σημαντικότητας, είναι ότι δεν απαιτείται καμία γνώση για το ποιες περιοχές στην είσοδο πρέπει να δειγματοληφθούν, ώστε στην έξοδο να προκύψουν τα σπάνια εκείνα γεγονότα που μας ενδιαφέρουν. Με βάση την ΜΜC μέθοδο υλοποιήθηκε και το μοντέλο της ίνας, ως μια αλληλουχία διπλοθλαστικών πλακιδίων. Σκοπός της διδακτορικής διατριβής, είναι η αξιολόγηση της απόδοσης του ενός σύμφωνου συστήματος με χρήση των εξισωτών, συναρτήσει της πιθανότητας διακοπής της λειτουργίας του συστήματος. Για την περίπτωση της αποκλειστικής παρουσίας της διασποράς τρόπων πόλωσης, ο εξισωτής ελαχίστου μέσου τετραγώνου (DD-LMS) έχει αποδοτικότερη λειτουργία, σε σχέση με τον εξισωτή σταθερής περιβάλλουσας (CMA), για χαμηλές τιμές της διασποράς τρόπων πόλωσης, ενώ ο εξισωτής CMA κυριαρχεί στις περιοχές με μεγαλύτερες τιμές της διασποράς τρόπων πόλωσης. Η βέλτιστη λειτουργία του σύμφωνου συστήματος σε μια ευρύτερη περιοχή τιμών της διασποράς τρόπων πόλωσης, επιτυγχάνεται με την χρήση ενός συνδυασμού των δύο εξισωτών CMA και LMS. Η αλληλεπίδραση της διασποράς τρόπων πόλωσης και της ενδιάμεσης συχνότητας επηρεάζει την απόδοση του σύμφωνου συστήματος, όπου ο εξισωτής CMA λειτουργεί αποδοτικότερα σε σχέση με τον εξισωτή DD-LMS, τόσο στις περιοχές χαμηλής όσο και υψηλής τιμής της διασποράς τρόπων πόλωσης. Επίσης, αν στο μοντέλο της ίνας, προσομοιώσουμε και τις τυχαίες διαφορικές ολισθήσεις της φέρουσας συχνότητας μεταξύ των πλακιδίων, λόγω της διπλοθλαστικότητας, τότε η επίδοση των εξισωτών ελαττώνεται. Επομένως, θα πρέπει να λαμβάνονται υπόψιν για την ορθότερη αξιολόγηση της απόδοσης του σύμφωνου συστήματος.

This dissertation documents works on two projects, which are broadly related to photonic integration using III-V semiconductor platform for fiber-based optical communication. Our principal project aims to demonstrate continuous variable quantum key distribution (CV-QKD) with InP-based photonic integrated cir cuit at the 1550 nanometer of optical wavelength. CV QKD protocols, in which the key is encoded in the quadrature variables of light, has generated immense interest over the years because of its compatibility with the existing telecom infrastructure. In this thesis, we have proposed a design of a photonic inte grated circuit potentially capable of realizing this protocol with coherent states of light. From the practical perspective, we have basically designed an optical transmitter and an optical receiver capable of carrying out coherent communi cation via the optical fiber. Initially, we established a mathematical model of the transceiver system based on the optical transfer matrix of the foundry spe cific (Fraunhofer Heinrich Hertz Institute-Germany) building blocks. We have shown that our chip design is versatile in the sense that it can support multiple modulation schemes. Based on the mathematical model, we estimated the link budget to assess the feasibility of on-chip implementation of our protocol. Then we ran a circuit level simulation using the process design kit provided by our foundry to put our analysis on a better footing. The encouraging result from this step prompted us to generate the mask layout for our transceiver chips, which we eventually submitted to the foundry. The other project in the thesis grew out of a collaboration with one of our industry partners. The goal of the project is to enhance the performance of a distributed feedback laser emitting at the 1310 nanometer of optical wavelength by optimizing its design. To that end, we first derived the expression for transmission and reflection spectrum for the laser cavity. Those expressions contained parameters which needed to be obtained from the transverse and the longitudinal mode analysis of the laser. We performed the transverse mode analysis and the longitudinal mode analysis with commercially available numerical solvers. Those mode profiles critically depend on the grating physical parameters. Therefore by tweaking grating dimensions one can control the transmission characteristics of the laser.

Le futur système de transmission multicanaux (WDM) pourrait mettre à profit l'utilisation d'amplificateurs optiques à semi-conducteurs (SOA), pour bénéficier notamment de leur grande bande passante optique pour l'amplification du signal. Dans ce travail, nous étudions l’influence des SOA sur la transmission cohérente de signaux OFDM optiques (CO OFDM). Cette technique, récemment proposée, permet à la fois d’augmenter l'efficacité spectrale de la transmission et de compenser les imperfections linéaires du canal optique. Nous avons développé, dans ce travail, une chaîne expérimentale de transmission de signaux à formats de modulation complexes tout-optiques et une plateforme de simulation au niveau système. Les résultats obtenus par simulation, au niveau composant et au niveau système, sont en très bon accord avec ceux obtenus par les mesures expérimentales à la fois pour des formats de modulation QPSK et QPSK CO-OFDM. À travers différentes mesures et simulations, l’étude a permis de cerner clairement l’influence des paramètres du SOA sur la qualité de transmission des données. Les non-linéarités induites par le SOA, telles que le couplage phase amplitude, l’auto modulation du gain et de la phase (SGM et SPM), la modulation croisée du gain et de la phase (XGM et XPM) et le mélange à quatre ondes (FWM), jouent de façon importante sur les performances de ce format de modulation multi-porteuses ; leur influence a donc été analysée avec précision. Les connaissances acquises permettront à l’avenir d’une part de mieux définir les conditions d’utilisation des SOA dans les réseaux de transmission et d’autre part aideront à l’optimisation de nouvelles structures de SOA conçues pour la transmission de données à très haut débit utilisant des formats de modulation complexes. / Future wavelength division multiplexing (WDM) systems might take advantage from the use of semiconductor optical amplifiers (SOA), especially to benefit from their large optical bandwidth for signal amplification. In this work, we study the influence of SOAs on the coherent optical-OFDM (CO OFDM) transmission system. This recently proposed technique allows both to increase the spectral efficiency of the transmission and to compensate the linear imperfections of the optical channel. In this work, we have developed an experimental setup for signal transmission operating with advanced optical modulation formats and a system level simulation platform. Simulation results, both at the component level and at the system level, are in very good agreement with those obtained from experimental measurements in the case of both QPSK and QPSK CO-OFDM signals. The study has clearly identified, through various measurements and simulations, the influence of SOA parameters on the quality of data transmission. Nonlinearities induced by the SOA, such as phase-amplitude coupling, self gain and phase modulation (SGM and SPM), cross gain and phase modulation (XGM and XPM) and the four-wave mixing (FWM) affect the performances of this multicarrier modulation format. Their influence is studied very precisely in this work. This acquired knowledge will allow, on the one hand, better defining the conditions of use of SOAs in the transmission networks and, on the other hand, helping to optimize new structures of SOA designed for very high bit rate data transmissions using complex modulation formats.

Les centres de données deviennent de plus en plus importants, allant de petites fermes de serveurs distribuées à des grandes fermes dédiées à des tâches spécifiques. La diffusion de services "dans le nuage" conduit à une augmentation incessante de la demande de trafic dans les centres de données. Dans cette thèse, nous étudions l'évolution des réseaux dans les centres de données et proposons des solutions à court et à long terme pour leur intra-connexion physique. Aujourd'hui, la croissance de la demande de trafic met en lumière la nécessité urgente d’interfaces à grande vitesse capables de faire face à la bande passante exigeant de nouvelles applications. Ainsi, à court terme, nous proposons de nouveaux transpondeurs optiques à haut débit, mais à faible coût, permettant la transmission de 200 Gb /s utilisant des schémas de modulation en intensité et à détection directe. Plusieurs types de modulations d’impulsions en amplitude avancées sont explorés, tout en augmentant la vitesse à des débits symboles allant jusqu’à 100 GBd. La génération électrique à haute vitesse est réalisé grâce à un nouveau convertisseur analogique-numérique intégré, capable de doubler les vitesses des entrées et de générer des signaux à plusieurs niveaux d’amplitude. Cependant, le trafic continuera sa croissance. Les centres de données actuels reposent sur plusieurs niveaux de commutateurs électroniques pour construire un réseau d'interconnexion capable de supporter une telle grande quantité de trafic. Dans une telle architecture, la croissance du trafic est directement liée à une augmentation du nombre des composants du réseau, y-compris les commutateurs avec plus de ports, les interfaces et les câbles. Le coût et la consommation d'énergie qui peut être attendus à l'avenir est intenable, ce qui appelle à une réévaluation du réseau. Par conséquent, nous présentons ensuite un nouveau concept fondé sur la commutation de "slots" optiques (Burst Optical Slot Switching, i.e. BOSS) dans lequel les serveurs sont connectés via des nœuds BOSS à travers des anneaux de fibres multiplexé en longueur d'onde et en temps, et organisés dans une topologie en tore. Au cours de cette thèse, nous étudions la mise en œuvre des nœuds BOSS; en particulier, la matrice de commutation et les transpondeurs optiques. L'élément principal au sein de la matrice de commutation est le bloqueur de slots, qui est capable d'effacer n’importe quel paquet (slot) sur n’importe quelle longueur d'onde en quelques nanosecondes seulement. D'une part, nous explorons l'utilisation d'amplificateurs optiques à semi-conducteurs comme portes optiques à utiliser dans le bloqueur des slots, et étudier leur cascade. D'autre part, nous développons un bloqueur de slots intégré monolithiquement capable de gérer jusqu'à seize longueurs d'onde avec la diversité de polarisation. Ensuite, nous présentons plusieurs architectures de transpondeur et nous étudions leur performance. La signalisation des transpondeurs doit répondre à deux exigences principales: le fonctionnement en mode paquet et la résistance au filtrage serré. D'abord, nous utilisons des transpondeurs élastiques qui utilisent des modulations Nyquist N-QAM, et qui adaptent le format de modulation en fonction du nombre de nœuds à traverser. Ensuite, nous proposons l'utilisation du multiplexage par répartition orthogonale de la fréquence en cohérence optique (CO-OFDM). Avec une structure de paquet inhérente et leur grande adaptabilité fréquentielle, nous démontrons que les transpondeurs CO-OFDM offrent une capacité plus élevée et une meilleure portée que leurs homologues Nyquist. Finalement, nous comparons notre solution BOSS avec la topologie Clos replié utilisée aujourd'hui. Nous montrons que notre architecture BOSS nécessite 400 fois moins de transpondeurs et de câbles que les réseaux de commutation électronique d'aujourd'hui, ce qui ouvre la voie à des centres de données hautement évolutifs et durables / Data centers are becoming increasingly important and ubiquitous, ranging from large server farms dedicated to various tasks such as data processing, computing, data storage or the combination thereof, to small distributed server farms. The spread of cloud services is driving a relentless increase of traffic demand in datacenters, which is doubling every 12 to 15 months. Along this thesis we study the evolution of data center networks and present short- and long-term solutions for their physical intra-connection. Today, rapidly-growing traffic in data centers spotlights the urgent need for high-speed low-cost interfaces capable to cope with hungry-bandwidth demanding new applications. Thereby, in the short-term we propose novel high-datarate low-cost optical transceivers enabling up to 200 Gb/s transmission using intensity-modulation and direct-detection schemes. Several advanced pulse amplitude modulation schemes are explored while increasing speeds towards record symbol-rates, as high as 100 GBd. High-speed electrical signaling is enabled by an integrated selector-power digital-to- analog converter, capable of doubling input baud-rates while outputting advance multi-level pulse amplitude modulations. Notwithstanding, data centers’ global traffic will continue increasing incessantly. Current datacenters rely on high-radix all-electronic Ethernet switches to build an interconnecting network capable to pave with such vast amount of traffic. In such architecture, traffic growth directly relates to an increase of networking components, including switches with higher port-count, interfaces and cables. Unsustainable cost and energy consumption that can be expected in the future calls for a network reassessment. Therefore, we subsequently present a novel concept for intra-datacenter networks called burst optical slot switching (BOSS); in which servers are connected via BOSS nodes through wavelength- and time-division multiplexed fiber rings organized in a Torus topology. Along this thesis we investigate on the implementation of BOSS nodes; in particular, the switching fabric and the optical transceivers. The main element within the switching fabric is the slot blocker, which is capable of erasing any packet of any wavelength in a nanosecond time-scale. On the one hand, we explore the use of semiconductor optical amplifiers as means of gating element to be used within the slot blocker and study their cascadability. On the other hand we develop a monolithically integrated slot blocker capable of handling up to sixteen wavelength channels with dual-polarization diversity. Then we present several transceiver architectures and study their performances. Transceivers’ signaling needs to fulfill two main requirements: packet-mode operation, i.e. being capable of recovering few microsecond –long bursts; and resiliency to tight filtering, which occurs when cascading many nodes (e.g. up to 100). First we build packet-mode Nyquist-pulse-shaped N-QAM transceivers, which adapt the modulation format as a function of the number of nodes to traverse. Later we propose the use of coherent-optical orthogonal frequency division multiplexing (CO-OFDM). With inherent packet structure and high spectral tailoring capabilities, we demonstrate that CO-OFDM-based transceivers offer higher capacity and enhanced reach than its Nyquist counterpart. Finally, we compare our BOSS solution to today’s Folded Clos topology, and show that our BOSS architecture requires x400 fewer transponders and cables than today’s electronic switching networks, which paves the way to highly scalable and sustainable datacenters

La majeure partie des communications mondiales est transportée par des systèmes transocéaniques à fibre optique. Il est estimé que d'ici 2020 le trafic de données atteindra 4.3 ZB par an. Afin de faire face à cette demande, différentes technologies sont actuellement étudiées pour augmenter la capacité des systèmes de transmission très longue distance. Avec l'avènement des circuits intégrés à haute vitesse, des formats de modulation avancés et des techniques de traitement de signal numérique (DSP) peuvent être utilisés pour maximiser l'efficacité spectrale de transmission. Par ailleurs, la capacité des systèmes modernes est fortement limitée par les effets non-linéaires de type Kerr dans la fibre. Ainsi, la première partie de ce travail est axée sur l’étude de la performance et des gains réalisables par des techniques DSP à faible complexité pour mitiger les effets non-linéaires monocanal. En outre, l’utilisation des formats de modulation multiniveaux à haute efficacité spectrale au-delà de 16QAM a pris de l'ampleur pour augmenter le débit de transmission des systèmes, notamment avec l’introduction des formats QAM avec mise en forme probabiliste (PCS-QAM), plus performants que les formats QAM classiques. La deuxième partie de ce travail présente donc une comparaison théorique ainsi qu’expérimentale du format PCS-64QAM avec d’autres formats à haute efficacité spectrale pour les distances transatlantiques. La mise en œuvre d’un format PCS-64QAM conçu pour les distances transpacifiques est également abordée. Enfin, la dernière partie de ce travail concrétise les résultats des travaux menés dans les deux sections précédentes en présentant plusieurs records de transmission / Global data traffic is expected to reach up to 4.3 ZB per year by 2020. With the majority of the global communications being transported on submarine point-to-point fiber-optic systems, different cutting-edge technologies have been under research to cope with this unprecedented traffic growth. Continuous advances in high-speed integrated circuits have allowed the use of advanced modulation formats and digital signal processing (DSP) techniques to maximize the transmission spectral efficiency. With mitigation of fiber linear effects efficiently carried out by DSP with relative low-complexity, the capacity of modern fiber optic systems rests limited by fiber nonlinearities. To this extent, in the first part of this work, the performance and achievable benefits of low-complexity DSP techniques aiming to mitigate fiber Kerr nonlinear effects are investigated. Besides nonlinear compensation techniques, the use of multi-level modulation formats beyond 16QAM and high symbol rate channels have gained momentum to increase the system spectral efficiency. One of the major breakthroughs in the recent years, has been the introduction of QAM-based probabilistic constellation shaping (PCS-QAM), which has proven to outperform regular QAM formats. In this sense, in the second part of this work, the practical achievable rate increase brought by PCS-QAM for transoceanic distances is investigated. A theoretical and experimental comparison with other high-capacity formats is performed, and the design of a PCS-QAM for trans-Pacific distances is addressed. Finally, in the last section, several transmission records using the two above techniques are reported

Les systèmes de communications optiques jouent un role important pour satisfaire la demande incessante de trafics de données. Cette demande, induite par des applications gourmandes en termes de bande passante et débit, necéssite une augmentation de la capacité des réseaux optiques d’accès et par conséquent une augmentation des capacités de réseaux de transports métropolitains et longues distances. La prochaine génération de systèmes WDM longue distance devrait opérée à des débits de 400Gbps ou 1Tbps. Cette montée en débit s’appuiera sur des nouvelles formes d’ondes avancées de type mono-porteuse (Nyquist-WDM) ou multi-porteuse (OFDM multi-bande). Ces approches sont basées sur le multipléxage de plusieurs porteuses espacées par des intervalles de garde réduits. D’autre part, pour générer ces très haut débits, des modulations multi-états sont utilisées pour chaque porteuse grâce à leur efficacité spectrale élevée. Ces types de systèmes, qui combinent à la fois les approches multi-bande et les modulations multi-états, sont extrêmement vulnérables aux effets nonlinéaires de la fibre optique. En fait, les effets nonlinéaires sont dépendants de la puissance de transmission et inversement proportionels à l’intervalle de garde. Cela rend leur compensation indispensable pour maintenir des bonnes performances des systèmes en terme de distance de transmission. Grâce à l’emploi de récepteurs à détection cohérente, des techniques de traitement du signal numérique sont utlisées pour combattre les effets nonlinéaires. Dans cette thèse, nous avons proposé des nouvelles techniques basées sur les séries de Volterra et les égaliseurs à retour de decision pour compenser respectivement les effets nonlinéaires intrabande et les interférences nonlinéaires inter-bande. / Optical communication systems have evolved since their deployment to meet the growing demand for high-speed communications. Over the past decades, the global demand for communication capacity has increased exponentially and the most of the growth has occurred in the last few years when data started dominating network traffic. In order to meet the increase of traffic demands fueled by the growth of internet services, an increase of access network capacity and consequently metro and long-haul network capacities is required. Next generation of long-haul WDM transmission systems is expected to operate at 400Gbps or 1Tbps bit rate. Superchannel approaches, such as Nyquist WDM and multi-band OFDM, allow both high spectral efficiency and small guardband which makes them promising candidates to generate these high bit rates in combination with multi-level modulations formats. Such transmission systems are strongly disturbed by fiber nonlinear effects which increase with the data rate and the small guard band. Therefore, fiber nonlinearities compensation is required to get the desired performance in terms of transmission reach. DSP based approaches such as digital back propagation and third-order Volterra based nonlinear equalizer have been already proposed to deal with intra-channel or intra-band nonlinear effects. In the context of superchannel systems, we have proposed two new compensation techniques to deal with fiber nonlinear effects. The first one, called fifth-order inverse Volterra based nonlinear equalizer, compensate for intra-band nonlinear effects. The second approach, which is the interband/ subcarrier nonlinear interference canceler, is proposed to combat the nonlinear interference insuperchannel systems.