Cette thèse aborde plusieurs problèmes fondamentaux des systèmes de communications sans fil avec des antennes multiples, dites systèmes MIMO (multiple input, multiple output). Les contributions se situent aussi bien au niveau des algorithmes de réception qu’au niveau de la génération du signal à l’émission.La plus grande partie de la thèse est dédiée à l’étude des algorithmes de réception. Les points abordés comprennent la modélisation et l’estimation du canal, la détection robuste des symboles, et la suppression des interférences. Un nouveau modèle de canal est proposé dans le chapitre 3 en exploitant les corrélations dans les domaines temporel, fréquentiel et spatial, et en réduisant l’espace des paramètres aux termes dominants. Ce modèle est utilisé pour proposer ensuite un estimateur de canal à faible complexité et aussi un sélecteur de mots de code pour envoyer vers l’émetteur les informations sur l’état du canal. Dans le chapitre 4, la réception robuste est étudiée pour les systèmes MIMO-OFDM sans une connaissance parfaite du canal. Des récepteurs robustes sont proposés pour les cas avec ou sans connaissance statistique du canal. La conception de récepteurs pour les systèmes MIMO-OFDM en présence d’interférence est étudiée dans le chapitre 5 et des récepteurs robustes sont proposés prenant en compte séparément l’interférence causée par les ondes pilotes et celle causée par les symboles d’une part et l’asynchronisme entre le signal et l’interférence d’autre part.Dans la deuxième partie de la thèse (chapitre 6), nous abordons les modulations spatiales qui sont particulièrement adaptées aux systèmes MIMO dans lesquels le nombre de chaines d’émission est inférieur aux nombre d’antennes. Remarquant que l’efficacité spectrale de ces systèmes reste très faible par rapport à la technique de multiplexage spatiale, nous avons développé des modulations spatiales améliorées (ESM, pour Enhanced Spatial Modulation) qui augmentent substantiellement l’efficacité spectrale. Ces modulations sont basées sur l’introduction de modulations secondaires, obtenues par interpolation. La technique ESM gagne plusieurs décibels en rapport signal à bruit lorsque les constellations du signal sont choisies de façon à avoir la même efficacité spectrale que dans les modulations spatiales conventionnelles. / The aim of this thesis is to investigate multiple input multiple output (MIMO) techniques from the reception algorithms, i.e., channel estimation, symbol detection, and interference suppression, to the advanced spatial modulation (SM) transmission schemes, i.e., the signal constellation design for high performance and energy efficiency. In the reception algorithms, the proposed schemes are derived based on the detection theory, i.e., maximum likelihood (ML), linear minimum mean square error (MMSE), successive interference cancellation (SIC), combining with the statistical analysis, i.e., Bayesian linear regression and Bayesian model comparison, in order to deal with the channel uncertainty, i.e., fading, correlations, thermal noise, multiple interference, and the impact of estimation errors.In the transmission schemes, the signal constellations are targeted to find a good trade off between the average transmit energy and the minimum Euclidean distance in the signal space. The proposed schemes, denoted by enhanced SM (ESM), introduce novel modulation/antenna combinations and use them as the information bits for transmission. The number of those combinations is the double or the quadruple of the number of active antenna indices (or index combinations) in conventional SM systems, and this increases the number of bits transmitted per channel use by one or two.The results of simulations show that good system performance can be achieved with the advanced MIMO techniques. Several examples are presented in this thesis to provide insights for the MIMO system designs.

Les systèmes de communications ont beaucoup évolué ces dernières années, surtout les systèmes sans fil, et de plus en plus la nécessité d'utilisation d'une grande vitesse de transmission de données s'impose. Mais la technologie existante a des contraintes pour suivre la progression de la vitesse de transmission nécessaire ; plusieurs méthodes et techniques ont vu le jour pour remédier à ce problème. Le multiplexage par division en fréquences orthogonales (OFDM) est une alternative due à sa robustesse contre les évanouissements sélectifs en fréquence et sa résistance aux interférences entre symboles (IES). Ce dernier (IES) est un problème dans la communication de données à grande vitesse.L'émission pour les systèmes sans fil à grande distance nécessite l'utilisation d'amplificateurs de puissance (AP), mais l'utilisation des systèmes OFDM, entre autres, présente de forts pics d'amplitude de l'enveloppe du signal modulé et donc des variations importantes en puissance instantanée. Pour les systèmes OFDM on doit prendre en considération le paramètre (PAPR) "Peak-to- Aver age Power Ratio" qui a une influence directe sur l'AP. Parmi les techniques de réduction du PAPR, on retrouve les techniques qui consistent à traiter le signal avant l'émission. Ces méthodes sont en général simple à implémenter. Dans ce travail, on parle des différentes méthodes de réduction de PAPR, en mettant l'emphase sur la méthode d'écrêtage.

Cette thèse présente l'étude de l'utilisation du signal XM comme source d'opportunité d'un système radar de détection passive cohérente. Par la réception simultanée d'un écho radar et du signal direct, une mesure de la corrélation est possible afin d'extraire de la détection les paramètres de la cible. Tout d'abord, une étude de la résolution qu'offre le signal employé et un bilan de puissance sont réalisés desquels deux principaux problèmes sont identifiés : l'effet hautement interféreur du signal direct sur un écho potentiel et la faiblesse de la puissance de cet écho provenant de la réflexion du signal sur une cible caractéristique. La méthode des sous-espaces, en utilisant une antenne-réseau à la réception, est proposée pour supprimer le signal direct par la projection dans son sous-espace orthogonal. Pour pallier le problème de la faiblesse de la puissance de l'écho, un gain directif est aussi proposé par l'utilisation d'un réseau à chevauchement d'éléments permettant d'obtenir ce gain tout en gardant une résolution nécessaire à la méthode des sous-espaces. Le choix du nombre de sous-réseaux employé est ensuite optimisé pour un gain maximal tout en évitant la présence de points nuls pour certaines valeurs de sous-réseaux engendrant la présence du signal direct malgré l'opération visant sa suppression. L'impact de l'estimation de la soustraction de la matrice de covariance du bruit est aussi étudié. Le système de détection intégré est ensuite présenté pour la détection de la cible caractéristique afin d:en vérifier l'efficacité.

Tableau d'honneur de la FÉSP / Les travaux présentés dans ce mémoire portent sur le développement de combinateurs de signal permettant de réaliser la combinaison incohérente de lasers à fibre monomodes de haute puissance. L'objectif principal est de comprendre l'influence des différents paramètres de conception d'un combinateur sur le facteur de qualité de faisceau obtenu à sa sortie. D'abord, une première section aborde la propagation des faisceaux laser en espace libre. On y présente comment calculer le facteur de qualité de faisceau en fonction d'un profil de champ électrique donné. Une seconde section s'attarde ensuite aux fibres optiques et introduit les principales notions nécessaires à la compréhension de ces travaux. Une troisième section porte sur l'utilisation de fibres optiques effilées en tant qu'adaptateurs modaux. On y expose comment faire varier les propriétés des modes en utilisant des composants effilés. L'analyse théorique des combinateurs de signal est ensuite effectuée. Des simulations numériques sont réalisées afin de déterminer l'influence des principaux paramètres de conception sur la qualité de faisceau obtenue en sortie d'un combinateur. Le facteur de rétrécissement des fibres optiques, la longueur de la zone de rétrécissement et les propriétés de la fibre multimode utilisée sont analysés en détail. La valeur optimale de chacun de ces paramètres est déterminée pour le cas où 7 fibres de type (15-125-0.10) sont utilisées pour former le combinateur. Il est démontré que la limite théorique de qualité de faisceau d'une telle configuration est de M2 = 2:8. Une dernière section porte sur la fabrication de combinateurs de signal en laboratoire. Une série de combinateurs à 7 fibres d'entrée dont le facteur de qualité de faisceau moyen est de M2 = 3:95 a été fabriquée. Ces combinateurs sont caractérisés par des pertes d'insertion situées entre 0.9% et 1.3 % et leurs propriétés thermiques démontrent qu'ils pourraient être utilisés pour combiner une puissance totale de 6 kW.

Cette thèse examine le bruit de photon lors de la détection d’impulsions provenant d’un peigne de fréquences. En premier lieu, nous faisons abstraction du mécanisme physique produisant le bruit de photon, réduisant son effet à celui d’une source de bruit additif non-stationnaire (avec des statistiques variables dans le temps). Ce modèle de traitement de signal est ensuite utilisé dans l’analyse de deux expériences importantes pour l’utilisation d’un peigne de fréquence comme mécanisme de compteur de fréquence dans une horloge optique : la conversion du train d’impulsions optiques en un train d’impulsions électriques, et le battement hétérodyne entre un peigne de fréquences et un laser à onde continue. Nous démontrons en premier lieu que le bruit de photon lié à la photodétection produit principalement du bruit d’amplitude, et une quantité presque négligeable de jigue aléatoire de temps sur le signal électrique détecté. Des résultats expérimentaux viennent confirmer nos prédictions théoriques. Nous explorons ensuite les limites de ce mécanisme en considérant la physique de la photodétection, ce qui révèle un étalement du temps de transit qui peut affecter la jigue aléatoire produite par cette conversion. Dans un deuxième temps, nous démontrons que la nature pulsée du peigne de fréquences peut être utilisée pour donner un rapport signal-sur-bruit plus élevé que celui qui est prédit en considérant seulement le battement d’un seul mode du peigne avec le laser à onde continue. La première technique développée, le GATOR, rejette une grande partie du bruit de photon produit par le laser à onde continue afin d’améliorer le rapport signal-sur-bruit lorsque la puissance du peigne est faible. Avec cette technique, nous démontrons un rapport signal-sur-bruit 100 fois plus élevé que la limite en admettant l’utilisation d’un seul mode. Nous démontrons ensuite un raffinement de cette technique qui utilise le glissement de fréquence de l’impulsion optique afin d’utiliser efficacement tous les photons du peigne dans une bande passante déterminée. Cette technique nous a permis de produire un battement avec le plus grand rapport signal-sur-bruit parmi les résultats dans la littérature, 68.3 dB, obtenu en normalisant dans une bande passante commune de 100 kHz. / This thesis is a study of shot noise in the photodetection of pulses from a frequency comb. We first make abstraction of the physical mechanism of shot noise to reduce its effects to that of an additive, non-stationary (meaning with time-varying statistics) noise source. This signal processing model is then used to analyze two experiments of importance for the operation of optical clockwork based on frequency combs: the conversion of the optical pulse train into an electrical pulse train by a photodetector, and the heterodyne (or beating) experiment between a frequency comb and a continuous wave laser. For the detection of the optical pulse train, we show that photodetection shot noise yields mostly amplitude noise and vanishingly low timing jitter on the electrical signal. Experimental results confirm our theoretical predictions. We then explore the limits of this jitter when considering practical photodetection physics. This reveals a transit time spread parameter that can affect the jitter produced by this conversion. Next, we turn our attention to the heterodyne experiment. We show that the pulsed nature of the frequency comb can be exploited in different schemes to yield higher signal-to-noise ratio (SNR) that is predicted by the use of the beating of a single comb mode with the continuous wave laser. The first technique that we develop, the GATOR, gates out shot noise from the continuous wave, and improves the SNR in the case of low comb power. Using this technique, we have demonstrated a factor of 100 higher SNR than the single-mode limit. We then show a further refinement of the technique which uses chirping of the optical pulse to effectively use all the available photons from the comb in a given bandwidth. This technique enabled us to produce the beating with the highest SNR reported in the literature of 68.3 dB, when normalizing to the common detection bandwidth of 100 kHz.

Tableau d'honneur de la Faculté des études supérieures et postdoctorales, 2006-2007 / Nous étudions à travers ce travail de recherche les méthodes d'égalisation entraînée et aveugle dans les canaux de communications sélectifs en fréquence invariants et variants dans le temps. Ces méthodes d'égalisation trouvent leur place dans un grand nombre d'applications telles que les télécommunications sans fil, le traitement de la parole, etc. L'objectif de l'égalisation entraînée est d'identifier les données émises à partir des observations issues de l'antenne et des séquences d'apprentissage préalablement connues par le récepteur. Alors que l'égalisation aveugle consiste à identifier les données émises uniquement à partir des observations issues de l'antenne. Les méthodes aveugles n'ont donc connaissance a priori ni des signaux émis ni du canal de transmission. Dans le cadre de notre recherche, nous proposons trois modèles d'égalisation : deux modèles autodidactes (sans séquence d'apprentissage) pour l'égalisation dans les canaux sélectifs en fréquence et invariants, et un modèle entraîné (avec séquence d'apprentissage) pour l'égalisation dans les canaux sélectifs en fréquence et variants dans le temps. / In this research work, we study the blind and trained equalization methods over stationary and time varying frequency selective channels. These equalization methods find their place in a large number of applications such as wireless Systems, speech processing, etc. The objective of trained equalization is to identify the transmitted data from the received signals and from training sequences known beforehand by the receiver, whereas blind equalization identifies the transmitted data only from the received signals. Blind methods do not have a prior information about transmitted signals, nor the channel. Within the framework of our research, we propose three equalization models : two blind models (without training sequence) for the equalization over stationary frequency selective channels, and a trained model (with a training sequence) for the equalization over time varying frequency selective channels.

Pour la première fois, on propose d’appliquer une technique numérique d’autocorrélation d’intensité pour rechercher des minilentilles gravitationnelles dans des observations radio de noyaux actifs de galaxies (NAGs), et aussi pour trouver de faibles variations temporelles rapides. Essentiellement, la technique consiste à détecter un signal (délai temporel) cosmique (ou artificiel) à partir des fluctuations temporelles d’intensité. La programmation des algorithmes est codée en Matlab sur un microordinateur et en C++ pour le traitement en parallèle multi-cœur sur un superordinateur. On valide la technique et les logiciels développés en montrant la détection de faibles signaux artificiels périodiques et non périodiques. On pourrait aussi trouver des variations temporelles très rapides puisque les données radioastronomiques interférométriques sont échantillonnées sur de très courts laps de temps (ex., 15.625 ns). Enfin, des simulations numériques permettent d’évaluer l’efficacité de détection de notre technique innovatrice. La transformée de Fourier (TF) peut aussi détecter des signaux périodiques. Cependant, l’autocorrélation d’intensité a l’avantage majeur de détecter des signaux non périodiques, alors que la TF ne le peut pas. De plus, notre technique permet de visualiser directement la forme des signaux, tandis qu’il est très difficile de voir la forme avec la transformée de Fourier. Une nouveauté de la démonstration de notre technique est qu’on utilise des données prises par des radiointerféromètres (ex., NRAO) déjà existants dans un format standard (ex., Mark 5B), de sorte que l’on n’a pas besoin d’instrumentation spécialisée. On a analysé 22 objets. Aucun signal cosmique n’a été détecté pendant les dix minutes d’observation VLBA du NRAO de chaque objet. À partir du résultat nul obtenu et d’une analyse statistique simplifiée par la binomiale, on a fait un estimé approximatif du paramètre actuel de densité cosmique de minilentilles compactes non-baryoniques, noté Ωl, 0, uniformément distribuées dans l’intervalle de masse, 10 – 107 masses solaires, lequel correspond à des délais de ~1 ms à ~600 s. Pour le modèle plat (actuellement favorisé) avec constante cosmologique λ0 = 0.7 (Ω0 = 0.3), la limite estimée est Ωl, 0 ≤ 0.2 – 0.3. Vu le faible échantillon-test, n = 22, les incertitudes (intervalles de confiance) obtenues sont trop élevées pour fixer une contrainte statistiquement significative: statistique de petit nombre. / For the first time, we propose to apply a digital autocorrelation of intensity technique to gravitational minilensing in active galactic nuclei (AGNs) radio observations, and also to search weak rapid time variations. Essentially, the technique consists of detecting a cosmic (or artificial) signal (time delay) using intensity fluctuations as a function of time. The programming algorithm is coded in Matlab on a microcomputer and in C++ for multi-core parallel processing on a supercomputer. We validate the technique and softwares by showing weak periodic and non-periodic artificial signals detections. We could also find very fast time variations because radioastronomical interferometric data are sampled over very short times (e.g., 15.625 ns). Finally, numerical simulations make it possible to evaluate the detection efficiency of our innovative technique. The Fourier transform (FT) can also detect periodic signals. However, the main advantage of the autocorrelation of intensity is that it can detect non-periodic signals, while the FT cannot detect these non-periodic signals. Moreover, our technique allows a direct visualization of the shape of the signals, while it is very difficult to see the shape with a Fourier Transform. A novelty of the demonstration of our technique is that we use data taken with existing radio-interferometers (e.g., NRAO) in a standard format (e.g., Mark 5B) and therefore no specialized instrumentation is needed. We analyzed 22 objects. No signal has been detected for the ten minutes of VLBA of the NRAO observation for each object. From the null result obtained and a simplified statistical analysis by the binomial, we made a rough estimate of the present cosmic density parameter of non-baryonic compact minilenses, named Ωl, 0, uniformly distributed in the mass range, 10 – 107 solar masses, corresponding to delays of ~1 ms to ~600 s. For a flat model (currently favored) with cosmological constant λ0 = 0.7 and with Ω0 = 0.3, the estimated limit is Ωl, 0 ≤ 0.2 – 0.3. Given the low test sample, n = 22, the uncertainties (confidence intervals) obtained are too high to set a statistically significant constraint: small number statistics.

Tableau d'honneur de la Faculté des études supérieures et postdorales, 2015-2016 / L’acquisition des signaux électriques provenant des neurones du cerveau permet aux neurobiologistes de mieux comprendre son fonctionnement. Dans le cadre de ce travail, de nouveaux algorithmes de compression des signaux neuronaux sont conçus et présentés. Ces nouveaux algorithmes sont incorporés dans trois nouveaux dispositifs optogénétiques sans fil miniature capable de stimuler optiquement l’activité neuronale et de transmettre sans fil les biopotentiels captés par plusieurs microélectrodes. Deux de ces systèmes sont capables de compresser les signaux provenant de deux microélectrodes ainsi que de stimuler optiquement via deux diodes électroluminescentes (DEL) haute puissance. Afin de réduire la bande passante des transmetteurs sans fil utilisés, ces deux systèmes sont dotés d’un nouvel algorithme de détection des potentiels d’actions qui génère de meilleurs taux de détection que les algorithmes existants, tout en nécessitant moins de ressources matérielles et de temps de processeur. Un troisième dispositif incorporant les algorithmes de détection et de compression fût conçu. Ce dispositif est le seul système optogénétique sans fil comportant 32 canaux de stimulation optique et 32 canaux d’enregistrement électrophysiologiques en parallèle. Il utilise une nouvelle technique de compression par ondelettes permettant d’augmenter significativement le nombre de canaux sous observation sans augmenter la consommation de l’émetteurrécepteur. Cette nouvelle méthode de compression se distingue des méthodes existantes en atteignant de meilleurs taux de compression tout en permettant de reconstruire les signaux compressés avec une meilleure qualité. Au moment de la rédaction de ce mémoire, il s’agit des premiers dispositifs optogénétiques sans fil à offrir simultanément de la stimulation optique multicanal, de l’enregistrement électrophysiologique multicanal ainsi que de la détection/compression in situ des potentiels d’actions. Grâce à leur design novateur et aux innovations apportées par les nouveaux algorithmes de traitement des signaux, les systèmes conçus sont plus légers et plus compacts que les systèmes précédents, rendant ces dispositifs indispensables afin de mener des expériences sur le cerveau de petits animaux libres de leurs mouvements. Les trois systèmes ont été validés avec grand succès par des expériences in vivo sur des souris transgéniques au Centre de Recherche de l’Institut Universitaire en Santé Mentale de Québec (CRIUSMQ). / The electrical signals acquisition from the brain’s neurons allows neuroscientists to better understand its functioning. In this work, new neural signals compression algorithms are designed and presented. These new algorithms are incorporated into three new miniature optogenetic wireless devices. These devices are capable to optically stimulate neural activity and to wirelessly transmit the biopotentials captured by several microelectrodes. Two of these systems are able to compress the signals from two microelectrodes and to stimulate optically via two high-power LED. Both systems feature a new spike detection algorithm to reduce the bandwidth used by the wireless transceiver. This new spike detection algorithm differs from existing algorithms by achieving better detection rate while using less material resources and processing time. A third device incorporating the detection and compression algorithms was designed. This device is the only optogenetic wireless system including 32 optical stimulation channels and 32 electrophysiological recording channels in parallel. This new system has the ability to compress the neural signals using a new wavelet compression technique that significantly increase the number of channels under observation without increasing the consumption of the wireless transceiver. In particular, this new compression technique differs from the existing wavelet based compression methods by achieving better compression ratio while allowing to reconstruct the compressed signals with better quality. At the time of writing this thesis, these are the first three devices that offer simultaneous multichannel optical stimulation, multichannel electrophysiological signals recording and on-the-fly spike detection. The resulting systems are more compact and lightweight than previous systems, making these devices essentials to conduct long term experiments on the brains of small freely moving animals. The three systems were validated within in vivo experiments using transgenic mice at the Centre de Recherche de l’Institut Universitaire en Santé Mentale de Québec (CRIUSMQ).

Les convertisseurs de longueur d’onde sont essentiels pour la réalisation de réseaux de communications optiques à routage en longueur d’onde. Dans la littérature, les convertisseurs de longueur d’onde basés sur le mélange à quatre ondes dans les amplificateurs optiques à semi-conducteur constituent une solution extrêmement intéressante, et ce, en raison de leurs nombreuses caractéristiques nécessaires à l’implémentation de tels réseaux de communications. Avec l’émergence des systèmes commerciaux de détection cohérente, ainsi qu’avec les récentes avancées dans le domaine du traitement de signal numérique, il est impératif d’évaluer la performance des convertisseurs de longueur d’onde, et ce, dans le contexte des formats de modulation avancés. Les objectifs de cette thèse sont : 1) d’étudier la faisabilité des convertisseurs de longueur d’onde basés sur le mélange à quatre ondes dans les amplificateurs optiques à semi-conducteur pour les formats de modulation avancés et 2) de proposer une technique basée sur le traitement de signal numérique afin d’améliorer leur performance. En premier lieu, une étude expérimentale de la conversion de longueur d’onde de formats de modulation d’amplitude en quadrature (quadrature amplitude modulation - QAM) est réalisée. En particulier, la conversion de longueur d’onde de signaux 16-QAM à 16 Gbaud et 64-QAM à 5 Gbaud dans un amplificateur optique à semi-conducteur commercial est réalisée sur toute la bande C. Les résultats démontrent qu’en raison des distorsions non-linéaires induites sur le signal converti, le point d’opération optimal du convertisseur de longueur d’onde est différent de celui obtenu lors de la conversion de longueur d’onde de formats de modulation en intensité. En effet, dans le contexte des formats de modulation avancés, c’est le compromis entre la puissance du signal converti et les non-linéarités induites qui détermine le point d’opération optimal du convertisseur de longueur d’onde. Les récepteurs cohérents permettent l’utilisation de techniques de traitement de signal numérique afin de compenser la détérioration du signal transmis suite à sa détection. Afin de mettre à profit les nouvelles possibilités offertes par le traitement de signal numérique, une technique numérique de post-compensation des distorsions induites sur le signal converti, basée sur une analyse petit-signal des équations gouvernant la dynamique du gain à l’intérieur des amplificateurs optiques à semi-conducteur, est développée. L’efficacité de cette technique est démontrée à l’aide de simulations numériques et de mesures expérimentales de conversion de longueur d’onde de signaux 16-QAM à 10 Gbaud et 64-QAM à 5 Gbaud. Cette méthode permet d’améliorer de façon significative les performances du convertisseur de longueur d’onde, et ce, principalement pour les formats de modulation avancés d’ordre supérieur tel que 64-QAM. Finalement, une étude expérimentale exhaustive de la technique de post-compensation des distorsions induites sur le signal converti est effectuée pour des signaux 64-QAM. Les résultats démontrent que, même en présence d’un signal à bruité à l’entrée du convertisseur de longueur d’onde, la technique proposée améliore toujours la qualité du signal reçu. De plus, une étude du point d’opération optimal du convertisseur de longueur d’onde est effectuée et démontre que celui-ci varie en fonction des pertes optiques suivant la conversion de longueur d’onde. Dans un réseau de communication optique à routage en longueur d’onde, le signal est susceptible de passer par plusieurs étages de conversion de longueur d’onde. Pour cette raison, l’efficacité de la technique de post-compensation est démontrée, et ce pour la première fois dans la littérature, pour deux étages successifs de conversion de longueur d’onde de signaux 64-QAM à 5 Gbaud. Les résultats de cette thèse montrent que les convertisseurs de longueur d’ondes basés sur le mélange à quatre ondes dans les amplificateurs optiques à semi-conducteur, utilisés en conjonction avec des techniques de traitement de signal numérique, constituent une technologie extrêmement prometteuse pour les réseaux de communications optiques modernes à routage en longueur d’onde. / Wavelength converters are essential building blocks of future all-optical wavelength-routed optical networks. Wavelength converters based on four-wave mixing in semiconductor optical amplifiers have been proposed since they possess many of the features required for the implementation of such networks. In the literature, they have been extensively studied in the context of direct detection optical communication systems. With the recent emergence of commercial coherent systems together with the advances in digital signal processing, there is an imperative need to study the performance of wavelength converters for advanced modulation formats. The objective of this thesis is to investigate the feasibility of wavelength converters based on four-wave mixing in semiconductor optical amplifiers for advanced modulation formats and subsequently propose a digital signal processing technique that aims to improve their performance. An experimental investigation of m-ary quadrature amplitude modulation (QAM) wavelength conversion is first performed. In particular, wideband wavelength conversion of 10 Gbaud 16-QAM and, for the first time, 5 Gbaud 64-QAM signals is successfully achieved over the whole C-band using a commercial semiconductor optical amplifier. The results show that the induced nonlinear distortions on the wavelength converted signal lead to a different optimal wavelength converter operating condition compared to wavelength conversion of intensity modulation formats. For wavelength conversion of advanced modulation formats, the tradeoff between the wavelength converted signal power and the nonlinearities dictates the optimal wavelength converters operating condition. The digital signal processing capabilities of coherent receivers renders possible the compensation of the signal impairments in the digital domain after detection. Making use of this, a digital post-compensation technique based on a small-signal analysis of the equations governing the gain dynamics of semiconductor optical amplifiers is developed in order to mitigate the nonlinear distortions imposed on the wavelength converted signal. The proof of concept is realized both via numerical simulations and experimental measurements of 10 Gbaud 16-QAM and 5 Gbaud 64-QAM: the post-compensation technique significantly improve the wavelength converter especially in the case of high-order advanced modulation formats such as 64-QAM. Finally, a thorough experimental investigation of the post-compensation technique performance for 5 Gbaud 64-QAM wavelength conversion is done. The results indicate that the signal quality is still improved even in the presence of a noisy signal at the wavelength converter input. Furthermore, it is shown that the optimal wavelength converter operating condition varies upon the amount of optical loss that follows. In a wavelength-routed optical network, the signal will likely pass through multiple wavelength conversion stages. The experimental investigation is extended to cascaded wavelength conversion stages and, for the first time, dual stage wavelength conversion of 5 Gbaud 64-QAM signal is performed. In this context, the proposed post-compensation technique still successfully improves the wavelength converter performance. The results of this thesis strongly suggest that wavelength converters based on four-wave mixing in semiconductor optical amplifiers, together with the use of digital signal processing techniques, is a promising candidate for advanced modulation formats wavelength conversion in future wavelength routed optical networks.

Les communications optiques basées sur la photonique sur silicium (SiP) sont au centre des récents efforts de recherche pour le développement des futures technologies de réseaux optiques à haut débit. Dans cette thèse, nous étudions le traitement numérique du signal (DSP) pour pallier aux limites physiques des modulateurs Mach-Zehnder sur silicium (MZM) opérés à haut débit et exploitant des formats de modulation avancés utilisant la détection cohérente. Dans le premier chapitre, nous présentons une nouvelle méthode de précompensation adaptative appelée contrôle d’apprentissage itératif par gain (G-ILC, aussi utilisé en linéarisation d’amplificateurs RF) permettant de compenser les distorsions non-linéaires. L’adaptation de la méthode G-ILC et la précompensation numérique linéaire sont accomplies par une procédure « hardware-in-the-loop » en quasi-temps réel. Nous examinons différents ordres de modulation d’amplitude en quadrature (QAM) de 16QAM à 256QAM avec des taux de symboles de 20 à 60 Gbaud. De plus, nous combinons les précompensations numériques et optiques pour contrevenir surmonter les limitations de bande-passante du système en régime de transmission haut débit. Dans le second chapitre, inspiré par les faibles taux de symbole du G-ILC, nous augmentons la vitesse de transmission au-delà de la limite de bande-passante du système SiP. Pour la première fois, nous démontrons expérimentalement un record de 100 Gbaud par 16QAM et 32QAM en transmission consécutive avec polarisation mixte. L’optimisation est réalisée sur le point d’opération du MZM et sur la DSP. Les performances du G-ILC sont améliorées par égalisation linéaire à entrées/sorties multiples (MIMO). Nous combinons aussi notre précompensation non-linéaire innovante avec une post-compensation. Par émulation de la polarisation mixte, nous réalisons un taux net de 833 Gb/s avec 32QAM au seuil de correction d’erreur (FEC) pour une expansion en largeur de bande de 20% et 747 Gb/s avec 16QAM (une expansion en largeur de bande de 7% du FEC). Dans le troisième chapitre, nous démontrons expérimentalement un algorithme de précompensation numérique basé sur une table de consultation (LUT) unidimensionnelle pour compenser les non-linéarités introduites à l’émetteur, e.g. réponse en fréquence non-linéaire du MZM en silicium, conversion numérique-analogique et amplificateur RF. L’évaluation est réalisée sur un QAM d’ordre élevé, i.e. 128QAM et 256QAM. Nous examinons la diminution en complexité de la LUT et son impact sur la performance. Finalement, nous examinons la généralisation de la méthode de précompensation proposée pour des jeux de données différents des données d’apprentissage de la table de consultation. / Optical communications based on silicon photonics (SiP) have become a focus of the recent research for future high speed optical network technologies. In this thesis, we investigate digital signal processing (DSP) approaches to combat the physical limits of SiP Mach-Zehnder modulators (MZM) driven at high baud rates and exploiting advanced modulation formats with coherent detection. In the first section, we present a novel adaptive pre-compensation method known as gain based iterative learning control (G-ILC, previously used in RF amplifier linearization) to overcome nonlinear distortions. We experimentally evaluate the G-ILC technique. Adaptation of the G-ILC, in combination with linear digital pre-compensation, is accomplished with a quasireal- time hardware-in-the-loop procedure. We examine various orders of quadrature amplitude modulation (QAM), i.e., 16QAM to 256QAM, and symbol rates, i.e., 20 to 60 Gbaud. Furthermore, we exploit joint digital and optical linear pre-compensation to overcome the bandwidth limitation of the system in the higher baud rate regime. In the second section, inspired by lower symbol rate G-ILC results, we push the baud rate beyond the bandwidth limit of the SiP system. For the first time, we experimentally report record-breaking 16QAM and 32QAM at 100 Gbaud in dual polarization back-to-back transmission. The optimization is performed on both MZM operating point and DSP. The G-ILC performance is improved by employing linear multiple input multiple output (MIMO) equalization during the adaptation. We combine our innovative nonlinear pre-compensation with post-compensation as well. Via dual polarization emulation, we achieve a net rate of 833 Gb/s with 32QAM at the forward error correction (FEC) threshold for 20% overhead and 747 Gb/s with 16QAM (7% FEC overhead). In the third section, we experimentally present a digital pre-compensation algorithm based on a one-dimensional lookup table (LUT) to compensate the nonlinearity introduced at the transmitter, e.g., nonlinear frequency response of the SiP MZM, digital to analog converter and RF amplifier. The evaluation is performed on higher order QAM, i.e., 128QAM and 256QAM. We examine reduction of LUT complexity and its impact on performance. Finally, we examine the generalization of the proposed pre-compensation method to data sets other than the original training set for the LUT.