La demande future de bande passante pour les données dépassera les capacités des systèmes de communication optique actuels, qui approchent de leurs limites en raison des limitations de la bande passante électrique des composants de l’émetteur. L’interférence intersymbole (ISI) due à cette limitation de bande est le principal facteur de dégradation pour atteindre des débits de données élevés. Dans ce mémoire, nous étudions plusieurs techniques de réseaux neuronaux (NN) pour combattre les limites physiques des composants de l’émetteur pilotés à des débits de données élevés et exploitant les formats de modulation avancés avec une détection cohérente. Notre objectif principal avec les NN comme égaliseurs de canaux ISI est de surmonter les limites des récepteurs optimaux conventionnels, en fournissant une complexité évolutive moindre et une solution quasi optimale. Nous proposons une nouvelle architecture bidirectionnelle profonde de mémoire à long terme (BiLSTM), qui est efficace pour atténuer les graves problèmes d’ISI causés par les composants à bande limitée. Pour la première fois, nous démontrons par simulation que notre BiLSTM profonde proposée atteint le même taux d’erreur sur les bits(TEB) qu’un estimateur de séquence à maximum de vraisemblance (MLSE) optimal pour la modulation MDPQ. Les NN étant des modèles pilotés par les données, leurs performances dépendent fortement de la qualité des données d’entrée. Nous démontrons comment les performances du BiLSTM profond réalisable se dégradent avec l’augmentation de l’ordre de modulation. Nous examinons également l’impact de la sévérité de l’ISI et de la longueur de la mémoire du canal sur les performances de la BiLSTM profonde. Nous étudions les performances de divers canaux synthétiques à bande limitée ainsi qu’un canal optique mesuré à 100 Gbaud en utilisant un modulateur photonique au silicium (SiP) de 35 GHz. La gravité ISI de ces canaux est quantifiée grâce à une nouvelle vue graphique des performances basée sur les écarts de performance de base entre les solutions optimales linéaires et non linéaires classiques. Aux ordres QAM supérieurs à la QPSK, nous quantifions l’écart de performance BiLSTM profond par rapport à la MLSE optimale à mesure que la sévérité ISI augmente. Alors qu’elle s’approche des performances optimales de la MLSE à 8QAM et 16QAM avec une pénalité, elle est capable de dépasser largement la solution optimale linéaire à 32QAM. Plus important encore, l’avantage de l’utilisation de modèles d’auto-apprentissage comme les NN est leur capacité à apprendre le canal pendant la formation, alors que la MLSE optimale nécessite des informations précises sur l’état du canal. / The future demand for the data bandwidth will surpass the capabilities of current optical communication systems, which are approaching their limits due to the electrical bandwidth limitations of the transmitter components. Inter-symbol interference (ISI) due to this band limitation is the major degradation factor to achieve high data rates. In this thesis, we investigate several neural network (NN) techniques to combat the physical limits of the transmitter components driven at high data rates and exploiting the advanced modulation formats with coherent detection. Our main focus with NNs as ISI channel equalizers is to overcome the limitations of conventional optimal receivers, by providing lower scalable complexity and near optimal solution. We propose a novel deep bidirectional long short-term memory (BiLSTM) architecture, that is effective in mitigating severe ISI caused by bandlimited components. For the first time, we demonstrate via simulation that our proposed deep BiLSTM achieves the same bit error rate (BER) performance as an optimal maximum likelihood sequence estimator (MLSE) for QPSK modulation. The NNs being data-driven models, their performance acutely depends on input data quality. We demonstrate how the achievable deep BiLSTM performance degrades with the increase in modulation order. We also examine the impact of ISI severity and channel memory length on deep BiLSTM performance. We investigate the performances of various synthetic band-limited channels along with a measured optical channel at 100 Gbaud using a 35 GHz silicon photonic(SiP) modulator. The ISI severity of these channels is quantified with a new graphical view of performance based on the baseline performance gaps between conventional linear and nonlinear optimal solutions. At QAM orders above QPSK, we quantify deep BiLSTM performance deviation from the optimal MLSE as ISI severity increases. While deep BiLSTM approaches the optimal MLSE performance at 8QAM and 16QAM with a penalty, it is able to greatly surpass the linear optimal solution at 32QAM. More importantly, the advantage of using self learning models like NNs is their ability to learn the channel during the training, while the optimal MLSE requires accurate channel state information.

Tableau d'honneur de la Faculté des études supérieures et postdoctorales, 2006-2007 / Nous étudions à travers ce travail de recherche les méthodes d'égalisation entraînée et aveugle dans les canaux de communications sélectifs en fréquence invariants et variants dans le temps. Ces méthodes d'égalisation trouvent leur place dans un grand nombre d'applications telles que les télécommunications sans fil, le traitement de la parole, etc. L'objectif de l'égalisation entraînée est d'identifier les données émises à partir des observations issues de l'antenne et des séquences d'apprentissage préalablement connues par le récepteur. Alors que l'égalisation aveugle consiste à identifier les données émises uniquement à partir des observations issues de l'antenne. Les méthodes aveugles n'ont donc connaissance a priori ni des signaux émis ni du canal de transmission. Dans le cadre de notre recherche, nous proposons trois modèles d'égalisation : deux modèles autodidactes (sans séquence d'apprentissage) pour l'égalisation dans les canaux sélectifs en fréquence et invariants, et un modèle entraîné (avec séquence d'apprentissage) pour l'égalisation dans les canaux sélectifs en fréquence et variants dans le temps. / In this research work, we study the blind and trained equalization methods over stationary and time varying frequency selective channels. These equalization methods find their place in a large number of applications such as wireless Systems, speech processing, etc. The objective of trained equalization is to identify the transmitted data from the received signals and from training sequences known beforehand by the receiver, whereas blind equalization identifies the transmitted data only from the received signals. Blind methods do not have a prior information about transmitted signals, nor the channel. Within the framework of our research, we propose three equalization models : two blind models (without training sequence) for the equalization over stationary frequency selective channels, and a trained model (with a training sequence) for the equalization over time varying frequency selective channels.

De nos jours, certaines applications multimédias embarquées tel que la visiophonie, l'internet à haut débit, etc., de par leur limitations en capacitée dues aux efets introduits par les canaux de transmission, requierent des traitements numériques ecaces des signaux recus. La turbo detection semble prometteuse pour ce genre de demande. Elle permet d'exploiter la totalitée de l'information mise à la disposition du récepteur. Cependant, ses performances pour des canaux fortement dégrades, dependent largement de l'estimation des paramètres du milieu de transmission. Sa complexité calculatoire est liée aux modules échangeant les informations extrinseques. Dans ce contexte, cette thèse cible la conception et l'analyse des récepteurs iteratifs de faible complexitée destinées à la transmission des symboles codés dans les canaux de Rayleigh multi trajets à évanouissements rapides, inconnus au récepteur. Nous nous interessons dans la première partie de la thèse à la turbo égalisation dans le contexte mono usager : nous proposons et analysons une architecture iterative de faible complexité, intégrant l'égalisation, le décodage et l'estimation de la réponse impulsionnelle du canal et ses statistiques. Grâce à des outils semi analytiques, nous expliquons l'in- uence des paramètres du milieu de propagation sur le turbo détecteur et justions le choix des modules realisant le meilleur compromis complexite/performances. D'autre part, nous demontrons que l'architecture proposee s'adapte bien aux milieux severement perturbes dont la reponse impulsionnelle et les statistiques sont inconnues au recepteur. Dans la seconde partie, nos travaux de recherche portent sur la turbo detection multi usagers pour une liaison montante d'un systeme DS-CDMA asynchrone. Nous etudions deux situations. Dans la premiere, le recepteur est equipe d'une seule antenne. Nous proposons et evaluons une architecture iterative constituee de modules de faible complexit e, joignant la detection multi usagers, le decodage et l'estimation des canaux de transmission. Quant a la deuxieme situation, nous exploitons le principe de diversite d'antennes en reception et etendons les modules de l'architecture proposee au contexte multi antennes. Nous demontrons par simulation que l'architecture proposee permet d'eradiquer les interferences occasionnees par les milieux de propagation sans augmenter de maniere significative le rapport signal a bruit. / Beyond their capacity limitations due to the transmission channels efects, nowadays, some embarked multimedia applications such as video telephony, broadband internet, etc., require ecient digital processing of the received signals. Turbo detection is a promising method to address these requirements. It allows exploiting all the available information at the receiver. However, its performance for the severe channels is highly dependent on the transmission parameter estimation. Its computational complexity is mainly due to the SISO modules. In this context, this thesis study the design and analysis of low complexity iterative receiver for the coded symbols over unknown fast fading multipath Rayleigh channels. In the first part of the thesis, we investigate the SISO turbo equalization for single user : we propose and analyze an iterative low complexity architecture, including equalization, decoding and channel estimation with its statistics. Using semi analytical tools, we explain the propagation efect on the turbo equalizer and justify the choice of modules realizing the best complexity/performance compromise. Furthermore, we demonstrate that the proposed architecture is efective in severe channel conditions where the impulse response and statistics are unknown to the receiver. In the second part, our research focuses on multi-user turbo detection for uplink asynchronous DS-CDMA systems. Two situations are considered. For the first one, the receiver has a single antenna. We propose and evaluate an iterative architecture involving lower complexity modules, handling multi-user detection, decoding and channels estimation. As for the second situation, we use the receiver diversity principle and we extend the proposed architecture modules to the multi antennas context. Simulation results showed that the proposed architecture eliminate almost all the interference caused by the channel without increasing significantly the required signal to noise ratio.

L'interférence inter-symboles (ISI) représente un des obstacles majeurs à l'obtention de communications numériques fiables. Sauf pour le cas particulier des systèmes de signalisation à réponse partielle, le taux ISI doit être réduit le plus possible pour obtenir les communications numériques les plus fiables possibles. Pour les communications numériques à large bande , une des techniques les plus utilisées pour minimiser le taux ISI est l'égalisation. Les égalisateurs décisionnels à contre-réaction (DFE) sont parmi les structures les plus fréquemment utilisées, à cause de leur simplicité et de leur bonne performance. Cette thèse s'attaque au problème de la diminution de la propagation des erreurs dans un egalisateur décisionnel à contre réaction basé sur l'erreur quadratique moyenne (MMSE-DFE). Les DFE constituent une part importante des communications numériques modernes. De façon à réduire la propagation des erreurs dans les DFE, ce qui est de fait la limitation la plus importante de ceux-ci, un modèle basé sur l'erreur quadratique moyenne (MSE) est proposé. En s'appuyant sur ce nouveau modèle, les pondérations des filtres DFE, les éminceurs d'effacement (erasure slicer) et les éminceurs souples (soft slicer) peuvent être optimisés. Après une analyse théorique, on procède aux simulations numériques de ces modèles. Ces derniers sont relativement simples à implanter, ce qui contraste avec les modèles traditionnels basés sur les chaînes de Markov. Simultanément, on obtient une précision de prédiction qui se compare très avantageusement à celle obtenue avec les critères conventionnels basés sur l'erreur quadratique moyenne. On constate que l'éminceur souple optimal obtenu excède celui obtenu par l'optimisation conjointe DFE des pondérations et un éminceur à effacement. Les filtres de pondération DFE avec un éminceur optimal souple peuvent être considérés comme un sytème MMSE DFE vrai. La seconde contribution de ce travail de thèse consiste en une nouvelle forme de codage qui interagit avec la propagation des erreurs dans un DFE pour les modulations d'ordre supérieur. Les bits redondantes dans le diagramme d'éparpillement de la nouvelle modulation obtenue augmentent de façon dramatique l'immunité à la propagation des erreurs pour les symboles ayant le même niveau moyen d'énergie. De plus, la méthode proposée n'introduit pas de délais de décodage additionnels et la robustesse à la propagation des erreurs est néanmoins maintenue, même lorsque les pondérations de contre-réaction sont grandes par rapport à celles d'un DFE conventionnel. Globalement, cette thèse explore plusieurs moyens pour combattre la propagation des erreurs dans les DFE. Cette propagation est difficile à analyser surtout à cause de la non-linéarité de l'éminceur dans la boucle de contre réaction. Notre étude démontre que l'introduction de la propagation des erreurs dans le modèle du DFE-MSE conduit à une meilleure optimisation du DFE. L'approximation statistique du bruit et de l'ISI avant l'éminceur s'avère très appropriée pour la simulation numérique. Des connaissances additionnelles sur l'utilisation des DFE dans les canaux large bande ont également été obtenues. Un élément fondamental de nos travaux est la démonstration de l'exigence cyclique en transmission pour les égalisateurs à porteuse unique dans le domaine de la fréquence (SC-FDE). Bien que le traitement du signal en milieu fréquentiel soit largement accepté comme technique pour réduire les efforts de calcul requis, l'analyse théorique et la sirnulation révèlent qu'il y a également un autre avantage au traitement dans le domaine des fréquences. En effet, on montre que lorsque la réponse impulsionnelle du canal est plus longue que le préfixe cyclique du SC-FDE, un traitement dans le domaine fréquentiel amène une meilleure fidélité du signal qu'un traitement dans le temps. On a également regardé l'effet de la limitation de la largeur de bande pour un SC-FDE. Les résultats obtenus montrent qu'il existe une diversité de fréquences aux deux extrémités des secteurs des FFT. Ceci peut amener des idées directrices pour la réalisation physique des SC-FDE, particulièrement pour tenir compte du fait que les caractéristiques des secteurs de FFT requièrent des algorithmes différents pour un canal soumis à l'évanouissement.