La demande future de bande passante pour les données dépassera les capacités des systèmes de communication optique actuels, qui approchent de leurs limites en raison des limitations de la bande passante électrique des composants de l’émetteur. L’interférence intersymbole (ISI) due à cette limitation de bande est le principal facteur de dégradation pour atteindre des débits de données élevés. Dans ce mémoire, nous étudions plusieurs techniques de réseaux neuronaux (NN) pour combattre les limites physiques des composants de l’émetteur pilotés à des débits de données élevés et exploitant les formats de modulation avancés avec une détection cohérente. Notre objectif principal avec les NN comme égaliseurs de canaux ISI est de surmonter les limites des récepteurs optimaux conventionnels, en fournissant une complexité évolutive moindre et une solution quasi optimale. Nous proposons une nouvelle architecture bidirectionnelle profonde de mémoire à long terme (BiLSTM), qui est efficace pour atténuer les graves problèmes d’ISI causés par les composants à bande limitée. Pour la première fois, nous démontrons par simulation que notre BiLSTM profonde proposée atteint le même taux d’erreur sur les bits(TEB) qu’un estimateur de séquence à maximum de vraisemblance (MLSE) optimal pour la modulation MDPQ. Les NN étant des modèles pilotés par les données, leurs performances dépendent fortement de la qualité des données d’entrée. Nous démontrons comment les performances du BiLSTM profond réalisable se dégradent avec l’augmentation de l’ordre de modulation. Nous examinons également l’impact de la sévérité de l’ISI et de la longueur de la mémoire du canal sur les performances de la BiLSTM profonde. Nous étudions les performances de divers canaux synthétiques à bande limitée ainsi qu’un canal optique mesuré à 100 Gbaud en utilisant un modulateur photonique au silicium (SiP) de 35 GHz. La gravité ISI de ces canaux est quantifiée grâce à une nouvelle vue graphique des performances basée sur les écarts de performance de base entre les solutions optimales linéaires et non linéaires classiques. Aux ordres QAM supérieurs à la QPSK, nous quantifions l’écart de performance BiLSTM profond par rapport à la MLSE optimale à mesure que la sévérité ISI augmente. Alors qu’elle s’approche des performances optimales de la MLSE à 8QAM et 16QAM avec une pénalité, elle est capable de dépasser largement la solution optimale linéaire à 32QAM. Plus important encore, l’avantage de l’utilisation de modèles d’auto-apprentissage comme les NN est leur capacité à apprendre le canal pendant la formation, alors que la MLSE optimale nécessite des informations précises sur l’état du canal. / The future demand for the data bandwidth will surpass the capabilities of current optical communication systems, which are approaching their limits due to the electrical bandwidth limitations of the transmitter components. Inter-symbol interference (ISI) due to this band limitation is the major degradation factor to achieve high data rates. In this thesis, we investigate several neural network (NN) techniques to combat the physical limits of the transmitter components driven at high data rates and exploiting the advanced modulation formats with coherent detection. Our main focus with NNs as ISI channel equalizers is to overcome the limitations of conventional optimal receivers, by providing lower scalable complexity and near optimal solution. We propose a novel deep bidirectional long short-term memory (BiLSTM) architecture, that is effective in mitigating severe ISI caused by bandlimited components. For the first time, we demonstrate via simulation that our proposed deep BiLSTM achieves the same bit error rate (BER) performance as an optimal maximum likelihood sequence estimator (MLSE) for QPSK modulation. The NNs being data-driven models, their performance acutely depends on input data quality. We demonstrate how the achievable deep BiLSTM performance degrades with the increase in modulation order. We also examine the impact of ISI severity and channel memory length on deep BiLSTM performance. We investigate the performances of various synthetic band-limited channels along with a measured optical channel at 100 Gbaud using a 35 GHz silicon photonic(SiP) modulator. The ISI severity of these channels is quantified with a new graphical view of performance based on the baseline performance gaps between conventional linear and nonlinear optimal solutions. At QAM orders above QPSK, we quantify deep BiLSTM performance deviation from the optimal MLSE as ISI severity increases. While deep BiLSTM approaches the optimal MLSE performance at 8QAM and 16QAM with a penalty, it is able to greatly surpass the linear optimal solution at 32QAM. More importantly, the advantage of using self learning models like NNs is their ability to learn the channel during the training, while the optimal MLSE requires accurate channel state information.