L'augmentation de l'efficacité spectrale des transmissions mono-porteuses sur un lien de diffusion par satellite est devenu un défi d'envergure afin de pallier la demande croissante en débits de transmission. Si des techniques émergentes de transmissions encouragent l'utilisation de modulations à ordre élevé telles que les modulations de phase et d'amplitude (APSK), certaines dégradations sont encourues lors du traitement à bord du satellite. En effet, en raison de l'utilisation d'amplificateurs de puissance ainsi que de filtres à mémoires, les modulations d'ordre élevé subissent des distorsions non-linéaires dues à la fluctuation de leur enveloppe, ce qui nécessite des traitements au sein de l'émetteur ou bien au sein du récepteur. Dans cette thèse, nous nous intéressons au traitement de l'interférence non-linéaire au sein du récepteur, avec une attention particulière aux égaliseurs itératifs qui améliorent les performances du système au prix d'une complexité élevée. A partir du modèle temporel des interférences non-linéaires induites par l'amplificateur de puissance, des algorithmes de réception optimaux et sous optimaux sont dérivés, et leurs performances comparées. Des égaliseurs à complexité réduite sont aussi étudiés dans le but d'atteindre un compromis performances-complexité satisfaisant. Ensuite, un modèle des non-linéarités est dérivé dans le domaine fréquentiel, et les égaliseurs correspondants sont présentés. Dans un second temps, nous analysons et dérivons des récepteurs itératifs pour l'interférence entre symboles non linéaire. L'objectif est d'optimiser les polynômes de distributions d'un code externe basé sur les codes de contrôle de parité à faible densité (LDPC) afin de coller au mieux à la sortie de l'égaliseur. Le récepteur ainsi optimisé atteint de meilleures performances comparé à un récepteur non optimisé pour le canal non-linéaire. Finalement, nous nous intéressons à une classe spécifique de techniques de transmissions mono-porteuse basée sur le multiplexage par division de fréquence (SC-OFDM) pour les liens satellites. L'avantage de ces formes d'ondes réside dans l'efficacité de leur égaliseur dans le domaine fréquentiel. Des formules analytiques de la densité spectrale de puissance et du rapport signal sur bruit et interférence sont dérivées et utilisées afin de prédire les performances du système. / Increasing both the data rate and power efficiency of single carrier transmissions over broadcast satellite links has become a challenging issue to comply with the urging demand of higher transmission rates. If emerging transmission techniques encourage the use of high order modulations such as Amplitude and Phase Shift Keying (APSK) and Quadrature Amplitude Modulation (QAM), some channel impairments arise due to onboard satellite processing. Indeed, due to satellite transponder Power Amplifiers (PA) as well as transmission filters, high order modulations incur non linear distortions due to their high envelope fluctuations which require specific processing either at the transmitter or at the receiver. In this thesis, we investigate on non linear interference mitigation at the receiver with a special focus on iterative equalizers which dramatically enhance the performance at the cost of additional complexity. Based on the time domain model of the non linear interference induced by the PA, optimal and sub-optimal receiving algorithms are proposed and their performance compared. Low complexity implementations are also investigated for the sake of a better complexity-performance trade-off. Then, a non linear frequency domain model is derived and the corresponding frequency equalizers are investigated. In the second part, we analyse and design an iterative receiver for the non linear Inter Symbol Interference (ISI) channel. The objective is to optimize an outer Low Density Parity Check (LDPC) code distribution polynomials so as to best fit the inner equalizer Extrinsic information. The optimized receiver is shown to achieve better performance compared to a code only optimized for linear ISI channel. Finally, we investigate on a specific class of single carrier transmissions relying on Single Carrier Orthogonal Frequency Division Multiplexing (SCO-FDM) for satellite downlink. The advantage of such waveforms lies in their practical receiver implementation in the frequency domain. General analytical formulas of the power spectral density and signal to noise and interference ratio are derived and used to predict the bit error rate for frequency selective multiplexers.