Le contexte de ces travaux de thèse est la transmission dite faster-than-Nyquist (FTN). Cette technique propose d’augmenter l’efficacité spectrale en augmentant lerythme de transmission au-delà de la bande occupée par le signal émis, indépendamment de laconstellation choisie. Il a été montré que le FTN offre des taux d’information supérieurs à ceuxdes systèmes de Nyquist. Toutefois, le non respect du critère de Nyquist entraîne l’apparitiond’interférence entre symboles et des techniques de réception appropriées doivent être utilisées.La technique de réception dite channel shortening consiste à filtrer la séquence reçue puis àcalculer des probabilités symbole a posteriori approximatives à l’aide de l’algorithme BCJRen considérant une réponse de canal modifiée, de longueur réduite. Dans la littérature, enprésence d’information a priori, les filtres du récepteur channel shortening sont optimiséssous critère de maximisation de l’information mutuelle généralisée (IMG) en utilisant desméthodes numériques. Nous proposons dans ces travaux de thèse une solution analytiquepour l’ensemble des filtres channel shortening sous critère de maximisation de l’IMG lorsquele récepteur dispose d’information a priori. Nous démontrons ensuite que l’égaliseur au sens dela minimisation de l’erreur quadratique moyenne (MMSE) est un cas particulier de l’égaliseurchannel shortening. Dans le cadre de la turbo égalisation, nous étudions ensuite un estimateurpermettant d’obtenir l’information a priori à partir de l’information en sortie du décodeurcorrecteur d’erreurs. Finalement, nous évaluons les performances du système complet aveccodage correcteur d’erreurs sur canal à bruit additif blanc Gaussien. / In order to increase the spectral efficiency of digital communications systems,the faster-than-Nyquist (FTN) approach increases the symbol rate beyond the occupied bandwidthof the transmitted signal independently of the constellation type and size. It has beenshown that information rates of FTN systems are greater than those of Nyquist systems.However, the non-compliance of the Nyquist criterion causes inter-symbol interference to appearand therefore appropriate reception techniques must be used. At reception, the channelshortening approach consists on a receiving filter followed by a BCJR algorithm computingapproximate a posteriori symbol probabilities by considering a modified channel response ofreduced length. In the literature, the channel shortening receiving filters are chosen to maximizethe generalized mutual information (GMI). Such optimization is performed by usingnumerical optimization methods. In this PhD thesis, we propose a closed-form solution forall channel shortening filters considering the GMI maximization criterion. We show that theminimum mean square error (MMSE) equalizer is a particular case of the channel shorteningapproach. Within the frame of turbo equalization, we then study a suitable estimator allowingto obtain symbols a priori information from the information provided by the a decoder. Finally,we study the performance of the complete system with channel coding over an additivewhite Gaussian noise channel.

Depuis le succès croissant des systèmes mobiles au cours des années 1990, les nouvelles technologies sans fil ont été développées afin de répondre à la demande croissante de services multimédias de haute qualité avec des taux d'erreur les plus faibles possibles. Un moyen intéressant pour améliorer les performances et obtenir de meilleurs taux de transmission consiste à combiner l'utilisation de plusieurs diversités avec un accès de multiplexage dans le cadre des systèmes MIMO. L'utilisation de techniques de sur-échantillonnage, d'étalement et de multiplexage, et de diversités supplémentaires conduit à des signaux multidimensionnels, au niveau de la réception, qui satisfont des modèles tensoriels. Cette thèse propose une nouvelle approche tensorielle basée sur un codage spatio-temporel tensoriel (TST) pour les systèmes de communication sans fil MIMO. Les signaux reçus par plusieurs antennes forment un tenseur d'ordre quatre qui satisfait un nouveau modèle tensoriel, modèle PARATUCK-(2,4) (PT-(2,4)). Une analyse de performance est réalisée pour le système TST ainsi que pour un système spatio-temporel-fréquentiel (STF) récemment proposé dans la littérature, avec l'obtention du gain maximum de diversité dans le cas d'un canal à évanouissement plat. Un système de transmission basé sur le codage TST est proposé pour les systèmes MIMO avec plusieurs utilisateurs. Une nouvelle décomposition tensorielle est introduite, appelée PT-(N1,N). Cette thèse établit les conditions d'unicité du modèle PT-(N1,N). À partir de ces résultats, différents récepteurs semi-aveugles sont proposés pour une estimation conjointe des symboles transmis et du canal, pour les systèmes TST et STF. / Since the growing success of mobile systems in the 1990s, new wireless technologies have been developed in order to support a growing demand for high-quality multimedia services with low error rates. An interesting way to improve the error performance and to achieve better transmission rates is to combine the use of various diversities and multiplexing access techniques in the MIMO system context. The incorporation of oversampling, spreading and multiplexing operations and additional diversities on wireless systems lead to multidimensional received signals which naturally satisfy tensor models. This thesis proposes a new tensorial approach based on a tensor space-time (TST) coding for MIMO wireless communication systems. The signals received by multiple antennas form a fourth-order tensor that satisfies a new tensor model, referred to as PARATUCK-(2,4) (PT-(2,4)) model. A performance analysis is carried out for the proposed TST system and a recent space-time-frequency (STF) system, which allows to derive expressions for the maximum diversity gain over a at fading channel. An uplink processing based on the TST coding with allocation resources is proposed. A new tensor decomposition is introduced, the so-called PT-(N1,N), which generalizes the standard PT-2 and our PT-(2,4) model. This thesis establishes uniqueness conditions for the PARATUCK-(N1,N) model. From these results, joint symbol and channel estimation is ensured for the TST and STF systems. Semi-blind receivers are proposed based on the well-known Alternating Least Squares algorithm and the Levenberg-Marquardt method, and also a new receiver based on the Kronecker Least Squares (KLS) for both systems.