Dans cette thèse, nous avons utilisé la théorie des matrices et les propriétés d'algèbre linéaire pour concevoir de nouveaux précodeurs MIMO basés sur la distance euclidienne minimale (max-dmin) entre les points des constellations reçues. A cause de la grande complexité de résolution engendrée par le nombre d'antennes et le nombre de symboles dans la constellation utilisée, ce type de précodeur n'existait auparavant que pour 2 voies d'émission et des modulations simples. Nous l'avons dans un premier temps étendu à la modulation MAQ-16, avant de généraliser le concept pour toute modulation MAQ. L'utilisation des fonctions trigonométriques a ensuite permis une nouvelle représentation du canal à l'aide de deux angles, ouvrant la voie à un précodeur dmin pour trois voies de données. Grâce à ce schéma, une extension non-optimale du précodeur max-dmin pour un nombre impair de flux de symboles utilisant des modulations MAQ est obtenue. Lorsqu'une détection par maximum de vraisemblance est utilisée, le nombre de voisins fournissant la distance minimale est également très important pour le calcul du TEB. Pour prendre en compte ce paramètre, un nouveau précodeur, sans rotation possible, est considéré, menant à une expression moins complexe et un espace de solutions restreint. Enfin, une approximation de la distance minimale a été dérivée en maximisant la valeur minimale des éléments diagonaux de la matrice maximisant le RSB. L'avantage majeur de cette conception est que la solution est disponible pour toute modulation MAQ rectangulaire et pour tout nombre de flux de symboles.

Les futurs systèmes de communication mobile sont caractérisés par un déploiement de plus en plus dense de différents types de points d'accès sans fil. Afin d’atténuer les interférences dans ces systèmes, les techniques aux entrées multiples-sorties multiples (MIMO) ainsi que la coopération entre les émetteurs et/ou les récepteurs sont nécessaires. Les systèmes de communication mobile en deviennent plus complexes, ce qui impose une évolution des outils mathématiques permettant leur analyse. Ceux-ci doivent être capables de prendre en compte les caractéristiques les plus importantes du système, telles que l'affaiblissement de propagation, les interférences et l'information imparfaite d'état du canal. Le but de cette thèse est de développer de tels outils basés sur la théorie des grandes matrices aléatoires et de démontrer leur utilité à l'aide de plusieurs applications pratiques, telles que l'analyse des performances des systèmes « network MIMO » et des systèmes MIMO à grande échelle, la conception de détecteurs de faible complexité à expansion polynomiale, l'étude des techniques de précodage unitaire aléatoire, ainsi que l'analyse de canaux à relais multiples et de canaux à double diffusion. En résumé, les méthodes développées dans ce travail fournissent des approximations déterministes de la performance du système qui deviennent exactes en régime asymptotique avec un nombre illimité d'émetteurs et de récepteurs. Cette approche conduit souvent à des approximations de la performance du système étonnamment simples et précises et permet de tirer d’importantes conclusions sur les paramètres les plus pertinents. / Advanced mobile communication systems are characterized by a dense deployment of different types of wireless access points. Since these systems are primarily limited by interference, multiple-input multiple-output (MIMO) techniques as well as coordinated transmission and detection schemes are necessary to mitigate this limitation. Thus, mobile communication systems become more complex which requires that also the mathematical tools for their theoretical analysis must evolve. These must be able to take the most important system characteristics into account, such as fading, path loss, and interference. The aim of this thesis is to develop such tools based on large random matrix theory and to demonstrate their usefulness with the help of several practical applications, such as the performance analysis of network MIMO and large-scale MIMO systems, the design of low-complexity polynomial expansion detectors, and the study of random beamforming techniques as well as multi-hop relay and double-scattering channels. The methods developed in this work provide deterministic approximations of the system performance which become arbitrarily tight in the large system regime with an unlimited number of transmitting and receiving devices. This leads in many cases to simple and close approximations of the finite-size system performance and allows one to draw relevant conclusions about the most significant parameters. One can think of these methods as a way to provide a deterministic abstraction of the physical layer which substantially reduces the system complexity. Due to this complexity reduction, it is possible to carry out a system optimization which would be otherwise intractable.