La théorie des matrices aléatoires présente un ensemble d'outils mathématiques efficaces pour l'étude de performances des systèmes de communications numériques. L'objectif de cette thèse est de développer des résultats analytiques basés sur la théorie des matrices aléatoires pour étudier les fluctuations de quelques indices de performances pour les systèmes de communications sans fil. Nous étudions dans un premier temps, les fluctuations de formes quadratiques aléatoires. Basés sur l'approche REFORM, nous montrons les fluctuations gaussiennes des formes quadratiques associées à des matrices aléatoires. De point de vue applicatif, le SINR (rapport signal sur bruit), indice de performance mesuré à la sortie d'un récepteur linéaire de Wiener, peut être modélisé sous forme de formes quadratiques aléatoires. Nous nous intéressons également à l'établissement d'un théorème central limit pour une fonctionnelle spectrale de matrices de Gram pour un modèle de matrices dont les entrées sont indépendantes non centrées et non identiquement distribuées. Sur le plan applicatif, cette fonctionnelle modélise la capacité d'un canal de transmission dans le cadre des systèmes de transmission multi-antennes.