Partant du constat que dans plus en plus d'applications, la taille des données à traiter augmente, il semble pertinent d'utiliser des outils appropriés tels que la théorie des matrices aléatoires dans le régime en grandes dimensions. Plus particulièrement, dans les applications de traitement d'antenne et radar spécifiques STAP et MIMO-STAP, nous nous sommes intéressés au traitement d'un signal d'intérêt corrompu par un bruit additif composé d'une partie dite rang faible et d'un bruit blanc gaussien. Ainsi l'objet de cette thèse est d'étudier dans le régime en grandes dimensions la détection et le filtrage dit rang faible (fonction de projecteurs) pour le traitement d'antenne en utilisant la théorie des matrices aléatoires.La thèse propose alors trois contributions principales, dans le cadre de l'analyse asymptotique de fonctionnelles de projecteurs. Ainsi, premièrement, le régime en grandes dimensions permet ici de déterminer une approximation/prédiction des performances théoriques non asymptotiques, plus précise que ce qui existe actuellement en régime asymptotique classique (le nombre de données d'estimation tends vers l'infini à taille des données fixe). Deuxièmement, deux nouveaux filtres et deux nouveaux détecteurs adaptatifs rang faible ont été proposés et il a été montré qu'ils présentaient de meilleures performances en fonction des paramètres du système en terme de perte en RSB, probabilité de fausse alarme et probabilité de détection. Enfin, les résultats ont été validés sur une application de brouillage, puis appliqués aux traitements radar STAP et MIMO-STAP sparse. L'étude a alors mis en évidence une différence notable avec l'application de brouillage liée aux modèles de matrice de covariance traités dans cette thèse. / Nowadays, more and more applications deal with increasing dimensions. Thus, it seems relevant to exploit the appropriated tools as the random matrix theory in the large dimensional regime. More particularly, in the specific array processing applications as the STAP and MIMO-STAP radar applications, we were interested in the treatment of a signal of interest corrupted by an additive noise composed of a low rang noise and a white Gaussian. Therefore, the aim of this thesis is to study the low rank filtering and detection (function of projectors) in the large dimensional regime for array processing with random matrix theory tools.This thesis has three main contributions in the context of asymptotic analysis of projector functionals. Thus, the large dimensional regime first allows to determine an approximation/prediction of theoretical non asymptotic performance, much more precise than the literature in the classical asymptotic regime (when the number of estimation data tends to infinity at a fixed dimension). Secondly, two new low rank adaptive filters and detectors have been proposed and it has been shown that they have better performance as a function of the system parameters, in terms of SINR loss, false alarm probability and detection probability. Finally, the results have been validated on a jamming application and have been secondly applied to the STAP and sparse MIMO-STAP processings. Hence, the study highlighted a noticeable difference with the jamming application, related to the covariance matrix models concerned by this thesis.