Il existe une grande quantité de méthodes numériques adaptées d’une part à la modélisation, et d'autre part à la résolution des équations de Maxwell. En particulier, la méthode des éléments nis de frontière (BEM), ou méthode des Moments (MoM), semble appropriée pour la mise en équation des phénomènes de diffraction par des objets parfaitement conducteurs, en limitant le cadre de l'étude à la frontière entre l'objet diffractant et le milieu extérieur. Cette méthode mène systématiquement à la résolution d’un système linéaire dense, que nous parvenons à compresser en l'approchant numériquement par une matrice hiérarchique creuse, appelée H-matrice. Cette approximation peut être complétée d'une ré-agglomération permettant d'améliorer la sparsité de la H-matrice et ainsi d'optimiser davantage la résolution du système traité. La hiérarchisation du système s'effectue en considérant la matrice traitée par blocs, que l'on peut ou non compresser selon une condition d'admissibilité. L'Approximation en Croix Adaptative (ACA) ou l'Approximation en Croix Hybride (HCA) sont deux méthodes de compression que l'on peut alors appliquer aux blocs admissibles. Il existe une grande quantité de méthodes numériques adaptées d’une part à la modélisation, et d'autre part à la résolution des équations de Maxwell. En particulier, la méthode des éléments finis de frontière (BEM), ou méthode des Moments (MoM), semble appropriée pour la mise en équation des phénomènes de diffraction par des objets parfaitement conducteurs, en limitant le cadre de l'étude à la frontière entre l'objet diffractant et le milieu extérieur. Cette méthode mène systématiquement à la résolution d’un système linéaire dense, que nous parvenons à compresser en l'approchant numériquement par une matrice hiérarchique creuse, appelée H-matrice. Cette approximation peut être complétée d'une ré-agglomération permettant d'améliorer la sparsité de la H-matrice et ainsi d'optimiser davantage la résolution du système traité. La hiérarchisation du système s'effectue en considérant la matrice traitée par blocs, que l'on peut ou non compresser selon une condition d'admissibilité. L'Approximation en Croix Adaptative (ACA) ou l'Approximation en Croix Hybride (HCA) sont deux méthodes de compression que l'on peut alors appliquer aux blocs admissibles. Le travail de cette thèse consiste dans un premier temps à valider le format H-matrice en 2D et en 3D en utilisant l'ACA, puis d'y appliquer la méthode HCA, encore peu exploitée. Nous pouvons alors résoudre le système linéaire issu de la BEM en utilisant différents solveurs, directs ou non, adaptés au format hiérarchique. En particulier, nous pourrons constater l'efficacité du préconditionnement LU hiérarchique sur un solveur itératif. Nous pourrons alors appliquer ce formalisme au cas des surfaces rugueuses ou encore des fibres à cristaux photoniques (PCF). Il sera également possible de paralléliser certaines opérations sur architecture partagée afin de réduire de nouveau le coût temporel de la résolution. / A lot of numerical methods are available for the modelization as well as the solution of the Maxwell's equations. In particular the boundary element method (BEM), also known as Method of Moments (MoM), seems appropriate to put in equation the scattering problems by perfectly conducting objects, by restricting the study to the frontier between the diffracting object and its surrounding. This method automatically leads to a dense linear system which we are able to compress, numerically approaching it by a hierarchical sparse matrix, called H-matrix. This approximation can be completed with a coarsening which enhance the sparsity of the H -matrix and thus optimizes again the solution of the concerned system. The hierarchization of the system is done considering the concerned matrix by its blocks, which can or cannot be compressed according to an admissibility condition. The Adaptive Cross Approximation (ACA) or the Hybrid Cross Approximation (HCA) are among the possible compression methods available to compress the admissible blocks. This PhD thesis first focuses on the validation of the H-matrix format both in 2D and 3D using the ACA. We then apply to this format the HCA method, which is still quite unmined. Thus we can solve the linear system coming from the BEM using different direct and iterative solution methods which are adapted to suit the hierarchical format. In particular, we will observe the efficiency of the hierarchical LU preconditionning used to enhance an iterative solver. Thus we will be able to apply this formalism on cases such as rough surfaces or photonic crystal fibers (PCF). It will also be possible to make some operations parallel in order to further reduce the time cost of the solution.