L'origine de champs magnétiques observés dans les plasmas de laboratoire et d'astrophysique est l'un des problèmes récurrents en physique des plasmas. À cet égard, les instabilités de type Weibel sont considérées d'une grande importance. Ces instabilités ont pour origine une anisotropie de température (instabilité de Weibel) et des moments des électrons (instabilité de filamentation de courant). L'objectif principal de cette thèse est l'étude théorique et numérique de ces instabilités dans un plasma non collisionnel en régime relativiste. Le premier aspect de ce travail est l'étude du régime non-linéaire de ces instabilités et du rôle des effets cinétiques et relativistes sur la structure des champs électromagnétiques auto-cohérents. Dans ce cadre, un problème essentiel pour les applications et la théorie, concerne l'identification et l'analyse des structures cohérentes développées spontanément dans le régime non-linéaire sur des échelles cinétiques. Un deuxième aspect du travail est le développement de techniques analytiques et numériques pour l'étude des plasmas non collisionnels. Le modèle mathématique de référence, à la base des études des plasmas chauds, est le modèle Vlasov-Maxwell, où l'équation de Vlasov (théorie des champs moyens) est couplée aux équations de Maxwell de façon auto-cohérente. Un modèle unidimensionnel, le modèle multi-faisceaux, a également été introduit durant cette thèse. Basé sur une technique de réduction en dimension, il est à la fois un modèle analytique "simple" présentant l'avantage de pouvoir résoudre une équation de Vlasov 1D pour chaque faisceau de particules, et un modèle numérique moins coûteux qu'un modèle complet / The origin of magnetic fields observed in laboratory and astrophysical plasmas is one ofthe most challenging problems in plasma physics. In this respect, the Weibel type instabilities are considered of key importance. These instabilities are caused by a temperature anisotropy (Weibel instability) and electron momentum (current filamentation instability). The main objective of this thesis is the theoretical and numerical study of these instabilities in a collisionless plasma in the relativistic regime. The first aspect of this work is to study the nonlinear regime of these instabilities and the role of kinetic and relativistic effects on the structure of self-consistent electromagnetic fields. In this context, a key problem for the theory and applications, is the identification and analysis of coherent structures developed spontaneously in the nonlinear regime of kinetic scales. A second aspect of the work is the development of analytical and numerical techniques for the study of collisionless plasmas. A mathematical model of reference is the Vlasov-Maxwell model, where the Vlasov equation (mean field theory) is coupled to the Maxwell equations in a self-consistent way. A one-dimensional model, the multi-stream model, is also introduced. Based on a dimensional reduction technique, it is both an analytical model "simple" having the advantage of being able to solve a 1D Vlasov equation for each particle beam, and a numerical model less expensive than a complete model