C’est dans la course au débit que de nouveaux systèmes de communications sans fil sont proposés aujourd’hui afin de répondre à cette demande. Il n’existe pas de technologie ou de standard unique pour remplacer toutes les autres technologies radio tout en satisfaisant l’ensemble des besoins de services et d’usages. Les futurs systèmes de communications devront donc permettre l’interopérabilité entre les dif- férents standards au niveau européen et mondial. L’émergence des technologies de la radio intelligente constitue aujourd’hui une solution originale et prometteuse pour répondre à ce challenge. Cependant, le déploiement de ces systèmes soulève encore de nombreux défis techniques notamment au niveau des antennes. Ces dernières doivent en particulier être capables de modifier leurs réponses en fréquences ou bien avoir une très large bande tout en minimisant la déformation des formes d’ondes. Elles doivent répondre aux besoins de cohabitation multi-systèmes et de miniaturisation. Or la miniaturisation et la largeur de bande sont limités par des contraintes physiques et les caractéristiques des matériaux les constituant. Les métamatériaux, des composites électromagnétiques artificiels, peuvent permettre la conception d’éléments rayonnants pour la radio intelligente avec un plus grand degré de liberté et à moindre coût. Cependant l’analyse de l’association des métamatériaux à des antennes ou éléments rayonnants n’est pas aisé, surtout quand les antennes prennent une forme arbitraire. Pour adresser ces challenges les techniques classiques de conception d’antennes ne sont pas suffisantes. Pour cela, nous proposons dans ce travail une approche basée sur la conception modale utilisant la théorie des modes caractéristiques. Cette approche démontre un potentiel remarquable dans la conception des antennes électriquement petites ainsi les antennes basées/inspirées des métamatériaux. En outre, l’évaluation des performances d’antennes à formes arbitraires en fonction des paramètres géométriques à été démontré sans considération d’une excitation prédéfinie. Ceci offre un énorme avantage pour les techniques basées sur l’optimisation des formes d’antennes. Finalement, une antenne très large bande dédiée au sondage du spectre est présentée. L’approche modale a été utilisée afin de garantir un diagramme du rayonnement stable sur toute la bande de fréquence ainsi qu’une bonne efficacité dans le régime électriquement petit. Plusieurs validations expérimentales sont également présentées. / The rise of wireless communication systems and the big demand of high bit rate links have entailed researches to lie over new communications systems. With this diversity of wireless systems, flexibility for operating between different standards is strongly needed. Cognitive radio (CR) consist the future system that can offer this flexibility. The new features of CRs remains many challenges to their antennas. Miniaturization, isolation and bandwidth improvement, are all real needs and effective challenges. Especially when the geometry of the antenna become more complex in order to fit the terminal chassis. The use of metamaterials (MTM) has been introduced to overcome physics limitations in order to undertake these needs. The analysis of MTM in presence of radiating elements such antennas prove to be a challenge. In this thesis, an new approach to address these challenges is proposed. It is based on a modal concept using the theory of characteristic modes (TCM). It proves to be useful to analyse and design of electrically small antenna (ESA), metamaterial-inspired antennas and metamaterial-based antennas. Furthermore, the same approach is used to evaluate the antenna performances when surrounded by complex artificial materials by proposing closed formulas for the quality factor. This remains into a huge advantage in the antenna shape optimisation in the antenna industry. As a proof of concept, an extremely-wide-band antenna for underlay CR (sensing antenna) is developed using the proposed approach in order to have stable radiation pattern an high efficiency in the electrically small regime. An experimental validation of the performances of all the presented designs is also provided.