Les modulations multiporteuses ont prouvé leur intérêt pour les transmissions à haut débit, avec fil (ADSL) ou sans fil (DAB, DVB-T, HIPERLAN,...). Les applications citées mettent toutes en oeuvre un cas particulier de modulation multiporteuse, l'OFDM avec un filtre de mise en forme rectangulaire. Le but de cette thèse est de déterminer de nouvelles formes de modulations multiporteuses plus générales et utilisant des filtres de mise en forme mieux adaptés à certains types de canaux de transmission. Les techniques BFDM/QAM suréchantillonnées et BFDM/OQAM qui utilisent des filtres de modulation (dits prototypes) orthogonaux ou non sont ainsi étudiées avec une approche à temps discret qui prend en compte leur réalisation matérielle. Cette étude se base d'une part sur l'analogie existant entre les systèmes de Weyl-Heisenberg et les modulations multiporteuses, et d'autre part sur l'analogie existant entre les bancs de filtres et les modulations multiporteuses. Une écriture à l'aide de familles de Weyl-Heisenberg et une réalisation sous la forme d'un transmultiplexeur sont fournies pour chacune de ces modulations. Dans chacun de ces deux cas, on établit des conditions de biorthogonalité (c'est-à-dire des conditions de démodulation parfaite sur canal parfait) équivalentes portant sur les composantes polyphases des filtres prototypes. On en déduit alors des relations de dualité entre les bancs de filtres MDFT et les modulations BFDM/OQAM. Ceci est aussi équivalent au fait que, pour un type particulier de système de Weyl-Heisenberg dans $\lZ$ considéré comme un espace de Hilbert sur $\R$, deux familles de Weyl-Heisenberg sont biorthogonales, si et seulement si elles constituent deux frames duales. Par ailleurs, l'étude des transmultiplexeurs associés aux modulations BFDM/QAM et BFDM/OQAM conduit à plusieurs schémas de réalisation équivalents mettant en oeuvre des algorithmes de FFT et IFFT et la dualité établie entre les modulations BFDM/OQAM et les bancs de filtres MDFT aboutit à un nouveau codeur en sous-bandes MDFT généralisé et à délai de reconstruction réduit. Deux critères d'optimisation des prototypes sont utilisés : la maximisation de la localisation temps-fréquence et la minimisation de l'énergie hors-bande. Des techniques d'optimisation permettant d'obtenir des filtres orthogonaux ou biorthogonaux quasi-optimaux vis-à-vis de l'un de ces deux critères sont décrites. Enfin, les intérêts respectifs des prototypes orthogonaux et biorthogonaux, optimisés vis-à-vis de l'un ou l'autre de ces critères sont illustrés par des simulations sur différents types de canaux de transmission.