La 5ème génération de réseaux mobiles (5G), actuellement en cours de standardisation, prévoit de nouveaux scénarios de communication dans l’évolution vers un monde entièrement connecté et communicant. Dans ce contexte, un nombre très important de techniques avancées sont en cours d’exploration pour répondre aux nombreux défis imposés en termes de débit, de latence, de consommation énergétique, et de capacité à faire communiquer entre eux, efficacement, des milliards d'objets très différents. Parmi les techniques les plus prometteuses de la couche physique, de nouvelles formes d'ondes multiporteuses filtrées sont proposées. Bien qu’elles offrent un meilleur confinement spectral et une meilleure localisation en temps et en fréquence par rapport à l’OFDM de la 4G, elles présentent des limitations soit en termes de complexité soit en termes de performance et d’intégration. De plus, ces formes d’ondes sont évaluées d’un point de vue théorique et les résultats ne sont pas toujours validés sur des plateformes matérielles de preuve de concept reproduisant les conditions réelles des scénarios de la 5G.Dans ce contexte, les travaux de cette thèse proposent plusieurs contributions originales aussi bien au niveau algorithmes de traitement qu’au niveau architectures matérielles. Dans le domaine algorithmique,les travaux réalisés ont mené aux contributions suivantes : (1) Un nouveau filtre prototype court est proposé pour la forme d’onde FBMC/OQAM. Des analyses analytiques, complétées par simulation,montrent que le filtre proposé permet d’améliorer la résistance aux erreurs de synchronisation temporel et de réduire la complexité du récepteur FBMC de type « frequency-spread » comparé aux autres filtres de la littérature, (2) Un nouveau type de récepteur FBMC adapté pour les filtres courts est proposé. Ce récepteur a la particularité d’améliorer sensiblement la résistance aux canaux doublement dispersifs pour des filtres courts, et de supporter les communications asynchrones, (3) Un émetteur UF-OFDM original de complexité significativement réduite par rapport à la littérature est proposé. Contrairement aux techniques existantes, l’émetteur proposé n’introduit aucune approximation dans le signal généré, et préserve ainsi le confinement spectral de la forme d’onde. Dans le domaine de la conception matérielle, les travaux réalisés durant cette thèse ont mené aux contributions suivantes : (4) Une architecture matérielle optimisée des émetteurs FBMC et UF-OFDM de complexité comparable à OFDM, (5) Une architecture matérielle optimisée de l’étage de filtrage du récepteur FBMC « frequency-spread », avec une complexité comparable à celle d’un récepteur « polyphase-network », et (6) Une des premières plateformes matérielles de preuve de concept de la 5G, pouvant évaluer les performances des formes d’ondes pour les différents services de la 5G. / The 5th generation of mobile communications is fore seen to cope with a high degree of heterogeneity in terms of services: enhanced mobile broadband, massive machine, vehicular and mission critical communications, broadcast services. Consequently, diverse and often contradicting key performance indicators need to be supported, such as high capacity/user-rates, low latency, high mobility, massive number of devices, low cost and low power consumption. 4G is not designed to efficiently meet such a high degree of heterogeneity: the OFDM waveform exhibits several limitations in terms of spectrum usage and robustness to frequency and timing synchronization errors. In order to overcome these limitations and to cope with the new 5G requirements,several research initiatives have been conducted to design new waveforms. Proposed candidates, such as FBMC/OQAM or UF-OFDM,are mainly based on multicarrier modulation with specific filtering scheme used on the top of the OFDM basis. However, most of the proposed new waveforms are often studied and analyzed at the algorithmic level considering mainly the quality of the communication link. Therefore, the investigation of low-complexity implementations and the availability of real hardware prototypes are of high interest for performance validation and proof-of-concept of the diverse proposed communication techniques. In the above context, this thesis work proposes several original contributions in the algorithm and the hardware design domains. In the algorithm domain, this work leads to the following contributions: (1) Anovel short prototype filter for FBMC allowing for near perfectreconstruction and having the same size as one OFDM symbol is proposed. Using the Frequency Spread implementation for the FBMC receiver, analytical studies and simulation results show that the proposed filter exhibits better robustness to several types of channel impairments when compared to state-of-the-art short prototype filters and OFDM modulation. (2) A novel FBMC receiver technique suitable for short filters is proposed. This receiver enables to greatly improve the robustness against double dispersive channels for short filters, and enables the support of asynchronous communications, (3) A novel low complexityUF-OFDM transmitter without any signal quality loss isproposed. For small subband sizes, the complexity becomescomparable to OFDM regardless of the number of allocated subbands.In the hardware design domain, this thesis work leads to the following contributions: (4) An efficient pipelined hardware architecture of the FBMC/OQAM transmitter capable of supporting several filter lengths and targeting low complexity is proposed and compared to typical FBMC/OQAM and OFDM implementations, (5) An optimized frequency spread based hardware architecture of the filtering stage is proposed for the designed short prototype filter, showing lower complexity than the classical Poly Phase-Network-based implementation, (6) One of the first flexible and efficient hardware platforms for 5G waveform design, allowing the support of several communication scenarios as foreseen in 5G.