Les systèmes de communication sans fil caractérisés par des services à haute vitesse sont en évolution permanentes malgré les restrictions en termes de la capacité du système et les conflits de couverture intérieure. Récemment, les réseaux “SmallCells” basés sur le standard LTE présentent une solution prometteuse en offrant les services demandés avec une meilleure couverture à l’intérieur et augmentant la capacité du système. Cependant, de nombreux défis rencontrent les constructeurs et les opérateurs pour un déploiement efficace de ces systèmes. Dans cette thèse, afin de développer ce type de réseaux et d’apporter des améliorations considérables de Qualité de Service (QoS) et de débits, nous adoptons une stratégie se basant complémentairement sur deux différents niveaux : couche de liaison (MAC) et couche physique. En première partie, au niveau de la couche de liaison, nous proposons deux algorithmes d’ordonnancement et d’allocation conjointes de ressources se basant sur la technique d’Adaptation de Modulation et de Codage (AMC) et sur le contrôle de puissance pour les deux liaisons descendante et montante respectivement. Deux catégories distinctes d’utilisateurs qui diffèrent par la Qualité de Service demandée sont considérées. Ces algorithmes sont nommés respectivement : “Downlink AMC-QRAP” et “Uplink AMC-QRAP”. L’adaptation conjointe de puissance de transmission et de type de Modulation&Codage répond forcement aux variations de la qualité de la liaison sur chaque canal radio destiné à être alloué. Cependant, les deux liaisons, descendante et montante diffèrent par leurs spécificités. En particulier, comme mode de transmission du signal, le système 3GPP LTE utilise la technique OFDMA pour la liaison descendante et la technique SC-FDMA, plus efficace en termes d’énergie, pour la liaison montante. Une modélisation sous forme de problèmes d’optimisation linéaire est ainsi conçue. Comme compromis entre les architectures de réseaux: centralisée et distribuée, nous utilisons l’architecture de groupes ou “clusters” ainsi proposée dans la littérature. Dans la deuxième partie de notre recherche, nous avons abord´e les techniques de la “couche physique” en termes de traitement de signal comme une approche d’amélioration du système LTE. Ainsi, deux contributions basées sur la “transformée en ondelettes” (Wavelet Transform) sont proposées. Premièrement, vu que la technique de modulation multi-porteuse OFDM souffre de plusieurs limitations en termes d’efficacité spectrale et énergétique, de synchronisation et d’interférence entre porteuses, nous proposons une méthode alternative basée sur les ondelettes. Nous avons démontré que la substitution de la transformée de Fourier par la transformée en ondelettes dans la technique OFDM permet de dépasser les différentes limitations de l’OFDM. Enfin, nous avons propos´e une approche pour délimiter et détecter les différents canaux de ressources alloués. Elle est utilisée dans l’algorithme d’ordonnancement de la transmission montante pour améliorer la fiabilité de la transmission et réduire le temps de convergence du problème d’optimisation. Des simulations étendues selon différentes densités de réseau ont été réalisées, en utilisant plusieurs paramètres tels que l’efficacité spectrale, la puissance de transmission, le taux de satisfaction en termes de débits demandés et la capacité du réseau. Nous avons comparé nos méthodes à plusieurs travaux existants dans la littérature et prouvé la surperformance pour les différents paramètres pris en compte. / Responding to the huge demand for high data rates and satisfying Quality of Service (QoS) requirements are the main objectives of the wireless mobile operators. LTE-based small cell system is a promising technology offering the required services, enhanced indoor coverage and increased system capacity. However, many challenges face the constructors and the operators for an effective deployment of these systems. In this thesis, in order to evolve such systems and adduce significant enhancement in terms of QoS and throughput, we adopt a complementary strategy based on both data link layer and physical layer.First, we propose, on the link layer level, two scheduling and joint resource allocation algorithm based on the Adaptive Modulation and Coding (AMC) and the power control mechanism for OFDMA-Downlink and SC-FDMA-Uplink connections respectively. Namely, they refer to: “Downlink AMC-QRAP” and “Uplink AMC-QRAP”. The joint adaptation of the transmission power and the Modulation and Coding Scheme reliably interacts with the link quality on each allocated sub-channel. Two distinct user categories are considered to differentiate between different QoS levels required. Accordingly, a linear optimization model is performed for the problem resolution. A clustering approach proposed in the literature has been used as a tradeoff between centralized and distributed schemes. Particularly, we used the spectrum sensing technique as proposed on the physical layer to detect surrounding transmissions.After that, we tackle the physical layer “signal processing” techniques as an LTE enhancement approach. Thus, two contributions based on the “wavelet transform” (WT) are proposed.The “wavelet-based OFDM” technique is firstly proposed as an alternative transmission mode for both downlink and uplink of the LTE and beyond wireless systems. In fact, theOFDM suffers from several limitations in terms of PAPR, spectral efficiency, synchronization cost and the inter-carrier interference. We proved that with substituting the Fourier transform by the wavelet transform in the OFDM technique, the different OFDM limitations can be significantly overcame. Second, we proposed an enhanced spectrum sensing approach based on WT tool that accurately delimits the occupied resource blocks in the whole spectrum. These physical layer enhancements help improving the scheduling algorithm for the uplink proposed in our second contribution.Extensive network simulations with different network densities have been conducted, using several metrics such as spectral efficiency, throughput satisfaction rate, user outage and transmission power. We have compared our methods to several existing works in the literature and proved the outperformance for the different considered metrics.