En raison de la demande croissante de services de communication sans fil et de la limitation des ressources de spectre, la radio cognitive (CR) a été initialement proposée pour résoudre la pénurie de spectre. CR divise les systèmes transmetteurs-récepteurs de communication en deux catégories : les Utilisateurs Principaux (PU) et les Utilisateurs Secondaires (SU). PU a le droit légal d'utiliser la bande spectrale, tandis que SU est un utilisateur opportuniste qui peut transmettre sur cette bande chaque fois qu'elle est vacante afin d'éviter toute interférence avec le signal de PU. De ce fait, la détection des activités de PU devient une priorité principale pour toute CR.Le Spectrum Sensing devient ainsi une partie importante d’un système CR, qui surveille les transmissions de PU. En effet, le Spectrum Sensing joue un rôle essentiel dans le mécanisme du fonctionnement du CR en localisant les canaux disponibles et, d'autre part, en protégeant les canaux occupés des interférences de la transmission SU. En fait, Spectrum Sensing a gagné beaucoup d'attention au cours de la dernière décennie, et de nombreux algorithmes sont proposés. Concernant la fiabilité de la performance, plusieurs défis comme le faible rapport signal sur bruit, l'incertitude de bruit (NU), la durée de détection du spectre, etc. Cette thèse aborde les défis de la détection du spectre et apporte quelques solutions. De nouveaux détecteurs basés sur la détection des caractéristiques cyclo-stationnaires et la densité spectrale de puissance (PSD) du signal de PU sont présentés. Un algorithme de test de signification de corrélation canonique (CCST) est proposé pour effectuer une détection cyclo-stationnaire. CCST peut détecter la présence des caractéristiques cycliques communes parmi les versions retardées du signal reçu. Ce test peut révéler la présence d'un signal cyclo-stationnaire dans le signal de mélange reçu. Une autre méthode de détection basée sur la PSD cumulative est proposée. En supposant que le bruit est blanc (sa PSD est plate), la PSD cumulative s'approche d'une droite. Cette forme devient non linéaire pour les signaux de télécommunication. Distinguer la forme cumulative PSD peut donc conduire à diagnostiquer l'état du canal.La radio cognitive Full-Duplex (FD-CR) a également été étudiée dans ce manuscrit, où plusieurs défis sont analysés en proposant de nouvelles contributions. Le fonctionnement FD permet au CR d'éviter la période de silence pendant la détection du spectre. Dans le système CR classique, le SU cesse de transmettre pendant la détection du spectre afin de ne pas affecter la fiabilité de détection. Dans FD-CR, SU peut éliminer la réflexion de son signal transmis et en même temps réaliser le Spectrum Sensing. En raison de certaines limitations, le résidu de l'auto-interférence ne peut pas être complètement annulé, alors la crédibilité de la détection du spectre est fortement affectée. Afin de réduire la puissance résiduelle, une nouvelle architecture de récepteur SU est élaborée pour atténuer les imperfections du circuit (comme le bruit de phase et la distorsion non linéaire de l'amplificateur à faible bruit du récepteur). La nouvelle architecture montre sa robustesse en assurant une détection fiable et en améliorant le débit de SU. / Due to the increasing demand of wireless communication services and the limitation in the spectrum resources, Cognitive Radio (CR) has been initially proposed in order to solve the spectrum scarcity. CR divides the communication transceiver into two categories: the Primary (PU) or the Secondary (SU) Users. PU has the legal right to use the spectrum bandwidth, while SU is an opportunistic user that can transmit on that bandwidth whenever it is vacant in order to avoid any interference to the signal of PU. Hence the detection of PU becomes a main priority for CR systems. The Spectrum Sensing is the part of the CR system, which monitors the PU activities. Spectrum Sensing plays an essential role in the mechanism of the CR functioning. It provides CR with the available channel in order to access them, and on the other hand, it protects occupied channels from the interference of the SU transmission. In fact, Spectrum Sensing has gained a lot of attention in the last decade, and numerous algorithms are proposed to perform it. Concerning the reliability of the performance, several challenges have been addressed, such as the low Signal to Noise Ratio (SNR), the Noise Uncertainty (NU), the Spectrum Sensing duration, etc. This dissertation addresses the Spectrum Sensing challenges and some solutions are proposed. New detectors based on Cyclo-Stationary Features detection and the Power Spectral Density (PSD) of the PU are presented. CanonicalCorrelation Significance Test (CCST) algorithm is proposed to perform cyclo-stationary detection. CCST can detect the presence of the common cyclic features among the delayed versions of the received signal. This test can reveal the presence of a cyclo-stationary signal in the received mixture signal. Another detection method based on the cumulative PSD is proposed. By assuming the whiteness of the noise (its PSD is at), the cumulative PSD approaches a straight line. This shape becomes non-linear when a telecommunication signal is present in the received mixture. Distinguishing the Cumulative PSD shape may lead to diagnose the channel status.Full-Duplex Cognitive Radio (FD-CR) has been also studied in this manuscript, where several challenges are analyzed by proposing a new contribution. FD functioning permits CR to avoid the silence period during the Spectrum Sensing. In classical CR system, SU stops transmitting during the Spectrum Sensing in order to do not affect the detection reliability. In FD-CR, SU can eliminate the reflection of its transmitted signal and at the same time achieving the Spectrum Sensing. Due to some limitations, the residual of the Self Interference cannot be completely cancelled, then the Spectrum Sensing credibility is highly affected. In order to reduce the residual power, a new SU receiver architecture is worked out to mitigate the hardware imperfections (such as the Phase Noise and the Non-Linear Distortion of the receiver Low-Noise Amplifier). The new architecture shows its robustness by ensuring a reliable detection and enhancing the throughput of SU.