La radio intelligente (RI) a été proposée pour améliorer l’utilisation du spectre radiofréquence. Pour cela, il s’agit de donner un accès opportuniste aux utilisateurs non licenciés (nommés utilisateurs secondaires) au spectre alloué à l’utilisateur licencié (nommé utilisateur primaire). Dans cette thèse, notre but est de proposer un scénario spécifique à la RI et de présenter des solutions à certains problèmes connexes. Pour cela, nous considérons une RI émettant ses informations en “sur-couche” des utilisateurs primaires (technique overlay). Le système étudié est constitué d’une macro-cellule primaire et de petites cellules cognitives secondaires équipées de stations de base coopérant ensemble. Nous suggérons l’étude d’un schéma de communication hybride où une modulation “FilterBanc Multi Carrier” (FBMC) est utilisée pour les utilisateurs secondaires, alors que dans le cas des utilisateurs primaires, une modulation “Orthogonal Frequency Division Multiplexing”(OFDM) est adoptée. Ce choix est motivé par les raisons suivantes: l’OFDM est utilisée dans de nombreux systèmes primaires actuels large bande; ainsi lorsque l’OFDM est considérée au niveau de l’utilisateur primaire, une bande passante importante peut être réutilisée. Concernant le système secondaire, bien que l’OFDM ait été reconnue comme forme d’onde éligible aux systèmes de la RI, la modulation FBMC peut être une autre candidate capable de palier certains défauts de l’OFDM. En effet, comparée à l’OFDM,la modulation FBMC a l’avantage de réduire le niveau d’interférences de l’utilisateur secondairequi est induit par la différence de fréquence des oscillateurs locaux équipant les stations de base secondaires et les utilisateurs primaires. Pour annuler ces interférences,un précodage peut être inséré au niveau des stations de base secondaires. Par conséquent,nous proposons de calculer l’expression des interférences dues au systéme secondaire au niveau du récepteur primaire. A partir de ce résultat nous proposons d’annuler les interférences en utilisant la méthode “Zero Forcing Beamforming” (ZFBF) . Afin de confirmer l’efficacité du système proposé, nous le comparons avec un système fondé sur une RIutilisant une modulation OFDM à la fois au primaire et au secondaire.Toutefois, l’application de la méthode ZFBF dépend des canaux entre les stations de base secondaires et les utilisateurs primaires avec lesquels on souhaite s’orthogonaliser. Une estimation de canal est donc nécessaire. Pour ce faire, nous proposons de modéliser le canal par un processus autorégressif (AR) et d’aborder l’estimation du canal en utilisant une séquence d’apprentissage. Les signaux reçus, appelés aussi “observations”, sont perturbés par un bruit de mesure additif. / Cognitive radio (CR) has been proposed as a technolgy to improve the spectrum efficiency by giving an opportunistic access of the licensed-user spectra to unlicensed users. In this thesis, our purpose is to propose a specific scenario of CR and to present solutions to some related problems .or this purpose, we consider an overlay CR consisting of a primary macro-cell and cognitive small cells of cooperative secondary base stations (SBS). We suggst studying a hydbrid CR where a filter bank multicarrier (FBMC) is used for the secondary users (SU) whereas the primary users (PU) are based on orthogonal frequency diiision multiplexing (OFDM). This choice is motivated by the following reasons : as OFDM is used in many current wideband primary systems, an important bandwidth can be reused when OFDM is considered for the PU. Concerning the secondary system, although OFDM has been recognized as a condidate for CR systems, FBMC modulation can be another candidate that overcomes some OFDM drawbacks. Indeed, compared to OFDM, FBMC has the advantage of reducing the SU interference level tha is induced by the differences between the SBS and PU carrier frequency offsets (CFO). In order to cancel the interferences, a precoding can ben inserted at the SBS. Therefore, we propose to derive the interference expression due to SU at het PU receiver. Then, ero forcing beamforming (ZFBF) is considered to cancel the interferences. To confirm the efficiency of the proposed cheme, we make a comparative study with CR based on OFDM for both the PU and theSU. However, applying ZFBF depends on the channels between the SBS and the PU. A channel estimation is hence necessary. For this purpose, we propose to approximate the channel by an autoregressive process (AR) and to consider the channel estimation issue by using a training sequence. The received signals, also called the observations, are disturbed by an additive measurement noise. They can be : 1) additive and white. In that case, the AR paramters and the channel can be jointly estimated from the received noisy signal by using e recursive approache. Neverless, the corresponding state space representaion of the system is non-linear. In addition to existing methods that have been considered, we propose to carry out a complementary study by investigating the relevance of the quadrature Kalman filter (QKF) and the cubature Kalman filter (CKF). The, we compare them with other non-linear Kalman based approaches. 2) additive and colored. In that case, a parametric approach can be considered and based on a priori model of the noise. In our case, a moving average (MA) model is studie. Our approach operates as follows : firstly, the AR parameters are estimated by using the overdetermined high-order Yule-Walker (HOYN) equations. The variance of the AR-process driving process can be deduced by means of an orthogonal projection betweenn two types of etimates of AR-process correlation vectors. Then, the correlation sequence of th MA noise is estimated. Secondly, the MA parameters are obtained by using a new variant of the inner-outer factorization approache. We study the avantages and the limits of the proposed method. The, we compare it with existing algorithms such as the improved least square-colored noise (ILS-CN), the Yule-Walker ILS (YWILS) and the prediction error method (PEM). The proposed method is first evaluated with synthetic AR and MA processes and then is applied in the field of mobile communcation for channel estimation.