Le relayage cognitif multiple-input multiple-output (MIMO) hérite l’efficacité spectrale de la radiocognitive et les systèmes de relayage MIMO, apportant ainsi des gains prometteurs en termes de débit dedonnées et de fiabilité pour les futures communications sans fil et mobiles. Dans cette thèse, nous concevons et évaluons des schémas pratiques d’émetteurs et de récepteurs pour des systèmes de relayage MIMO cognitifs qui peuvent être mis en oeuvre à moindre coût. Tout d'abord, nous réduisons l'affaiblissement du débit du mode half-duplex du relayage MIMO amplify-and-forward non-orthogonale(NAF) large bande avec demande de répétition automatique (ARQ). Différemment des travaux de recherche existants, le protocole de relayage proposé ne nécessite que la durée de transmission d’un seul paquet sur des canaux sélectifs en fréquence. De plus, nous proposons une conception de réception itérative à complexité réduite pour cette classe de protocoles, entraînant ainsi une amélioration significative des performances de transmission de bout-en-bout. Deuxièmement, nous nous concentrons sur les systèmes de relayage cognitive de partage du spectre single-input multiple-output (SIMO) et évaluons l’impact des contraintes d’interférence instantanée et statistique sur la qualité de leur probabilité de coupure. Nos résultats révèlent que l’imposition d’une contrainte statistique sur la puissance d’émission du système secondaire est plus favorable que son adversaire consommatrice de spectre. Troisièmement, nous capitalisons sur notre deuxième contribution pour étudier les systèmes de relayage MIMO decode-and-forward (DF) cognitifs utilisant la sélection d'antenne à l’émission (TAS) ainsi que le maximum-ratio combining (MRC) à la réception. Basés sur la maximisation du rapport signal-sur-bruit (SNR) ou du rapport signal-sur-interférence-plus-bruit (SINR), nos résultats de probabilité de coupure nouvellement dérivés pour les deux stratégies proposées de TAS démontre l’optimalité du système de sélection d’antenne basé sur le SINR par rapport aux effets néfastes d’interférence mutuelle dans les systèmes de relayage MIMO DF cognitifs. / Cognitive multiple-input multiple-output (MIMO) relaying inherits the spectrum usage efficiency from both cognitive radio and MIMO relay systems, thereby bearing promising gains in terms of data rate and reliability for future wireless and mobile communications. In this dissertation, we design and evaluate practical transmitter and receiver schemes for cognitive MIMO relay systems that can readily be implemented at a lower cost. First, we reduce the multiplexing loss due the half-duplex operation in non orthogonal amplify-and-forward (NAF) MIMO relay broadband transmissions with automatic repeat request(ARQ). Different from existing research works, the proposed relaying protocol requires only one packet duration to operate over frequency-selective block-fading relay channels. Further, we propose a low complexityiterative receiver design for this class of protocols which results in significant enhancement of the end-to-end transmission performance. Second, we focus on cognitive underlay single-input multiple-output (SIMO) relay systems and evaluate the impact of instantaneous and statistical interference constraints on their outage performance. Our results reveal that imposing a statistical interference constraint on the secondary system transmit power is most favored than its spectrum-consuming counter part. Third, we capitalize on our second contribution to investigate cost-effective transmission schemes for cognitive MIMO decode-and-forward (DF) relaying systems employing transmit-antenna selection (TAS) along with maximum-ratio combining (MRC) at the transmitter and receiver sides, respectively. Driven by maximizing either the received signal-to-noise ratio (SNR) or signal-to-interference-plus-noise ratio (SINR), our newly derived outage performance results pertaining to both proposed TAS strategies are shown to entail an involved derivation roadmap yet demonstrate the optimality of the SINR-driven TAS against the detrimental effect of mutual interference incognitive MIMO DF relay systems.