Avec le besoin croissant en bande-passante, les technologies dites de radio-cognitive sont de plus en plus étudiées par la communauté scientifique. L’enjeu est d’utiliser au mieux le spectre disponible. L'une de ces technologies, Transform Domain Communication System (TDCS), dont les performances en termes d’efficacité énergétique et spectrale étaient jusqu'à présent méconnues, constitue le sujet d'étude de cette thèse. Après une présentation du contexte scientifique et industriel de la thèse, le système TDCS est introduit, ainsi que ses similarités et différences avec OFDM et MC-CDMA. Le système est ensuite décrit sous le formalisme algébrique des modulations linaires. Cela a permis d’établir une expression de l’efficacité spectrale du système. Plusieurs techniques sont alors proposées pour améliorer celle-ci tout en améliorant, dans certains cas, le taux d’erreur binaire. Étant composé d’un de plusieurs composantes sinusoïdales, le signal TDCS souffre d’un fort Peak-to-Average Power Ratio (PAPR). La théorie ensembliste est alors présentée puis mise à profit en troisième partie de cette thèse pour proposer les algorithmes Douglas-Rachford et ROCS de réduction du PAPR des signaux TDCS. Ces algorithmes convergent plus rapidement et vers des valeurs plus basses que l’algorithme POCS précédemment utilisé dans la littérature / For about ten years, spectrum scarcity and the growing need of bandwidth have pushed the studies on cognitive-radio technologies to counter this waste. Among them: the Transform Domain Communication System (TDCS), on which this thesis focuses. Until now, TDCS’ performance in terms of spectral and power efficiency was largely unknown. After introducing the thesis’ industrial and scientific context, the TDCS is introduced and compared with popular technologies such as OFDM and MC-CDMA. The system is then studied by means of the linear modulations’ algebraic framework. This has led to the TDCS’ spectral efficiency determination and to new design rules to jointly achieve a better spectral efficiency and a lower BER. Several methods are then proposed to further increase the spectral efficiency by means of a dense multidimensional modulation. Since a TDCS signal is made of several sines, it suffers from a strong Peak-to-Average Power Ratio (PAPR). Set theoretic estimation is then introduced in a third part and new PAPR-reduction algorithms such as Douglas-Rachford and Reflection Onto Convex Sets are brought to light and achieve better performance than the usual POCS algorithm regarding to the convergence rate, as well as the achieved PAPR