Ce travail est dédié à l’étude de l’encapsulation de molécules organiques photoactives dans des nanotubes de carbone mono-feuillets. L’effet de confinement sur les propriétés vibrationnelles , structurales, et les interactions entre les sous-systèmes est étudié en fonction de la taille des nanotubes. La première partie du manuscrit est consacrée à l’étude du confinement de diméthylquaterthiophènes dans les tubes. La dynamique vibrationnelle des molécules confinées est étudiée par diffusion inélastique des neutrons et par des simulations DFT. L’étude des interactions entre les deux sous-systèmes, en termes de transfert d’énergie et de transfert de charge, est réalisée en combinant des études de photoluminescence et de Raman. La nature des transferts de charge dépend de la taille du nanotube. Pour des tubes de petits diamètres (<1.1nm), un transfert de charge photo-induit est obtenu lorsque la longueur d’excitation correspond à l’absorption de la molécule. La deuxième partie est dédiée à l’étude de l’organisation structurale de molécules de phtalocyanine encapsulées à l’intérieur des nanotubes. Ce travail combine des études expérimentales par diffraction neutronique et spectroscopie Raman à pression ambiante et sous hautes pressions. Les études structurales sont confrontées à des simulations par dynamique moléculaire. / This work is dedicated to the study of the encapsulation of photoactive molecules within single wall carbon nanotubes. The confinement effect on vibrational, structural and interactions between host and guest is studied as a function of nanotube size. The first part of the manuscript is dedicated to the confinement of dimethyl quaterthiophene within carbon nanotubes. Vibrational dynamics for the encapsulated molecules is studied coupling neutron scattering and DFT simulations. Interactions molecule/nanotube, in terms of energy transfer and charge transfer are studied combining photoluminescence and Raman spectroscopies. The nature of charge transfers depends on the size of the nanotube. For small diameters (>1,1nm) a photoinduced charge transfer is obtained when the excitation wavelength matches the absorption of the molecule. The second part of the manuscript focuses on the structural organization of encapsulated phthalocyanine molecules. This work combines neutron diffraction and Raman spectroscopy experimental studies at room and high pressures. Structural studies are discussed together with molecular dynamics simulations.