Cette thèse vise à étudier l'interaction résonante d'un rayonnement laser avec une couche mince d'épaisseur sub-longueur d'onde de vapeur alcaline atomique confinée en nanocellule ; et les applications de détection qui en émergent.Nous nous concentrons sur la réflexion sélective se produisant à l'interface entre une fenêtre diélectrique et une vapeur résonante, et montrons que la dérivée des spectres de réflexion sélective est composée de résonances étroites dont les maxima correspondent aux positions des transitions atomiques. Ces résonances sont observées avec une largeur spectrale jusqu'à quinze fois plus fine que la largeur Doppler du milieu, et leurs amplitudes évoluent de façon linéaire avec celles des transitions. Grâce à ces propriétés et aux faibles épaisseurs de cellule pouvant être sondées, nous examinons les interactions atome-surface et mesurons le coefficient C3 de l'interaction de van der Waals.Nous présentons un modèle théorique décrivant l'interaction entre lumière quasi-résonante et nanocellule remplie d'une vapeur alcaline sous champ magnétique statique. Ce modèle se montre en excellent accord avec les résultats expérimentaux pour une large gamme de champs magnétiques depuis le régime Zeeman jusqu'au régime Paschen-Back. Au vu de ces résultats, nous proposons un concept de magnétomètre optique basé sur les nanocellules. Une preuve de faisabilité est présentée et une analyse en performance révèle un coefficient de variation des mesures de champs magnétiques inférieur à 5 % dans la gamme 0,4 - 2 kG. / This thesis is aimed at studying the resonant interaction of a laser radiation with an atomic alkali vapor layer of wavelength-scale thickness confined in an optical nanocell; and emerging sensing applications.We focus our attention on the selective reflection arising at the interface between a dielectric window and a resonant alkali vapor, and show that the derivative of selective reflection spectra exhibit narrow resonances whose maxima are located exactly at atomic resonance frequencies. These resonances are observed with a spectral linewidth up to fifteen times smaller than the Doppler linewidth of the medium and their amplitudes scale linearly with respect to the transitions ones. Owing to these properties and the possibility to probe thin atomic layers, we investigate atom-surface interaction and measure the C3 coefficient of the van der Waals interaction.We present a theoretical model describing the interaction of near-resonant laser light with alkali vapor-filled nanocell in the presence of an external static magnetic field. We show an excellent agreement between recorded and calculated spectra in a wide range of magnetic fields spanning from Zeeman to Paschen-Back regimes. Following these results, we propose a concept for a nanocell-based optical magnetometer. A proof of feasibility is presented and a performance analysis reveals a coefficient of variation for the magnetic field measurements less than 5% in the range 0.4 - 2 kG.