L'existence des ondes gravitationnelles (OG) est l'une des prédictions les plus intéressantes de la théorie de la Relativité Générale d'Einstein. La découverte expérimentale des OG serait donc un test important de la théorie elle-même et permettra d'ouvrir une nouvelle fenêtre d'observation en particulier dans les régions de l'Univers inaccessible à l'observation électromagnétique. Les détecteurs interférométriques, comme Virgo, sont les dispositifs les plus prometteurs pour la détection d’OG. Actuellement, leur sensibilité n'est pas encore suffisante pour avoir un taux d'observation de quelques événements/an. Un intense programme expérimental pour l’améliorer est en cours. Particulièrement, les prochaines générations de détecteurs d'OG, aux basses fréquences, seront limitées par l'effet de la pression de radiation (PR) sur les miroirs suspendus. Ce phénomène, pas encore observé expérimentalement, est l'objet d'un champ de recherche très actif. Mon travail ici présenté vise à la construction d'un détecteur pour l'étude des effets quantiques de la PR dans les détecteurs d’OG: QuRaG. Il sera constitué d'un interféromètre de Michelson suspendu dont chaque bras sera une cavité Fabry-Pérot de très haute finesse, dans laquelle seulement le miroir de fond sera suspendu et sensible au bruit quantique de la PR. Durant ma thèse j'ai participé activement au R&D de tous les sous-systèmes de QuRaG. Par conséquent, le travail que j'ai fait porte sur divers aspects du projet dont les problématiques appartiennent à différents domaines de la physique. Mon travail présenté ici démontre que QuRaG sera réalisable et qu’il observera le bruit de la PR dans la bande de fréquences attendue. / The existence of gravitational waves (GW) is one of the most interesting predictions of the theory of general relativity of Einstein. The experimental discovery of GW would be an important test of the theory itself. In addition, the detection of GW will open a new window of observation especially in those regions of the Universe inaccessible to electromagnetic observations. Interferometers, as Virgo are the most promising devices for the detection of GW. Currently, the sensitivity of these detectors is not yet sufficient to have a detection rate of few events/year. Therefore, an intense experimental program to improve the sensitivity is underway. Specifically, the sensitivity of the next generations of GW detectors, at low frequencies, will be limited by the effect of the radiation pressure (RP) on the suspended mirrors. This phenomenon not yet observed experimentally in the ground based GW detectors band, is currently the subject of a very active research field. My work presented here aims at building a detector for studying quantum effects of RP in GW detectors: the QuRaG experiment. It will consist of a suspended Michelson interferometer where each arm will be a high finesse Fabry-Pérot cavity, in which only the end mirror will be further suspended and then sensitive to the RP noise. During my PhD I have actively participated to the R&D of all QuRaG subsystems. Therefore, the work that I have done deals with various aspects of the project whose related problems belong to different domains of physics. My work described in this manuscript demonstrates that QuRaG is realizable and that it will be able to observe the RP noise in the expected frequency range.

Les vapeurs atomiques confinées dans des cellules nanométriques constituent une plateforme intéressante pour la réalisation de senseurs atomiques. Dans cette thèse, nous étudions l’interaction entre la lumière et un ensemble d’atomes d’alcalins dans une telle cellule. Nous nous concentrons sur les phénomènes qui pourraient modifier la réponse optique du système et ainsi affecter la sensibilité du senseur. Premièrement, nous étudions la réponse non locale à la lumière induite par le mouvement des atomes dans la vapeur thermique. Quand la distance de relaxation des atomes excède la taille de la cellule, la réponse optique dépend de la taille du système. En transmission, nous avons montré que cela entraine une modification des propriétés de la vapeur avec une période égale à la longueur d’onde de la transition optique. Nous avons ensuite montré que lorsque la densité augmente, la réponse redevient locale. De plus, dans ce régime dense, l’interaction dipôle-dipôle résonnante engendre des déplacements de fréquences collectifs pour des ensembles sub-longueur d’onde. Nous avons démontré que ces shifts sont induits par la cavité formée par la cellule, clarifiant ainsi un débat de plus de 40 ans. Pour ce faire, nous avons développé un modèle pour extraire les effets de la densité déconvolués de ceux de la cavité. Proche des surfaces, la réponse optique des atomes est aussi impactée par l’interaction de van der Waals. Nous avons introduit une nouvelle méthode pour extraire avec précision la force de cette interaction. Nous avons également construit une nouvelle génération de nano-cellules super-polies en verre et enfin comparé les propriétés spectrales en transmission et spectroscopie hors d’axe. / Alkali vapors confined in nano-scale cells are promising tools for future integrated atom-based sensor. In this thesis, we investigate the interaction between light and an ensemble of atoms confined in a nano-geometry. We focus on the different processes that can modify the optical response of the atomic ensemble and possibly affect the sensitivity of a sensor based on that technology. First, we study the non-local response of atoms to a light excitation due the atomic motion in thermal vapors. When the distance over which the atoms relaxes is larger than the size of the cell, the optical response depends on the size of the system. We have observed that for transmission spectroscopy, this leads to a periodic modification of the optical response with a period equal to the wavelength of the optical transition. Subsequently we showed that when the density of atom increases, the atomic response becomes local again. In this dense regime, the resonant dipole-dipole interaction in a sub-wavelength geometry leads to collective frequency shifts of the spectral lines. We demonstrate that these shifts were induced by the cavity formed by the cell walls, hence clarifying a long-standing issue. We developed a model to extract the density shifts deconvolved from the cavity effects. Close to a surface, the optical response is also affected by the van der Waals atom-surface interaction. We introduced a new method to extract precisely the strength of this interaction. We also developed a new generation of super-polished glass nano-cells and we presented promising spectroscopic signals. Finally, using these cells, we have compared transmission and off-axis spectroscopic techniques.