Le travail théorique présenté dans cette thèse concerne la formation de molécules ultra-froides bialcalines et le contrôle de leurs degrés de liberté externes et internes. Cette étude est motivée par les nombreuses expériences en cours visant à l'obtention d'un gaz quantique dégénéré de molécules dans leur état fondamental absolu. Le schéma de formation étudié repose sur le processus de transfert adiabatique stimulé (STIRAP) réalisé en présence d'un potentiel optique de piégeage (réseau optique) des atomes et des molécules.Nous avons déterminé les paramètres du réseau optique (intensité et fréquence du champ laser) qui permettent de piéger efficacement des dimères d'alcalins en évaluant la polarisabilité dynamique acquise par les molécules soumises à un champ externe. Ces calculs reposent en particulier sur la connaissance détaillée de la structure électronique des molécules. Nous avons identifié des plages de longueur d'ondes dites « magiques » où la polarisabilité est la même pour chaque niveau peuplé au cours du transfert adiabatique, permettant ainsi un transfert optimal. Ce formalisme nous a également permis d'obtenir les coefficients Van der Waals de l'interaction à longue portée nécessaires pour étudier les taux de collisions entre molécules.Nous avons réalisé une étude plus détaillée de la molécule RbCs. En étudiant précisément la probabilité de transition de la molécule vers un niveau excité, nous avons proposé un schéma STIRAP pour transférer des molécules de RbCs, initialement dans un niveau vibrationnel excité, vers leur état rovibrationnel fondamental.Ces travaux ont montré l'importance de la connaissance précise de la structure hyperfine de l'état électronique moléculaire excité pour réaliser un gaz dégénéré de molécules dans un état quantique bien défini. Un modèle asymptotique nous a permis d'obtenir une première estimation de la structure hyperfine des courbes d'énergies potentielles des premiers états moléculaires excités des molécules Cs2 et RbCs. / The theoretical work presented in this thesis is focused on the formation of ultracold bialcaline molecules and on the control of their external and internal degrees of freedom. This study is motivated by the increasing number of experiments aiming at obtaining a quantum degenerate gas of molecules in their absolute ground state. The formation scheme we worked on is based on the Stimulated Raman Adiabatic Passage (STIRAP) technique operated while molecules are trapped inside an optical lattice.We have determined the parameters of the optical lattice (intensity and wavelength of the laser) that allow for an efficient trapping of the alkali dimers by evaluating the dynamic polarizability of molecules in the presence of an external field. Such calculations require the accurate knowledge of the electronic structure of the molecules. We have identified the so-called ``magic'' wavelength for which all levels populated during the STIRAP sequence have the same polarizability, thus ensuring an optimal transfer. The same approach has also been used to compute the strength of the long-range interaction between polar bialkali molecules needed to evaluate collision rates.The particular case of the RbCs molecule has been investigated. We have selected a radiative transition allowing for an efficient STIRAP scheme yielding molecules in their rovibrational ground state. These works have raised the need for the precise knowledge of the hyperfine structure of the excited electronic molecular state involved in the STIRAP scheme. We have developed an asymptotic model to obtain a first estimate of the hyperfine structure for the potential curves of the lowest excited states of Cs2 and RbCs.

Les vapeurs atomiques confinées dans des cellules nanométriques constituent une plateforme intéressante pour la réalisation de senseurs atomiques. Dans cette thèse, nous étudions l’interaction entre la lumière et un ensemble d’atomes d’alcalins dans une telle cellule. Nous nous concentrons sur les phénomènes qui pourraient modifier la réponse optique du système et ainsi affecter la sensibilité du senseur. Premièrement, nous étudions la réponse non locale à la lumière induite par le mouvement des atomes dans la vapeur thermique. Quand la distance de relaxation des atomes excède la taille de la cellule, la réponse optique dépend de la taille du système. En transmission, nous avons montré que cela entraine une modification des propriétés de la vapeur avec une période égale à la longueur d’onde de la transition optique. Nous avons ensuite montré que lorsque la densité augmente, la réponse redevient locale. De plus, dans ce régime dense, l’interaction dipôle-dipôle résonnante engendre des déplacements de fréquences collectifs pour des ensembles sub-longueur d’onde. Nous avons démontré que ces shifts sont induits par la cavité formée par la cellule, clarifiant ainsi un débat de plus de 40 ans. Pour ce faire, nous avons développé un modèle pour extraire les effets de la densité déconvolués de ceux de la cavité. Proche des surfaces, la réponse optique des atomes est aussi impactée par l’interaction de van der Waals. Nous avons introduit une nouvelle méthode pour extraire avec précision la force de cette interaction. Nous avons également construit une nouvelle génération de nano-cellules super-polies en verre et enfin comparé les propriétés spectrales en transmission et spectroscopie hors d’axe. / Alkali vapors confined in nano-scale cells are promising tools for future integrated atom-based sensor. In this thesis, we investigate the interaction between light and an ensemble of atoms confined in a nano-geometry. We focus on the different processes that can modify the optical response of the atomic ensemble and possibly affect the sensitivity of a sensor based on that technology. First, we study the non-local response of atoms to a light excitation due the atomic motion in thermal vapors. When the distance over which the atoms relaxes is larger than the size of the cell, the optical response depends on the size of the system. We have observed that for transmission spectroscopy, this leads to a periodic modification of the optical response with a period equal to the wavelength of the optical transition. Subsequently we showed that when the density of atom increases, the atomic response becomes local again. In this dense regime, the resonant dipole-dipole interaction in a sub-wavelength geometry leads to collective frequency shifts of the spectral lines. We demonstrate that these shifts were induced by the cavity formed by the cell walls, hence clarifying a long-standing issue. We developed a model to extract the density shifts deconvolved from the cavity effects. Close to a surface, the optical response is also affected by the van der Waals atom-surface interaction. We introduced a new method to extract precisely the strength of this interaction. We also developed a new generation of super-polished glass nano-cells and we presented promising spectroscopic signals. Finally, using these cells, we have compared transmission and off-axis spectroscopic techniques.