Depuis quelques temps, les physiciens théoriciens de la matière condensée sont confrontés à un problème majeur : la puissance de calcul nécessaire pour simuler numériquement et étudier certains systèmes à N corps est insuffisante. Comme le contrôle et l’utilisation des systèmes d’atomes ultra-froids se sont développés de manière importante,principalement durant les deux dernières décennies, nous sommes peut-être en mesure d eproposer une solution alternative : utiliser des atomes ultra-froids piégés dans des réseaux optiques en tant que simulateur quantique. En effet, la physique des électrons se déplaçant sur la structure cristalline d’un solide, ainsi que celle des atomes piégés dans des réseaux optiques, sont toutes les deux décrites par le même modèle de Fermi-Hubbard, qui est une présentation simplifiée du comportement des fermions sur un réseau périodique. Les simulateurs quantiques peuvent donc simuler des propriétés électriques des matériaux, telle sque la conductivité ou le comportement isolant, et potentiellement aussi des propriété smagnétiques telles que l’ordre antiferromagnétique.L’expérience AUFRONS, sur laquelle j’ai travaillé pendant mon doctorat, a pour but d’étudie rla physique des fermions fortement corrélés, avec un simulateur quantique basé sur l’utilisation d’atomes ultra-froids de rubidium 87 et de potassium 40, piégés dans le potentiel nanostructuré des réseaux optiques bidimensionnels, générés en champ proche. Pour détecter la distribution atomique à d’aussi courtes distances, nous avons développé une technique d’imagerie novatrice, qui nous permettra de contourner la limite de diffraction. Une fois terminé, notre système d’imagerie pourrait potentiellement détecter et identifier des sites individuels du réseau optique sub-longueur d’onde.Dans ce manuscrit, je décris le travail que j’ai effectué pour construire l’expérience AUFRONS,ainsi que l’étude de faisabilité que j’ai réalisée pour la technique d’imagerie à super-résolution. / For some time now, theoretical physicists in condensed matter face a majorproblem: the computing power needed to numerically simulate and study some interactingmany-body systems is insufficient. As the control and use of ultracold atomic systems hasexperimented a significant development in recent years, an alternative to this problem is to usecold atoms trapped in optical lattices as a quantum simulator. Indeed, the physics of electronsmoving on a crystalline structure of a solid, and the one of trapped atoms in optical lattices areboth described by the same model, the Fermi-Hubbard model, which is a simplifiedrepresentation of fermions moving on a periodic lattice. The quantum simulators can thusreproduce the electrical properties of materials such as conductivity or insulating behavior, andpotentially also the magnetic ones such as antiferromagnetism.The AUFRONS experiment, in which I worked during my PhD, aims at building a quantumsimulator based on cooled atoms of 87Rb and 40K trapped in near field nanostructured opticalpotentials. In order to detect the atom distribution at such small distances, we have developedan innovative imaging technique for getting around the diffraction limit. This imaging systemcould potentially allow us to detect single-site trapped atoms in a sub-wavelength lattice.In this thesis, I introduce the work I have done for building the AUFRONS experiment, as wellas the feasability study that I did for the super-resolution imaging technique.

Depuis plusieurs décennies un intérêt est né pour combiner deux systèmes quantiques pour former unsystème hybride quantique (SHQ) aux qualités qu’il serait impossible d’atteindre avec un seul des deuxsous-constituants. Parmi les systèmes quantiques, les atomes froids se distinguent par leur fort découplagede l’environnement, permettant un contrôle précis de leurs propriétés intrinsèques. En outre, les simulateursquantiques réalisés en piégeant des atomes froids dans des réseaux optiques présentent des propriétéscontrôlables (échelle d’énergie, géométrie,...) qui permettent d’étudier de nouveaux régimes intéressants enphysique de la matière condensée. Dans cette quête de phases quantiques exotiques (e.g., antiferromagnétisme),la réduction de l’entropie thermique est un défi crucial. Le prix à payer pour atteindre de si faiblestempérature et entropie est un long temps de thermalisation qui limite la réalisation expérimentale. La réductionde la période du réseau est une solution prometteuse pour augmenter la dynamique du système.Les SHQs avec des atomes froids offrent de riches perspectives mais requiert d’interfacer des systèmes quantiquesdans des états différents (solide/gaz) à des distances très proches, ce qui reste un défi expérimental.Le projet AUFRONS, dans lequel s’inscrit cette thèse, vise à refroidir un gaz d’atomes froids jusqu’aurégime de dégénérescence quantique puis de transporter et piéger ce nuage en champ proche d’une nanostructure.L’idée est d’obtenir un gaz d’atomes froids piégé dans un réseau bidimensionnel aux dimensionssublongueur d’onde, à quelques dizaines de nm de la structure. Un des objectifs est d’étudier les interactionsau sein du réseau mais également le couplage des atomes avec les modes de surface.Le travail réalisé durant cette thèse se décompose en une partie expérimentale et une partie théorique.Dans la première nous présentons le refroidissement d’atomes de 87Rb jusqu’au régime de dégénérescencequantique. La seconde partie est consacrée aux simulations théoriques d’une nouvelle méthode que nousavons implémentée pour piéger et manipuler des atomes froids à moins de 100 nm d’une nanostructure.Cette méthode, qui tire profit de la résonance plasmonique et des forces du vide (effet Casimir-Polder),permet de créer des potentiels sublongueur d’onde aux paramètres contrôlables. Nous détaillons ainsi lescalculs des forces optiques et des forces du vide que nous appliquons au cas d’un atome de 87Rb en champproche d’une nanostructure 1D. / An interest for hybrid quantum systems (HSQs) has been growing up for the last decades. This object combines two quantum systems in order to take advantage of both systems’ qualities, not available withonly one. Among these quantum systems, ultracold atoms distinguish themselves by their strong decoupling from environment which enables an excellent control of their intrinsic properties. Optical lattice quantum simulators with tunable properties (energy scale, geometry,...) allows one to investigate new regimes incondensed matter physics. In this quest for exotic quantum phases (e.g., antiferromagnetism), the reduction of thermal entropy is a crucial challenge. The price to pay for such low temperature and entropy is a longthermalization time that will ultimately limit the experimental realization. Miniaturization of lattice spacingis a promising solution to speed up the dynamics. Engineering cold atom hybrids offers promising perspectives but requires us to interface quantum systems in different states of matter at very short distances, which still remains an experimental challenge.This thesis is part of the AUFRONS project, which aims at cooling down an atomic gas until the quantum degeneracy regime then transport and trap this cloud in the near field of a nanostructure. The idea is to trapcold atoms in a two-dimensional subwavelength lattice, at a few tenth of nm away from the surface. One goal is to study atom-atom interactions within the lattice but also atom-surface modes coupling.The work realized during this thesis splits into an experimental part and a theoretical part. In the firstone, we present the cooling of 87Rb atoms until the quantum degeneracy regime. The second part is dedicated to theoretical simulations of a new trapping method we have implemented to trap and manipulate cold atoms below 100 nm from structures. This method takes advantage of plasmonic resonance and vacuum forces (Casimir-Polder effect). It allows one to create subwavelength potentials with controllable parameters.We detail the calculations of optical and vacuum forces to apply them to an atom of 87Rb in the vicinity of a 1D nanostructure.