L'utilisation de boucles de rétroaction est au cœur de nombreux systèmes de contrôle classiques. Un contrôleur compare le signal mesuré par une sonde à la valeur de consigne. Il dirige alors un actionneur pour stabiliser le signal autour de la valeur ciblée. Étendre ces concepts au monde quantique se heurte à une difficulté fondamentale : le processus de mesure modifie inévitablement par une action en retour le système à contrôler. Dans ce mémoire, nous présentons la première réalisation d'une boucle de rétroaction quantique utilisée en continu. Le système contrôlé est un mode du champ électromagnétique piégé dans une cavité Fabry-Pérot micro-onde de très haute finesse. Des atomes de Rydberg circulaires réalisent par une succession de mesures dites faibles une mesure quantique non-destructive du nombre de photons dans le mode. Étant donnés les résultats de ces mesures, et connaissant toutes les imperfections expérimentales du système, un ordinateur de contrôle estime en temps réel la matrice densité du champ piégé dont il déduit l'amplitude de champs micro-ondes classiques à injecter permettant de stabiliser l'état du champ autour d'un état cible. Dans ce mémoire, nous montrons comment nous avons été capables de préparer sur demande et de stabiliser les états de Fock du champ contenant de 1 à 4 photons.

Les fluctuations sont présentes dans toute mesure et elles en limitent la sensibilité ultime. Ceci est vrai en particulier pour les fluctuations de nature fondamentale qui correspondent au bruit thermique et au bruit quantique. Un premier objectif de cette thèse a été le développement d'une méthode générale qui permette le traitement de ces fluctuations dans des systèmes de mesure comportant des éléments passifs et des éléments actifs remplissant des fonctions d'amplification ou de contre-réaction. Cette méthode, basée d'une part sur la théorie des réseaux, d'autre part sur le formalisme quantique de la matrice S, s'applique aux systèmes linéaires et, plus généralement, aux systèmes linéarisables autour du point de fonctionnement. Elle peut prendre en compte toutes les sources de bruit et décrit donc la non-idéalité de la mesure. Son caractère modulaire se prête bien au traitement des systèmes complexes. Un deuxième objectif a été l'étude des effets des fluctuations quantiques et thermiques sur la sensibilité des mesures électromécaniques. Le bruit dans ces systèmes, habituellement dominé par les fluctuations thermiques, s'est rapproché du niveau quantique, sous la pression des expériences nécessitant de très hautes sensibilités (détection des ondes gravitationnelles, test du principe d'équivalence dans l'espace) et grâce aux développements technologiques dans le domaine cryogénique. La méthode développée dans cette thèse fournit un cadre théorique consistent pour traiter fluctuations quantiques et thermiques dans ces systèmes. Des résultats précis ont été obtenus pour un accéléromètre conçu par l'ONERA pour des expériences de physique fondamentale dans l'espace et qui présente la particularité d'utiliser un mécanisme de friction froide. Ces résultats permettent d'estimer les limites ultimes de sensibilité d'un tel instrument.