Cette thèse porte principalement sur l'étude de modèles de fermions en interactions contenant un couplage spin-orbite. Ces modèles (i) peuvent décrire une classe de matériaux composés d'iridates sur le réseau en nid d'abeille ou (ii) pourraient être réalisés artificiellement dans des systèmes d’atomes froids. Nous avons étudié, dans un premier temps, le système à demi-remplissage avec l'interaction de Hubbard et un couplage spin-orbite anisotrope. Nous avons trouvé plusieurs phases: la phase isolant topologique pour de faibles corrélations, et deux phases avec des ordres magnétiques frustrés, l'ordre de Néel et l'ordre spiral, dans la limite de très fortes corrélations. La transition entre les régimes de faibles et de fortes corrélations est une transition de Mott dans laquelle les excitations électroniques se fractionnent en excitations de charge et de spin. Les charges sont localisées par l'interaction. Le secteur de spin présente de fortes fluctuations qui sont modélisées par un gaz d’instantons. Nous avons ensuite exploré la physique d'un système régi au demi-remplissage par le modèle de Kitaev-Heisenberg, qui présente une phase magnétique de type zig-zag. En dopant le système, autour du quart remplissage, la structure de bande présente de nouveaux centres de symétrie en plus de la symétrie d'inversion. Le couplage de spin de Kitaev-Heisenberg favorise alors la formation de paires de Cooper dans un état triplet autour de ces centres de symétrie. La condensation de ces paires de Cooper autour de ces vecteurs d'onde non triviaux se manifeste par une modulation spatiale du paramètre d'ordre supraconducteur, comme dans la supraconductivité de Fulde–Ferrell–Larkin–Ovchinnikov (FFLO). La dernière partie de la thèse propose et étudie une implémentation des phases topologiques dite de Haldane et de Kane-Mele dans un système avec deux espèces de fermions sur le réseau en nid d'abeille, stabilisée grâce à l’interaction RKKY médiée par l’espèce rapide et qui agit sur l’espèce lente. / This thesis is dedicated largely to the study of theoretical models describing interacting fermions with a spin-orbit coupling. These models (i) can describe a class of 2D iridate materials on the honeycomb lattice or (ii) could be realized artificially in ultra-cold gases in optical lattices. We have studied, in the first part, the half-filled honeycomb lattice model with on-site Hubbard interaction and anisotropic spin-orbit coupling. We find several different phases: the topological insulator phase at weak coupling, and two frustrated magnetic phases, the Néel order and spiral order, in the limit of strong correlations. The transition between the weak and strong correlation regimes is a Mott transition, through which electrons are fractionalized into spins and charges. Charges are localized by the interactions. The spin sector exhibits strong fluctuations which are modeled by an instanton gas. Then, we have explored a system described by the Kitaev-Heisenberg spin Hamiltonian at half-filling, which exhibits a zig-zag magnetic order. While doping the system around the quarter filling, the band structure presents novel symmetry centers apart from the inversion symmetry point. The Kitaev-Heisenberg coupling favors the formation of triplet Cooper pairs around these new symmetry centers. The condensation of these pairs around these non-trivial wave vectors is manifested by the spatial modulation of the superconducting order parameter, by analogy to the Fulde–Ferrell–Larkin–Ovchinnikov (FFLO) superconductivity. The last part of the thesis is dedicated to an implementation of the Haldane and Kane-Mele topological phases in a system composed of two fermionic species on the honeycomb lattice. The driving mechanism is the RKKY interaction induced by the fast fermion species on the slower one.

Dans cette thèse nous abordons des aspects topologiques de la matière condensée. Les états topologiques sont insensibles à un large spectre des perturbations externes et au désordre – une propriété indispensable dans le domaine d'information quantique. L’effet des interactions dans des systèmes topologiques est pourtant loin d’être bien maîtrisé à ce jour. Dans ce travail, nous étudions la corrélation entre la description topologique et l'effet des interactions. Afin d'accomplir notre but, nous utilisons des méthodes analytiques et numériques. Nous nous intéressons aussi à des sondes expérimentales qui peuvent être utilisées pour vérifier nos prédictions théoriques. Tout d’abord, nous étudions la version bosonique en interactions du modèle de Haldane – le modèle célèbre qui décrit l’effet Hall anomal. Nous proposons son implémentation expérimentale dans des circuits quantiques, basée sur l’application de perturbation périodique dépendantes du temps – méthodologie qui s’appelle l’ingénierie de Floquet. En poursuivant ces idées, nous étudions la version bosonique du modèle de Kane-Mele d’un isolant topologique. Ce modèle possède un diagramme de phase très riche. En particulier, lorsque les interactions sont fortes, nous observons l’apparition d’un modèle de magnétisme frustrée présentant une variété d'états exotiques. La mise en œuvre de ces modèles dans des réseaux d'atomes ultra-froids ou des circuits quantiques permettra de sonder expérimentalement les propriétés exotiques que nous avons observées. Ensuite, nous abordons d’une manière plus détaillée la réalisation expérimentale des modèles topologiques dans des circuits quantiques, en considérant le cas particulier du modèle de Su-Schrieffer-Heeger en couplage fort. Nous testons aussi des nouvelles sondes qui peuvent être utilisées afin de mesurer la phase de Zak et en déduire la topologie du système. Finalement, nous nous intéressons aux sondes hors d’équilibre et des méthodes pour tester les propriétés spectrales de systèmes quantiques, en utilisant l’approche de purification, pertinent pour le numérique et les expériences. / In this thesis we study the topological aspects of condensed matter physics, that received a revolutionary development in the last decades. Topological states of matter are protected against perturbations and disorder, making them very promising in the context of quantum information. The interplay between topology and interactions in such systems is however far from being well understood, while the experimental realization is challenging. Thus, in this work we investigate analytically such strongly correlated states of matter and explore new protocols to probe experimentally their properties. In order to do this, we use various analytical and numerical techniques. First, we analyze the properties of an interacting bosonic version of the celebrated Haldane model – the model for the quantum anomalous Hall effect. We propose its quantum circuit implementation based on the application of periodic time-dependent perturbations – Floquet engineering. Continuing these ideas, we study the interacting bosonic version of the Kane-Mele model – the first model of a topological insulator. This model has a very rich phase diagram with an emergence of an effective frustrated magnetic model and a variety of symmetry broken spin states in the strongly interacting regime. Ultra-cold atoms or quantum circuits implementation of both Haldane and Kane-Mele bosonic models would allow for experimental probes of the exotic states we observed. Second, in order to deepen the perspectives of quantum circuit simulations of topological phases we analyze the strong coupling limit of the Su-Schrieffer-Heeger model and we test new experimental probes of its topology associated with the Zak phase. We also work on the out-of-equilibrium protocols to study bulk spectral properties of quantum systems and quantum phase transitions using a purification scheme which could be implemented both numerically and experimentally.

Depuis une trentaine d'années, les phases topologiques ont suscité un intérêt important parce qu'elles ne peuvent être comprises dans le cadre de la théorie de Landau des transitions de phases. Par définition, ces phases ne peuvent être distingués des phases triviales par une mesure locale et il est donc difficile de les identifier. Parmi les différentes techniques utilisées pour identifier les phases topologiques, les mesures d'intrication, introduites dans le cadre de l'informatique quantique, se sont révélées fructueuses. Li et Haldane ont proposé d'utiliser le spectre d'intrication : il s'agit du spectre de la matrice densité réduite obtenue lors d'un découpage du système en deux sous-parties. Ils ont montré que, pour les états modèles de l'effet Hall quantique fractionnaire, le comptage des états du spectre d'intrication possède une partie universelle dont le comptage est relié à celui des excitations de bord du système. Au cours de ma thèse, j'ai cherché à comprendre ce que permettait d'obtenir le spectre d'intrication appliqué aux phases de l'effet Hall quantique fractionnaire qui est l'exemple typique de phases topologiques en interaction forte. Mes premiers travaux ont consisté à étudier le spectre d'intrication, tel que l'avait défini Li et Haldane. J'ai ainsi montré qu'au-delà des états modèles il était possible de définir un gap d'intrication. J'ai aussi relié les structures au-dessus du gap d'intrication aux excitations de type quasitrous-quasiparticules. Par la suite, j'ai défini deux autres spectres d'intrication qui repose sur des découpages différents du système. Le spectre d'intrication par particule permet d'accéder à d'autres excitations de type quasitrous alors que le spectre d'intrication géométrique règle un certain nombre de problèmes que la définition de Li et Haldane posait. Enfin, j'ai utilisé ces outils pour identifier les phases, similaires à celles de l'effet Hall quantique fractionnaire, émergentes pour un gaz de bosons dans un réseau optique ou dans les isolants de Chern fractionnaires.