In this thesis we employ various mean-field approaches to study the shortrange interaction effects in topological insulators. We start with the Kane-Mele model on the decorated honeycomb lattice and study the stability of topological insulator phase against different perturbations. We establish an adiabatic connection between a noninteracting topological insulator and a strongly interacting spin liquid in its Majorana fermion representation. We use the Hartree-Fock mean-field approach, slave-rotor approach and slave-boson approach to study correlation effects related to topological insulators. With the spontaneous symmetry breaking mechanism, we can have an interaction driven topological insulator with extended Hubbard models on the kagome lattice and decorated honeycomb lattice. For the interplay among spin-orbit coupling, distortion and correlation effect in transition metal oxides, we use the slave-rotor mean-field approach to study its phase transition. We identify regimes where a strong topological Mott insulator and a weak topological insulator reside due to the strong Coulomb interaction and distortion. This is relevant to experiments with the transition metal oxides as they hold promise to realize topological insulators. To study the doping effects and a possible spin liquid in Kane-Mele-Hubbard model on the honeycomb lattice, we employ the slave-boson mean-field approach which is appropriate for the intermediate interaction strength. We compare our results with those obtained from other methods. / text

L'étude des phases de la matière est d'un intérêt fondamental en physique. La théorie de Landau, qui est le "modèle standard" des transitions de phases, caractérise les phases de la matière en termes des brisures de symétrie, décrites par un paramètre d'ordre local. Cette théorie a permis la description de phénomènes remarquables tels que la condensation de Bose-Einstein, la supraconductivité et la superfluidité.<p><p>Il existe cependant des phases qui échappent à la description de Landau. Il s'agit des phases quantiques topologiques. Celles-ci constituent un nouveau paradigme et sont caractérisées par un ordre global défini par un invariant topologique. Ce dernier classe les objets ou systèmes de la manière suivante: deux objets appartiennent à la même classe topologique s'il est possible de déformer continument le premier objet en le second. Cette propriété globale rend le système robuste contre des perturbations locales telles que le désordre. <p><p>Les atomes froids constituent une plateforme idéale pour simuler les phases quantiques topologiques. Depuis l'invention du laser, les progrès en physique atomique et moléculaire ont permis un contrôle de la dynamique et des états internes des atomes. La réalisation de gaz quantiques,tels que les condensats de Bose-Einstein et les gaz dégénérés de Fermi, ainsi que la réalisation de réseaux optiques à l'aide de faisceaux lasers, permettent d'étudier ces nouvelles phases de la matière et de simuler aussi la physique du solide cristallin.<p><p>Dans cette thèse, nous nous concentrons sur l'etude d'isolants topologiques avec des atomes froids. Ces derniers sont isolants de volume mais possèdent des états de surface qui sont conducteurs, protégés par un invariant topologique. Nous traitons trois sujets principaux. Le premier sujet concerne la génération dynamique d'un isolant topologique de Mott. Ici, les interactions engendrent l'isolant topologique et ce, sans champ de jauge de fond. Le second sujet concerne la détection des isolants topologiques dans les expériences d'atomes froids. Nous proposons deux méthodes complémentaires pour caractériser celles-ci. Finalement, le troisième sujet aborde des thèmes au-delà de la définition standard d'isolant topologique. Nous avons d'une part proposé un algorithme efficace pour calculer la conductivité de Berry, la contribution topologique à la conductivité transverse lorsque l'énergie de Fermi se trouve dans une bande d'énergie. D'autre part, nous avons utilisé des méthodes pour caractériser les propriétés quantiques topologiques de systèmes non-périodiques.<p><p>L'étude des isolants topologiques dans les expériences d'atomes froids est un sujet de recherche récent et en pleine expansion. Dans ce contexte, cette thèse apporte plusieurs contributions théoriques pour la simulation de systèmes quantiques sur réseau avec des atomes froids. / Doctorat en Sciences / info:eu-repo/semantics/nonPublished