Cette thèse porte principalement sur l'étude de modèles de fermions en interactions contenant un couplage spin-orbite. Ces modèles (i) peuvent décrire une classe de matériaux composés d'iridates sur le réseau en nid d'abeille ou (ii) pourraient être réalisés artificiellement dans des systèmes d’atomes froids. Nous avons étudié, dans un premier temps, le système à demi-remplissage avec l'interaction de Hubbard et un couplage spin-orbite anisotrope. Nous avons trouvé plusieurs phases: la phase isolant topologique pour de faibles corrélations, et deux phases avec des ordres magnétiques frustrés, l'ordre de Néel et l'ordre spiral, dans la limite de très fortes corrélations. La transition entre les régimes de faibles et de fortes corrélations est une transition de Mott dans laquelle les excitations électroniques se fractionnent en excitations de charge et de spin. Les charges sont localisées par l'interaction. Le secteur de spin présente de fortes fluctuations qui sont modélisées par un gaz d’instantons. Nous avons ensuite exploré la physique d'un système régi au demi-remplissage par le modèle de Kitaev-Heisenberg, qui présente une phase magnétique de type zig-zag. En dopant le système, autour du quart remplissage, la structure de bande présente de nouveaux centres de symétrie en plus de la symétrie d'inversion. Le couplage de spin de Kitaev-Heisenberg favorise alors la formation de paires de Cooper dans un état triplet autour de ces centres de symétrie. La condensation de ces paires de Cooper autour de ces vecteurs d'onde non triviaux se manifeste par une modulation spatiale du paramètre d'ordre supraconducteur, comme dans la supraconductivité de Fulde–Ferrell–Larkin–Ovchinnikov (FFLO). La dernière partie de la thèse propose et étudie une implémentation des phases topologiques dite de Haldane et de Kane-Mele dans un système avec deux espèces de fermions sur le réseau en nid d'abeille, stabilisée grâce à l’interaction RKKY médiée par l’espèce rapide et qui agit sur l’espèce lente. / This thesis is dedicated largely to the study of theoretical models describing interacting fermions with a spin-orbit coupling. These models (i) can describe a class of 2D iridate materials on the honeycomb lattice or (ii) could be realized artificially in ultra-cold gases in optical lattices. We have studied, in the first part, the half-filled honeycomb lattice model with on-site Hubbard interaction and anisotropic spin-orbit coupling. We find several different phases: the topological insulator phase at weak coupling, and two frustrated magnetic phases, the Néel order and spiral order, in the limit of strong correlations. The transition between the weak and strong correlation regimes is a Mott transition, through which electrons are fractionalized into spins and charges. Charges are localized by the interactions. The spin sector exhibits strong fluctuations which are modeled by an instanton gas. Then, we have explored a system described by the Kitaev-Heisenberg spin Hamiltonian at half-filling, which exhibits a zig-zag magnetic order. While doping the system around the quarter filling, the band structure presents novel symmetry centers apart from the inversion symmetry point. The Kitaev-Heisenberg coupling favors the formation of triplet Cooper pairs around these new symmetry centers. The condensation of these pairs around these non-trivial wave vectors is manifested by the spatial modulation of the superconducting order parameter, by analogy to the Fulde–Ferrell–Larkin–Ovchinnikov (FFLO) superconductivity. The last part of the thesis is dedicated to an implementation of the Haldane and Kane-Mele topological phases in a system composed of two fermionic species on the honeycomb lattice. The driving mechanism is the RKKY interaction induced by the fast fermion species on the slower one.