Thermal fluctuations and disorder strongly influence the behaviour of hightemperature superconductors. In particular the vortices play a key role in determining their properties. In this thesis the main focus lies on phase transitions, both in ultra-thin films and in three-dimensional systems, which are driven by vortex fluctuations. The last paper concerns the influence of antiferromagnetism on superconductivity in a simple model. A brief review of these topics is given in the introductory part. The main results are: The phase transition in ultra-thin superconducting/superfluid films is studied within the two-dimensional Coulomb gas model, which is known to have a Berezinskii-Kosterlitz-Thouless transition at low vortex densities. We construct the phase diagram from grand canonical Monte Carlo simulations on a continuum, without any restrictions on the vortex density. The dynamical universality classes for vortices in superconductors in zero magnetic field are studied by means of Monte Carlo simulations, with particular attention to the role of screening of the vortex interaction. We construct a formula for the k = 0 helicity modulus directly in terms of the vortex line fluctuations, which can serve as a useful way to detect superconducting coherence in model calculations. A method for simulating vortex lines on a continuum is developed, and used to study the melting of the Abrikosov vortex lattice. We study the critical dynamics for vortices in the presence of columnar defects. The linear resistivity and current-voltage characteristics are calculated in Monte Carlo simulations, and the critical behaviour extracted using finite size scaling. We reconsider the scaling properties as the magnetic field is tilted away from the direction of the columns. The influence of antiferromagnetic correlations on the superconducting properties is studied in a simplified lattice fermion model for superconductivity in the presence of an antiferromagnetic background. We find that the superconducting critical temperature is enhanced by antiferromagnetic order, and that a gap with dx2-y2-wave symmetry is the most stable. / QC 20100512

Cette thèse porte principalement sur l'étude de modèles de fermions en interactions contenant un couplage spin-orbite. Ces modèles (i) peuvent décrire une classe de matériaux composés d'iridates sur le réseau en nid d'abeille ou (ii) pourraient être réalisés artificiellement dans des systèmes d’atomes froids. Nous avons étudié, dans un premier temps, le système à demi-remplissage avec l'interaction de Hubbard et un couplage spin-orbite anisotrope. Nous avons trouvé plusieurs phases: la phase isolant topologique pour de faibles corrélations, et deux phases avec des ordres magnétiques frustrés, l'ordre de Néel et l'ordre spiral, dans la limite de très fortes corrélations. La transition entre les régimes de faibles et de fortes corrélations est une transition de Mott dans laquelle les excitations électroniques se fractionnent en excitations de charge et de spin. Les charges sont localisées par l'interaction. Le secteur de spin présente de fortes fluctuations qui sont modélisées par un gaz d’instantons. Nous avons ensuite exploré la physique d'un système régi au demi-remplissage par le modèle de Kitaev-Heisenberg, qui présente une phase magnétique de type zig-zag. En dopant le système, autour du quart remplissage, la structure de bande présente de nouveaux centres de symétrie en plus de la symétrie d'inversion. Le couplage de spin de Kitaev-Heisenberg favorise alors la formation de paires de Cooper dans un état triplet autour de ces centres de symétrie. La condensation de ces paires de Cooper autour de ces vecteurs d'onde non triviaux se manifeste par une modulation spatiale du paramètre d'ordre supraconducteur, comme dans la supraconductivité de Fulde–Ferrell–Larkin–Ovchinnikov (FFLO). La dernière partie de la thèse propose et étudie une implémentation des phases topologiques dite de Haldane et de Kane-Mele dans un système avec deux espèces de fermions sur le réseau en nid d'abeille, stabilisée grâce à l’interaction RKKY médiée par l’espèce rapide et qui agit sur l’espèce lente. / This thesis is dedicated largely to the study of theoretical models describing interacting fermions with a spin-orbit coupling. These models (i) can describe a class of 2D iridate materials on the honeycomb lattice or (ii) could be realized artificially in ultra-cold gases in optical lattices. We have studied, in the first part, the half-filled honeycomb lattice model with on-site Hubbard interaction and anisotropic spin-orbit coupling. We find several different phases: the topological insulator phase at weak coupling, and two frustrated magnetic phases, the Néel order and spiral order, in the limit of strong correlations. The transition between the weak and strong correlation regimes is a Mott transition, through which electrons are fractionalized into spins and charges. Charges are localized by the interactions. The spin sector exhibits strong fluctuations which are modeled by an instanton gas. Then, we have explored a system described by the Kitaev-Heisenberg spin Hamiltonian at half-filling, which exhibits a zig-zag magnetic order. While doping the system around the quarter filling, the band structure presents novel symmetry centers apart from the inversion symmetry point. The Kitaev-Heisenberg coupling favors the formation of triplet Cooper pairs around these new symmetry centers. The condensation of these pairs around these non-trivial wave vectors is manifested by the spatial modulation of the superconducting order parameter, by analogy to the Fulde–Ferrell–Larkin–Ovchinnikov (FFLO) superconductivity. The last part of the thesis is dedicated to an implementation of the Haldane and Kane-Mele topological phases in a system composed of two fermionic species on the honeycomb lattice. The driving mechanism is the RKKY interaction induced by the fast fermion species on the slower one.