La découverte de l'effet Hall quantique par von Klitzing en 1980 a ouvert la voie à ce qui sera connu plus tard comme la théorie topologique des bandes. Dans le cadre de cette théorie, on ne s'intéresse plus uniquement à la relation de dispersion énergétique des électrons dans les cristaux, mais aussi à l'organisation topologique de la structure de bande. Cette théorie a permis la découverte d'une nouvelle phase de la matière, représentée par les isolants topologiques. Ces isolants topologiques ont de particulier qu'ils se comportent comme des isolants normaux dans le bulk, mais présentent des états de surface conducteurs. Dans cette thèse, on s'intéresse particu- lièrement aux isolants topologiques dits Z2, pour lesquels les états de surface sont protégés par la symétrie de renversement du temps : ils ne peuvent disparaître en présence d'une perturbation qui préserve cette symétrie sans que le système ne traverse une transition de phase quantique. Pour les isolants topologiques à trois dimensions, nous proposons dans cette thèse, un critère expérimental utilisant les oscillations quantiques magnétiques, permettant d'identifier un type particulier d'isolants topologiques : les isolants topologiques forts. Pour les systèmes à deux dimensions, nous nous sommes intéressés aux phénomènes liés à la rupture de la symétrie par renversement du temps à cause de la présence d'un ordre antiferro- magnétique. Dans ce cas, la symétrie d'importance devient le renversement du temps fois une translation. Dans ce contexte, nous avons tout d'abord établi analytiquement l'expression d'un invariant topologique pour les systèmes présentant aussi la symétrie d'inversion. Nous avons ensuite adapté trois méthodes numériques normalement utilisées dans le cadre des isolants topo- logiques invariants par renversement du temps : la méthode de la phase de jonction, la méthode des centres de charge des fonctions de Wannier et la construction explicite des états de bord. Nous avons montré qu'elles permettaient de tester la nature triviale ou topologique de plusieurs modèles théoriques pour lesquelles aucune méthode n'existait, par exemple les systèmes sans symétrie d'inversion. / The discovery of the quantum Hall effect by von Klitzing in 1980 paved the way for what is now known as topological band theory. In this theory, we are interested not only in the energy spectra of the electrons in crystals, but also in the topological structure of the bands. A new phase of matter was discovered thanks to this theory : the topological insulators. Topological insulators are unique in the sense that they behave like trivial insulators in the bulk, but possess metallic edge states. In this thesis, we are particularly interested in so-called Z2 topological insulators, whose edge states are protected by time reversal symmetry : they cannot disappear in the presence of a perturbation that respects this symmetry, without the system undergoing a quantum phase transition. For three-dimensional topological insulators, we propose an experimental criterion based on magnetic quantum oscillations to identify a special kind of topological insulators : the strong topological insulator. In two dimensions, we study the consequences of time reversal symmetry breaking due to anti-ferromagnetic order. In this case, the important symmetry is time reversal times a trans- lation. In this context, we first establish an analytical expression for systems that also have inversion symmetry. We then adapt three numerical methods usually employed for time reversal symmetric systems : the reconnection phase method, the Wannier charge center method and the explicit construction of edge states. We show that they are useful to probe the topology of models for which no methods were available ; such as non-centrosymmetric systems.

Dans cette thèse, nous nous sommes intéressés aux propriétés électroniques de deux familles de systèmes à fortes corrélations électroniques, les supraconducteurs à haute température critique (cuprates) et les fermions lourds, lorsqu'ils sont soumis à un fort champ magnétique (60 T). Depuis leur découverte en 1986, le diagramme de phase des supraconducteurs à haute température critique reste énigmatique. L'une des questions fondamentales concerne la nature de l'état normal à basse température. Dans la phase surdopée (p>0.16), on retrouve les caractéristiques d'un métal conventionnel, avec notamment une grande surface de Fermi. Dans la phase sous-dopée, les mesures d'ARPES semblent indiquer que la surface de Fermi n'est pas fermée et est seulement constituée d'arcs de Fermi déconnectés et aucune mesure expérimentale n'a permis jusqu'à présent de mettre en évidence une surface de Fermi fermée. En mesurant la résistance de Hall dans deux oxydes de cuivre de type YBCO, nous avons mis en évidence des oscillations quantiques établissant l'existence, à basse température, d'une surface de Fermi fermée et cohérente pour les cuprates sous-dopés. La faible fréquence d'oscillation mesurée indique que la surface de Fermi est constituée de petites poches, en fort contraste avec le grand cylindre observé du côté surdopé. De plus, l'observation d'un effet Hall négatif dans l'état normal à basse température suggère la présence d'électrons dans la surface de Fermi. On discute alors la possibilité qu'une reconstruction de la surface de Fermi entraîne l'apparition de petites poches d'électrons et de trous. Dans un second temps, nous présentons des mesures de magnétotransport et d'effet Nernst dans le fermion lourd URu2Si2 . Il apparaît que la mystérieuse phase ordre caché apparaissant à T <17.5 K soit caractérisée par des porteurs en faible nombre mais très mobiles, pouvant induire l'émergence d'un effet Nernst important. L'application d'un champ magnétique supérieur à 35 T à basse température déstabilise cet ordre et un état métallique plus conventionnel semble être restauré au dessus de 40 T.

Dans cette thèse, deux composés à fermions lourds ont été étudiés sous pression. L'état fondamental en dessous de T0 = 17.5 K dans URu2Si2 est appelé "ordre caché (HO), parce que le paramètre d'ordre n'a pas encore été trouvé. A 1.5 K, le système devient en plus supraconducteur. Sous pression, le système devient antiferromagnetique (AF) au dessus d'une pression critique. Des mesures Shubnikov-de Haas sous pression montre, que la surface de Fermi ne change pas entre les deux phases. Dans la phase AF, le dédoublement de la maille implique une reconstruction de la surface de Fermi. Vu que celle-ci ne change pas sous pression, ce dédoublement doit avoir lieu déjà dans l'HO. Nos mesures de la dépendance angulaire des fréquences d'oscillation supportent des nouveau calcules de bande dans le cas d'électrons plutôt itinérant. Comme deuxième partie de ma thèse, j'ai étudié le diagramme de phase sous pression du supraconducteur (SC) ferromagnétique (FM) UCoGe (TC = 2.8 K,Tsc = 0.6 K). Les mesures de résistivité, ac calorimétrie et ac susceptibilité montrent que la phase FM est supprimé a environs 1 GPa mais la phase SC existe jusque dans la phase paramagnétique induite par la pression. Ce diagramme de phase est unique dans la classe des supraconducteurs ferromagnétiques.

Cette thèse montre de nouveaux résultats sur les supraconducteurs ferromagnétiques UCoGe et URhGe et sur l’ordre caché dans URu2Si2. Le diagramme de phase pression température d’UCoGe a été étudié jusqu’à 10.5 GPa. L’ordre ferromagnétique subsiste jusqu’à la pression critique pc≈1 GPa et la supraconductivité non conventionnelle jusqu’à p = 4 GPa. Les fluctuations magnétiques responsables de la supraconductivité peuvent être réduites par l’application d’un champ magnétique. Les surfaces de Fermi d’UCoGe et d’URhGe ont été mesurées grace aux oscillations quantiques. Quatre poches ont été détectées dans UCoGe, elles subissent une succession de transition de Lifshitz de la surface de Fermi sous champ magnétique. Les poches détectés évoluent continument avec la pression jusqu’à 2.5 GPa, sans montrer de reconstruction de la surface de Fermi à la pression critique pc. Dans URhGe, trois poches lourdes de la surface de Fermi ont aussi été découvertes. Enfin dans la phase d’ordre caché d’URu2Si2, les oscillations quantiques ont révélé une forte anisotropie du facteur gyromagnétique g pour deux poches de la surface de Fermi, qui est comparable à l’anisotropie macroscopique. Cette dernière a été étudiée à partir du champcritique supérieur de la supraconductivité. / This thesis is concentrated on the ferromagnetic superconductors UCoGe and URhGe andon the hidden order state in URu2Si2. In the first part the pressure temperature phase diagram of UCoGe was studied up to 10.5 GPa. Ferromagnetism vanishes at the critical pressure pc≈1 GPa. Unconventional superconductivity and non Fermi liquid behavior can be observed in a broad pressure range around pc. The superconducting upper critical field properties were explained by the suppression of the magnetic fluctuations under field. In the second part the Fermi surfaces of UCoGe and URhGe were investigated by quantum oscillations. In UCoGe four Fermi surface pockets were observed. Under magnetic field successive Lifshitz transitions of the Fermi surface have been detected. The observed Fermi surface pockets in UCoGe evolve smoothly with pressure up to 2.5 GPa and do not show any Fermi surface reconstruction at the critical pressure pc. In URhGe, three heavy Fermi surface pockets were detected by quantum oscillations. In the last part the quantum oscillation study in the hidden order state of URu2Si2 shows a strong g factor anisotropy for two Fermi surface pockets, which is compared to the macroscopic g factor anisotropy extractedfrom the upper critical field study.

Ce travail de thèse a pour but de clarifier le mécanisme de la transition métal-isolant (MIT) pilotée par le dopage électronique x du système quasi-2D BaCo1-xNixS2.Une optimisation de la croissance de monocristaux pour des taux de substitution allant de x = 0 à 1 a été nécessaire. Cela a permis de synthétiser de manière reproductible des monocristaux non lacunaires en soufre, de taille millimétrique et de haute qualité. L'analyse structurale de ces cristaux a permis d'établir une relation précise entre les distances métal-soufres et le taux de substitution x.Le travail de thèse a ensuite été focalisé sur l'étude des propriétés électroniques et de transport de BaNiS2 la phase métallique précurseur de la MIT. Les études de la structure électronique par photoémission résolue en angle (ARPES) et par des mesures d'oscillations quantiques ont révélées une surface de Fermi composée d'une poche d'électrons 2D centrée en Γ(Z) et d'une poche de trous positionnée à mi-distance suivant ΓM(ZA) quasi-2D avec une dispersion conique à kz =0. Une levée de dégénérescence des bandes à Γ et à X révèle la présence inattendue et importante d'un couplage spin-orbite et d'un couplage Rashba. Les mesures de magnétotransport ont pu être expliquées par un modèle qui implique que BaNiS2 est un semi-métal compensé avec trois voies de conduction. Des trous p1 et électrons e1 largement majoritaires et présentant des mobilités modérées ainsi que des trous p2 minoritaires de très haute mobilité.La cohérence de l'ensemble des mesures donne une image précise de la surface de Fermi de BaNiS2 et de ses propriétés électroniques plus bidimensionnelle que celle prévu par le calculs de bandes conventionnelle. / This work aims to clarify the mechanism of the metal-insulator transition (MIT) driven by doping x in the quasi-2D BaCo1-xNixS2 system. First of all, synthesize of high quality single crystals with substitution level x varying in the full 0 - 1 range was fundamental. It appears that the mechanism of the metal-insulator transition is associated to a continuous modification of metal-sulfurs distances. Then, we focus on an investigated the electronic properties of BaNiS2, precursor metallic phase of the MIT. Studies of the electronic structure of BaNiS2 by angle-resolved photoemission spectroscopy (ARPES) and by quantum oscillation measurements reveal the existence of two pockets at the Fermi surface: an electron-like 2D pocket centered in Γ(Z) and a hole-like pocket quasi-2D at mi-distance along ΓM(ZA) with a conic-like dispersion in kz = 0 . Furthermore, data also show a very large spin-orbit splitting at Γ and Z which is unexpected in a 3d metal compound. From previous studies, we developed a model to explain magnetotransport properties of BaNiS2. This model involves that BaNiS2 is a three carriers compensated metal: a majority holes p1 and electrons e1 carriers with moderate mobilities and a minor holes p2 carriers with a high mobility. The two different holes carries observed in magneto-transport could be explain by an important variation of the hole-like pocket dispersion along kz. Measures realized during this thesis are consistent and allowed to know precisely the form of the Fermi surface of BaNiS2 and its electronic properties which are more bi-dimensional than predict by conventional calculation.