L’objectif central de cette thèse est d’étudier des phases ordonnées en compétition dans des matériaux magnétiques présentant une structure cristalline tétragonale centrée.Ce travail est divisé en deux parties principales. Dans la première, nous présentons les résultats de notre étude de la compétition entre des états ordonnés antiferromagnétiques et des phases liquides de spin. Nous montrons comment ces dernières peuvent être stabilisées par la frustration géométrique et par une généralisation de la symétrie de spinau groupe SU(n). Les états antiferromagnétiques sont décrits par une théorie d’onde despin et l’analyse de liquide de spin est effectuée par une représentation fermionique des opérateurs de spin. Dans la deuxième partie, nous décrivons une théorie effective pour dércrire des expériences de diffusion Raman. Nous fournissons un aperçu de la phase d’ordre caché affichée par le composé de fermions lourds URu2Si2. / The main objective of this thesis is to investigate the competing ordered phases in the metallic heavy fermion compound URu2Si2, which displays a body-centered tetragonallattice. We first provide a study case of the competition between antiferromagnetic(AF) and spin liquid phases. The antiferromagnetic state is study with spin-wave theory. Whereas the spin liquid analysis has been carried out in an algebraic spin liquid representation.In the second part, we describe an effective theory for Raman scattering experiments at these particular phases. We provide insight about the hidden order phase displayed by the heavy fermion compound URu2Si2.

L’étude des symétries d’un système peut en révéler de nombreuses propriétés physiques. La brisure, spontanée ou non, d’une de ces symétries implique alors d’importantes conséquences sur le comportement du système. On le voit dans la description actuelle de la physique des particules, avec notamment la création de la masse, ou dans la physique des solides, domaine de cette thèse, avec l’apparition de phases aux propriétés diverses, comme le magnétisme ou la supraconductivité. Le présent travail étudie par spectroscopie de photoémission résolue en angle (ARPES) les effets d’une brisure de symétrie dans deux systèmes différents : le système de fermions lourds URu2Si2 et l’oxyde de métal de transition (TMO) KTaO3. Le cristal d’URu2Si2 passe d’une phase paramagnétique pour T>THO, sujette à la cohérence de Kondo, vers la phase dite d’ordre caché pour T<THO, avec THO ≈ 17.5 K, brisant potentiellement plusieurs symétries. Bien qu’il y a presque trente ans que cettetransition de phase fut mesurée expérimentalement, aucun modèle théorique n’a encore réussi à faire consensus dans la communauté. Malgré une caractérisation expérimentale désormais très poussé de ce système, des informations résolues en angle manquent cruellement pour la compréhension de cette mystérieuse phase. Ce travail de thèse utilise donc des installations ARPES pour mettre en évidence, entre autre, le gap d’ordre caché, d’une amplitude inférieure à 10 meV. Nous montrons que ces mesures s’accordent avec plusieurs travaux expérimentaux précédents. Finalement, nous trouvons de fortes similarités entre les dispersions mesurées et celles calculées par LSDA, soulignant toutefois la nécessité d’introduire une renormalisation importante des masses effectives. Ce résultat contraint fortement les futures modélisations du comportement électronique de l’URu2Si2, tranchant sur l’approche à adopter.Contrairement au dernier système, où nous étudions une transition de phase, dans le tantalate de potassium KTaO3, notre attention se porte sur la brisure de symétrie de translation provoquée par la surface (111). Faisant suite à des mesures de transport qui revélèrent l’existence d’un gaz d’électron bidimensionnel (2DEG) à l’interface d’une hétérostructure de deux TMOs isolants de bandes, notre groupe mesura, plus tard, des 2DEGs aux surfaces (001) nues de SrTiO3 et de KTaO3, par ARPES. C’est dans la continuité de ces résultats que se place le présent travail, avec le désir d’élargir les caractéristiques de ces 2DEGs. Ainsi, poussé par la prédiction théorique d’état au caractère topologique non-trivial, nous apportons l’évidence d’un 2DEG à la surface (111) de KTaO3. Nous modélisons ensuite avec succès sa dispersion particulière grâce à des calculs de liaisons fortes. Ce travail constitue une étape dans la possible mise en évidence d’états au caractère topologique non-trivial dans les TMOs. / Several physical properties of a system can be understood by looking at the symmetries involved. Breaking of a symmetry affects the behavior of the system, regardless ifit happens spontaneously or not. This is observed with the emergence of the mass inparticle physics models, or with the diverse phases arising in condensed matter systems,as magnetism or superconductivity. Using angle-resolved photoemission spectroscopy (ARPES), this work studies theeffects of a symmetry breaking for two different systems : the heavy fermion systemURu2Si2 and the transition metal oxide (TMO) KTaO3. In URu2Si2, a transition occurs from a paramagnetic phase at T>THO to the hiddenorder phase at T<THO, with THO ≈ 17.5 K. This new order potentially breaks several symmetries. Although this transition was measured almost thirty years back, usingelectrical transport, no theoretical model could yet bring a consensus in the community. Since then, various characterizations of this system have been realized, howevermomentum-resolved informations are still missing to help unravel this mystery. Thus,during this thesis, we used state-of-the-art ARPES setups to measure several gaps located at different points in the Brillouin zone, and with amplitudes below 10 meV. Someof them are related to the Kondo coherence, and one is the hidden order gap. We showthat these measurements are consistent with previous experimental works. Finally, weobserved that our measurements differ from LSDA calculations solely by a renormalization of the effective masses by, at least, a factor 10 close to the Fermi level. Taking intoaccount some interactions, such as electronic ones, could lead to a more accurate model.Our measurements provide the constraints for this possible modeling. Unlike the transition we just described, the symmetry breaking in potassium tantalate KTaO3 is not spontaneous. In this system, we look at the (111) surface, wherethe translation symmetry is broken. A metallic two-dimensional electron gas (2DEG)has been measured in 2004 by Ohtomo at the interface between two insulating TMOs :strontium titanate SrTiO3 and lanthanum aluminate LaAlO3. The possible electronicapplications of exotic properties in TMOs, resulting from the d orbitals, has brought anew wave of activity to this topic. Later, our group measured 2DEGs at the (001) baresurfaces of SrTiO3 and KTaO3. Following these results, we wished to tailor the characteristic of such 2DEGS. Led by the theoretical prediction of states with non-trivialtopological character, we are presenting the evidence of a 2DEG at the (111) surface ofKTaO3. We also discuss its dispersion and introduce a tight binding calculation modelsuccessfully. This work is a step towards the realization of non-trivial topological statesin transition metal oxides.