Cette thèse est divisée en trois parties. Une première section présente les résultats de l'étude de la formation de polarons magnétiques liés (BMP) dans le ferroaimant EuB6 par diffusion de neutrons à petits angles (SANS). La nature magnétique du système ferromagnétique est observée sous une température critique de 15K. La signature des BMP n'apparaît pas dans la diffusion de neutrons, mais ces mesures permettent de confirmer une limite inférieure de 100\AA à la longueur de cohérence des BMP (xi_{Lower}). Dans un second temps, l'étude du LaRhSi3, un supraconducteur sans symétrie d'inversion, par muSR et ZF-muSR nous permet de sonder le comportement magnétique du système dans la phase supraconductrice. Aucun champ magnétique interne n'a été détecté en ZF-muSR sous la température critique (T_c = 2.2K). Cela indique que la phase supraconductrice ne porte pas de moment cinétique intrinsèque. L'analyse du spectre d'asymétrie sous l'application d'un champ magnétique externe nous apprend que le système est faiblement type II par l'apparition de la signature de domaines magnétiques typique d'un réseau de vortex entre H_{c1}(0) et H_{c2}(0), respectivement de 80+/- 5 et 169.0 +/- 0.5 G. Finalement, la troisième section porte sur l'étude du champ magnétique interne dans l'antiferroaimant organique NIT-2Py. L'observation d'une dépendance en température des champs magnétiques internes aux sites d'implantation muonique par ZF-muSR confirme la présence d'une interaction à longue portée entre les moments cinétiques moléculaires. Ces valeurs de champs internes, comparées aux calculs basés sur la densité de spins obtenue par calculs de la théorie de la fonctionnelle de la densité, indiquent que la moitié des molécules se dimérisent et ne contribuent pas à l'ordre antiferromagnétique. La fraction des molécules contribuant à l'ordre antiferromagnétique sous la température critique (T_c = 1.33 +/- 0.01K) forme des chaines uniformément polarisées selon l'axe (1 0 -2). Ces chaines interagissent antiferromagnétiquement entre elles le long de l'axe (0 1 0) et ferromagnétiquement entre les plan [-1 0 2]. / This thesis is divided in three sections. The first section presents the results from a small angle neutron scattering (SANS) investigation of the formation of bound magnetic polarons in the ferromagnet EuB6. While the magnetic nature of the system was observed below 15K, we could not resolve the q dependent signature of the polarons, thus putting a lower limit of 100\AA to the coherence length of the phenomenon (xi_{Lower}). Secondly, we investigated the non-centrosymmetric superconductor LaRhSi3 by muSR. The absence of an internal field below T_c = 2.2 K in ZF-muSR, indicates that the superconducting wave function does not carry an intrinsic magnetic moment. The asymmetry spectrum taken under external magnetic field shows the magnetic signature associated with vortices between H_{c1}(0) and H_{c2}(0), respectively 80 +/- 5 and 169.0 +/- 0.5 G, suggesting the system is weakly type-II. Finally, the third section presents the zero field muSR study of internal magnetic fields in the organic antiferromagnet NIT-2Py. The temperature dependent oscillating signal in the ZF-muSR spectrum confirms the presence of a long-range magnetic interaction between the molecules. By comparing the measured internal magnetic fields to calculated values based on density fonctional theory calculations, we confirm that half the molecules dimerizes while the other half forms the antiferromagnetic order under the critical temperature (T_c = 1.33 +/- 0.01K). In this antiferromagnetic order, the moments on the magnetic molecules are uniformly aligned along the (1 0 -2) axis. They interact antiferromagnetically along the (0 1 0) axis and ferromagnetically between the [-1 0 2] planes.

La déstabilisation de l’ordre antiferromagnétique de Néel au profit de nouvelles phases quantiques à température nulle à deux dimensions est envisageable grâce au phénomène de frustration magnétique. Le modèle théorique de spins Heisenberg S=1/2 répartis sur le réseau bidimensionnel frustré kagome, constitué de triangles joints uniquement par leurs sommets, est susceptible de stabiliser des phases quantiques originales de liquides de spin, qui ne présentent aucune brisure de symétrie à T = 0. Cette thèse a été consacrée à l’étude expérimentale de deux types de composés de spins S=1/2 (Cu2+) à géométrie kagome à l’aide de techniques spectroscopiques locales, la RMN et la μSR, ainsi que de mesures thermodynamiques (susceptibilité magnétique, chaleur spécifique). Dans Mg-herbertsmithite, la frustration est générée par une interaction d’échange premiers voisins antiferromagnétique J et est responsable d’un comportement liquide de spin jusqu’à des températures de l’ordre de J/10000. Par rapport au composé isostructural antérieur, Zn-herbertsmithite, nous avons montré qu’il possédait des propriétés physiques similaires tout en permettant une caractérisation fine du taux de défauts de substitutions Cu/Mg. Nos expériences réalisées à partir d’échantillons contrôlés permettent d’étudier finement l’origine des plateaux de relaxation observés en μSR à basse température en lien avec l’existence des défauts de spins interplans. La kapellasite et l’haydéite possèdent des interactions ferromagnétiques (J1) et antiferromagnétiques (Jd), offrant la possibilité d’explorer le diagramme de phases générées par la compétition de ces interactions sur le réseau kagome. Pour la kapellasite, nos mesures de μSR démontrent le caractère liquide de spin jusqu’à T ≈ J1/1000. La dépendance en température de la susceptibilité magnétique sondée par RMN du 35Cl ainsi que de la chaleur spécifique permettent d’évaluer le rapport Jd/J1 = 0.85, qui localise classiquement son fondamental au sein d’une phase originale de spins non coplanaires à 12 sous-réseaux appelée cuboc2. Les interactions présentes dans l’haydéite localisent son fondamental au sein de la phase ferromagnétique, en bon accord avec nos mesures qui indiquent une transition partielle à caractère ferromagnétique à T = 4 K. Cette étude confirme la pertinence du réseau kagome frustré pour la stabilisation de phases quantiques originales et démontre l’existence d’une nouvelle phase liquide de spin sur ce réseau, distincte de celle attendue pour des spins couplés antiferromagnétiquement. / Magnetic frustration helps destabilizing conventional Néel order at T = 0 in dimensions 2, and therefore allows the emergence of new original quantum phases. The S=1/2 Heisenberg Hamiltonian on the highly frustrated kagome lattice, which is made of corner-sharing triangles, is expected to stabilize such quantum states, including the spin liquid ones which do not break any symmetry even at T = 0. This thesis work focuses on the experimental study of two kinds of S=1/2 (Cu2+) kagome compounds using NMR and μSR local probes as well as thermodynamic measurements (magnetic susceptibility, specific heat).In Mg-herbertsmithite magnetic frustration occurs thanks to a first nearest-neighbor antiferromagnetic interaction J and is responsible for the spin liquid behavior observed down to T = J/10000. In comparison with the formerly known isostructural counterpart Zn-herbertsmithite, we showed that it shares similar physical magnetic properties while allowing sensitive structural refinements and therefore a control of the level of Cu/Mg substitutions defects. Our experiments performed on such well controlled materials allow us to investigate the origin of the dynamical relaxation in these compounds in relation with the existence of interplane spins defects. Kapellasite and haydeite possess both ferromagnetic (J1) and antiferromagnetic (Jd) interactions. They offer the possibility to explore the phase diagram generated by such competing interactions on the kagome lattice. For kapellasite, our μSR experiments evidenced a spin liquid character down to T ≈ J1/1000. We tracked the temperature dependence of the magnetic susceptibility probed by 35Cl-NMR as well as of the specific heat, from which the ratio Jd/J1 = 0.85 can be evaluated. This ratio locates the ground-state of kapellasite to be within an original non-coplanar spin phase described by 12 magnetic sublattices and called cuboc2. Magnetic exchanges in haydeite locate its ground-state within the ferromagnetic phase. Both our local and thermodynamic measurements point to a partial ferromagnetic transition at T = 4 K. This study confirms the relevance of the frustrated quantum kagome lattice to stabilize original quantum phases and suggests the existence of a new spin liquid phase, distinct from the one expected for antiferromagnetically coupled spins.