Ce travail porte sur l'effet tunnel d'aimantation dans des systèmes des aimants moléculaires et implique des aspects numériques et surtout expérimentaux. Les aimants moléculaires sont formés des grandes molécules magnétiques, arrangées dans une structure cristalline ; elles ont le même spin, anisotropie et orientation, les aimants résultants étant tres bien caractérisés. Si la physique quantique d'une molécule isolée est très bien connue, les interactions intermoléculaires ont été négligées jusqu'à présent. Le but de cette thèse est d'établir le rôle de ce couplage dans l'effet tunnel du moment magnétique des agrégats moléculaires. Le travail a nécessité l'utilisation de différentes techniques expérimentales : magnétométrie à SQUID, à micro-SQUID, à micro-sonde de Hall ; les mesures sont faites dans le régime des tres basses températures à l'aide des cryostats à dilution. Nous présentons un premier exemple de dimère moléculaire [Mn4]2 dans lequel l'interaction d'échange antiferromagnétique entre les deux molécules Mn4 ne peut pas être négligée. Chaque monomère réagit comme un champ supplémentaire sur son voisin et induit un décalage des résonances de dimère par rapport aux résonances d'une molécule isolée. À l'aide d'un tel système nous montrons l'existence des états intriqués des deux molécules. Ainsi l'effet tunnel devient un phénomène qui implique des états quantiques des deux molécules à la fois. Nous montrons aussi que, dans ces systèmes, il y a une distribution de constante de couplage inter-moléculaire et que l'interaction d'échange est quasi-isotrope. Les effets quantiques à plusieurs spins sont généralisés ensuite sur un système dimèrique particulier où, en plus de couplage à l'intérieur du dimère, il y a des faibles interactions entre dimères voisins. Dans ce réseau 3D d'aimants moléculaires, les interactions inter-moléculaires sont suffisamment fortes pour se traduire dans des champs de décalage supplémentaires, mais en même temps suffisamment faibles pour ne pas générer un matériaux anti-ferromagnétique macroscopique.

Effets quantiques mésoscopiques d'ions de terres rares faiblement couplés. Quel peut-être l'apport d'ions de terres rares fortement dilués au magnétisme mésoscopique ? Ce travail décrit l'origine d'une dynamique quantique lente du renversement du moment magnétique d'un ion Ho$^(3+)$, en présence d'une forte anisotropie uniaxiale (retournement d'un aimant atomique par effet tunnel sous la barrière d'anisotropie). Dans le monocristal quadratique LiYF$_4$, les mécanismes de relaxation paramagnétique dus aux couplages spin-phonons sont inefficaces à très basse température, et l'allure singulière des cycles d'hystérésis observés à faible vitesse de balayage du champ appliqué selon l'axe de facile aimantation, en marches d'escalier, révèle un effet de mécanique quantique non stationnaire. Ces transitions non adiabatiques correspondent au retournement cohérent du moment électronique et du spin nucléaire d'un ion Ho$^(3+)$ quasi-isolé (couplage hyperfin fort). La dynamique quantique d'un centre tunnel est cependant rendue incohérente par de faibles couplages à l'environnement de spins nucléaires, ceux des ions diamagnétiques de la matrice d'accueil non magnétique. De plus, en présence d'un phénomène dit de goulot d'étranglement des phonons, l'allure des cycles mesurés est fortement modifiée à plus grande vitesse de balayage du champ. Des sauts supplémentaires, attribués à une dynamique quantique à plusieurs ions (relaxations croisées), apparaissent pour d'autres champs résonants. Une interprétation à deux ions démontre que des transitions de co-tunnel à deux ions et des transitions tunnel à un ion décalées par les interactions dipolaires dominent la relaxation dans ce régime tunnel, en accord avec des mesures de susceptibilité alternative à T>1.75K. Les ions dilués de terres rares constituent non seulement une alternative aux aimants moléculaires pour une compréhension plus approfondie du magnétisme mésoscopique, mais ils permettent aussi d'envisager sérieusement l'observation de la cohérence quantique en magnétisme ainsi que l'étude des phénomènes de dissipation/décohérence, notamment dus aux porteurs libres. En outre, la mise en évidence d'une dynamique quantique à plusieurs corps apporte des éléments nouveaux à l'étude de la nature des fluctuations quantiques dans des systèmes complexes, comme dans les verres de spins.