L'objectif de cette thèse était de développer un magnétomètre à force de Faraday pour mesurer des valeurs absolues de l'aimantation à très basse température (30 mK) et fort champ magnétique (16 T) avec une haute sensibilité (10-5 emu). Ce magnétomètre sera principalement utilisé pour sonder les propriétés induites sous champ dans les systèmes magnétiques frustrés.Dans une première partie, je détaille le développement de ce magnétomètre. Cela comprend l'optimisation du réfrigérateur à dilution et de bobines de gradient de champ ainsi que le développement d'une détection capacitive avec un étage amplificateur à froid pour améliorer la sensibilité de la mesure. Les mesures magnétiques préliminaires sont présentées. Les changements nécessaires pour rendre le magnétomètre opérationnel sont discutés.Dans une seconde partie, je présente l'étude expérimentale de systèmes magnétiques frustrés: des grenats de Gadolinium, décrits par des spins classiques, et des composés moléculaires frustrés à base de Cuivre, pour sonder les effets quantiques. Ces mesures ont été réalisées entre 70 mK et 300 K sur les magnétomètres existant à l'Institut Néel.Dans Gd3Ga5O12, nous avons complété le diagramme de phases H-T. Nous avons montré la robustesse de ce diagramme de phases par notre étude sur le composé isomorphe GGd3Al5O12. Nous avons mis en évidence la convergence de toutes les phases observées en un unique point dans les deux systèmes.Dans les systèmes quantiques, nous avons réalisé des études préliminaires sur des clusters Cu44 à base de tétraèdres, et un système triangulaire Cu3. Bien que prometteuses, nous n'avons pas approfondi ces études à cause de problèmes d'échantillons. / The objective of this work was to develop a Faraday force magnetometer to measureabsolute values of the magnetization at very low temperatures (30 mK) andhigh applied magnetic fields (16 T) with a high sensitivity (10-5 emu). This magnetometer will be especially dedicated to the study of the field induced properties of frustrated magnets.In a first part, I present the development of this magnetometer. It involves the optimization of the dilution refrigerator and field gradient coils, and the development of a capacitive detection with a cold amplifier stage to improve the measurement sensitivity. Preliminary magnetic measurements are shown. The changes in the design required to make the magnetometer operational are discussed.In a second part, I focus on experimental studies of frustrated magnets: Gadolinium garnets, described by classical spins, and Copper based frustrated molecular compounds, to probe quantum effects. These measurements were performed from 70 mK to 300 K, with the existing magnetometers at the Institut Neel.In Gd3Ga5O12, we have complemented the H-T phase diagram. This phase diagram was proven to be robust by our study on the isomorphous compound, Gd3Al5O12. We evidence the convergence of all the observed phases to a unique point in both samples.In quantum systems, we performed preliminary studies on Cu44 clusters with tetrahedral motives, and on a triangular system Cu3. Although promising, these studies were not pursued due to sample problems.