La majeure partie de ce travail consiste en l'étude de systèmes de spins soumis à des interactions compétitives et présentant de la frustration. Nous donnons une description détaillée de la situation expérimentale et numérique dans le domaine. Un des points cruciaux qui découle de cette analyse est la nécessité d'aller au delà des théories de perturbation pour comprendre la physique de ces systèmes. Ceci justifie d'utiliser une approche non-perturbative. Nous présentons une telle approche, basée sur une équation exacte du groupe de renormalisation. Nous discutons en détail les résultats obtenus lors de l'étude du modèle vectoriel, afin d'illustrer son utilisation dans les situations concrètes et de montrer la puissance de cette méthode. Lors de l'étude des systèmes frustrés, l'utilisation de cette méthode non-perturbative mène à la conclusion que ces systèmes présentent une transition faiblement du premier ordre. Ce comportement est en bon accord avec les résultats expérimentaux et numériques. Nous présentons dans le dernier chapitre une étude du modèle d'Ising en présence d'impuretés non magnétiques, en utilisant la même approche non perturbative.