L'étude des systèmes magnétiques présentant de nouveaux types d'ordre non conventionnels induits notamment par de la frustration ou par le désordre dû aux impuretés fait actuellement l'objet de nombreuses recherches. Cette thèse s'inscrit dans cette problématique et est divisée en trois parties relativement indépendantes. La première partie est consacrée à l'étude d'un modèle XY, 2D, frustré par des interactions {\it compétitives}. J'ai montré que le diagramme de phase de ce modèle possède deux régimes differents, un régime faiblement frustré, dans lequel la transition est de type XY non-frustré, et un régime fortement frustré, dans lequel la symétrie est de type Z(2) X U(1)$, analogue à celle des modèles XY frustrés {\it géométriquement}. J'ai également montré l'existence du phase liquide de spin à T=0 lorsque les fluctuations quantiques sont prises en compte. Dans la seconde partie , j'ai analysé les effets des fluctuations thermiques et quantiques sur un modèle fortement frustré possedant un état fondamental extrèmement dégénéré: le modèle de Heisenberg antiferromagnétique sur le cactus de Husimi. Ce modèle est une simplication de systèmes réalisables expérimentalement comme les réseaux Pyrochlore et Kagomé. J'ai prouvé que les fluctuations thermiques laissent invariante la dégénérescence classique contrairement aux fluctuations quantiques qui sélectionnent un nombre discret d'états fondamentaux. Une analyse plus générale de ces phénomènes de sélection par les fluctuations quantiques a été fournie. Finalement, dans la dernière partie, j'ai appliqué les méthodes de théorie conforme pour étudier des modèles critiques couplés, reliés aux théories Z(2) X U(1)$ introduit précédemment. Plus précisément, j'ai obtenu les flots de renormalisation pour différents modèles de Potts à q états couplés en utilisant un développement en $\epsilon=q-2$. J'ai obtenu une riche variété de flots et de nouveaux points critiques non-triviaux. J'ai généralisé cette analyse en présence de désordre de liens. Cela fournit des exemples explicites de systèmes où le désordre transforme une transition du premier ordre dans le cas pur en transition du second ordre.