Le problème de la détection et de ladescription des nouveaux états quantiquesmacroscopiques, caractérisées par des propriétésexotiques et non-conventionnelles, estd’importance fondamentale dans la physiquemoderne. Ces états offrent des perspectivesfascinantes dans le domaine de traitementd’information, de simulations quantiques et derecherche des nouveaux types des matériaux.Dans ce travail de thèse nous développons unethéorie qui permet de décrire des phases non conventionnellesdans des systèmes des gazultra-froids dipolaires. Ces systèmes sontactivement étudiés expérimentalement enutilisant des atomes à grand-spins, desmolécules polaires et des excitations dipolairesdans des semi-conducteurs. Nous mettonsl'accent sur la révélation du rôle de l’interactiondipôle-dipôle à long porté.Nous considérons l’effet de rotonization dansun système de gaz des bosons dipolaires «tiltés»aux interactions faibles dans une couchehomogène. Nous prédisons l’effet derotonization pour un gaz de Bose faiblementcorrélé des excitons dipolaires dans une couchede semi-conducteur et nous calculons lediagramme de stabilité. Ensuite, nousconsidérons des superfluides d’onde-p desfermions identiques dans des réseaux 2D.Finalement, nous faisons une discussion sur unautre état superfluide intéressant des moléculespolaires fermioniques, qui devrait apparaitredans des systèmes bicouches. / The problem of revealing anddescribing novel macroscopic quantum statescharacter- ized by exotic and non-conventionalproperties is of fundamental importance formodern physics. Such states offer fascinatingprospects for potential applications in quantumin- formation processing, quantum simulation,and material research. In the present Thesis wedevelop a theory for describing nonconventionalphases of ultracold dipolar gases.The related systems of large-spin atoms, polarmolecules, and dipolar excitons in semiconductorsare actively studied in experiments.We put the main emphasis on revealing the roleof the long-range character of the dipole-dipoleinteraction.We consider the effect of rotonization for a 2Dweakly interacting gas of tilted dipolar bosonsin a homogeneous layer. We predict the effectof rotonization for a weakly correlated Bosegas of dipolar excitons in a semiconductorlayer and calculate the stability diagram. Wethen consider p-wave superfluids of identicalfermions in 2D lattices. Finally, we discussanother interesting novel superfluid offermionic polar molecules