L'étude des fluctuations dans les milieux confinés constitue un domaine de recherche très récent, que ce soit du point de vue théorique ou expérimental. Afin d'analyser le rôle du confinement sur les propriétés des fluctuations de densité dans un mélange binaire, nous avons développé un système de mesure d'une grande sensibilité, où l'intensité des fluctuations et leur longueur de corrélation peuvent être amplifiées. L'idée consiste à travailler proche du point critique d'une transition de phase de démixion d'un mélange binaire. En effet, la longueur de corrélation augmente exponentiellement lorsqu'on s'approche de la température Tc du point critique de démixion.Nous avons développé un montage permettant de confiner le mélange entre un échantillon plan et une sphère colloïdale attachée à l'extrémité d'un levier de Microscope à Force Atomique (AFM). D'après les prédictions de Fisher et De Gennes, un effet intéressant émerge lorsque la longueur de corrélation est comparable avec la taille du confinement: les deux surfaces vont soit s'attirer, soit se repousser suivant les préférences d'adsorption des composants du mélange pour chacune des surfaces. On nomme cet effet l'effet Casimir critique, en référence à la force de Casimir électrodynamique qui résulte du confinement des fluctuations quantiques du champ électromagnétique.Durant cette thèse, nous avons mesuré la force de Casimir électrodynamique avec le système de mesure que nous avons développé, d'abord dans une atmosphère d'azote puis dans l'éthanol. Ces mesures prouvent que notre appareil de mesure est assez sensible pour mesurer des forces très faibles de l'ordre de la dizaine de pN. Les forces mesurées sont comparées à la théorie de Lifshitz, où les effets de conductivité finie des surfaces sont considérées. / The study of density fluctuations inside confined liquid systems has received the attention of recent theoretical and experimental papers. In order to analyze the role of confinement on the statistical properties of fluctuations, we developed a highly sensitive system where the intensity of fluctuations, as well as their spatial correlation length can be simply tuned. The idea will be to enhance the role of fluctuations working close to the critical temperature Tc of a second order phase transition in a binary mixture. Indeed, the correlation length dramatically increases when one approaches the critical demixion point.The confinement is obtained by using a sphere-plane geometry with a colloidal particle attached to the cantilever of an Atomic Force Microscope (AFM). When the correlation length is comparable with the distance of confinement, Fisher and De Gennes predicted the existence of an interesting effect: the two surfaces will be submitted to either an attracting or a repelling force, depending on boundary conditions. This effect is called the critical Casimir force in reference to the quantum Casimir force resulting from the confinement of quantum fluctuations of the electromagnetic field.During this thesis, we measured the quantum Casimir force between the sphere and the plate, first in a nitrogen atmosphere and then in ethanol, showing that the developed instrument is sufficiently sensible to measure very weak force, of the same order of magnitude or even weaker than the critical Casimir force. Measurements are compared to Lifshitz theory, taking into account the finite conductivity of surfaces.