La microscopie à force atomique (AFM) dynamique est née il y a maintenant presque quinze ans (Albrecht, 1991). Depuis la première image en résolution atomique (F. J. Giessibl, 1995), les avancées de cette technique de champ proche permettent aujourd'hui de manipuler des atomes à température ambiante (Oyabu, 2005) sur des surfaces conductrices ou isolantes. La compréhension du fonctionnement de cette machine complexe et l'optimisation des réglages des nombreux asservissements est un des objectifs de ce travail de thèse. A cette fin, un formalisme analytique provenant des méthodes de l'Automatique non linéaire (J. Ch. Gille, 1956) sera introduit pour traiter de façon naturelle les blocs de régulation de la machine mais aussi pour traiter l'interaction pointe-surface comme une fonction de transfert. Un outil numérique de simulation confirmera notre approche théorique. Dans un deuxième temps, le rôle capital de la sonde et sa caractérisation seront traités à travers une méthode expérimentale simple et originale. Cette méthode se base sur l'étude des changements des propriétés de résonance de la sonde oscillante sur des surfaces isolantes et conductrices. Les forces conservatives à longue portée du type électrostatique et van der Waals seront quantifiées. Les forces à courte portée essentiellement chimiques seront mises en évidence en mesurant la dissipation de la sonde oscillante en fonction de sa distance avec la surface. Nous finirons cette étude en montrant expérimentalement, sur un sytème MoS2/îlots d'or/molécules d'octanedithiol, la grande versatilité de ce microscope. En effet, cet appareil d'observation par sa complexité apparente laisse beaucoup de degrés de liberté à l'utilisateur pour aborder l'étude d'un tel système physicochimique. Des perspectives seront données pour améliorer la stabilité et le pouvoir de résolution des pointes qui permettraient de rendre pérenne cette technique de champ proche.