Ce mémoire présente deux expériences réalisées à l'aide d'un miroir à atomes à onde évanescente. Le miroir utilise la force dipolaire due à l'interaction entre les atomes et une onde évanescente créée par réflexion totale interne d'un faisceau laser à l'intérieur d'un prisme. Ces deux expériences montrent que, lors de leur réflexion, les atomes constituent une sonde des champs proches de la surface du prisme. La première expérience a permis la mesure de la force de van der Waals entre un atome de rubidium dans l'état fondamental et une paroi diélectrique. Lors de la réflexion, les atomes s'approchent très près de la surface du diélectrique (~ 50 nm) et sont donc sensibles à la force attractive de van der Waals due à la présence de la paroi. L'expérience consiste à mesurer la force dipolaire nécessaire pour équilibrer la force de van der Waals. Elle montre également le rôle crucial de la force de van der Waals dans le fonctionnement du miroir à atomes, d'une part, la réduction d'un facteur trois de l'efficacité du miroir et d'autre part, la modification de la forme du potentiel réflecteur total. La seconde expérience décrit la diffraction d'atomes en incidence normale sur un miroir modulé spatialement, créé à l'aide d'une onde évanescente partiellement stationnaire. Ce processus de diffraction est lié à la modulation de phase de l'onde de de Broglie lors de la réflexion et apparaît pour une modulation très faible du potentiel. Elle est similaire à la diffraction de Raman-Nath en optique traditionnelle. L'étude des populations dans les différents ordres de diffraction en fonction de la profondeur de modulation confirme quantitativement ce processus scalaire de diffraction.

Depuis son invention en 1986, les microscopes à force atomique (AFM) ont été des puissants outils pour la caractérisation des matériaux et des propriétés des matériaux à l'échelle nanométrique. Cette thèse est entièrement dédiée à la mesure de l'interaction entre une sonde AFM et une surface avec une nouvelle technique AFM appelée Force Feedback Microscopy (FFM). La technique a été développée et utilisée pour l'étude d'échantillons biologiques. Le principe central de la technologie FFM est que la force totale moyenne appliquée à la pointe est égal à zéro. En conséquence, en présence d'une interaction pointe-échantillon, une force égale et contraire doit être appliqué à la pointe par une boucle de rétroaction . La force de réaction est ici appliquée à la pointe à travers le déplacement d'un petit élément piézoélectrique positionné à la base du levier AFM. La boucle de rétroaction permet d'éviter instabilités mécaniques tels que le saut au contact, permettant la mesure complète de la courbe d'interaction. En plus, il donne la possibilité de mesurer simultanément les parties élastique et inélastique de l'interaction.La technique a été appliquée à l'étude des interactions à l'interface solide/gaz, avec un intérêt particulier pour l'observation de la formation et de la rupture des ponts capillaires entre pointe et échantillon. Ensuite, on a focalisé notre attention aux interfaces solide/liquide. Dans ce contexte, courbes complètes de type DLVO sont caractérisées d'un point de vue élastique et dissipatif.Nous avons développé des nouveaux modes d'imagerie AFM pour l'étude des biomolécules. Images de phospholipides et de l'ADN à force constante ont été réalisées et certaines propriétés mécaniques comme le module de Young des échantillons ont été évaluées. En plus, nous avons réalisé une étude spectroscopique de l'élasticité et du coefficient d'amortissement de l'interaction entre des cellules vivantes de type PC-12 et une pointe AFM en silicium. L'étude montre que le FFM est un instrument capable de mesurer l'interaction à des fréquences qui ne sont pas nécessairement liées aux résonances caractéristiques du levier. L'étude spectroscopique pourrait avoir dans le futur des applications importantes pour l'étude des bio-molécules et des polymères. / Since its invention in 1986, the atomic force microscopes (AFMs) have been powerful tools for the characterization of materials and material properties at the nanoscale. The present thesis focuses on the measurement of the interaction between an AFM probe and a surface. A new AFM technique called Force Feedback Microscopy (FFM) has been developed and applied to the study of biological specimens. The central principle of the FFM is that the average total force acting on the tip is maintained equal to zero. It means that, in presence of a tip-sample interaction, a counteracting force has to be applied to the tip by a feedback loop. We apply a counteracting force to the tip by displacing the cantilever base with a small piezoelectric element. The feedback loop avoids mechanical instabilities such as jump to contact allowing the complete measurement of the interaction force. Moreover it is possible to simultaneously measure the elastic and inelasticcomponents of the interaction.The technique has been applied to the study of interactions at the solid/gas interface with a particular interest to the observation of the nucleation and rupture of capillary condensates between the tip and the sample. At the solid/liquid interface, complete DLVO force curves are characterized elastically and inelastically.We developed new AFM imaging modes for the study of biomolecules. Images of phospholipids and DNA at constant force have been acquired and the mechanical Young modulus of the samples has been evaluated when possible. In addition, a spectroscopic study of the elasticity and the damping factor of the interaction between living cells and the tip has been carried out. The study reveals that the FFM is an instrument capable of measuring the interaction at frequencies which are not necessarily linked to the cantilever eigenmodes. The spectroscopy study could have in the future important applications on the study of biomolecules and polymers.

The topic of this work is the structural characterization and theoretical modeling of organic single and heterolayers. The growth of sub-monolayers and monolayers (ML) of the two polycyclic aromatic hydrocarbons quaterrylene (QT) and hexa-peri-hexabenzocoronene (HBC) on Ag(111) and Au(111) was investigated. A transition from a disordered, isotropic phase to an ordered phase with increasing coverage was found. The lattice of the ordered phase turned out to be coverage dependent. The intermolecular potential was modeled including Coulomb and van der Waals interaction by a force-field approach. The postulated repulsive character of the potential could be connected to the non-uniform intramolecular charge distribution and to a screening of the van der Waals forces. Furthermore, the influence of the variable lattice constant on the epitaxial growth of HBC was studied. The second part of this work deals with a ML of 3,4,9,10-perylenetetracarboxylic dianhydride (PTCDA) on a ML of HBC. In dependency on the initial lattice constant of HBC, a total of three line-on-line (LOL) and point-on-line coincident phases of PTCDA (with respect to HBC) was found. Following an analysis of the general properties of LOL coincident systems via force-field calculations, a new method to predict the structure of such systems is introduced.:1 Introduction 2 Experimental Methods 2.1 Organic molecular beam epitaxy 2.2 Scanning tunneling microscopy (STM) 2.3 Low-energy electron diffraction (LEED) 2.4 Molecules and substrates: Basic properties and literature review 2.4.1 3,4,9,10-Perylenetetracarboxylic dianhydride 2.4.2 Hexa-peri-hexabenzocoronene 2.4.3 Quaterrylene 2.4.4 Metal substrates: Au(111) and Ag(111) 3 Theory and Modeling 3.1 Reciprocal space and LEED 3.1.1 Fourier transform and geometrical LEED theory 3.1.2 Kinematic and dynamic LEED theory 3.1.3 Further applications of the Fourier transform 3.2 Computational chemistry 3.2.1 Calculating molecular properties 3.2.2 The atomic force-field method 3.2.3 Potential energy calculations in extended systems 4 Epitaxy in terms of potential energy 5 Interaction of QT and HBC at Sub-ML and ML Coverage 5.1 Experimental results 5.2 Modeling technique 5.3 Results of the model calculation 5.4 Discussion of results 5.5 Conclusion 6 The Ordered Phases of HBC on Ag(111) and Au(111 6.1 Geometrical analysis of epitaxy 6.2 Energetic gain of epitaxial structures 6.3 Comparison to experiment 6.4 Influence of the Au(111) surface reconstruction 6.5 Conclusion 7 Organic Heterosystems of PTCDA and HBC on Au(111) 7.1 PTCDA on Au(111) revisited 7.2 LEED and STM on PTCDA/HBC/Au(111) samples 7.2.1 A “compact” HBC layer substrate 7.2.2 A “loosely packed” HBC layer substrate 7.2.3 Summary of LEED results 7.2.4 STM results 7.3 Epitaxial relations in the system PTCDA/HBC/Au(111) 7.3.1 Geometrical analysis of epitaxy 7.3.2 Energetic gain of epitaxial structures 7.3.3 Mutual alignment of lattices 7.4 Heterosystems of PTCDA and HBC with inverted stacking sequence 8 General Properties of POL and LOL Epitaxy 8.1 A new coordinate system 8.2 Specific properties of the substrate-adsorbate potential 8.3 The “natural order” of the lattice lines 8.4 Prediction of epitaxial growth - a “LOL predictor” 8.4.1 Method 8.4.2 Results 9 General Conclusions and Future Perspectives 9.1 Conclusion 9.2 Outlook Appendix A.1 Conductance in a STM: The 1D WKB model A.2 Extraction of the DOS from STS measurements by means of the 1D WKB model A.3 Practical application of the 1D WKB model A.4 The normalized differential conductivity A.5 A new normalization method / Thema dieser Arbeit ist die strukturelle Charakterisierung von organischen Einfach- und Heterolagen sowie deren theoretische Beschreibung und Modellierung. Es wurden Submonolagen und Monolagen (ML) der polyzyklischen Kohlenwasserstoffe Quaterrylen (QT) und Hexa-peri-hexabenzocoronen (HBC) auf Ag(111) und Au(111) Einkristallen untersucht und ein Übergang von einer ungeordneten, isotropen Phase zu einer geordneten Phase mit steigender Bedeckung beobachtet. Die geordnete Phase wies dabei bedeckungsabhängige Gitterkonstanten auf. Das intermolekulare Potential wurde unter Berücksichtigung von Coulomb und van der Waals Anteilen mittels Kraftfeldmethoden modelliert. Der postulierte repulsive Charakter des Potentials konnte auf die Ladungsverteilung im Molekül und eine Abschwächung des van der Waals Potentials zurückgeführt werden. Weiterhin wurde der Einfluss der variablen HBC Gitterkonstante auf die epitaktische Relation des Gitters zum Metallsubstrat untersucht. Der zweite Teil der Arbeit widmet sich der Untersuchung einer ML 3,4,9,10-Perylenetetracarboxylic dianhydrid (PTCDA) auf einer ML HBC. Dabei wurden, in Abhängigkeit von der HBC Gitterkonstante, insgesamt drei verschiedene Typen von line-on-line bzw. point-on-line Epitaxie nachgewiesen. Im Anschluss an eine Analyse der generellen Eigenschaften solcher epitaktischer Lagen mittels Kraftfeldrechnungen wird eine neue Methode zur Vorhersage der Struktur konkreter Systeme vorgestellt.:1 Introduction 2 Experimental Methods 2.1 Organic molecular beam epitaxy 2.2 Scanning tunneling microscopy (STM) 2.3 Low-energy electron diffraction (LEED) 2.4 Molecules and substrates: Basic properties and literature review 2.4.1 3,4,9,10-Perylenetetracarboxylic dianhydride 2.4.2 Hexa-peri-hexabenzocoronene 2.4.3 Quaterrylene 2.4.4 Metal substrates: Au(111) and Ag(111) 3 Theory and Modeling 3.1 Reciprocal space and LEED 3.1.1 Fourier transform and geometrical LEED theory 3.1.2 Kinematic and dynamic LEED theory 3.1.3 Further applications of the Fourier transform 3.2 Computational chemistry 3.2.1 Calculating molecular properties 3.2.2 The atomic force-field method 3.2.3 Potential energy calculations in extended systems 4 Epitaxy in terms of potential energy 5 Interaction of QT and HBC at Sub-ML and ML Coverage 5.1 Experimental results 5.2 Modeling technique 5.3 Results of the model calculation 5.4 Discussion of results 5.5 Conclusion 6 The Ordered Phases of HBC on Ag(111) and Au(111 6.1 Geometrical analysis of epitaxy 6.2 Energetic gain of epitaxial structures 6.3 Comparison to experiment 6.4 Influence of the Au(111) surface reconstruction 6.5 Conclusion 7 Organic Heterosystems of PTCDA and HBC on Au(111) 7.1 PTCDA on Au(111) revisited 7.2 LEED and STM on PTCDA/HBC/Au(111) samples 7.2.1 A “compact” HBC layer substrate 7.2.2 A “loosely packed” HBC layer substrate 7.2.3 Summary of LEED results 7.2.4 STM results 7.3 Epitaxial relations in the system PTCDA/HBC/Au(111) 7.3.1 Geometrical analysis of epitaxy 7.3.2 Energetic gain of epitaxial structures 7.3.3 Mutual alignment of lattices 7.4 Heterosystems of PTCDA and HBC with inverted stacking sequence 8 General Properties of POL and LOL Epitaxy 8.1 A new coordinate system 8.2 Specific properties of the substrate-adsorbate potential 8.3 The “natural order” of the lattice lines 8.4 Prediction of epitaxial growth - a “LOL predictor” 8.4.1 Method 8.4.2 Results 9 General Conclusions and Future Perspectives 9.1 Conclusion 9.2 Outlook Appendix A.1 Conductance in a STM: The 1D WKB model A.2 Extraction of the DOS from STS measurements by means of the 1D WKB model A.3 Practical application of the 1D WKB model A.4 The normalized differential conductivity A.5 A new normalization method