La synthèse de caténanes et rotaxanes remonte aux années 60. Aujourd'hui la plupart de ces molécules enchevêtrées, synthétisées comportent jusqu'à 4 éléments et ce nombre continu de croître. Toutefois, ces molécules restent relativement petites, comparées `a celles trouvées dans la nature tels que les caténanes présents dans l'ADN. Les caténanes et rotaxanes sont des molécules mécaniquement assemblées, composées de pièces mobiles, liées, ou non (ou plus d'elles), pouvant se mouvoir et/ou se déplacer par rapport aux autres. Cette architecture unique les rend très intéressants et fait d'eux des candidats potentiels pour les machines moléculaires, ainsi que pour des applications dans le domaine de l'optique non linéaire, en particulier dans la photonique, l'optoélectronique et le stockage de données optique. Dans ce travail, nous exposons les résultats de nos recherches portant sur les propriétés optiques non-linéaires de quelques caténanes et rotaxanes. Ces propriétés non-linéaires ont été abordées par différentes techniques. Les résultats montrent une importante contribution électronique dans la susceptibilité non-linéaire de troisième ordre confirmée par des calculs théoriques au niveau moléculaire. Nous exposons également les résultats des propriétés optiques non linéaires de l'ADN fonctionnalisé. Ces résultats montrent une recrudescence des non linéarités quand l'ADN modifiée est utilisé. Par ailleurs, on a observé les meilleurs résultats dans des expériences d'holographie quand l'ADN-CTMA est utilisé comme matrice pour le dopage du disperse red 1.

D'une manière générale, les complexes organométalliques riches en carbone et contenant des chaînes p-conjuguées sont des matériaux intéressants pour l'étude des processus de transfert d'électrons. Actuellement, les complexes organométalliques acétylures de ruthénium font partie des composés organométalliques les plus étudiés en optique non linéaire (ONL). Dans cette thèse, nous mettons en évidence les propriétés ONL et la structuration photo-induite de nouveaux complexes organométalliques possédant un fragment donneur ruthénium-acétylure capable de concurrencer les plus forts donneurs organiques.<br>Nous déterminons, à l'aide de diverses techniques expérimentales (DFWM, SHG, THG, Zscan), l'influence de la fonctionnalisation de ces structures moléculaires sur l'amélioration de leurs propriétés ONL du deuxième et troisième ordre en jouant notamment sur la nature du fragment accepteur et du transmetteur π-conjugué. Nous présentons les résultats de calculs théoriques de chimie quantique afin de proposer une étude ONL de ces complexes à l'échelle moléculaire. Enfin, nous complétons ce travail sur des complexes ruthéniumacétylure contenant un fragment azobenzène dans leur système organique p-conjugué, par la diffusion des rayons X aux grands angles (WAXS) et par l'étude, en régime picoseconde, de la dynamique de formation de réseaux de surface photo-induits (SRGs) en utilisant une technique d'holographie en transmission et la microscopie à force atomique (AFM).