Dans le cadre du contrôle non destructif, l'étude de la propagation d'ondes dans des guides rugueux ouvre la voie à diverses applications, telles la caractérisation de l'état de surface d'un matériau ou de la qualité d'un collage dans une structure assemblée, la détection d'effets de corrosion ou d'imperfections d'usinages, ... Dans ce contexte, l'étude menée au cours de cette thèse porte sur l'analyse des effets de rugosité de frontières de guides d'ondes fluides ou solides sur la propagation des ondes acoustiques, en vue, en pratique, de caractériser cette rugosité. Le processus de diffusion sur des rugosités de parois se traduit par des couplages modaux, transferts d'énergie entre modes créés ou non par des sources, modes propres pour ondes de pression en fluides ou pour ondes SH en solides, modes de Lamb en guides solides. Qu'il s'agisse de champs à caractère scalaire (en fluide ou ondes SH en solide) ou vectoriel (ondes de Lamb), un modèle nouveau, qui repose sur une formulation intégrale des équations scalaires de propagation, est mis en œuvre, modèle dans lequel le choix des fonctions de Green joue un rôle prépondérant. Les relations entre champs acoustiques (de pression ou élastiques) et profils de rugosité ont été étudiées pour tous types de rugosité, mais plus particulièrement pour des rugosités périodiques qui permettent des analyses plus avancées. La relation entre les densités spectrales de puissance (DSP) des profils de rugosité et les coefficients de réflexion et de transmission en énergie des modes guidés est établie ; certains résultats obtenus ont été comparés à ceux d'expériences réalisées à cet effet.