Cette thèse de doctorat porte sur une étude fondamentale de la diffusion Brillouin dans desmicrofibres optiques et des fibres optiques microtructurées à petit cœur. Par le biais d’expérienceset de simulations numériques, nous avons ainsi démontré que le gain Brillouin dans des microfibresoptiques à base de verre chalcogénure peut atteindre une valeur 150 à250 fois supérieure à celled’une fibre optique conventionnelle. Par ailleurs, nous avons également reporté la génération desspectres Brillouin multi-pics dans une fibre optique microstucturée à petit cœur, dont les paramètresopto-géométriques varient le long de la fibre. L’étude de ces spectres particuliers montre que lecomportement multi-résonant provient à la fois de l’excitation d’ondes acoustiques hybrides, etde la g´eom´ etrie de la fibre optique. Un autre travail marquant de cette thèse est la mise enévidence des ondes acoustiques de surface dans une configuration guidée. Pour la première fois`a notre connaissance, nous avons observé et caractérisé la diffusion Brillouin de surface dans desfibres optiques microstructurées à petit cœur, et `a fort taux de remplissage d’air. Nos résultatsmontrent notamment que ce nouveau mode de diffusion est extrêmement sensible à la géométriedes fibres optiques microstructurées. L’ensemble de ces travaux de thèse apportent une meilleurecompréhension de la diffusion Brillouin dans des fibres optiques à section sub-longueur d’onde,ouvrant ainsi la voie vers la réalisation de nouveaux composants fibrés opto-acoustiques, pour lestélécommunications et les capteurs. / This PhD thesis focuses on the fundamental aspects of Brillouin scattering in chalcogenidemicrofibers and silica photonic crystal fibers with wavelength-scale solid core. Through experimentalinvestigations and numerical simulations, we have demonstrated that the Brillouin gain inchalcogenide microfiber can reach a value 150 to 250 times higher than in conventional opticalfibers. Moreover, we have reported the generation of multipeaked Brillouin spectra in a long taperedbirefringent photonic crystal fiber. A further investigation of these spectra shows that the multiresonantbehavior arises both from the excitation of hybrid acoustic waves and the fiber tapering.Another significant work of this thesis is the evidence of surface acoustic waves in small-core photoniccrystal fibers with large air filling fraction. Our results show specifically that this new type of scatteringis extremely sensitive to the air-hole microstructure geometry. Finally, these works contribute toa better understanding of Brillouin scattering in ultrathin optical fiber, paving the way towards therealization of new optoacoustic components for telecommunications and sensors.