Cette thèse présente des travaux portant sur l'instabilité modulationnelle (IM) dans des fibres optiques dotées à la fois d'une forte non linéarité et d'un fort coefficient d'absorption. Une analyse comparative des performances de plusieurs grandes classes de fibres (de verres silice et non silice) sur leur aptitude à générer des bandes latérales d'IM avec un minimum de puissance de pompe, et sur la plus courte distance possible, est effectuée. Les fibres de verres non silice de type Chalcogénure ou Tellure apparaissent à première vue comme étant les plus performantes, mais un examen attentif révèle que leurs spectres sont altérés par un phénomène de dérive en fréquence des bandes latérales d'IM, qui est provoquée par une forte absorption du laser de pompe. Nous développons alors une méthode qui permet de supprimer la dérive en fréquence des bandes latérales d'IM dans les fibres à fort coefficient d'absorption. Cette méthode, que nous avons baptisé "méthode du réservoir de photons", consiste à créer au sein de la fibre, par un ajustement approprié des paramètres de dispersion d'ordre deux et quatre, un réservoir de photons qui alimente in situ le processus d'IM en lui fournissant continuellement l'équivalent de la quantité de photons détruits par l'absorption matérielle au cours de la propagation. L'efficacité de la méthode du réservoir de photons est démontrée sur des processus d'IM aussi bien en configuration scalaire que vectorielle. Cette démonstration marque un progrès décisif vers des dispositifs de génération de fréquences optiques qui seront extrêmement précis et stables. / This thesis considers modulational instability (MI) in optical fibers that have both a strong non-linearity and strong absorption coefficient. We carry out a comparative analysis of the performance of several major classes of silica- and non-silica glass fibers, on their ability to generate MI sidebands with a minimum of pump power, and over the shortest distance possible. Chalcogenide glass fibers appear at first sight as being the most competitive, but a careful examination reveals that their spectra are altered by a phenomenon of frequency drift of the MI sidebands, caused by a strong depletion of the pump. We have then developed a method which allows to suppress frequency drifts in MI processes in fibers having strong absorption parameters. The fundamental idea of this method, that we called "the photon reservoir method", is to create in the fiber, by an appropriate adjustment of the second-order and fourthorder dispersion coefficients, a photon reservoir which supplies (in situ) the MI process by continually providing the equivalent of the amount of photons destroyed by absorption during the propagation. We have demonstrated the effectiveness of the method of photon reservoir on MI processes, in scalarand vector configurations, using glass fibers endowed with extremely high nonlinear parameters. This method constitutes a decisive step forward in the development of highly competitive devices for optical frequency generation.