La technologie photonique-RF offre une alternative intéressante à l'approche purement électronique dans différents systèmes micro-ondes pour des applications militaires, spatiales et civiles. Un composant original, l'oscillateur optoélectronique (OEO), permet la génération de signaux RF stables et à haute pureté spectrale. Il est basé sur une liaison photonique micro-onde utilisée comme boucle de rétroaction et comportant soit une fibre longue, soit un résonateur à fort coefficient de qualité. Différentes études ont été menées au cours de cette thèse afin d'optimiser et d'améliorer la performance en termes de stabilité et de bruit de phase pour le cas de l'OEO à résonateur. La caractérisation fine et la modélisation des résonateurs est une première étape de la conception globale du système. La métrologie du résonateur optique est réalisée par une technique originale, dite de spectroscopie RF. Les résultats expérimentaux ont révélé que cette technique permet d'une part d'identifier le régime de couplage du résonateur et d'autre part de déterminer avec une grande précision tous les paramètres d'un dispositif résonant, comme les facteurs de qualité interne et externe ou les facteurs de couplage. Une deuxième étude a été orientée vers l'implémentation d'un modèle non-linéaire fiable du dispositif. Dans un tel modèle, la photodiode rapide nécessitait une description plus précise, dans le but de contrôler la conversion du bruit d'amplitude optique en bruit de phase de l'OEO. Un nouveau modèle non-linéaire d'une photodiode hyperfréquence a été développé sous un logiciel commercial: Agilent ADS. Ce nouveau modèle rend effectivement compte de cette conversion de bruit. Une puissance optique optimale à l'entrée de la photodiode a été déterminée, pour laquelle la contribution de RIN du laser au bruit de phase RF pourrait être négligeable. La performance de l'OEO est affectée par diverses perturbations entrainant un décalage en fréquence entre la fréquence du laser et la fréquence de résonance du résonateur. Il est donc important d'utiliser un système de stabilisation pour contrôler cette différence de fréquence. Des séries d'expériences et de tests ont été menées pour étudier la possibilité, d'une part, de remplacer l'électronique commerciale utilisée auparavant pour le système de verrouillage en fréquence (boucle de Pound-Drever-Hall) par une électronique faible bruit et, d'autre part, d'utiliser un laser à semi-conducteur. Un bilan de ces approches est présenté. / RF photonics technology offers an attractive alternative to classical electronic approaches in several microwave systems for military, space and civil applications. One specific original architecture dubbed as optoelectronic oscillator (OEO) allows the generation of spectrally pure microwave reference frequencies, when the microwave photonic link is used as a feedback loop. Various studies have been conducted during this thesis on the OEO, especially the one that is based on fiber ring resonators, in order to optimize and improve its phase noise performance and its long-term stability. Precise characterization and modeling of the optical resonator are the first step towards overall system design. The resonator metrology is performed using an original approach, known as RF spectral characterization. The experimental results have demonstrated that this technique is helpful for the identification of the resonator's coupling regime and the accurate determination of the main resonator parameters such as the intrinsic and extrinsic quality factors or the coupling coefficients. A second study was directed toward implementing a reliable nonlinear model of the system. In such a model, the fast photodiode require an accurate description, in order to reduce the conversion of the optical amplitude noise into RF noise. A new nonlinear equivalent circuit model of a fast photodiode has been implemented in a microwave circuit simulator: Agilent ADS. This new model is able to describe the conversion of the laser relative intensity noise (RIN) into microwave phase noise at the photodiode output. An optimal optical power at the photodiode's input has been identified, at which the contribution of the laser RIN in RF phase noise is negligible. When it comes to practical applications, the desired performance of an OEO is threatened by various disturbances that may result in a frequency shift of both the laser frequency and the transmission peak of the resonator, which causes a malfunction of the OEO. Therefore it is desirable to use a stabilization system to control the difference between the laser frequency and the resonator frequency. A series of tests and experiments have been carried out to investigate the possibility, on one hand, to replace the commercial servo controller that was used up until now in the Pound-Drever-Hall loop, with a low noise homemade one and, on the other hand, to use a semiconductor laser to reduce the system size. A detailed review of these approaches is presented.