Les missions d'exploration planétaire utilisent des véhicules spatiaux pour acquérir les données scientifiques qui font avancer notre connaissance du système solaire. Depuis les années 90, ces missions ciblent non seulement les planètes, mais aussi les corps célestes de plus petite taille comme les astéroïdes. Ces astres représentent un défi particulier du point de vue des systèmes de navigation, car leur environnement dynamique est complexe. Une sonde spatiale doit réagir rapidement face aux perturbations gravitationnelles en présence, sans quoi sa sécurité pourrait être compromise. Les délais de communication avec la Terre pouvant souvent atteindre plusieurs dizaines de minutes, il est nécessaire de développer des logiciels permettant une plus grande autonomie d'opération pour ce type de mission. Ce mémoire présente un système de navigation autonome qui détermine la position et la vitesse d'un satellite en orbite autour d'un astéroïde. Il s'agit d'un filtre de Kalman étendu adaptatif à trois degrés de liberté. Le système proposé se base sur l'imagerie optique pour détecter des"points de repères" qui ont été préalablement cartographiés. Il peut s'agir de cratères, de rochers ou de n'importe quel trait physique discernable à la caméra. Les travaux de recherche réalisés se concentrent sur les techniques d'estimation d'état propres à la navigation autonome. Ainsi, on suppose l'existence d'un logiciel approprié qui réalise les fonctions de traitement d'image. La principale contribution de recherche consiste en l'inclusion, à chaque cycle d'estimation, d'une mesure de distance afin d'améliorer les performances de navigation. Un estimateur d'état de type adaptatif est nécessaire pour le traitement de ces mesures, car leur précision varie dans le temps en raison de l'erreur de pointage. Les contributions secondaires de recherche sont liées à l'analyse de l'observabilité du système ainsi qu'à une analyse de sensibilité pour six paramètres principaux de conception. Les résultats de simulation montrent que l'ajout d'une mesure de distance par cycle de mise à jour entraîne une amélioration significative des performances de navigation. Ce procédé réduit l'erreur d'estimation ainsi que les périodes de non-observabilité en plus de contrer la dilution de précision des mesures. Les analyses de sensibilité confirment quant à elles la contribution des mesures de distance à la diminution globale de l'erreur d'estimation et ce pour une large gamme de paramètres de conception. Elles indiquent également que l'erreur de cartographie est un paramètre critique pour les performances du système de navigation développé.