Le dépassement des limitations de vitesse est l'une des causes majeures des accidents de la route, qui pourraient être réduits par l'utilisation de système robuste de détection des limitations de vitesse pouvant continuellement informer le conducteur de la bonne limitation imposée. Les travaux présentés dans ce document portent sur la réalisation d'un tel système basé sur une détection visuelle des panneaux de limitation de vitesse. Afin de rendre le système robuste, il est nécessaire de fusionner les résultats de ces détections avec les informations d'autres capteurs pour interpréter les résultats issus de la détection visuelle. C'est ainsi qu'a été entre autre spécialement développé un capteur cartographique permettant d'avoir une vision plus large sur l'horizon électronique du véhicule, ainsi qu'un système détection des lignes de marquage au sol pour analyser les changements de voie. Le processus de fusion mis en place traitant ces diverses sources d'information est fondé sur des modèles à base de règles permettant de s'affranchir des problèmes inhérents aux processus de fusion probabilistes pouvant parfois mener à des situations de doute mettant le système global en faute. Ces travaux sont le fruit d'une collaboration avec un industriel et le prototype développé a été validé expérimentalement sur route. Un outil de vérité terrain a été spécialement développé pour quantifier les résultats. Le système montre d'excellents résultats en détection et reconnaissance des panneaux de limitation de vitesse ainsi que dans la clarification de situations complexes.