Les travaux présentés dans ce mémoire s'inscrivent dans le cadre du projet PANsafer (Vers un Passage A Niveau plus sûr), lauréat de l'appel ANR-VTT 2008. Ce projet est labellisé par les deux pôles de compétitivité i-Trans et Véhicule du Futur. Le travail de la thèse est mené conjointement par le laboratoire IRTES-SET de l'UTBM et le laboratoire LEOST de l'IFSTTAR. L'objectif de cette thèse est de développer un système de perception permettant l'interprétation de scénarios dans l'environnement d'un passage à niveau. Il s'agit d'évaluer des situations potentiellement dangereuses par l'analyse spatio-temporelle des objets présents autour du passage à niveau. Pour atteindre cet objectif, le travail est décomposé en trois étapes principales. La première étape est consacrée à la mise en place d'une architecture spatiale des capteurs vidéo permettant de couvrir de manière optimale l'environnement du passage à niveau. Cette étape est mise en œuvre dans le cadre du développement d'un simulateur d'aide à la sécurité aux passages à niveau en utilisant un système de perception multi-vues. Dans ce cadre, nous avons proposé une méthode d'optimisation permettant de déterminer automatiquement la position et l'orientation des caméras par rapport à l'environnement à percevoir. La deuxième étape consiste à développer une méthode robuste de suivi d'objets en mouvement à partir d'une séquence d'images. Dans un premier temps, nous avons proposé une technique permettant la détection et la séparation des objets. Le processus de suivi est ensuite mis en œuvre par le calcul et la rectification du flot optique grâce respectivement à un modèle gaussien et un modèle de filtre de Kalman. La dernière étape est destinée à l'analyse des trajectoires 2D reconstruites par l'étape précédente pour l'interprétation de scénarios. Cette analyse commence par une modélisation markovienne des trajectoires 2D. Un système de décision à base de théorie de l'évidence est ensuite proposé pour l'évaluation de scénarios, après avoir modélisé les sources de danger. L'approche proposée a été testée et évaluée avec des données issues de campagnes expérimentales effectuées sur site réel d'un passage à niveau mis à disposition par RFF.