L'analyse automatique du contenu de la vidéo est un sujet de recherche émergent avec de nombreuses applications pratiques sur de grandes bases de données de vidéo ou sur les enregistreurs vidéo personnels. Le centre de cette étude est la construction automatique de la table des matières d'une émission de tennis en utilisant les modèles markoviens et la programmation dynamique. Motivés par le besoin de représentations multimodales plus efficaces, nous proposons l'utilisation des caractéristiques segmentales dans le cadre des modèles de segment, au lieu des caractéristiques en trames des modèles de Markov cachés. En considérant chaque scène de la vidéo comme un segment, les points de synchronisation entre différentes modalités sont étendus aux frontières de la scène, qui est l'unité thématique de base de la vidéo. Les caractéristiques visuelles venant de la vidéo diffusée et les caractéristiques auditives enregistrées dans le court sont traitées avant fusion dans leurs propres segments, avec leurs propres modèles et fréquences d'échantillonnage. Diverses techniques pour modéliser les segments sont examinées, y compris les modèles de Markov cachés de densité discrète ou continue, les modèles bigrames ou des approches connexionnistes, fonctionnant sur les caractéristiques audiovisuelles automatiquement extraites. Des modèles de segments et des modèles de Markov cachés, avec des topologies hiérarchiques ou ergodiques, sont établis et comparés sur un corpus de 15 heures de vidéos de tennis. Les paramètres des modèles sont estimés sur des données étiquetées. Selon le modèle segmentale utilisé, la fusion asynchrone avec des modèles de segments peut atteindre le même niveau de performance que les modèles de Markov cachés. La fusion des ressources textuelles de la vidéo, c'est-à-dire les annonces de points, est également considérée. Pour exploiter entièrement leur contenu sémantique sur l'évolution réelle du jeu et tenir compte des événements non reconnus, un arrangement original du décodage de Viterbi a été développé. Il produit des solutions qui sont conformes aux annonces de points et apporte ainsi une nette amélioration de la performance du système.

La description synthétique du contenu d'une image ou d'une vidéo est à l'heure actuelle une problématique majeure. Nous nous intéressons aux objets qui les composent pour leur pouvoir de représentativité. Après un état de l'art, ce document présente une méthode de segmentation locale par pyramide de graphes irrégulière permettant d'extraire, à partir de critères bas niveaux, des régions d'intérêt assimilables à des objets sémantiques. Cette méthode est utilisée pour détourer avec précision des objets dans des images fixes, dans un environnement interactif puis totalement automatique. Une estimation de mouvement permet d'étendre le procédé aux vidéos en extrayant dans chaque image les entités mobiles. Un filtrage et une classification de ces entités permet de ne retenir que les plus représentatives de chaque objet réel du plan. Ces représentants sont appelés objet-clé et vues-clés. La qualité des résultats expérimentaux permet de proposer de nombreuses applications en aval.