Au cours des dernières années, de nouveaux challenges ont émergé avec la transformation très significative du paysage audiovisuel due à l'émergence de la télévision sur Internet. La décision de ce qui est regardé et dans quel ordre n'appartient en effet plus à la chaîne TV concernée mais à l'utilisateur. De nouveaux moyens facilitant l'accès précis et rapide à l'information souhaitée au sein des quantités toujours croissantes de contenus audiovisuels doivent donc être proposés aux utilisateurs : par exemple, pour repérer un événement spécifique, un fragment d'émission contenant une certaine personnalité ou abordant un sujet particulier, voire pour naviguer successivement entre tous les segments de vidéos abordant ce sujet. Ces fonctionnalités nouvelles et variées impliquent le développement de méthodes novatrices de structuration et d'exploitation des contenus audiovisuels, sujet abordé dans cette thèse. Nous proposons d'une part des techniques automatiques de structuration thématique des données audiovisuelles permettant de révéler l'organisation interne de chaque programme. Nous étudions également les implications de la structure produite sur diverses tâches telles que la création d'hyperliens entre vidéos (afin de permettre une navigation entre fragments d'émissions thématiquement proches) ou la création de résumés automatiques. L'ensemble des travaux menés est effectué sur les transcriptions automatiques de la parole prononcée dans les émissions, afin d'obtenir des solutions génériques, non dédiées à un type de programme particulier. / New challenges emerged in the past years as the audiovisual landscape significantly transformed with the emergence of Internet-based TV. The decision of what to watch and in what order no longer belongs to the TV station but the user. New solutions must be offered to users in order to facilitate precise and quick access to the desired information contained in the ever increasing amounts of audiovisual content: for example, to identify a specific event, a TV show fragment containing a certain public person or addressing a particular topic, or to browse sequentially across all segments of videos addressing this topic. These new and varied features imply the development of innovative methods for structuring and exploiting the audiovisual content, which represent the focus of this thesis. We offer automatic topic structuring techniques of audiovisual data to reveal the internal organization of each program. We also study the implications of the structure produced on various tasks such as creating hyperlinks between videos (to allow navigation between TV show fragments that are thematically related) or creating automatic summaries. All the work is carried out on automatic transcripts of the speech pronounced in TV shows, to achieve generic solutions, not dedicated to a particular kind of show.

Pas de résumé français / Pas de résumé anglais / Mit dieser durchaus selbstkritischen Einschätzung sprechen die Spiegel-Redakteure MarkusBrauck und Isabell Hülsen eine Diskussion an, die seit einigen Jahren in Gesellschaft und Wissenschaftunter dem Schlagwort "Boulevardisierung" geführt wird. Wie das Zitat zeigt, gehtdamit die Vermutung einher, der Boulevardjournalismus habe die Berichterstattung traditionellerMedien beeinflusst und lenke deren Aufmerksamkeit immer stärker auf Themen, die vorwiegendin Boulevardmedien auftauchen. Neu ist jedoch, dass derartige Beobachtungen auchvon Journalisten selbst stammen, was darauf hindeuten könnte, dass klassische Medien tatsächlichimmer stärker zu bunteren Themen und Stilformen tendieren. Andererseits zeigt das Zitataber auch, dass "Boulevardisierung" häufig und über alle Medienformate hinweg als Tatsacheverstanden wird, obwohl kaum wissenschaftliche Untersuchungen hierzu vorliegen. Dabei gebendie Spiegel-Redakteure auch unumwunden zu, was sie von derartigen Tendenzen im Journalismushalten: "Krawalljournalismus, Sensationsgier, Schaulust, Prominentenhatz und Aufwiegeleihaben immer noch ihren Platz in den Boulevardblättern, sie nehmen breiten Raum einim Boulevardfernsehen, und sie breiten sich im Internet aus wie ein stinkender Pilz." (Brauk &Hülsen, 2008, S. 74) Die Annäherung zwischen Boulevardmedien und klassischen Medienschätzen die Autoren damit als sehr negative Entwicklungen ein, die ihrer Ansicht nach denseriösen Qualitätsjournalismus in Deutschland unterlaufen und gefährden.

Cette thèse traite de l’identification des locuteurs et des visages dans les journaux télévisés. L’identification est effectuée à partir des noms affichés à l’écran dans les cartouches qui servent couramment à annoncer les locuteurs. Puisque ces cartouches apparaissent parcimonieusement dans la vidéo, obtenir de bonnes performances d’identification demande une bonne qualité du regroupement audiovisuel des personnes. Par regroupement, on entend ici la tâche de détecteret regrouper tous les instants où une personne parle ou apparaît. Cependant les variabilités intra-personnes gênent ce regroupement. Dans la modalité audio, ces variabilités sont causées par la parole superposée et les bruits de fond. Dans la modalité vidéo, elles correspondent essentiellement à des variations de la pose des visages dans les scènes de plateaux avec, en plus, des variations de luminosité (notamment dans le cas des reportages). Dans cette thèse, nous proposons une modélisation du contexte de la vidéo est proposée afin d’optimiser le regroupement pour une meilleure identification. Dans un premier temps, un modèle basé sur les CRF est proposé afin d’effectuer le regroupement audiovisuel des personnes de manière jointe. Dans un second temps, un système d’identification est mis en place, basé sur la combinaison d’un CRF de nommage à l’échelle des classes, et du CRF développé précédemment pour le regroupement. En particulier, des informations de contexte extraites de l’arrière plan des images et des noms extraits des cartouches sont intégrées dans le CRF de regroupement. Ces éléments permettent d’améliorer le regroupement et d’obtenir des gains significatifs en identification dans les scènes de plateaux. / This Phd thesis is about speaker and face identification in broadcast news. The identification is relying on the names automatically extracted from overlaid texts which are used to announce the speakers. Since those names appear sparsely in the video, identification performance depends on the diarization performance i.e. the capacity of detecting and clustering together all the moments when a given person appears or speaks. However, intra-person variability in the video signal make this task difficult. In the audio modality, this variability comes from overlap speech and background noise. For the video, it consists in head pose variations and lighting conditions (especially in report scenes). A context-aware model is proposed to optimize the diarization for a better identification. Firstly, a Conditional Random Field (CRF) model isproposed to perform the diarization jointly over the speech segments and the face tracks. Secondly, an identifcation system is designed. It is based on the combination of a naming CRF at cluster level and the diarization CRF. In particular, context information extracted from the image background and the names extracted from the overlaid texts are integrated in the diarization CRF at segment level. The use of those elements enable us to obtain better performances in diarization and identification, especially in studio scenes.