Das kulturelle Gedächtnis speichert immer gewaltigere Mengen von Informationen und Daten. Doch nur ein verschwindend geringer Teil der Inhalte ist derzeit über digitale Kanäle recherchierbar und verfügbar. Die Projekte mediaglobe und yovisto ermöglichen, den wachsenden Bestand an audiovisuellen Dokumenten auffindbar und nutzbar zu machen und begleiten Medienarchive in die digitale Zukunft. mediaglobe hat das Ziel, durch automatisierte und semantische Verfahren audiovisuelle Dokumente zur deutschen Zeitgeschichte zu erschließen und verfügbar zu machen. Die Vision von mediaglobe ist ein web-basierter Zugang zu umfassenden digitalen AV-Inhalten in Medienarchiven. Dazu bietet mediaglobe zahlreiche automatisierte Verfahren zur Analyse von audiovisuellen Daten, wie z.B. strukturelle Analyse, Texterkennung im Video, Sprachanalyse oder Genreanalyse. Der Einsatz semantischer Technologien verknüpft die Ergebnisse der AV-Analyse und verbessert qualitativ und quantitativ die Ergebnisse der Multimedia-Suche. Ein Tool zum Rechtemanagement liefert Informationen über die Verfügbarkeit der Inhalte. Innovative und intuitiv bedienbare Benutzeroberflächen machen den Zugang zu kulturellem Erbe aktiv erlebbar. mediaglobe vereinigt die Projektpartner Hasso-Plattner Institut für Softwaresystemtechnik (HPI), Medien-Bildungsgesellschaft Babelsberg, FlowWorks und das Archiv der defa Spektrum. mediaglobe wird im Rahmen des Forschungsprogramms »THESEUS – Neue Technologien für das Internet der Dienste« durch das Bundesministerium für Wirtschaft und Technologie gefördert. Die Videosuchmaschine yovisto hingegen ist spezialisiert auf Aufzeichnungen akademischer Lehrveranstaltungen und implementiert explorative und semantische Suchstrategien. yovisto unterstützt einen mehrstufigen 'explorativen' Suchprozess, in dem der Suchende die Möglichkeit erhält, den Bestand des zugrundeliegenden Medienarchivs über vielfältige Pfade entsprechend seines jeweiligen Interesses zu erkunden, so dass am Ende dieses Suchprozesses Informationen entdeckt werden, von deren Existenz der Suchende bislang nichts wusste. Um dies zu ermöglichen vereinigt yovisto automatisierte semantische Medienanalyse mit benutzergenerierten Metadaten zur inhaltlichen Erschließung von AV-Daten und ermöglicht dadurch eine punktgenaue inhaltsbasierte Suche in Videoarchiven.

This work is focusing on exploration of multimedia collections. It describes the problematic of exploration and proposes new approaches to it, two based on the data structure M-Index and two utilizing multiple similarity models at once. Those approaches were compared using an extensive user study. Part of this work is also devoted to analysis of a new exploration system, design of its architecture, system implementation and its deployment. This exploration system was used in several applications, which are also shown and described in this thesis.

Cette thèse en informatique s'intéresse à la structuration et à l'exploration de collections journalistiques. Elle fait appel à plusieurs domaines de recherche : sciences sociales, à travers l'étude de la production journalistique ; ergonomie ; traitement des langues et la recherche d'information ; multimédia et notamment la recherche d'information multimédia. Une branche de la recherche d'information multimédia, appelée hyperliage, constitue la base sur laquelle cette thèse est construite. L'hyperliage consiste à construire automatiquement des liens entre documents multimédias. Nous étendons ce concept en l'appliquant à l'entièreté d'une collection afin d'obtenir un hypergraphe, et nous intéressons notamment à ses caractéristiques topologiques et à leurs conséquences sur l'explorabilité de la structure construite. Nous proposons dans cette thèse des améliorations de l'état de l'art selon trois axes principaux : une structuration de collections d'actualités à l'aide de graphes mutli-sources et multimodaux fondée sur la création de liens inter-documents, son association à une diversité importante des liens permettant de représenter la grande variété des intérêts que peuvent avoir différents utilisateurs, et enfin l'ajout d'un typage des liens créés permettant d'expliciter la relation existant entre deux documents. Ces différents apports sont renforcés par des études utilisateurs démontrant leurs intérêts respectifs. / This thesis studies the structuring and exploration of news collections. While its main focus is on natural language processing and multimedia retrieval, it also deals with social studies through the study of the production of news and ergonomy through the conduct of user tests. The task of hyperlinking, which was recently put forward by the multimedia retrieval community, is at the center of this thesis. Hyperlinking consists in automatically finding relevant links between multimedia segments. We apply this concept to whole news collections, resulting in the creation of a hypergraph, and study the topological properties and their influence on the explorability of the resulting structure. In this thesis, we provide improvements beyond the state of the art along three main {axes:} a structuring of news collections by means of mutli-sources and multimodal graphs based on the creation of inter-document links, its association with a large diversity of links allowing to represent the variety of interests that different users may have, and a typing of the created links in order to make the nature of the relation between two documents explicit. Extensive user studies confirm the interest of the methods developped in this thesis.

Video is a massive amount of data that contains complex interactions between moving objects. The extraction of knowledge from this type of information creates a demand for video analytics systems that uncover statistical relationships between activities and learn the correspondence between content and labels. However, those are open research problems that have high complexity when multiple actors simultaneously perform activities, videos contain noise, and streaming scenarios are considered. The techniques introduced in this dissertation provide a basis for analyzing video. The primary contributions of this research consist of providing new algorithms for the efficient search of activities in video, scene understanding based on interactions between activities, and the predicting of labels for new scenes.

Das kulturelle Gedächtnis speichert immer gewaltigere Mengen von Informationen und Daten. Doch nur ein verschwindend geringer Teil der Inhalte ist derzeit über digitale Kanäle recherchierbar und verfügbar. Die Projekte mediaglobe und yovisto ermöglichen, den wachsenden Bestand an audiovisuellen Dokumenten auffindbar und nutzbar zu machen und begleiten Medienarchive in die digitale Zukunft. mediaglobe hat das Ziel, durch automatisierte und semantische Verfahren audiovisuelle Dokumente zur deutschen Zeitgeschichte zu erschließen und verfügbar zu machen. Die Vision von mediaglobe ist ein web-basierter Zugang zu umfassenden digitalen AV-Inhalten in Medienarchiven. Dazu bietet mediaglobe zahlreiche automatisierte Verfahren zur Analyse von audiovisuellen Daten, wie z.B. strukturelle Analyse, Texterkennung im Video, Sprachanalyse oder Genreanalyse. Der Einsatz semantischer Technologien verknüpft die Ergebnisse der AV-Analyse und verbessert qualitativ und quantitativ die Ergebnisse der Multimedia-Suche. Ein Tool zum Rechtemanagement liefert Informationen über die Verfügbarkeit der Inhalte. Innovative und intuitiv bedienbare Benutzeroberflächen machen den Zugang zu kulturellem Erbe aktiv erlebbar. mediaglobe vereinigt die Projektpartner Hasso-Plattner Institut für Softwaresystemtechnik (HPI), Medien-Bildungsgesellschaft Babelsberg, FlowWorks und das Archiv der defa Spektrum. mediaglobe wird im Rahmen des Forschungsprogramms »THESEUS – Neue Technologien für das Internet der Dienste« durch das Bundesministerium für Wirtschaft und Technologie gefördert. Die Videosuchmaschine yovisto hingegen ist spezialisiert auf Aufzeichnungen akademischer Lehrveranstaltungen und implementiert explorative und semantische Suchstrategien. yovisto unterstützt einen mehrstufigen 'explorativen' Suchprozess, in dem der Suchende die Möglichkeit erhält, den Bestand des zugrundeliegenden Medienarchivs über vielfältige Pfade entsprechend seines jeweiligen Interesses zu erkunden, so dass am Ende dieses Suchprozesses Informationen entdeckt werden, von deren Existenz der Suchende bislang nichts wusste. Um dies zu ermöglichen vereinigt yovisto automatisierte semantische Medienanalyse mit benutzergenerierten Metadaten zur inhaltlichen Erschließung von AV-Daten und ermöglicht dadurch eine punktgenaue inhaltsbasierte Suche in Videoarchiven.

The thesis probes issues associated with interactive audio and video retrieval of relevant segments. Text-based methods for search in audio-visual archives using automatic transcripts, subtitles and metadata are first described. Search quality is analyzed with respect to video segmentation methods. Navigation using multimodal hyperlinks between video segments is then examined as well as methods for automatic detection of the most informative anchoring segments suitable for subsequent hyperlinking application. The described text-based search, hyperlinking and anchoring methods are finally presented in working form through their incorporation in an online graphical user interface.

This thesis studies, implements and experiments with specific application-oriented approaches for exploring and querying multi-dimensional datasets. The first part of the thesis scrutinizes indexing of the complex space of chemical compounds, and details a design of high-performance retrieval system for small molecules. The resulting system is then utilized within a wider context of federated search in heterogeneous data and metadata related to the chemical datasets. In the second part, the thesis focuses on fast visualization and exploration of many-dimensional data that originate from single- cell cytometry. Self-organizing maps are used to derive fast methods for analysis of the datasets, and used as a base for a novel data visualization algorithm. Finally, a similar approach is utilized for highly interactive exploration of multimedia datasets. The main contributions of the thesis comprise the advancement in optimization and methods for querying the chemical data implemented in the Sachem database cartridge, the federated, SPARQL-based interface to Sachem that provides the heterogeneous search support, dimensionality reduction algorithm EmbedSOM, design and implementation of the specific EmbedSOM-backed analysis tool for flow and mass cytometry, and design and implementation of the multimedia...

In den letzten 20 Jahren haben sich in Sachsen mit ca. 60 Sendern die meisten privaten regionalen Fernsehsender der Bundesrepublik etabliert. Diese übernehmen dabei oft Aufgaben der Informationsversorgung, denen die öffentlich-rechtlichen Sender nur unzureichend nachkommen. Das InnoProfile Forschungsvorhaben sachsMedia fokussierte auf die existentielle und facettenreiche Umbruchschwelle kleiner und mittelständischer Unternehmen aus dem Bereich der regionalen Medienverbreitung. Besonders kritisch für die Medienbranche war der Übergang von analoger zu digitaler Fernsehausstrahlung im Jahr 2010. Die Forschungsinitiative sachsMedia nahm sich der zugrundeliegenden Problematiken an und bearbeitete grundlegende Forschungsfragen in den beiden Themenkomplexen Annotation & Retrieval und Mediendistribution. Der vorliegende Forschungsbericht fasst die erreichten Ergebnisse zusammen.

In den letzten 20 Jahren haben sich in Sachsen mit ca. 60 Sendern die meisten privaten regionalen Fernsehsender der Bundesrepublik etabliert. Diese übernehmen dabei oft Aufgaben der Informationsversorgung, denen die öffentlich-rechtlichen Sender nur unzureichend nachkommen. Das InnoProfile Forschungsvorhaben sachsMedia fokussierte auf die existentielle und facettenreiche Umbruchschwelle kleiner und mittelständischer Unternehmen aus dem Bereich der regionalen Medienverbreitung. Besonders kritisch für die Medienbranche war der Übergang von analoger zu digitaler Fernsehausstrahlung im Jahr 2010. Die Forschungsinitiative sachsMedia nahm sich der zugrundeliegenden Problematiken an und bearbeitete grundlegende Forschungsfragen in den beiden Themenkomplexen Annotation & Retrieval und Mediendistribution. Der vorliegende Forschungsbericht fasst die erreichten Ergebnisse zusammen.