The growth of multimedia content in recent years motivated the research on audio classification and content retrieval area. In this thesis, a general environmental audio classification and retrieval approach is proposed in which higher level semantic classes (outdoor, nature, meeting and violence) are obtained from lower level acoustic classes (emergency alarm, car horn, gun-shot, explosion, automobile, motorcycle, helicopter, wind, water, rain, applause, crowd and laughter). In order to classify an audio sample into acoustic classes, MPEG-7 audio features, Mel Frequency Cepstral Coefficients (MFCC) feature and Zero Crossing Rate (ZCR) feature are used with Hidden Markov Model (HMM) and Support Vector Machine (SVM) classifiers. Additionally, a new classification method is proposed using Genetic Algorithm (GA) for classification of semantic classes. Query by Example (QBE) and keyword-based query capabilities are implemented for content retrieval.

Η παρούσα εργασία ασχολείται με την ανάκτηση σχήματος. Πιο συγκεκριμένα επικεντρώνεται σε επίπεδα (δισδιάστατα) σχήματα τα οποία είναι μη άκαμπτα και έχουν υποστεί κάμψη ή μεταβάλλονται εξαιτίας της παρουσίας κάποιας άρθρωσης. Τέτοια εύκαμπτα σχήματα συναντάμε καθημερινά στη φύση όπως για παράδειγμα τους μικροοργανισμούς μέχρι και τον ίδιο τον άνθρωπο. Τα κριτήρια ομοιότητας μεταξύ των σχημάτων που χρησιμοποιούνται εδώ είναι Intrinsic. Τέτοια κριτήρια μπορεί κανείς να εξάγει δημιουργώντας ένα τελεστή διάχυσης. Οι τελεστές διάχυσης μπορούν να διατυπωθούν με πολλούς τρόπους. Στην παρούσα εργασία βασιζόμαστε στην πιθανολογική προσέγγιση δημιουργώντας ένα τελεστή (Μητρώο Markov) ενώ ταυτόχρονα λαμβάνουμε ένα τυχαίο περίπατο στα δεδομένα. Ο τελεστής αυτός επιπλέον έχει το πλεονέκτημα ότι μπορεί να προσεγγίσει τον τελεστή Laplace-Beltrami ασχέτως της πυκνότητας δειγματοληψίας των δεδομένων. Ορίζεται λοιπόν ως Απόσταση Διάχυσης η απόσταση δύο σημείων. Η απόσταση αυτή είναι μικρότερη όσο περισσότερα μονοπάτια συνδέουν τα δύο σημεία. Η φασματική ανάλυση του μητρώου αυτού μας επιτρέπει να αναπαραστήσουμε τα δεδομένα μας σε ένα νέο χώρο με σαφή μετρική απόσταση την Ευκλείδεια χρησιμοποιώντας τις ιδιοτιμές και τα ιδιοδιανύσματα που προκύπτουν. Επιπλέον η Ευκλείδεια απόσταση στο νέο χώρο ισούται με την απόσταση Διάχυσης στον αρχικό χώρο. Ο συνδυασμός των φασματικών ιδιοτήτων του μητρώου Διάχυσης με τις Markov διεργασίες οδηγεί σε μία ανάλυση των δεδομένων σε πολλές κλίμακες. Αυτό ισοδυναμεί με το να προχωρήσουμε τον τυχαίο περίπατο μπροστά. Από τις απεικονίσεις αυτές μπορούμε να εξάγουμε ιστογράμματα κατανομής αποστάσεων. Έτσι για κάθε σχήμα και για κάθε κλίμακα λαμβάνουμε ένα ιστόγραμμα κατανομής αποστάσεων. Συνεπώς δύο σχήματα μπορεί να βρίσκονται πολύ κοντά σε μία κλίμακα χρόνου ενώ να βρίσκονται πολύ μακριά σε μία άλλη κλίμακα. Συγκεκριμένα εδώ παραθέτουμε την άποψη η απόσταση των σχημάτων συνδέεται άμεσα με την κλίμακα- χρόνο. Μελετώνται οι ιδιότητες των μικρών, μεσαίων και μεγάλων κλιμάκων κυρίως ως προς τα γεωμετρικά χαρακτηριστικά που μπορούν να περιγράψουν και κατά συνέπεια την ικανότητα να εξάγουν αποδοτικούς περιγραφείς των σχημάτων. Η συνεισφορά της παρούσας Διπλωματικής Εργασίας είναι διπλή: A. Προτείνεται για πρώτη φορά μία νέα μέθοδος κατά την οποία αξιοποιούνται οι ιδιότητες των διαφορετικών κλιμάκων της διεργασίας Διάχυσης που αναφέραμε. Ονομάζουμε τη μέθοδο αυτή Weighted Multiscale Diffusion Distance -WMDD. B. Τα αποτελέσματα που παρουσιάζονται φέρνουν την μέθοδο αυτή στην κορυφή για τις συγκεκριμένες βάσεις σχημάτων (MPEG-7 και KIMIA 99). / This thesis focuses explicitly at shape retrieval applications. More precisely concentrates in planar shapes that are non-rigid, meaning that they might have been articulated or bended. These non-rigid shapes appear in humans’ life like for example bacteria and also the same the human body. The shape pair wise similarity criteria are intrinsic. Such similarity criteria one can take through a Diffusion Operator. Diffusion Operators can be defined in many ways. In this thesis we concern only in the probabilistic interpretation of Diffusion Operators. Thus by constructing a Diffusion Operator we also construct a random Walk on data. This operator converges to the Laplace-Beltrami even if the sampling density of the data is not uniform. Through this framework the Diffusion Distance between two points is defined. This distance gets smaller as much more paths are connecting two points. Spectral decomposition if this diffusion kernel allows us to map, re-represent our data using the eigenvectors and the eigenvalues in a new space with the property of embedding with an explicit metric. These maps are called Diffusion Maps and have the property that diffusion distance in the initial space equals the Euclidean distance in the embedding space. A combination of spectral properties of a Markov matrix with Markov Processes leads to a multiscale analysis. This corresponds to running the random walk forward. From these embeddings we can extract histograms of distributions of distances. Thus for every shape and every scale we have one histogram. Therefore two shapes may be close in one scale but not in another one. The contribution of this Thesis is twofold: A. For first time a new method where the properties of different scales as studied in order to take the advantage of the most discriminative times/ steps of the diffusion process that we described above. We called this method Weighted Multiscale Diffusion Distance- WMDD. B. The results presented here bring our method to the state of the art for the MPEG- and KIMIA 99 databases.

Thesis in theoretical part deals with the procedures used in image databases searching. There are discussed two basic possible approaches - text based searching and content based searching. In next section there are described methods for image similarity detection. Practical part deals with detailed description and implementation of three selected image features used for image searching. In third part there are presented testing procedure for implemented algorithms and test results. In conclusion implementation of Rapidminer operator are described. This operator uses all implemented algorithms and allows image similarity matching, searching for most similar images in database, and copy these images to output folder.

This master's thesis is dedicated to theme of knowledge discovery in Multimedia Databases, especially basic methods of classification and prediction used for data mining. The other part described about extraction of low level features from video data and images and summarizes information about content-based search in multimedia content and indexing this type of data. Final part is dedicated to implementation Gaussian mixtures model for classification and compare the final result with other method SVM.

Audiovisuelle Medien stellen Archive vor zunehmende Probleme. Ein stark wachsender (Web-)TV-Markt mit Sende- oder Rohmaterial, zunehmender Einsatz von medial aufbereitetem Lehrmaterial in Schulen, Hochschulen und Firmen, die Verbreitung der Videoanalyse als Forschungs- und Lehrmethode, die Ausbreitung von Überwachungskameras sowie die immer günstigeren Produktionsbedingungen vom professionellen Produzenten bis zum Heimvideo sind nur einige Stichworte um die neuen quantitativen Dimensionen zu umreißen. Die archivarischen und dokumentarischen Werkzeuge sind heute mit dieser Situation überfordert. Der Workshop versucht hier Probleme und Lösungsmöglichkeiten zu umreißen und beschäftigt sich mit den technologischen Fragestellungen rund um die Archivierung audiovisueller Medien, seien es analoge, digitalisierte oder digitale Medien. Dabei werden zum einen die technologischen Probleme angesprochen, die zum Aufbau und Management eines Archivs bewältigt werden müssen. Zum anderen wird der praktische Einsatz von der Gestaltung der Benutzungsoberfläche bis zur Frage des Umgangs mit kritischem Material diskutiert.

This thesis consider description of segments identified in image. At first there are described main methods of segmentation because it is a process contiguous before describing of objects. Next chapter is devoted to methods which focus on description identified regions. There are studied algorithms used for characterizing of different features. There are parts devoted to color, location, size, orientation, shape and topology. The end of this chapter is devoted to moments. Next chapters are focused on designing fit algorithms for segments description and XML files creating according to MPEG-7 standards and their implementation into RapidMiner. In the last chapter there are described results of the implementation.

Audiovisuelle Medien stellen Archive vor zunehmende Probleme. Ein stark wachsender (Web-)TV-Markt mit Sende- oder Rohmaterial, zunehmender Einsatz von medial aufbereitetem Lehrmaterial in Schulen, Hochschulen und Firmen, die Verbreitung der Videoanalyse als Forschungs- und Lehrmethode, die Ausbreitung von Überwachungskameras sowie die immer günstigeren Produktionsbedingungen vom professionellen Produzenten bis zum Heimvideo sind nur einige Stichworte um die neuen quantitativen Dimensionen zu umreißen. Die archivarischen und dokumentarischen Werkzeuge sind heute mit dieser Situation überfordert. Der Workshop versucht hier Probleme und Lösungsmöglichkeiten zu umreißen und beschäftigt sich mit den technologischen Fragestellungen rund um die Archivierung audiovisueller Medien, seien es analoge, digitalisierte oder digitale Medien. Dabei werden zum einen die technologischen Probleme angesprochen, die zum Aufbau und Management eines Archivs bewältigt werden müssen. Zum anderen wird der praktische Einsatz von der Gestaltung der Benutzungsoberfläche bis zur Frage des Umgangs mit kritischem Material diskutiert.:Interaction MedioVis 2.0 - A novel User Interface for Seeking Audio-Visual Media Libraries Harald Reiterer, Mathias Heilig and Sebastian Rexhausen SIVA Suite – Konzeption eines Frameworks zur Erstellung von interaktiven Videos B. Meixner, B. Siegel, G. Hölbling, H. Kosch und F. Lehner Online-Werbung als digitales Kulturgut: Analyse, Erschließung und Archivierung Christian Wolff Beyond Basic Blanks – Vertrauenserhaltende, schrittweise Implementierung neuer Funktionen im Information Retrieval Arne Berger Beyond Basic Blanks – Akzeptanz adaptiver Annotations- und Rechercheoberflächen Arne Berger Media Usage Nutzung von Mediatheken öffentlich-rechtlicher Fernsehsender Sven Pagel, Carina Bischoff, Sebastian Goldstein und Alexander Jürgens Video-Tools im Schulunterricht: Psychologisch-pädagogische Forschung zur Nutzung audiovisueller Medien Carmen Zahn, Karsten Krauskopf und Friedrich W. Hesse Special Issues in Multimedia Archiving Einsatz Pixelbasierter Datenfusion zur Objektklassifikation Jan Thomanek, Holger Lietz, Basel Fardi, Gerd Wanielik Grundlagen für das Retrieval rotationssymmetrischer Gefäße Stefan Wagner, Christian Hörr, David Brunner und Guido Brunnett Verschmelzendes Clustering in Artmap Frederik Beuth und Marc Ritter Von der Bildrepräsentation zur Objekterkennung – Bewegungsanalyse als mächtiges Werkzeug der automatischen Bildinterpretation Tobias John, Basel Fardi und Gerd Wanielik Aspekte zur Archivierung audiovisueller Unterlagen im Sächsischen Staatsarchiv Stefan Gööck FusionSystems GmbH Systeme zur Sensor-Daten-Fusion und Szeneninterpretation Ullrich Scheunert und Basel Fardi Multimedia Analysis and Retrieval Visualisierung von Prozessketten zur Shot Detection Marc Ritter Textdetektion und -extraktion mit gewichteter DCT und mehrwertiger Bildzerlegung Stephan Heinich Sprechererkennungssystem auf Basis der Vektorquantisierung mit Störgeräuschfilterung Stephan Heinich Metadatenstandards und –formate für audiovisuelle Inhalte Jens Kürsten Entwurf einer Service-orientierten Architektur als Erweiterung einer Plattform zum Programm-Austausch Jens Kürsten Untersuchungen zu semantischem Retrieval von Bildern mit Hilfe von MPEG7 anhand einer Beispielapplikation Daniel Pötzinger Distribution Aspects Dynamische Distribution personalisierten Mobilfernsehens in hybriden Netzen Albrecht Kurze, Robert Knauf und Arne Berger Multimedia Archives – Music Evaluation of an Image and Music Indexing Prototype Peter Dunker, Ronny Paduschek, Christian Dittmar, Stefanie Nowak and Matthias Gruhne Aspekte inhaltlicher Modellierung von Musikdokumenten in digitalen Archiven Michael Rentzsch und Frank Seifert