Orientador: Luiz Cesar Martini / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação / Made available in DSpace on 2018-08-08T14:42:59Z (GMT). No. of bitstreams: 1 Ferreira_LuisAndreVillanuevadaCosta_M.pdf: 1477572 bytes, checksum: 5c37464c03f469380fb804cf8249299a (MD5) Previous issue date: 2007 / Resumo: Neste trabalho, uma pesquisa foi realizada com o objetivo de apresentar os metadados (ou dados sobre dados) e especificamente metadados em multimídia com o padrão MPEG-7 como sendo a base. Inicialmente, a teoria envolvendo os metadados em geral e metadados em multimídia em particular são apresentadas, com o propósito de preparar o leitor para suas aplicações, especialmente em vista da explosão de mídia estar sendo atualmente disponibilizada online. O usuário deve ser capaz de localizar a mídia que necessita de forma eficiente dentre esse mar de informação, e esse é o principal objetivo dos metadados. Com isso em mente, o MPEG-7 foi desenvolvido pela ISO (International Organization for Standardization ou Organização Internacional para Padronização). O MPEG-7 é padrão aberto baseado no formato XML (Extensible Markup Language ou Linguagem de Marcação Extensível) que permite que aperfeiçoamentos sejam desenvolvidos continuamente, o que é muito útil considerando o fluxo de novas mídias sendo disponibilizadas aos usuários diariamente. Este trabalho portanto apresenta os dois tipos de semânticas para metadados em multimídia, de baixo e alto nível. As semânticas de baixo nível incluem informações concretas sobre uma mídia como cores, contraste, pixels, etc. Por outro lado, as semânticas de alto nível são mais abstratas, e levam em consideração o que de fato está sendo exibido pela mídia, como pedras, arvores, pessoas, rios, etc. O intervalo semântico entre esses dois tipos de metadados apresenta um grande problema para a programação de metas. O principal objetivo deste trabalho é demonstrar como, utilizando a aplicação IBM VideoAnnex desenvolvida baseada no padrão MPEG-7, metadados em multimídia de baixo e alto nível semântico podem ser criados e anexados a um arquivo de vídeo em MPEG-2. A maior parte do processo de anexação é realizada diretamente utilizando a aplicação VideoAnnex como será mostrado, mas diversos metadados de alto nível devem ser inseridos diretamente no arquivo XML. Como as aplicações de metadados em multimídia são tão vastas quanto a mídia que eles representam, este trabalho apresentará primeiro uma abordagem mais geral para uso com um filme qualquer, e obviamente muito menos completa, e em seguida uma abordagem mais específica utilizando como objetivo uma partida de futebol. Estudos na área de metadados em multimídia ainda estão na fase inicial, então este trabalho não apresenta uma abordagem final, mas sim uma nova opção no uso de metadados em multimídia, especialmente importantes quando se considera a atual difusão da Internet e TV Digital / Abstract: In this work, a research was made in order to present Metadata (or data about data) and specifically Multimedia Metadata applications with the MPEG-7 standard as the basis. At first, the theory concerning Metadata in general and Multimedia Metadata in particular is presented, with the purpose to prepare the reader for its uses, specially with the current explosion of Media being made available online. The user must be able to locate the media he requires amongst this sea of information, and that is the Metadata main objective. With that in mind, MPEG-7 was developed by ISO (International Organization for Standardization). MPEG-7 is an open standard based on a XML (Extensible Markup Language) format that allows for improvements to be made continuously, which is very helpful considering new media is being made available to users every day. This work then presents the two types of Multimedia Metadata semantics, low level and high level. The low level semantics include concrete information about a movie or image like color, contrast, pixels, etc. On the other hand, high-level semantics take a more abstract approach, and take into consideration what is actually on a scene or image like rocks, sky, trees, actions, etc. The Semantic Gap between these two Metadata types presents a problem for most Metadata programming. This work?s main objective is to present how, using the IBM Videoannex application, developed based on the MPEG-7 standard, Multimedia Metadata of both low and high level semantics can be annexed to a MPEG-2 video file. Most of the annexation process can be made directly through the Videoannex application as will be shown, but several high level Metadata need to be inserted directly into the XML file. Since Multimedia Metadata uses are as vast as the media they represent, this work will present first an approach more general to any movie, but obviously much less complete and then a more focused approach, using a soccer match as target. Multimedia Metadata studies are still in the beginning stage, so this work doesn?t present an end approach, but more of a different option to the use of Multimedia Metadata, specially important with the current spread of the Internet and Digital TV / Mestrado / Telecomunicações e Telemática / Mestre em Engenharia Elétrica

<p dir="ltr">The rapid development of machine learning techniques makes it possible to manipulate or synthesize video and audio information while introducing nearly indetectable artifacts. Most media forensics methods analyze the high-level data (e.g., pixels from videos, temporal signals from audios) decoded from compressed media data. Since media manipulation or synthesis methods usually aim to improve the quality of such high-level data directly, acquiring forensic evidence from these data has become increasingly challenging. In this work, we focus on media forensics techniques using the metadata in media formats, which includes container metadata and coding parameters in the encoded bitstream. Since many media manipulation and synthesis methods do not attempt to hide metadata traces, it is possible to use them for forensics tasks. First, we present a video forensics technique using metadata embedded in MP4/MOV video containers. Our proposed method achieved high performance in video manipulation detection, source device attribution, social media attribution, and manipulation tool identification on publicly available datasets. Second, we present a transformer neural network based MP3 audio forensics technique using low-level codec information. Our proposed method can localize multiple compressed segments in MP3 files. The localization accuracy of our proposed method is higher compared to other methods. Third, we present an H.264-based video device matching method. This method can determine if the two video sequences are captured by the same device even if the method has never encountered the device. Our proposed method achieved good performance in a three-fold cross validation scheme on a publicly available video forensics dataset containing 35 devices. Fourth, we present a Graph Neural Network (GNN) based approach for the analysis of MP4/MOV metadata trees. The proposed method is trained using Self-Supervised Learning (SSL), which increased the robustness of the proposed method and makes it capable of handling missing/unseen data. Fifth, we present an efficient approach to compute the spectrogram feature with MP3 compressed audio signals. The proposed approach decreases the complexity of speech feature computation by ~77.6% and saves ~37.87% of MP3 decoding time. The resulting spectrogram features lead to higher synthetic speech detection performance.</p>