Submitted by Isaac Francisco de Souza Dias (isaac.souzadias@ufpe.br) on 2016-07-13T18:59:10Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Shifted Gradient Similarity - A perceptual video quality assessment index for adaptive streaming encoding.pdf: 5625470 bytes, checksum: 8ec1d179ec4cca056eb66609ba5791a0 (MD5) / Made available in DSpace on 2016-07-13T18:59:10Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Shifted Gradient Similarity - A perceptual video quality assessment index for adaptive streaming encoding.pdf: 5625470 bytes, checksum: 8ec1d179ec4cca056eb66609ba5791a0 (MD5) Previous issue date: 2016-03-04 / Adaptive video streaming has become prominent due to the rising diversity of Web-enabled personal devices and the popularity of social networks. Common limitations in Internet bandwidth, decoding speed and battery power available in such devices challenge the efficiency of content encoders to preserve visual quality at reduced data rates over a wide range of display resolutions, typically compressing to lower than 1% of the massive raw data rate. Furthermore, the human visual system does not uniformly perceive losses of spatial and temporal information, so a simple physical objective model such as the mean squared error does not correlate well with perceptual quality. Objective assessment and prediction of perceptual quality of visual content has greatly improved in the past decade, but remains an open problem. Among the most relevant psychovisual quality metrics are the many versions of the Structural Similarity (SSIM) index. In this work, several of the most efficient SSIM-based metrics, such as the Multi-Scale Fast SSIM and the Gradient Magnitude Similarity Deviation (GMSD), are decomposed into their component techniques and reassembled in order to measure and understand the contribution of each technique and to develop improvements in quality and efficiency. The metrics are applied to the LIVE Mobile Video Quality and TID2008 databases and the results are correlated to the subjective data included in the databases in the form of mean opinion scores (MOS), so each metric’s degree of correlation indicates its ability to predict perceptual quality. Additionally, the metrics’ applicability to the recent, relevant psychovisal rate-distortion optimization (Psy-RDO) implementation in the x264 encoder, which currently lacks an ideal objective assessment metric, is investigated as well. The “Shifted Gradient Similarity” (SG-Sim) index is proposed with an improved feature enhancement by avoiding a common unintended loss of analysis information in SSIM-based indexes, and achieving considerably higher MOS correlation than the existing metrics investigated in this work. More efficient spatial pooling filters are proposed, as well: the decomposed 1-D integer Gaussian filter limited to two standard deviations, and the downsampling Box filter based on the integral image, which retain respectively 99% and 98% equivalence and achieve speed gains of respectively 68% and 382%. In addition, the downsampling filter also enables broader scalability, particularly for Ultra High Definition content, and defines the “Fast SG-Sim” index version. Furthermore, SG-Sim is found to improve correlation with Psy-RDO, as an ideal encoding quality metric for x264. Finally, the algorithms and experiments used in this work are implemented in the “Video Quality Assessment in Java” (jVQA) software, based on the AviSynth and FFmpeg platforms, and designed for customization and extensibility, supporting 4K Ultra-HD content and available as free, open source code. / Cada vez mais serviços de streaming de vídeo estão migrando para o modelo adaptativo, devido à crescente diversidade de dispositivos pessoais conectados à Web e à popularidade das redes sociais. Limitações comuns na largura de banda de Internet, velocidade de decodificação e potência de baterias disponíveis em tais dispositivos desafiam a eficiência dos codificadores de conteúdo para preservar a qualidade visual em taxas de dados reduzidas e abrangendo uma ampla gama de resoluções de tela, tipicamente comprimindo para menos de 1% da massiva taxa de dados bruta. Ademais, o sistema visual humano não percebe uniformemente as perdas de informação espacial e temporal, então um modelo objetivo físico simples como a média do erro quadrático não se correlaciona bem com qualidade perceptível. Técnicas de avaliação e predição objetiva de qualidade perceptível de conteúdo visual se aprimoraram amplamente na última década, mas o problema permanece em aberto. Dentre as métricas de qualidade psicovisual mais relevantes estão muitas versões do índice de similaridade estrutural (Structural Similarity — SSIM). No presente trabalho, várias das mais eficientes métricas baseadas em SSIM, como o Multi-Scale Fast SSIM e o Gradient Magnitude Similarity Deviation (GMSD), são decompostas em suas técnicas-componentes e recombinadas para se obter medidas e entendimento sobre a contribuição de cada técnica e se desenvolver aprimoramentos à sua qualidade e eficiência. Tais métricas são aplicadas às bases de dados LIVE Mobile Video Quality e TID2008 e os resultados são correlacionados aos dados subjetivos incluídos naquelas bases na forma de escores de opinião subjetiva (mean opinion score — MOS), de modo que o grau de correlação de cada métrica indique sua capacidade de predizer qualidade perceptível. Investiga-se, ainda, a aplicabilidade das métricas à recente e relevante implementação de otimização psicovisual de distorção por taxa (psychovisual rate-distortion optimization — Psy-RDO) do codificador x264, ao qual atualmente falta uma métrica de avaliação objetiva ideal. O índice “Shifted Gradient Similarity” (SG-Sim) é proposto com uma técnica aprimorada de realce de imagem que evita uma perda não-pretendida de informação de análise, comum em índices baseados em SSIM, assim alcançando correlação consideravelmente maior com MOS comparado às métricas existentes investigadas neste trabalho. Também são propostos filtros de consolidação espacial mais eficientes: o filtro gaussiano de inteiros 1-D decomposto e limitado a dois desvios padrão e o filtro “box” subamostrado baseado na imagem integral, os quais retém, respectivamente, 99% e 98% de equivalência e obtém ganhos de velocidade de, respectivamente, 68% e 382%. O filtro subamostrado também promove escalabilidade, especialmente para conteúdo de ultra-alta definição, e define a versão do índice “Fast SG-Sim”. Ademais, verifica-se que o SG-Sim aumenta a correlação com Psy-RDO, indicando-se uma métrica de qualidade de codificação ideal para o x264. Finalmente, os algoritmos e experimentos usados neste trabalho estão implementados no software “Video Quality Assessment in Java” (jVQA), baseado nas plataformas AviSynth e FFmpeg e que é projetado para personalização e extensibilidade, suportando conteúdo ultra-alta definição “4K” e disponibilizado como código-fonte aberto e livre.

Estágio realizado na MOG Solutions e orientado por Vítor Teixeira / Tese de mestrado integrado. Engenharia Informátca e Computação. Faculdade de Engenharia. Universidade do Porto. 2008

Video Object Tracking plays a crucial role on several Computer Vision applications, such as Video Surveillance, Intelligent Transportation System (ITS), Human Machine Interface (HMI), Video Indexing and Shopping Behavior Analysis. Nevertheless, the processing power demanded by object tracking techniques still consists in a bottleneck to their wider adoption. To reduce this computational power demand, some techniques that extract object motion information from compressed video domain, instead of the raw video, have been developed. This work addresses the problem of efficiently tracking objects from compressed video. The focus is on algorithms that track objects using motion estimation informationfrom MPEG-2 and MPEG-4 family of video compressors. Two complementary solutions are presented. At first, a novel Spatiotemporal Motion-Vector Consistency Filter is proposed and evaluated. The filter is applied on the initial stage of tracking algorithm and significantly reduces the noisy motion vectors which do not represent a real object movement. Then, a Kalman Filter is used to provide improved estimations of objects position and size. A novel model for Kalman Filter application on the context of motion-vector based object tracking is proposed and evaluated, with determination of measures and noise patterns. Qualitative and quantitative experiments, with standard metrics, are performed displaying that the proposed Spatiotemporal Filter outperforms the currently widely used Vector Median Filter. The results obtained with the Spatiotemporal Filter make it suitable as a first step of any system that aims to detect and track objects from compressed video using its motion vectors. Both filters are jointly used in a complete object tracker system denominated moveTRAKS - motion-vector based object Tracker with Kalman filter and Spatiotemporal filter. The moveTRAKS is also qualitative and quantitative tested, demonstrating its efficiency and limitations for compressed video object tracking.

Made available in DSpace on 2016-03-22T17:26:22Z (GMT). No. of bitstreams: 1 DMII_AndreMarcel.pdf: 2907967 bytes, checksum: 5f3911468dd5affdd2020316f31ee238 (MD5) Previous issue date: 2009-12-11 / The increasing use of digital video on the Internet, devices and also in mobile digital TV has lead to an increasing interest for research in this area, from both industry and academia. This work follows this trend by proposing the investigation of the main aspects of digital video, video compression and also of the H.264/AVC video compression for the implementation of performance efficient dedicated architectures for some modules of the H.264/AVC encoder. In particular, this work presents some architectural alternatives for the increase of performance of two modules of the H.264/AVC, which are: T Module (composed by the Forward Hadamard and Discrete Cosine Transforms) and Motion Estimation (ME). For the implementation of these modules the use of techniques to the increase of performance has been considered, such as the use of efficient adders and pipeline. This efficient adders presents high use of hardware features. Thus, the implemented architectures in this work presented these characteristics too. The main aspect presented by the implemented modules is a large number of arithmetic operations of addition and subtraction for their processing. Thus, the motivation of this work is the increase of performance of these modules, from the use of efficient adder/subtractor circuits that are present in literature. In particular, 4:2, 8:2 and 16:2 adder compressors that perform the simultaneous addition of 4, 8 and 16 operands, respectively, with no penalties in area and the critical path are used. The architectures were described in VHDL and targeted to ASIC technology. The validation of the circuits and the obtained results were performed by using Leonardo Spectrum tool from Mentor Graphics. Comparisons against the solutions of the literature were done and the main results show that the architectures proposed in this work are more efficient. Significant gains in performance are achievable using our solutions for both Forward Transforms and Motion Estimation architectures / A crescente utilização de vídeos digitais na Internet, em dispositivos móveis e também na TV digital faz com que haja um interesse crescente em pesquisas nesta área, tanto na indústria quanto no meio acadêmico. Este trabalho segue esta tendência e tem como proposta estudar aspectos de vídeo digital, compressão de vídeo e também do padrão H.264/AVC de compressão de vídeo para a implementação de arquiteturas dedicadas eficientes em desempenho, isto é, com elevada frequência de operação, dos módulos do codificador do padrão H.264/AVC. Em particular, este trabalho apresenta algumas alternativas arquiteturais para aumento de desempenho de dois módulos do padrão H.264/AVC, que são: Módulo T (composto pelas Transformadas Diretas Transformadas Hadamard e Transformada Discreta do Coseno) e Estimação de Movimento (ME). A implementação destes módulos foi realizada utilizando técnicas para o aumento de desempenho, tais como o uso de somadores eficientes e pipeline. Uma característica dos somadores eficientes utilizados neste trabalho é o uso elevado de recursos de hardware. Assim, as arquiteturas implementadas neste trabalho também apresentaram esta característica. Os módulos implementados apresentam como principal característica um elevado número de operações aritméticas de soma e subtração para o seu processamento. Desta forma, a motivação deste trabalho consiste em aumentar o desempenho destes módulos, a partir da utilização de circuitos somadores/subtratores eficientes presentes na literatura. Em particular, são utilizados circuitos somadores compressores 4:2, 8:2 e 16:2, pois estes realizam a soma simultânea de 4, 8 e 16 operandos, respectivamente, sem penalidades em área e no caminho crítico. As arquiteturas foram descritas em VHDL e direcionadas para tecnologia ASIC, a validação e resultados foram obtidos através da ferramenta Leonardo Spectrum da Mentor Graphics. Para os estudos de caso utilizados neste trabalho (Transformadas Diretas e Estimação de Movimento), foram feitas comparações com soluções apresentadas na literatura e os resultados mostram que as arquiteturas implementadas neste trabalho obtiveram significativos ganhos em desempenho, quando comparadas com soluções apresentadas na literatura

Submitted by Johnny Rodrigues (johnnyrodrigues@ufcg.edu.br) on 2018-05-07T15:46:17Z No. of bitstreams: 1 LUIZ TEIXEIRA MACHADO NETO - DISSERTAÇÃO PPGCC 2015..pdf: 936539 bytes, checksum: 75e4ab7774a9d4c965e23ec09254fc86 (MD5) / Made available in DSpace on 2018-05-07T15:46:17Z (GMT). No. of bitstreams: 1 LUIZ TEIXEIRA MACHADO NETO - DISSERTAÇÃO PPGCC 2015..pdf: 936539 bytes, checksum: 75e4ab7774a9d4c965e23ec09254fc86 (MD5) Previous issue date: 2015-03-01 / A utilização de serviços de streaming cresceu bastante nos últimos anos, por meio de sistemas como Youtube, Hulu, Netflix, Vimeo, etc. Utilizando o stream, os vídeos são transmitidos e exibidos em tempo real e em qualquer lugar do mundo por meio da internet. Muitosusuáriosdestessistemasosutilizamemsuaresidênciaondeébastante comumencontrarumaredesemfio(devidoàmobilidadequesepodealcançarpormeio deste tipo de rede). Apesar de mais mobilidade, uma rede sem fio está mais suscetível a interferências do que a rede cabeada e, por isso, um vídeo pode ter sua imagem degradada com mais facilidade. Neste trabalho, é avaliada a transmissão de vídeos via stream para descobrir se o vídeo realmente é degradado pela transmissão; se tipos de conteúdos diferentes afetam a qualidade do vídeo recebido; e se de acordo com o padrão de compressão utilizado, é possível observar melhorias na qualidade do vídeo recebido. Por meio de uma abordagem experimental com um design de experimentos fatorial completo, foram feitas transmissões de vídeos utilizando o H.264, o HEVC e o MPEG-4; padrões mais utilizados atualmente. Além de definir os padrões, foram definidas outras variáveis: porcentagem de ocupação do canal de transmissão (com o objetivo de avaliar a degradação dos vídeos de acordo com a competição que a rede está sofrendo); potência do sinal de transmissão (com o objetivo de avaliar o impacto da qualidade do sinal da rede no vídeo recebido); quantidade de movimento no vídeo (para avaliar se a quantidade de movimento que o vídeo exibe impacta na sua qualidade). Nos experimentos, foi utilizado um ambiente residencial que conta as interferências de outras redes, exatamente como pode acontecer em um ambiente real. Para definir as porcentagens de ocupação, foram realizados experimentos para medição da capacidade máxima de transmissão da rede de testes. Em se tratando da quantidade de movimento, foi necessário fazer uma classificação prévia dos vídeos de acordo com características espaciais e temporais de cada vídeo. Os vídeos foram separados em três categorias e dentro dessas categorias, três vídeos foram escolhidos aleatoriamente para participar dos experimentos. Os resultados mostram que o HEVC obteveamelhormédiaparaasmétricasdequalidadedevídeoescolhidas, sendoocodec que menos perde qualidade numa transmissão sem fio. Também foi possível observar que a quantidade de movimento foi o parâmetro que mais influenciou na qualidade do vídeos nos experimentos realizados. / The use of streaming services has grown significantly in recent years, through systems such as Youtube, Hulu, Netflix, Vimeo, etc. Using the stream, videos are transmitted and displayed in real time and from anywhere in the world via the Internet. Many users of these systems use the same in their homes where it is quite common to find a wireless network (due to the mobility we can achieve through this type of computer network). In spite of having more mobility, a wireless network is more susceptible to interference than the wired network so a video can have its picture degraded more easily just because it is transmitted over a wireless network. We evaluate the transmission of videos via stream to find out whether the video is actually degraded by transmission; if different types of content affect the quality of the received video; and if there are compression standarts (H.264 and MPEG-4 HEVC, the most currently used) which ensure a better received video quality. Through an experimental approach with a design of full factorial experiments, several transmissions of videos were made in the three chosen standarts. In addition to defining the standarts, other variables were defined as: transmission channel occupancy percentage (in order to evaluate the degradation of videos according to occupation); power transmission signal (in order to assess the impact of network signal quality in the video received); amount of motion in the video (to evaluate whether the amount of motion the video displays impacts on its quality). For the experiments we used a residential environment that has all the interference from other networks, just as it can happen in a real environment. To set the occupancy percentages, experiments were performed to measure the maximum transmission capacity of the test network. Concerning the quantity of movement, it was necessary to make a preliminary classification of videos according to spatial and temporal characteristics of each one. The videos were separated into three categories and within these categories, three videos were chosen at random to participate in the experiments. The results show that the HEVC achieved the highest average for quality metricsofthechosenvideos,andthecodecistheonethatloseslessqualityinawireless transmission. The amount of movement affects the quality of the received video, and the greater the amount of motion, the bigger the loss of image quality.