Esta Tese propõe duas métricas objetivas para avaliar a percepção de qualidade de vídeos sujeitos a degradações de transmissão em uma rede de pacotes. A primeira métrica usa apenas o vídeo degradado, enquanto que a segunda usa os vídeos de referência e degradado. Esta última é uma métrica de referência completa (FR - Full Reference) chamada de QCM (Quadratic Combinational Metric) e a primeira é uma métrica sem referência (NR - No Reference) chamada de VQOM (Viewing Quality Objective Metric). Em particular, o procedimento de projeto é aplicado à degradação de variação de atraso de pacotes (PDV - Packet Delay Variation). A métrica NR é descrita por uma spline cúbica composta por dois polinômios cúbicos que se encontram suavemente num ponto chamado de nó. Para o projeto de ambas métricas, colhem-se opiniões de observadores a respeito das sequências de vídeo degradadas que compõem o conjunto. A função objetiva inclui o erro quadrático total entre as opiniões e suas estimativas paramétricas, ainda consideradas como expressões algébricas. Acrescentam-se à função objetiva três condições de igualdades de derivadas tomadas no nó, cuja posição é especificada dentro de uma grade fina de pontos entre o valor mínimo e o valor máximo do fator de degradação. Essas condições são afetadas por multiplicadores de Lagrange e adicionadas à função objetiva, obtendo-se o lagrangiano, que é minimizado pela determinação dos coeficientes subótimos dos polinômios em função de cada valor do nó na grade. Finalmente escolhe-se o valor do nó que produz o erro quadrático mínimo, determinando assim os valores finais para dos coeficientes do polinômio. Por outro lado, a métrica FR é uma combinação não-linear de duas métricas populares, a PSNR (Peak Signal-to-Noise Ratio) e a SSIM (Structural Similarity Index). Um polinômio completo de segundo grau de duas variáveis é usado para realizar a combinação, porque é sensível a ambas métricas constituintes, evitando o sobreajuste em decorrência do baixo grau. Na fase de treinamento, o conjunto de valores dos coeficientes do polinômio é determinado através da minimização do erro quadrático médio para as opiniões sobre a base de dados de treino. Ambas métricas, a VQOM e a QCM, são treinadas e validadas usando uma base de dados, e testadas com outra independente. Os resultados de teste são comparados com métricas NR e FR recentes através de coeficientes de correlação, obtendo-se resultados favoráveis para as métricas propostas. / This dissertation proposes two objective metrics for estimating human perception of quality for video subject to transmission degradation over packet networks. The first metric just uses traffic data while the second one uses both the degraded and the reference video sequences. That is, the latter is a full reference (FR) metric called Quadratic Combinational Metric (QCM) and the former one is a no reference (NR) metric called Viewing Quality Objective Metric (VQOM). In particular, the design procedure is applied to packet delay variation (PDV) impairments, whose compensation or control is very important to maintain quality. The NR metric is described by a cubic spline composed of two cubic polynomials that meet smoothly at a point called a knot. As the first step in the design of either metric, the spectators score a training set of degraded video sequences. The objective function for designing the NR metric includes the total square error between the scores and their parametric estimates, still regarded as algebraic expressions. In addition, the objective function is augmented by the addition of three equality constraints for the derivatives at the knot, whose position is specified within a fine grid of points between the minimum value and the maximum value of the degradation factor. These constraints are affected by Lagrange multipliers and added to the objective function to obtain the Lagrangian, which is minimized by the suboptimal polynomial coefficients determined as a function of each knot in the grid. Finally, the knot value is selected that yields the minimum square error. By means of the selected knot value, the final values of the polynomial coefficients are determined. On the other hand, the FR metric is a nonlinear combination of two popular metrics, namely, the Peak Signal-to-Noise Ratio (PSNR) and the Structural Similarity Index (SSIM). A complete second-degree two-variable polynomial is used for the combination since it is sensitive to both constituent metrics while avoiding overfitting. In the training phase, the set of values for the coefficients of this polynomial is determined by minimizing the mean square error to the opinions over the training database. Both metrics, the VQOM and the QCM, are trained and validated using one database and tested with a different one. The test results are compared with recent NR and FR metrics by means of correlation coefficients, obtaining favorable results for the proposed metrics.

Esta Tese propõe duas métricas objetivas para avaliar a percepção de qualidade de vídeos sujeitos a degradações de transmissão em uma rede de pacotes. A primeira métrica usa apenas o vídeo degradado, enquanto que a segunda usa os vídeos de referência e degradado. Esta última é uma métrica de referência completa (FR - Full Reference) chamada de QCM (Quadratic Combinational Metric) e a primeira é uma métrica sem referência (NR - No Reference) chamada de VQOM (Viewing Quality Objective Metric). Em particular, o procedimento de projeto é aplicado à degradação de variação de atraso de pacotes (PDV - Packet Delay Variation). A métrica NR é descrita por uma spline cúbica composta por dois polinômios cúbicos que se encontram suavemente num ponto chamado de nó. Para o projeto de ambas métricas, colhem-se opiniões de observadores a respeito das sequências de vídeo degradadas que compõem o conjunto. A função objetiva inclui o erro quadrático total entre as opiniões e suas estimativas paramétricas, ainda consideradas como expressões algébricas. Acrescentam-se à função objetiva três condições de igualdades de derivadas tomadas no nó, cuja posição é especificada dentro de uma grade fina de pontos entre o valor mínimo e o valor máximo do fator de degradação. Essas condições são afetadas por multiplicadores de Lagrange e adicionadas à função objetiva, obtendo-se o lagrangiano, que é minimizado pela determinação dos coeficientes subótimos dos polinômios em função de cada valor do nó na grade. Finalmente escolhe-se o valor do nó que produz o erro quadrático mínimo, determinando assim os valores finais para dos coeficientes do polinômio. Por outro lado, a métrica FR é uma combinação não-linear de duas métricas populares, a PSNR (Peak Signal-to-Noise Ratio) e a SSIM (Structural Similarity Index). Um polinômio completo de segundo grau de duas variáveis é usado para realizar a combinação, porque é sensível a ambas métricas constituintes, evitando o sobreajuste em decorrência do baixo grau. Na fase de treinamento, o conjunto de valores dos coeficientes do polinômio é determinado através da minimização do erro quadrático médio para as opiniões sobre a base de dados de treino. Ambas métricas, a VQOM e a QCM, são treinadas e validadas usando uma base de dados, e testadas com outra independente. Os resultados de teste são comparados com métricas NR e FR recentes através de coeficientes de correlação, obtendo-se resultados favoráveis para as métricas propostas. / This dissertation proposes two objective metrics for estimating human perception of quality for video subject to transmission degradation over packet networks. The first metric just uses traffic data while the second one uses both the degraded and the reference video sequences. That is, the latter is a full reference (FR) metric called Quadratic Combinational Metric (QCM) and the former one is a no reference (NR) metric called Viewing Quality Objective Metric (VQOM). In particular, the design procedure is applied to packet delay variation (PDV) impairments, whose compensation or control is very important to maintain quality. The NR metric is described by a cubic spline composed of two cubic polynomials that meet smoothly at a point called a knot. As the first step in the design of either metric, the spectators score a training set of degraded video sequences. The objective function for designing the NR metric includes the total square error between the scores and their parametric estimates, still regarded as algebraic expressions. In addition, the objective function is augmented by the addition of three equality constraints for the derivatives at the knot, whose position is specified within a fine grid of points between the minimum value and the maximum value of the degradation factor. These constraints are affected by Lagrange multipliers and added to the objective function to obtain the Lagrangian, which is minimized by the suboptimal polynomial coefficients determined as a function of each knot in the grid. Finally, the knot value is selected that yields the minimum square error. By means of the selected knot value, the final values of the polynomial coefficients are determined. On the other hand, the FR metric is a nonlinear combination of two popular metrics, namely, the Peak Signal-to-Noise Ratio (PSNR) and the Structural Similarity Index (SSIM). A complete second-degree two-variable polynomial is used for the combination since it is sensitive to both constituent metrics while avoiding overfitting. In the training phase, the set of values for the coefficients of this polynomial is determined by minimizing the mean square error to the opinions over the training database. Both metrics, the VQOM and the QCM, are trained and validated using one database and tested with a different one. The test results are compared with recent NR and FR metrics by means of correlation coefficients, obtaining favorable results for the proposed metrics.

Nesta dissertação é abordado o tema da avaliação de qualidade em sinais de vídeo, especificamente da avaliação objetiva completamente referenciada de sinais de vídeo em definição padrão. A forma mais confiável de se medir a diferença de qualidade entre duas cenas de vídeo é utilizando um painel formado por telespectadores, resultando em uma medida subjetiva da diferença de qualidade. Esta metodologia demanda um longo período de tempo e um elevado custo operacional, o que a torna pouco prática para utilização. Neste trabalho são apresentados os aspectos relevantes do sistema visual humano, das metodologias para avaliação de vídeo em aplicações de televisão digital em definição padrão e também da validação destas metodologias. O objetivo desta dissertação é testar métricas de baixo custo computacional como a que avalia a relação sinal-ruído de pico (PSNR: Peak Signal-to-Noise Ratio), a que mede similaridade estrutural (SSIM: Structural SIMilarity) e a que mede diferenças em três componentes de cor definidas pela CIE (Commission Internationale de l\'Eclairage), representadas por L*, a* e b* em uma dada extensão espacial (S-CIELAB: Spatial-CIELAB). Uma metodologia de validação destas métricas é apresentada, tendo como base as cenas e resultados dos testes subjetivos efetuados pelo Grupo de Especialistas em Qualidade de Vídeo (VQEG: Video Quality Expert Group). A estas métricas é introduzida uma etapa de preparação das cenas, na qual são efetuadas equalização de brilho, suavização de detalhes e detecção de contornos. Controlando-se a intensidade destes filtros, um novo conjunto de medidas é obtido. Comparações de desempenho são realizadas entre estes novos conjuntos de medidas e o conjunto de medidas obtido pelo VQEG. Os resultados mostram que para aplicações em televisão digital de definição padrão, a avaliação utilizando componentes de cor pouco influencia na correlação com as medidas obtidas nos testes subjetivos. Por outro lado, foi verificado que a aplicação adequada de técnicas para suavização de imagens, combinadas com métricas de fácil implementação como a SSIM, elevam seu grau de correlação com medidas subjetivas. Também foi demonstrado que técnicas para extração de contornos, combinadas com a métrica PSNR, podem aumentar significativamente seu desempenho em termos de correlação com os testes efetuados pelo VQEG. À luz destes resultados, foi concluído que medidas objetivas de fácil implementação do ponto de vista computacional podem ser usadas para comparação da qualidade de sinais de vídeo SDTV, desde que devidamente combinadas com técnicas para adequação ao sistema visual humano como a suavização e extração de contornos. / This research is about the video signal quality comparison issue, focusing at full reference metrics using standard definition television. The most reliable way to predict the differences in terms of quality between two video scenes is using a panel of television viewers, under controlled psychometric experimental conditions, resulting in statistical meaningful Differences in Mean Opinion Score (DMOS). The Subjective assessment is both time consuming and costly, therefore with practical limitations. The ideal substitute are objective quality assessment algorithms, whose scores have been shown to correlate highly with the results of DMOS. The goal for this research is to optimize the performance of simple metrics combining it with digital image processing. First this work presents many relevant aspects of the human visual system, methodologies for video evaluation in digital television applications using standard definition (SDTV) and also a validation methodology of these methods. After that, the main goal is to test three very simple metrics in terms of computational cost: PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural SIMilarity) and S-CIELAB (Spatial-CIELAB). original metrics were modified in order to improve their correlations against subjective assessment data. Several experiments combining the advantages of digital image filters for softness and edge extraction have been accomplished within this work. The results show that such simple metrics combined with digital image processing for edge extraction, for example, do improve their correlations with subjective assessment.

Ao mesmo tempo em que produções transmídia se tornam cada vez mais comuns, estão ocorrendo mudanças no Brasil que favorecem o aumento do uso de interatividade no dia a dia. Uma das mudanças fundamentais foi a adoção de um sistema de televisão digital terrestre que, em comparação ao sistema analógico, proporciona mais do que recepção de sons e imagens de melhor qualidade em televisores fixos: torna possível receber os sinais de televisão também em dispositivos móveis e portáteis, além de possibilitar a interatividade. Dada a importância da televisão como plataforma de mídia no país (a televisão está presente em 96,9% dos domicílios brasileiros), foi feito um estudo da Qualidade de Experiência (QoE) percebida, com base na avaliação da qualidade do vídeo obtido ao utilizar uma aplicação interativa transmídia de televisão digital terrestre. Foi desenvolvida uma aplicação interativa em linguagem NCL, linguagem declarativa padrão do Sistema Brasileiro de TV Digital Terrestre (ISDB-TB), onde um vídeo secundário é carregado via Internet em banda larga (por streaming) ao mesmo tempo em que o vídeo principal é recebido via radiodifusão. Criou-se um cenário de teste onde foi introduzida, de forma controlada, perda de pacotes IP enquanto o vídeo secundário era carregado, simulando o que poderia ocorrer na Internet. A qualidade dos vídeos obtidos em cada situação de perda de pacotes foi analisada segundo métricas objetivas e os dados encontrados permitiram inferir qual seria a QoE percebida em cada caso. / At the same time that transmedia productions are becoming more common, legal changes are occurring in Brazil that bring an increase on daily interactivity use. One of that was the adoption of a terrestrial digital television system that, when compared to legacy analog broadcast systems, yields more than sounds and images of better quality, but also makes it possible to receive TV signals on portable devices and mobile television receivers besides enabling interactivity. Owing to the importance of television as a media platform in Brazil (it is present in 96,9% households) a analysis of Quality of Experience (QoE) was made, measuring the user perception with an interactive application of terrestrial digital television. Such an application was developed using NCL language, which is the standard declarative language of Brazilian digital television system (ISDB-TB). In that application a secondary video is loaded through a broadband Internet access simultaneously with the main video being received thru broadcasting. A test platform was created where IP packet losses was introduced in a controlled way affecting the secondary video, as it is expected to occur in a real network. Video quality was assessed for each loss level with objective metrics in order to compare QoE in each situation.

Ao mesmo tempo em que produções transmídia se tornam cada vez mais comuns, estão ocorrendo mudanças no Brasil que favorecem o aumento do uso de interatividade no dia a dia. Uma das mudanças fundamentais foi a adoção de um sistema de televisão digital terrestre que, em comparação ao sistema analógico, proporciona mais do que recepção de sons e imagens de melhor qualidade em televisores fixos: torna possível receber os sinais de televisão também em dispositivos móveis e portáteis, além de possibilitar a interatividade. Dada a importância da televisão como plataforma de mídia no país (a televisão está presente em 96,9% dos domicílios brasileiros), foi feito um estudo da Qualidade de Experiência (QoE) percebida, com base na avaliação da qualidade do vídeo obtido ao utilizar uma aplicação interativa transmídia de televisão digital terrestre. Foi desenvolvida uma aplicação interativa em linguagem NCL, linguagem declarativa padrão do Sistema Brasileiro de TV Digital Terrestre (ISDB-TB), onde um vídeo secundário é carregado via Internet em banda larga (por streaming) ao mesmo tempo em que o vídeo principal é recebido via radiodifusão. Criou-se um cenário de teste onde foi introduzida, de forma controlada, perda de pacotes IP enquanto o vídeo secundário era carregado, simulando o que poderia ocorrer na Internet. A qualidade dos vídeos obtidos em cada situação de perda de pacotes foi analisada segundo métricas objetivas e os dados encontrados permitiram inferir qual seria a QoE percebida em cada caso. / At the same time that transmedia productions are becoming more common, legal changes are occurring in Brazil that bring an increase on daily interactivity use. One of that was the adoption of a terrestrial digital television system that, when compared to legacy analog broadcast systems, yields more than sounds and images of better quality, but also makes it possible to receive TV signals on portable devices and mobile television receivers besides enabling interactivity. Owing to the importance of television as a media platform in Brazil (it is present in 96,9% households) a analysis of Quality of Experience (QoE) was made, measuring the user perception with an interactive application of terrestrial digital television. Such an application was developed using NCL language, which is the standard declarative language of Brazilian digital television system (ISDB-TB). In that application a secondary video is loaded through a broadband Internet access simultaneously with the main video being received thru broadcasting. A test platform was created where IP packet losses was introduced in a controlled way affecting the secondary video, as it is expected to occur in a real network. Video quality was assessed for each loss level with objective metrics in order to compare QoE in each situation.

Nesta dissertação é abordado o tema da avaliação de qualidade em sinais de vídeo, especificamente da avaliação objetiva completamente referenciada de sinais de vídeo em definição padrão. A forma mais confiável de se medir a diferença de qualidade entre duas cenas de vídeo é utilizando um painel formado por telespectadores, resultando em uma medida subjetiva da diferença de qualidade. Esta metodologia demanda um longo período de tempo e um elevado custo operacional, o que a torna pouco prática para utilização. Neste trabalho são apresentados os aspectos relevantes do sistema visual humano, das metodologias para avaliação de vídeo em aplicações de televisão digital em definição padrão e também da validação destas metodologias. O objetivo desta dissertação é testar métricas de baixo custo computacional como a que avalia a relação sinal-ruído de pico (PSNR: Peak Signal-to-Noise Ratio), a que mede similaridade estrutural (SSIM: Structural SIMilarity) e a que mede diferenças em três componentes de cor definidas pela CIE (Commission Internationale de l\'Eclairage), representadas por L*, a* e b* em uma dada extensão espacial (S-CIELAB: Spatial-CIELAB). Uma metodologia de validação destas métricas é apresentada, tendo como base as cenas e resultados dos testes subjetivos efetuados pelo Grupo de Especialistas em Qualidade de Vídeo (VQEG: Video Quality Expert Group). A estas métricas é introduzida uma etapa de preparação das cenas, na qual são efetuadas equalização de brilho, suavização de detalhes e detecção de contornos. Controlando-se a intensidade destes filtros, um novo conjunto de medidas é obtido. Comparações de desempenho são realizadas entre estes novos conjuntos de medidas e o conjunto de medidas obtido pelo VQEG. Os resultados mostram que para aplicações em televisão digital de definição padrão, a avaliação utilizando componentes de cor pouco influencia na correlação com as medidas obtidas nos testes subjetivos. Por outro lado, foi verificado que a aplicação adequada de técnicas para suavização de imagens, combinadas com métricas de fácil implementação como a SSIM, elevam seu grau de correlação com medidas subjetivas. Também foi demonstrado que técnicas para extração de contornos, combinadas com a métrica PSNR, podem aumentar significativamente seu desempenho em termos de correlação com os testes efetuados pelo VQEG. À luz destes resultados, foi concluído que medidas objetivas de fácil implementação do ponto de vista computacional podem ser usadas para comparação da qualidade de sinais de vídeo SDTV, desde que devidamente combinadas com técnicas para adequação ao sistema visual humano como a suavização e extração de contornos. / This research is about the video signal quality comparison issue, focusing at full reference metrics using standard definition television. The most reliable way to predict the differences in terms of quality between two video scenes is using a panel of television viewers, under controlled psychometric experimental conditions, resulting in statistical meaningful Differences in Mean Opinion Score (DMOS). The Subjective assessment is both time consuming and costly, therefore with practical limitations. The ideal substitute are objective quality assessment algorithms, whose scores have been shown to correlate highly with the results of DMOS. The goal for this research is to optimize the performance of simple metrics combining it with digital image processing. First this work presents many relevant aspects of the human visual system, methodologies for video evaluation in digital television applications using standard definition (SDTV) and also a validation methodology of these methods. After that, the main goal is to test three very simple metrics in terms of computational cost: PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural SIMilarity) and S-CIELAB (Spatial-CIELAB). original metrics were modified in order to improve their correlations against subjective assessment data. Several experiments combining the advantages of digital image filters for softness and edge extraction have been accomplished within this work. The results show that such simple metrics combined with digital image processing for edge extraction, for example, do improve their correlations with subjective assessment.