As digital communication of television content becomes more pervasive, and as networks supporting such communication become increasingly diverse, the long-standing problem of assessing video quality by objective measurements becomes particularly important. Content owners as well as content distributors stand to benefit from rapid objective measurements that correlate well with subjective assessments, and further, do not depend on the availability of the original reference video. This thesis investigates different techniques of subjective and objective video evaluation. Our research recommends a functional quality metric called Mean Time Between Failures (MTBF) where failure refers to video artifacts deemed to be perceptually noticeable, and investigates objective measurements that correlate well with subjective evaluations of MTBF. Work has been done for determining the usefulness of some existing objective metric by noting their correlation with MTBF. The research also includes experimentation with network-induced artifacts, and a study on statistical methods for correlating candidate objective measurements with the subjective metric. The statistical significance and spread properties for the correlations are studied, and a comparison of subjective MTBF with the existing subjective measure of MOS is performed. These results suggest that MTBF has a direct and predictable relationship with MOS, and that they have similar variations across different viewers. The research is particularly concerned with the development of new no-reference objective metrics that are easy to compute in real time, as well as correlate better than current metrics with the intuitively appealing MTBF measure. The approach to obtaining greater subjective relevance has included the study of better spatial-temporal models for noise-masking and test data pooling in video perception. A new objective metric, 'Automatic Video Quality' metric (AVQ) is described and shown to be implemented in real time with a high degree of correlation with actual subjective scores, with the correlation values approaching the correlations of metrics that use full or partial reference. This is metric does not need any reference to the original video, and when used to display MPEG2 streams, calculates and indicates the video quality in terms of MTBF. Certain diagnostics like the amount of compression and network artifacts are also shown.

Atualmente existe uma grande variedade de serviços de telecomunicações focados na transmissão de voz, vídeo e dados através de redes complexas, embora, em muitos casos, o usuário final não seja atendido com um nível de qualidade aceitável. Neste trabalho, se avalia como o serviço de streaming de vídeo em uma rede com protocolo Internet (IP) pode ser afetado por uma condição adversa da rede, tal como a variação de atraso (jitter). São mostrados os resultados de avaliações objetivas e subjetivas de streaming de vídeo que indicam que a qualidade de vídeo é diretamente afetada por fatores de degradação da rede IP como a variação de atraso de pacotes. Além disso, se verifica que cenas de maior movimento também são mais afetadas pela variação de atraso. Para a realização dos testes, utiliza-se um cenário de emulação de rede isolado, no qual são parametrizadas diferentes condições de rede. Assim, no canal de transmissão são configurados diversos valores de variação de atraso, obtendo-se uma Base de Dados de vídeos com diferentes graus de degradação de qualidade. Estes vídeos são avaliados utilizando métodos subjetivos: Índice por Categorias Absolutas (ACR - Absolute Category Rating) e Índice por Categorias de Degradação (DCR - Degradation Category Rating) e métricas objetivas: Relação Sinal-Ruído de Pico (PSNR - Peak Signal to Noise Ratio), Índice de Similaridade Estrutural (SSIM - Structural Similarity Index) e Medição de Qualidade de Vídeo (VQM - Video Quality Metric). Com a finalidade de mostrar o desempenho das métricas objetivas em relação às subjetivas são empregados os coeficientes de correlação, além do erro de predição e quadrático médio. Adicionalmente, é importante destacar que a partir dos resultados obtidos são estabelecidos intervalos de valores de variação de atraso para os quais a qualidade do vídeo é considerada aceitável ou não para o usuário final. Finalmente, obtém-se uma Base de Dados de vídeos com diferentes graus de degradação da qualidade e que pode ser utilizada em futuras pesquisas. / Nowadays, there is a wide range of telecommunications services focused on the transmission of voice, video and data across complex networks, although, in many cases, the end user is not satisfied with an acceptable quality level. In this work it is assessed how the video streaming service over an IP network can be affected by adverse conditions on the network, such as packet delay variation (jitter). Results from objective and subjective video streaming assessments are shown and indicate that the video quality is directly affected by IP network degradation factors such as packet delay variation. Beyond that, it is also verified that scenes with great movement content are also more sensitive to packet delay variation. For experimental tests, a network emulation totally isolated is considered, for which different network conditions are parameterized. Then, to the transmission channel, different values of packet delay variation are configured and videos are assessed, using subjective metrics: Absolute Category Rating (ACR) and Degradation Category Rating (DCR), and objective metrics: Peak Signal to Noise Ratio (PSNR), Structural Similarity (SSIM) and Video Quality Metric (VQM). In order to show the performance of objective metrics in relation to subjective ones correlation coefficients are employed as well as the prediction error and the mean square error. Finally, it is important to note that, from the results obtained, it can be established a range of delay variation values in which the video quality is acceptable or not at the end user. Additionally, a Video Data Base is obtained with different degrees of quality degradation and which can be used for future researches.

Atualmente existe uma grande variedade de serviços de telecomunicações focados na transmissão de voz, vídeo e dados através de redes complexas, embora, em muitos casos, o usuário final não seja atendido com um nível de qualidade aceitável. Neste trabalho, se avalia como o serviço de streaming de vídeo em uma rede com protocolo Internet (IP) pode ser afetado por uma condição adversa da rede, tal como a variação de atraso (jitter). São mostrados os resultados de avaliações objetivas e subjetivas de streaming de vídeo que indicam que a qualidade de vídeo é diretamente afetada por fatores de degradação da rede IP como a variação de atraso de pacotes. Além disso, se verifica que cenas de maior movimento também são mais afetadas pela variação de atraso. Para a realização dos testes, utiliza-se um cenário de emulação de rede isolado, no qual são parametrizadas diferentes condições de rede. Assim, no canal de transmissão são configurados diversos valores de variação de atraso, obtendo-se uma Base de Dados de vídeos com diferentes graus de degradação de qualidade. Estes vídeos são avaliados utilizando métodos subjetivos: Índice por Categorias Absolutas (ACR - Absolute Category Rating) e Índice por Categorias de Degradação (DCR - Degradation Category Rating) e métricas objetivas: Relação Sinal-Ruído de Pico (PSNR - Peak Signal to Noise Ratio), Índice de Similaridade Estrutural (SSIM - Structural Similarity Index) e Medição de Qualidade de Vídeo (VQM - Video Quality Metric). Com a finalidade de mostrar o desempenho das métricas objetivas em relação às subjetivas são empregados os coeficientes de correlação, além do erro de predição e quadrático médio. Adicionalmente, é importante destacar que a partir dos resultados obtidos são estabelecidos intervalos de valores de variação de atraso para os quais a qualidade do vídeo é considerada aceitável ou não para o usuário final. Finalmente, obtém-se uma Base de Dados de vídeos com diferentes graus de degradação da qualidade e que pode ser utilizada em futuras pesquisas. / Nowadays, there is a wide range of telecommunications services focused on the transmission of voice, video and data across complex networks, although, in many cases, the end user is not satisfied with an acceptable quality level. In this work it is assessed how the video streaming service over an IP network can be affected by adverse conditions on the network, such as packet delay variation (jitter). Results from objective and subjective video streaming assessments are shown and indicate that the video quality is directly affected by IP network degradation factors such as packet delay variation. Beyond that, it is also verified that scenes with great movement content are also more sensitive to packet delay variation. For experimental tests, a network emulation totally isolated is considered, for which different network conditions are parameterized. Then, to the transmission channel, different values of packet delay variation are configured and videos are assessed, using subjective metrics: Absolute Category Rating (ACR) and Degradation Category Rating (DCR), and objective metrics: Peak Signal to Noise Ratio (PSNR), Structural Similarity (SSIM) and Video Quality Metric (VQM). In order to show the performance of objective metrics in relation to subjective ones correlation coefficients are employed as well as the prediction error and the mean square error. Finally, it is important to note that, from the results obtained, it can be established a range of delay variation values in which the video quality is acceptable or not at the end user. Additionally, a Video Data Base is obtained with different degrees of quality degradation and which can be used for future researches.