Dissertação apresentada para obtenção do grau de Doutor em Engenharia Electrotécnica e de Computadores, na Faculdade de Engenharia da Universidade do Porto, sob a orientação do Prof. Doutor Artur Pimenta Alves

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2014 / Made available in DSpace on 2015-02-05T20:14:08Z (GMT). No. of bitstreams: 1 329404.pdf: 478747 bytes, checksum: fa028866abd296b89334f2b71aca48d3 (MD5) Previous issue date: 2014 / Rastreamento visual direto é resolvido atualmente utilizando principalmente técnicas de otimização baseadas em descida de gradiente. A velocidade de convergência destas técnicas permite utilizar modelos de transformações com vários graus de liberdade. Muitas abordagens utilizam a Soma do Quadrado dos Resíduos como medida de similaridade, mas esta técnica não oferece estabilidade perante mudanças de iluminação na cena. Estas mudanças causam instabilidades na convergência dos métodos se não forem compensadas. Uma das técnicas de compensação de iluminação utiliza um modelo paramétrico de iluminação que aumenta o número de parâmetros a serem calculados. As aplicações que utilizam rastreamento direto precisam de respostas em tempo real e podem tornar-se impraticáveis com a adição do modelo de iluminação. Nesta dissertação é proposto um método de rastreamento visual direto robusto capaz de rastrear sob condições de iluminação extremas. Utilizando a Soma da Variância Condicional como base, a abordagem proposta utiliza sub-imagens para lidar com mudanças de iluminações extremas. O método proposto reduz o esforço computacional quando comparado com técnicas similares da literatura. Resultados experimentais atestam a redução de em média 57,5% em tempo de processamento para sequências coloridas.<br> / Abstract: Direct visual tracking is currently solved mainly with the use of gradient descent optimization. The speed of convergence of these techniques allows the use of transformation models with many degrees of freedom. The most popular similarity measure for direct tracking is the Sum of the Squared Differences, even though this approach is not robust to illumination changes in the scene. These changes, when left uncompensated, can lead to instabilities in the convergence of the algorithms. One technique used to compensate illumination changes uses an illumination model, which increases the number of parameters to be computed. Since most applications that use direct visual tracking need the results to be delivered in real time, the addition of the illumination model can hinder their performance. A novel direct visual tracking approach is presented in this work, being able to cope with extreme illumination conditions. Using the Sum of Conditional Varianceas a base, the proposed method uses sub-images to compensate for extreme illumination configurations. The proposed method reduces the computational burden when compared to similar approaches in the literature. Experimental results show that the method is 57,5% faster on average when dealing with color sequences.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2014. / Made available in DSpace on 2015-02-05T20:56:22Z (GMT). No. of bitstreams: 1 327781.pdf: 2862656 bytes, checksum: a78771da017bfbd83a0b65e80ced2f2b (MD5) Previous issue date: 2014 / Ao mesmo tempo em que o número de pixels por quadro tende a aumentar pela iminente adoção de resoluções ultra altas, a subamostragem de pixels, também conhecida por pel decimation, surge como uma opção viável para aumentar a eficiência energética da codificação de vídeo. Este trabalho investiga os impactos em energia e qualidade, quando pel decimation é aplicado ao cálculo da Soma das Diferenças Absolutas (SAD), a qual é a métrica de similaridade mais utilizada durante a etapa de estimação de movimento. Primeiramente, apresenta-se uma análise de qualidade de 15 padrões de subamostragem. Os 10.860 pontos experimentais usados proporcionam evidência estatística de que a razão de amostragem 4:3 proposta apresenta velocidade de codificação duas vezes maior do que a amostragem completa, perdendo apenas 5% em DSSIM e 1% em PSNR. A razão 4:3 apresenta o melhor custo-benefício entre aceleração e redução de qualidade, comparando-se com razões de menor amostragem. Para obter estimativas de área em silício e energia por bloco, cinco arquiteturas para cálculo da SAD foram projetadas e sintetizadas para uma biblioteca standard cell industrial. Dentre elas, uma pode ser configurada para operar com razões de amostragem 1:1, 4:3, 2:1 ou 4:1, ao passo que as demais foram projetadas para operar exclusivamente com cada uma destas razões de amostragem. A arquitetura configurável, operando em amostragem completa, consome 3,54 pJ/bloco (60% menos que a versão não-configurável), podendo ser reduzida até 1,34 pJ/bloco utilizando-se a razão de amostragem 4:1, com redução de 2,8% em PSNR e 14,1% em DSSIM. Finalmente, demonstra-se que a aceleração de codificação de um determinado padrão de subamostragem deve-se à redução conjunta do número de pixels amostradas e do número total de cálculos de SAD. Assim, modelando-se as componentes de energia da codificação de vídeos, demonstra-se que a eficiência energética do processo de codificação como um todo pode ser melhorada além da razão de subamostragem. Utilizando-se uma arquitetura de SAD configurável, a economia de energia pode ser de até 95,11%.<br> / Abstract : As the number of pixels per frame tends to increase by the upcoming adoption of ultra high resolutions, pixel subsampling, also known as pel decimation, appears as a viable means to improve the energy efficiency of video coding. This work investigates the impacts on energy and quality when pel decimation is applied to the Sum of Absolute Differences (SAD) calculation, which is the most used similarity metric in motion estimation step of video coding. Firstly, a quality assessment of 15 pel decimation patterns is presented. The 10,680 experimental points used provide statistical evidence that the proposed 4:3 ratio leads to an encoding speedup of more than two times in comparison to full sampling, losing only 5% in DSSIM and 1% in PSNR. Compared with lower sampling ratios, it presents a better trade-off between speedup and quality loss. To obtain estimates for silicon area and energy per block, five SAD architectures were designed and synthesized for an industrial standard cell library. Among those, one can be configured to operate with 1:1, 4:3, 2:1 or 4:1 sampling ratios, whereas the rest are tailored to operate exclusively with each one of these ratios. The configurable architecture consumes 3.54pJ/block operating in full sampling (60% lower than the nonconfigurable). The energy can be further reduced until 1.34pJ/block by using 4:1 ratio, with losses of 2.8% in PSNR and 14.1% in DSSIM. Finally, it is shown that the speedup of a given subsampling pattern is due the reduction of both the number of sampled pixels and the total number of SAD calculations. Therefore, by modeling the video coding energy components, it is shown that the whole video compression energy efficiency can be increased beyond the sampling ratio. By using a configurable SAD architecture operating in 4:1 ratio the energy savings are up to 95:11%.

Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2009. / Submitted by samara castro (sammy_roberta7@hotmail.com) on 2010-12-15T16:40:21Z No. of bitstreams: 1 2009_FernandaBrandiSilva.pdf: 1996621 bytes, checksum: f57f7d19e8967e464eb6972cc59d7ea6 (MD5) / Approved for entry into archive by Gomes Neide(nagomes2005@gmail.com) on 2010-12-15T17:40:29Z (GMT) No. of bitstreams: 1 2009_FernandaBrandiSilva.pdf: 1996621 bytes, checksum: f57f7d19e8967e464eb6972cc59d7ea6 (MD5) / Made available in DSpace on 2010-12-15T17:40:29Z (GMT). No. of bitstreams: 1 2009_FernandaBrandiSilva.pdf: 1996621 bytes, checksum: f57f7d19e8967e464eb6972cc59d7ea6 (MD5) Previous issue date: 2009-01 / É desejável gerar imagens que possuam alta-resolução espacial. Uma altaresolução espacial pode contribuir para uma melhor classificação e/ou segmentação de regiões ou uma melhor análise em imagens multi-espectrais; e também pode gerar uma imagem mais agradável em sistemas de alta-definição. A resolução de uma imagem depende da resolução do dispositivo de aquisição. Super-resolução é o nome das técnicas que aumentam a resolução espacial de um sistema de imageamento. Então, uma imagem super-resolvida pode alcançar resolução mais alta comparada ao que o dispositivo pode gerar. Neste trabalho é apresentada uma técnica de super-resolução em um esquema de resolução mista. Alguns quadros, chamados quadro chave, estão disponíveis em resolução normal enquanto os outros quadros estão em resolução reduzida e precisam então ser super-resolvidos para alcançarem resolução normal. No esquema proposto, a informação disponível provinda dos quadros chave é processada para super-resolver os quadros não-chave que foram previamente sub-amostrados. Diferentemente de outras arquiteturas de super-resolução, no esquema proposto é assumido que o sistema de aquisição pode alcançar a resolução desejada porém por limitações do sistema de armazenamento ou transmissão é melhor que somente alguns quadros sejam transmitidos em resolução normal. Tais limitações podem incluir restrições de banda ou redução de complexidade na codificação. A redução da complexidade no processo de codificação é importante em dispositivos móveis com limitações de energia e processamento tais como telefones celulares e câmeras digitais. _________________________________________________________________________________ ABSTRACT / It is desirable to generate an image that has a high spatial resolution. A high spatial resolution can contribute to a better classification and/or segmentation of regions or a better analysis in multi-spectral images; and it can also generate a more pleasant view in high definition systems. The resolution of an image depends on the resolution of the acquisition device. Super-resolution is the name of the techniques that enhance the spatial resolution of an imaging system. Therefore, a super-resolved image could achieve a higher resolution than the acquisition device can generate. In this work it is presented a super-resolution technique in a mixed resolution framework. Some frames, called key frames, are available at regular resolution while the middle frames are at low-resolution and thus they need to be super-resolved to the regular resolution. In the proposed scheme, the available information from the key frames is processed to superresolve the non-key frames which were previously down-sampled. Different from other super-resolution architectures, in the proposed framework it is assumed that the acquisition device can achieve the desirable resolution, but due to storage or transmission system limitations it is better if only some frames are transmitted at regular resolution. Such limitations can include bandwidht restriction or encoding complexity reduction. The reduction of encoding complexity is important in power contrained portable devices, such as popular mobile phones and digital cameras.

Orientador : Roberto de Alencar Lotufo / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação / Made available in DSpace on 2018-08-01T18:12:02Z (GMT). No. of bitstreams: 1 Arthur_Rangel_M.pdf: 1367399 bytes, checksum: 31930be64350ffcfccd269ee9ffa22a8 (MD5) Previous issue date: 2002 / Mestrado

Tese (doutorado) - Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2013. / Submitted by Luiza Silva Almeida (luizaalmeida@bce.unb.br) on 2013-08-01T12:50:53Z No. of bitstreams: 1 2013_MárcioLucasGracianoJúnior.pdf: 3286464 bytes, checksum: 844f8f88a1033e39a9c29a084dc20b66 (MD5) / Approved for entry into archive by Leandro Silva Borges(leandroborges@bce.unb.br) on 2013-08-01T20:41:56Z (GMT) No. of bitstreams: 1 2013_MárcioLucasGracianoJúnior.pdf: 3286464 bytes, checksum: 844f8f88a1033e39a9c29a084dc20b66 (MD5) / Made available in DSpace on 2013-08-01T20:41:56Z (GMT). No. of bitstreams: 1 2013_MárcioLucasGracianoJúnior.pdf: 3286464 bytes, checksum: 844f8f88a1033e39a9c29a084dc20b66 (MD5) / Este trabalho apresenta uma metodologia para a verificação da qualidade de vídeos em sistemas de difusão em massa. A metodologia proposta apresenta uma nova forma de medir a qualidade de vídeo de forma objetiva sem a utilização de referência para comparação entre as sequências de vídeo original e processada. As medidas no ambiente do usuário são feitas independentemente dos processamentos e da tecnologia da rede de distribuição. A medida da qualidade é feita por meio da inserção de marcas de testes nos vídeos, logo após a produção destes. O processamento e distribuição desses vídeos em um sistema de difusão em massa podem causar degradações que afetam as marcas inseridas. Os vídeos recebidos no ambiente do usuário são captados por meio de uma câmera de vídeo disponível em conjunto com o terminal, que identifica a marca inserida anteriormente à distribuição. Esta captura é feita pelo sistema óptico do ambiente do usuário após uma calibração do sistema. As marcas recebidas passam por um processamento de uma função de qualidade que tem como resultado um valor numérico indicando a qualidade deste vídeo. Como resultados da metodologia, são apresentadas comparações com sistemas de medição de qualidade de vídeo de referência completa utilizados em testes por organismos de padronização. As comparações com os sistemas VQM (Video Quality Metrics) e SSIM (Structural SIMilarity) foram feitas utilizando várias sequências de vídeo de testes, onde foi alcançada uma correlação estatística maior que 80% entre as medidas de qualidade resultantes da nova metodologia e as desses sistemas de referência. ______________________________________________________________________________ ABSTRACT / This work presents a method for verifying the quality of videos on mass broadcasting systems. The proposed method presents a new way of measuring the objective video quality without reference. The measurements in the user’s environment are made regardless of the processing and the broadcasting network technology. A quality measure is made by the insertion of test marks on videos, immediately after the content production. The processing and distribution of these videos on a mass broadcasting system can cause degradations that affect the inserted marks. The video received in the user’s environment is captured by a video camera available along with the video terminal. The captured video should identify the mark inserted before the distribution. This capture is made by the optical system in the user environment after a system calibration. The mark is decoded by the processing of a quality function which results in a numerical value indicating the quality of the video. The results of video quality metrics using this methodology were compared to stan- dardized full reference metrics, VQM (Video Quality Metrics) and SSIM (Structural Similarity), and the linear correlation between this proposed new metrics and the other two metrics was greater than 80%, indicating convergence between these metrics.

Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2017. / Submitted by Fernanda Percia França (fernandafranca@bce.unb.br) on 2017-04-19T18:06:55Z No. of bitstreams: 1 2017_WelingtonYorihikoLimaAkamine.pdf: 87404899 bytes, checksum: 3aed6455d3f98ac54718837d13b92290 (MD5) / Approved for entry into archive by Raquel Viana (raquelviana@bce.unb.br) on 2017-05-11T22:09:09Z (GMT) No. of bitstreams: 1 2017_WelingtonYorihikoLimaAkamine.pdf: 87404899 bytes, checksum: 3aed6455d3f98ac54718837d13b92290 (MD5) / Made available in DSpace on 2017-05-11T22:09:09Z (GMT). No. of bitstreams: 1 2017_WelingtonYorihikoLimaAkamine.pdf: 87404899 bytes, checksum: 3aed6455d3f98ac54718837d13b92290 (MD5) Previous issue date: 2017-05-11 / O consumo de vídeos digitais cresce a cada ano. Vários países já utilizam TV digital e o tráfego de dados de vídeos na internet equivale a mais de 60\% de todo o tráfego de dados na internet. Esse aumento no consumo de vídeos digitais exige métodos computacionais viáveis para o cálculo da qualidade do vídeo. Métodos objetivos de qualidade de vídeo são algoritmos que calculam a qualidade do vídeo. As mais recentes métricas de qualidade de vídeo, apesar de adequadas possuem um tempo de execução alto. Em geral, os algoritmos utilizados são complexos e extraem características espaciais e temporais dos vídeos. Neste trabalho, realizamos uma análise dos efeitos da redução da resolução espacial no desempenho dos métodos de avaliação da qualidade do vídeo. Com base nesta análise, nós propomos um framework, para a avaliação da qualidade de vídeo que melhora o tempo de execução das métricas objetivas de qualidade de vídeo sem reduzir o desempenho na predição da qualidade do vídeo. O framework consiste em quatro etapas. A primeira etapa, classificação, identifica os vídeos mais sensíveis à redução da resolução espacial. A segunda etapa, redução, reduz a resolução espacial do vídeo de acordo com a distorção presente. A terceira etapa, predição de qualidade, utiliza uma métrica objetiva para obter uma estimativa da qualidade do vídeo. Finalmente, a quarta etapa realiza um ajuste dos índices de qualidade preditos. Dois classificadores de vídeo são propostos para a etapa de classificação do framework. O primeiro é um classificador com referência, que realiza medidas da atividade espacial dos vídeos. O segundo é um classificador sem-referência, que realiza medidas de entropia espacial e espectral, utilizando Support Vector Machine, para classificar os vídeos. Os classificadores de vídeo têm o objetivo de selecionar o melhor fator de redução da resolução espacial do vídeo. Testamos o framework proposto com 6 métricas objetivas de qualidade de vídeo e 4 bancos de qualidade de vídeo. Com isso, melhoramos o tempo de execução de todas as métricas de qualidade de vídeo testadas. / The consumption of digital videos increases every year. In addition to the fact that many countries already use digital TV, currently the traffic of internet video services are more than 60\% of the total internet traffic. The growth of digital video consumption demands a viable method to measure the video quality. Objective video quality assessment methods are algorithms that estimates video quality. Recent quality assessment methods provide quality predictions that are well correlated with the subjective quality scores. However, most of these methods are very complex and takes long periods to compute. In this work, we analyze the effects of reducing the video spatial resolution on the performance of video quality assessment methods. Based on this analysis, we propose a framework for video quality assessment that reduces the runtime performance of a given video quality assessment method without reducing its accuracy performance. The proposed framework is composed of four stages. The first stage, classification, identifies videos that are more sensitive to spatial resolution reduction. The second stage, reduction, aims to reduce the video spatial resolution according to the video distortion. The third stage, quality prediction, estimates the video quality using an objective video quality assessment method. Finally, the fourth stage normalizes the predicted quality scores according to the video spatial resolution. We design two video classifiers for the first stage of the framework. The first classifier is a full-reference classifier based on a video spatial activity measure. The second is a no-reference classifier based on spatial and spectral entropy measures, which uses a Support Vector Machine (SVM) algorithm. We use the video classifiers to identify the type of distortion in the video and choose the most appropriate spatial resolution. We test the framework using six different video quality assessment methods and four different video quality databases. Results show that the proposed framework improves the average runtime performance of all video quality assessment methods tested. We also analyze the effects of a temporal resolution reduction on the performance of video quality assessment methods. The analysis shows that video quality assessment methods based on temporal features are more sensitive to temporal resolution reduction. Also, videos with temporal distortions, like packet loss, are very sensitive to temporal resolution reduction.

Tese(doutorado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2012. / Submitted by Alaíde Gonçalves dos Santos (alaide@unb.br) on 2013-03-11T11:58:54Z No. of bitstreams: 1 2012_EdsonMintsuHung.pdf: 11825545 bytes, checksum: f8b2992d2db9e4c26719addecb509835 (MD5) / Approved for entry into archive by Guimaraes Jacqueline(jacqueline.guimaraes@bce.unb.br) on 2013-03-13T11:18:51Z (GMT) No. of bitstreams: 1 2012_EdsonMintsuHung.pdf: 11825545 bytes, checksum: f8b2992d2db9e4c26719addecb509835 (MD5) / Made available in DSpace on 2013-03-13T11:18:51Z (GMT). No. of bitstreams: 1 2012_EdsonMintsuHung.pdf: 11825545 bytes, checksum: f8b2992d2db9e4c26719addecb509835 (MD5) / As técnicas propostas nesta tese permitem realçar a qualidade (objetiva e subjetiva) na decodificação de vídeo. Estas técnicas baseiam-se no uso de exemplos, também denominado quadros-chave que são imagens ou quadros com qualidade ou resolução que sejam maiores que a do vídeo alvo, denominados de quadros-não-chave. Neste caso, serão compostos dicionários contendo informações (exemplos) dos quadros-chave para super-resolver, ou realçar, os quadros do vídeo com baixa-resolução ou qualidade, denominados de não-chaves. As arquiteturas de qualidade e resolução mista podem ser adotadas em vários cenários como: a redução da complexidade durante o processo de compressão, redução da taxa de transmissão, melhorias na qualidade geral do vídeo baseadas em outros quadros ou imagens, correção de erros de transmissão, etc. Nesta tese são propostas duas novas técnicas utilizadas no processo de super-resolução baseada em exemplos: compensação de movimento utilizando blocos multi-escala sobrepostos e a combinação das informações de múltiplos dicionários. Um novo processo de extração de informação para aplicação em super-resolução utilizando o domínio transformado (DCT) também é proposto na tese. Por fim, propõe-se uma generalização do processo de realce baseado em exemplos para aplicação em vídeos com variação de qualidade entre quadros. Dentre as possíveis variações de qualidade foram contemplados: parâmetros de quantização (definindo a qualidade da compressão), foco ou ruído. Os cenários de aplicação testados nesta tese são: (i) vídeo com resolução mista, (ii) vídeos com múltiplas vistas em resolução mista com informação de profundidade, (iii) vídeo com fotografias redundantes durante a gravação, (iv) vídeo com qualidade mista. _______________________________________________________________________________________ ABSTRACT / This thesis proposes techniques for example-based enhancement of decoded video, providing both subjective and objective increases in quality. The techniques rely on the usage of information from images or frames available at greater quality or resolution (key-frames) to enhance the target images of lower quality or resolution (non-key-frames) within a video sequence. A codebook is composed of examples taken from the key-frames. From these examples, high-frequency information is extracted in order to enhance or super-resolve non-key-frames within video. This mixed quality or mixed resolution architecture may be adopted for appliations such as encoding complexity reduction, transmission bit-rate reduction, video enhancement based on other frames or images, error concealment, etc. In this thesis we first propose two techniques for usage in example-based super-resolution: a multi-scale overlapped block motion compensation scheme and a codebook combination of multiple dictionaries. Next, a novel transform-domain super-resolution method using the DCT is presented. Finally, a generalization of the example-based enhancement method is proposed. The generalization can account for videos with varying quality among frames due to different quantization parameters (which define the compression quality), focus or noise. The application scenarios considered in this thesis are: (i) mixed resolution video, (ii) multiview video plus depth with mixed resolution, (iii) videos with redundant snapshots, and (iv) mixed quality video.

Estágio realizado na MOG e orientado pelo Eng.º Vítor Teixeira / Tese de mestrado integrado. Engenharia Informátca e Computação. Faculdade de Engenharia. Universidade do Porto. 2008

Tese de mestrado integrado. Engenharia Electrotécnica e de Computadores (Major Telecomunicações). Faculdade de Engenharia. Universidade do Porto. 2010