[pt] Essa dissertação propõe um codificador de imagens adaptativo baseado em sub-bandas para baixas taxas de bits. O espectro de freqüência bi-dimensional é decomposto em 10 sub-bandas de maneira hierárquica através de um banco de filtros QMF de 9 coeficientes. Uma técnica de redução de irrelevância é usada para descartar vetores nas sub-bandas de número 2 a 10. Os vetores remanescentes nessas sub-bandas são classificadas em bordas ou texturas e codificados por ECVQ (Entropy Constrained Vector Quantization) multi-estágios. Já a primeira sub-banda é codificada por ADPCM com preservação de bordas. Um algoritmo ótimo de alocação de bits determina a distribuição adequada de bits entre as sub-bandas. Os resultados mostram excelentes desempenho para baixas taxas, sendo melhores que os obtidos pelo padrão JPEG e vários outros trabalhos apresentados na literatura recente. / [en] This dissertation proposes an adaptative subband coder for low bit rate coding os still images. The bi-dimension frequency spectrum is decomposed in 10 subbands by means of a 9-coefficient QMF filter bank. Vector in subbands 2 to 10 are discarded by a new technique for irrelevancy reduction. The remanining vectors are classified in one of two classes, edges and textures, and coded by multistage ECVQ (Entropy Constrained Vector Quantization). The first subband is coded by an edge preserving ADPCM. An optimal bit allocation procedure is used to distribute bits along the subbands. The results obtained show excellent performance for low bit rate coding, outperforming JPEG and many other coders recently presented in literature.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Engenharia Elétrica, Florianópolis, 2009 / Made available in DSpace on 2012-10-24T16:13:35Z (GMT). No. of bitstreams: 1 275391.pdf: 1317888 bytes, checksum: 2a7450665f7f9b1d60c23ada2cb8ae91 (MD5) / Este trabalho aborda codificação de subespaço e sua aplicação no controle de erros em codificação de rede. É assumida uma rede de comunicação com um transmissor e vários receptores, isto é, um cenário multidifusão. O trabalho inicia revisando os principais resultados em codificação de rede multidifusão livre de erros. O foco é então mudado para codificação de rede externa, na qual a comunicação entre o nó fonte e um dado nó destino é modelada por um canal matricial sobre corpos finitos. É mostrado como esse enfoque pode ser usado para se lidar tanto com a não-coerência desconhecimento da topologia e das operações realizadas pelos nós internos) quanto com eventuais erros nos enlaces da rede. Em particular, na ausência de erros, a não-coerência é contornada através da transmissão de subespaços vetoriais pela rede, visto que esses são preservados qualquer que seja o canal linear. Agora, na presença de erros, pode-se limitar os possíveis subespaços transmitidos a um subconjunto particular de todos os subespaços vetoriais, definindo, assim, um código de subespaço. Até agora, atenção foi dada apenas a códigos de subespaço one-shot, isto é, códigos nos quais o canal de comunicação supracitado é utilizado apenas uma vez. Aqui, é explorada a ideia de usar o canal mais de uma vez e códigos de subespaço multishot são investigados.

A codificação de vídeo de modo a permitir a escalabilidade durante a transmissão tem se tornado um tópico de grande nos últimos anos. Em conjunto com um algorítmo de controle de congestionamento, é possível a criação de um ambiente de transmissão multimída mais apropriado. Esta dissertação apresente um algoritimo de codificação de vídeo escalável baseado em bit-planes. O modelo de codificação do video utiliza 3D-DCT para codificação espacial e temporal e um quantizador escalar semelehante ao empregado no MPEG 4. A técnica de escalabilidade em bit-planes implementada permite a divisão da saída de codificador em taxas complementares e com granularidade fina. Este algorítmo e parte integrante doprojeto SAM (Sistema Adaptativo Multimídia), que busca criar um ambiente de transmissão multimídia adaptativo em tempo real. Este projeto está em desenvolvimento na tese de doutorado de Valter Roesler. O algorítmo proposto e implementado é capaz de transmitir de forma unidirecional vídeos de baixa movimentação. Os resultados dos testes realizados com a implementação feita mostram que a solução proposta é flexível em realação a tecnologia disponível de transmissão através do ajuste no númerp de camadas e suas respectivas especificações de banda. Os testes realizados apresentaram um desempenho aceitável para codificação e decodificação de vídeo em tempo real. A taxa de compressão apresentou resultados satisfatórios na transmissao em ambientes de baixa velocidade para as camadas inferiores, bem como taxas de transmissão para ambientes em ADSL, cable modem e rede local para as camadas superiores. Com relação a qualidade do vídeo, esta varia de acordo com o grau de movimentação do mesmo. Por exemplo, no modelo "talking-head", comum em videoconferências, a qualidade se mostrou viável para ambientes de baixa velocidade (56 kbits/s).

The robust popularization of 3D videos noticed along the last decade, allied to the omnipresence of smart mobile devices handling multimedia-capable features, has led to intense development and research focusing on efficient 3D-video encoding techniques, display technologies, and 3D-video capable mobile devices. In this scenario, the Multiview Video Coding (MVC) standard is key enabler of the current 3D-video systems by leading to meaningful data reduction through advanced encoding techniques. However, real-time MVC encoding for high definition videos demands high processing performance and, consequently, high energy consumption. These requirements are attended neither by the performance budget nor by the energy envelope available in the state-of-the-art mobile devices. As a result, the realization of MVC targeting mobile systems has been posing serious challenges to industry and academia. The main goal of this thesis is to propose and demonstrate energy-efficient MVC solutions to enable high-definition 3D-video encoding on mobile battery-powered embedded systems. To expedite high performance under severe energy constraints, this thesis proposes jointly considering energy-efficient optimizations at algorithmic and architectural levels. On the one hand, extensive application knowledge and data analysis was employed to reduce and control the MVC complexity and energy consumption at algorithmic level. On the other hand, hardware architectures specifically designed targeting the proposed algorithms were implemented applying low-power design techniques, dynamic voltage scaling, and application-aware dynamic power management. The algorithmic contribution lies in the MVC energy reduction by shorten the computational complexity of the energy-hungriest encoder blocks, the Mode Decision and the Motion and Disparity Estimation. The proposed energy-efficient algorithms take advantage of the video properties along with the strong correlation available within the 3D-Neighborhood (spatial, temporal and disparity) space in order to efficiently reduce energy consumption. Our Multi-Level Fast Mode Decision defines two complexity reduction operation modes able to provide, on average, 63% and 71% of complexity reduction, respectively. Additionally, the proposed Fast ME/DE algorithm reduces the complexity in about 83%, for the average case. Considering the run-time variations posed by changing coding parameters and video content, an Energy-Aware Complexity Adaptation algorithm is proposed to handle the energy versus coding efficiency tradeoff while providing graceful quality degradation under severe battery draining scenarios by employing asymmetric video coding. Finally, to cope with eventual video quality losses posed by the energy-efficient algorithms, we define a video quality management technique based on our Hierarchical Rate Control. The Hierarchical Rate Control implements a frame-level rate control based on a Model Predictive Controller able to increase in 0.8dB (Bjøntegaard) the overall video quality. The video quality is increased in 1.9dB (Bjøntegaard) with the integration of the basic unit-level rate control designed using Markov Decision Process and Reinforcement Learning. Even though the energy-efficient algorithms drive to meaningful energy reduction, hardware acceleration is mandatory to reach the energy-efficiency demanded by the MVC. Aware of this requirement, this thesis brings architectural solutions for the Motion and Disparity Estimation unit focusing on energy reduction while attending real-time throughput requirements. To achieve the desired results, as shown along this volume, there is a need to reduce the energy related to the ME/DE computation and related to the intense memory communication. Therefore, the ME/DE architectures incorporate the Fast ME/DE algorithm in order to reduce the computational complexity while the memory hierarchy was carefully designed to find the optimal energy tradeoff between external memory accesses and on-chip video memory size. Statistical analysis where used to define the size and organization of the on-chip cache memory while avoiding increased memory misses and the consequent data retransmission. A prefetching technique based on search window prediction also supports the reduction of external memory access. Moreover, a memory power gating technique based on dynamic search window formation and an application aware power management were proposed to reduce the static energy consumption related to on-chip video memory. To implement these techniques a SRAM memory featuring multiple power states was used. The architectural contribution contained in this thesis extends the state-of-the-art by achieving real-time ME/DE processing for 4-views HD1080p running at 300MHz and consuming 57mW.

A codificação de vídeo de modo a permitir a escalabilidade durante a transmissão tem se tornado um tópico de grande nos últimos anos. Em conjunto com um algorítmo de controle de congestionamento, é possível a criação de um ambiente de transmissão multimída mais apropriado. Esta dissertação apresente um algoritimo de codificação de vídeo escalável baseado em bit-planes. O modelo de codificação do video utiliza 3D-DCT para codificação espacial e temporal e um quantizador escalar semelehante ao empregado no MPEG 4. A técnica de escalabilidade em bit-planes implementada permite a divisão da saída de codificador em taxas complementares e com granularidade fina. Este algorítmo e parte integrante doprojeto SAM (Sistema Adaptativo Multimídia), que busca criar um ambiente de transmissão multimídia adaptativo em tempo real. Este projeto está em desenvolvimento na tese de doutorado de Valter Roesler. O algorítmo proposto e implementado é capaz de transmitir de forma unidirecional vídeos de baixa movimentação. Os resultados dos testes realizados com a implementação feita mostram que a solução proposta é flexível em realação a tecnologia disponível de transmissão através do ajuste no númerp de camadas e suas respectivas especificações de banda. Os testes realizados apresentaram um desempenho aceitável para codificação e decodificação de vídeo em tempo real. A taxa de compressão apresentou resultados satisfatórios na transmissao em ambientes de baixa velocidade para as camadas inferiores, bem como taxas de transmissão para ambientes em ADSL, cable modem e rede local para as camadas superiores. Com relação a qualidade do vídeo, esta varia de acordo com o grau de movimentação do mesmo. Por exemplo, no modelo "talking-head", comum em videoconferências, a qualidade se mostrou viável para ambientes de baixa velocidade (56 kbits/s).

A codificação de vídeo de modo a permitir a escalabilidade durante a transmissão tem se tornado um tópico de grande nos últimos anos. Em conjunto com um algorítmo de controle de congestionamento, é possível a criação de um ambiente de transmissão multimída mais apropriado. Esta dissertação apresente um algoritimo de codificação de vídeo escalável baseado em bit-planes. O modelo de codificação do video utiliza 3D-DCT para codificação espacial e temporal e um quantizador escalar semelehante ao empregado no MPEG 4. A técnica de escalabilidade em bit-planes implementada permite a divisão da saída de codificador em taxas complementares e com granularidade fina. Este algorítmo e parte integrante doprojeto SAM (Sistema Adaptativo Multimídia), que busca criar um ambiente de transmissão multimídia adaptativo em tempo real. Este projeto está em desenvolvimento na tese de doutorado de Valter Roesler. O algorítmo proposto e implementado é capaz de transmitir de forma unidirecional vídeos de baixa movimentação. Os resultados dos testes realizados com a implementação feita mostram que a solução proposta é flexível em realação a tecnologia disponível de transmissão através do ajuste no númerp de camadas e suas respectivas especificações de banda. Os testes realizados apresentaram um desempenho aceitável para codificação e decodificação de vídeo em tempo real. A taxa de compressão apresentou resultados satisfatórios na transmissao em ambientes de baixa velocidade para as camadas inferiores, bem como taxas de transmissão para ambientes em ADSL, cable modem e rede local para as camadas superiores. Com relação a qualidade do vídeo, esta varia de acordo com o grau de movimentação do mesmo. Por exemplo, no modelo "talking-head", comum em videoconferências, a qualidade se mostrou viável para ambientes de baixa velocidade (56 kbits/s).

The robust popularization of 3D videos noticed along the last decade, allied to the omnipresence of smart mobile devices handling multimedia-capable features, has led to intense development and research focusing on efficient 3D-video encoding techniques, display technologies, and 3D-video capable mobile devices. In this scenario, the Multiview Video Coding (MVC) standard is key enabler of the current 3D-video systems by leading to meaningful data reduction through advanced encoding techniques. However, real-time MVC encoding for high definition videos demands high processing performance and, consequently, high energy consumption. These requirements are attended neither by the performance budget nor by the energy envelope available in the state-of-the-art mobile devices. As a result, the realization of MVC targeting mobile systems has been posing serious challenges to industry and academia. The main goal of this thesis is to propose and demonstrate energy-efficient MVC solutions to enable high-definition 3D-video encoding on mobile battery-powered embedded systems. To expedite high performance under severe energy constraints, this thesis proposes jointly considering energy-efficient optimizations at algorithmic and architectural levels. On the one hand, extensive application knowledge and data analysis was employed to reduce and control the MVC complexity and energy consumption at algorithmic level. On the other hand, hardware architectures specifically designed targeting the proposed algorithms were implemented applying low-power design techniques, dynamic voltage scaling, and application-aware dynamic power management. The algorithmic contribution lies in the MVC energy reduction by shorten the computational complexity of the energy-hungriest encoder blocks, the Mode Decision and the Motion and Disparity Estimation. The proposed energy-efficient algorithms take advantage of the video properties along with the strong correlation available within the 3D-Neighborhood (spatial, temporal and disparity) space in order to efficiently reduce energy consumption. Our Multi-Level Fast Mode Decision defines two complexity reduction operation modes able to provide, on average, 63% and 71% of complexity reduction, respectively. Additionally, the proposed Fast ME/DE algorithm reduces the complexity in about 83%, for the average case. Considering the run-time variations posed by changing coding parameters and video content, an Energy-Aware Complexity Adaptation algorithm is proposed to handle the energy versus coding efficiency tradeoff while providing graceful quality degradation under severe battery draining scenarios by employing asymmetric video coding. Finally, to cope with eventual video quality losses posed by the energy-efficient algorithms, we define a video quality management technique based on our Hierarchical Rate Control. The Hierarchical Rate Control implements a frame-level rate control based on a Model Predictive Controller able to increase in 0.8dB (Bjøntegaard) the overall video quality. The video quality is increased in 1.9dB (Bjøntegaard) with the integration of the basic unit-level rate control designed using Markov Decision Process and Reinforcement Learning. Even though the energy-efficient algorithms drive to meaningful energy reduction, hardware acceleration is mandatory to reach the energy-efficiency demanded by the MVC. Aware of this requirement, this thesis brings architectural solutions for the Motion and Disparity Estimation unit focusing on energy reduction while attending real-time throughput requirements. To achieve the desired results, as shown along this volume, there is a need to reduce the energy related to the ME/DE computation and related to the intense memory communication. Therefore, the ME/DE architectures incorporate the Fast ME/DE algorithm in order to reduce the computational complexity while the memory hierarchy was carefully designed to find the optimal energy tradeoff between external memory accesses and on-chip video memory size. Statistical analysis where used to define the size and organization of the on-chip cache memory while avoiding increased memory misses and the consequent data retransmission. A prefetching technique based on search window prediction also supports the reduction of external memory access. Moreover, a memory power gating technique based on dynamic search window formation and an application aware power management were proposed to reduce the static energy consumption related to on-chip video memory. To implement these techniques a SRAM memory featuring multiple power states was used. The architectural contribution contained in this thesis extends the state-of-the-art by achieving real-time ME/DE processing for 4-views HD1080p running at 300MHz and consuming 57mW.

The robust popularization of 3D videos noticed along the last decade, allied to the omnipresence of smart mobile devices handling multimedia-capable features, has led to intense development and research focusing on efficient 3D-video encoding techniques, display technologies, and 3D-video capable mobile devices. In this scenario, the Multiview Video Coding (MVC) standard is key enabler of the current 3D-video systems by leading to meaningful data reduction through advanced encoding techniques. However, real-time MVC encoding for high definition videos demands high processing performance and, consequently, high energy consumption. These requirements are attended neither by the performance budget nor by the energy envelope available in the state-of-the-art mobile devices. As a result, the realization of MVC targeting mobile systems has been posing serious challenges to industry and academia. The main goal of this thesis is to propose and demonstrate energy-efficient MVC solutions to enable high-definition 3D-video encoding on mobile battery-powered embedded systems. To expedite high performance under severe energy constraints, this thesis proposes jointly considering energy-efficient optimizations at algorithmic and architectural levels. On the one hand, extensive application knowledge and data analysis was employed to reduce and control the MVC complexity and energy consumption at algorithmic level. On the other hand, hardware architectures specifically designed targeting the proposed algorithms were implemented applying low-power design techniques, dynamic voltage scaling, and application-aware dynamic power management. The algorithmic contribution lies in the MVC energy reduction by shorten the computational complexity of the energy-hungriest encoder blocks, the Mode Decision and the Motion and Disparity Estimation. The proposed energy-efficient algorithms take advantage of the video properties along with the strong correlation available within the 3D-Neighborhood (spatial, temporal and disparity) space in order to efficiently reduce energy consumption. Our Multi-Level Fast Mode Decision defines two complexity reduction operation modes able to provide, on average, 63% and 71% of complexity reduction, respectively. Additionally, the proposed Fast ME/DE algorithm reduces the complexity in about 83%, for the average case. Considering the run-time variations posed by changing coding parameters and video content, an Energy-Aware Complexity Adaptation algorithm is proposed to handle the energy versus coding efficiency tradeoff while providing graceful quality degradation under severe battery draining scenarios by employing asymmetric video coding. Finally, to cope with eventual video quality losses posed by the energy-efficient algorithms, we define a video quality management technique based on our Hierarchical Rate Control. The Hierarchical Rate Control implements a frame-level rate control based on a Model Predictive Controller able to increase in 0.8dB (Bjøntegaard) the overall video quality. The video quality is increased in 1.9dB (Bjøntegaard) with the integration of the basic unit-level rate control designed using Markov Decision Process and Reinforcement Learning. Even though the energy-efficient algorithms drive to meaningful energy reduction, hardware acceleration is mandatory to reach the energy-efficiency demanded by the MVC. Aware of this requirement, this thesis brings architectural solutions for the Motion and Disparity Estimation unit focusing on energy reduction while attending real-time throughput requirements. To achieve the desired results, as shown along this volume, there is a need to reduce the energy related to the ME/DE computation and related to the intense memory communication. Therefore, the ME/DE architectures incorporate the Fast ME/DE algorithm in order to reduce the computational complexity while the memory hierarchy was carefully designed to find the optimal energy tradeoff between external memory accesses and on-chip video memory size. Statistical analysis where used to define the size and organization of the on-chip cache memory while avoiding increased memory misses and the consequent data retransmission. A prefetching technique based on search window prediction also supports the reduction of external memory access. Moreover, a memory power gating technique based on dynamic search window formation and an application aware power management were proposed to reduce the static energy consumption related to on-chip video memory. To implement these techniques a SRAM memory featuring multiple power states was used. The architectural contribution contained in this thesis extends the state-of-the-art by achieving real-time ME/DE processing for 4-views HD1080p running at 300MHz and consuming 57mW.

[pt] Neste trabalho são examinadas estruturas CELP com baixo retardo (da ordem de 2 ms) para codificação digital de voz a taxas de bits de 8 k, 9,6 k e 16 kbit/s. São avaliados sete algoritmos de predição adaptativa a partir do sinal sintetizado. Esses algoritmos são usados para adaptação do filtro de predição com retardo curto e do filtro de ponderação de codificadores CELP com baixo retardo. Dos algoritmos analisados, um emprega adaptação em bloco e os outros são recursivos utilizando estruturas transversais e em treliça. As comparações são baseadas em termos das medidas objetivas de razão sinal ruído (RSR), razão sinal ruído segmentar (RSRSEG) e razão sinal ruído ponderada em freqüência (RSRW) e em termos de medidas subjetivas obtidas através de testes de escuta informais. / [en] Low delay (about 2 ms) CELP structures are studied for digital coding of speech at 8, 9,6 and 16 kbit/s. Seven backward adaptative prediction algorithms are investigated. These algorithms are used for adapting the short-term prediction filter and the weighting filter in low delay CELP coders. One algorithm uses block adaptation and the others are recursive with transversal and lattice structures. Comparisons are based on the objective measures of signal to noise ratio, segmental signal to noise ratio and a frequency weighted signal to noise and on subjective results obtained from informal listening tests.

[pt] Codificação de objetos de forma arbitrária extraídos de imagens regulares é um dos assuntos de maior desafio nos mais recentes padrões de codificação de vídeo (MPEG-4). Neste estudo, é proposta uma nova estratégia de codificação de objetos envolvendo maior eficiência na decomposição e quantização de sub-bandas. A técnica de transformação proposta envolve Transformada Wavelet Discreta (DWT) e a de quantização é baseada no algoritmo de Partição de Conjuntos em Árvores Hierárquicas (SPIHT). / [en] Coding of arbitrarily shaped objects extracted from regular images is one of the most challenging issues on the latest video coding standards (MPEG-4). In this work, a new object coding strategy is proposed, involving greater efficiency on subband splitting and quantization. The proposed transform technique involves Discrete Wavelet Transform (DWT) and the proposed quantization technique is based on the Set Partitioning in Hierarchical Trees (SPIHT) algorithm. / [es] La codificación de objetos de forma arbitraria extraídos de imágenes regulares es uno de los asuntos de mayor desafío en los más recientes padrones de codificación de video (MPEG-4). En este estudio, se propone una nueva estrategia de codificación de objetos con mayor eficiencia en la descomposición y cuantización de subbandas. La técnica de transformación propuesta incluye Transformada Wavelet Discreta (DWT) y la de cuantización tiene como base el algoritmo de Partición de Conjuntos en Árboles Jerárquicas (SPIHT).