Os constantes avanços nas áreas de transmissão e processamento de dados ao longo dos últimos anos permitiram a criação de diversas aplicações e serviços baseados em dados multimídia, como streaming de vídeo, videoconferências, aulas remotas e IPTV. Além disso, avanços nas demais áreas da computação e engenharias, possibilitaram a construção de uma enorme diversidade de dispositivos de acesso a esses serviços, desde computadores pessoais até celulares, para citar os mais utilizados atualmente. Muitas dessas aplicações e dispositivos estão amplamente difundidos hoje em dia, e, ao mesmo tempo em que a tecnologia avança, os usuários tornam-se mais exigentes, buscando sempre melhor qualidade nos serviços que utilizam. Devido à grande variedade de redes e dispositivos atuais, uma dificuldade existente é possibilitar o acesso universal a uma transmissão. Uma alternativa criada é utilizar transmissão de vídeo escalável com IP multicast e controlada por mecanismos para adaptabilidade e controle de congestionamento. O produto final dessas transmissões mulimídia são os próprios dados multimídia (vídeo e áudio, principalmente) que o usuário está recebendo, portanto a qualidade destes dados é fundamental para um bom desempenho do sistema e satisfação dos usuários. Este trabalho apresenta um estudo de avaliações subjetivas de qualidade aplicadas em sequências de vídeo codificadas através da extensão escalável do padrão H.264 (SVC). Foi executado um conjunto de testes para avaliar, principalmente, os efeitos da instabilidade da transmissão (variação do número de camadas de vídeo recebidas) e a influência dos três métodos de escalabilidade (espacial, temporal e de qualidade) na qualidade dos vídeos. As definições foram baseadas em um sistema de transmissão em camadas com utilização de protocolos para adaptabilidade e controle de congestionamento. Para execução das avaliações subjetivas foi feito o uso da metodologia ACR-HRR e recomendações das normas ITU-R Rec. BT.500 e ITU-T Rec. P.910. Os resultados mostram que, diferente do esperado, a instabilidade não provoca grandes alterações na qualidade subjetiva dos vídeos e que o método de escalabilidade temporal tende a apresentar qualidade bastante inferior aos outros métodos. As principais contribuições deste trabalho estão nos resultados obtidos nas avaliações, além da metodologia utilizada durante o desenvolvimento do trabalho (definição do plano de avaliação, uso das ferramentas como o JSVM, seleção do material de teste, execução das avaliações, entre outros), das aplicações desenvolvidas, da definição de alguns trabalhos futuros e de possíveis objetivos para avaliações de qualidade. / The constant advances in multimedia processing and transmission over the past years have enabled the creation of several applications and services based on multimedia data, such as video streaming, teleconference, remote classes and IPTV. Futhermore, a big variety of devices, that goes from personal computers to mobile phones, are now capable of receiving these transmissions and displaying the multimedia data. Most of these applications are widely adopted nowadays and, at the same time the technology advances, the user are becoming more demanding about the quality of the services they use. Given the diversity of devices and networks available today, one of the big challenges of these multimedia systems is to be able to adapt the transmission to the receivers' characteristics and conditions. A suitable solution to provide this adaptation is the integration of scalable video coding with layered transmission. As the final product in these multimedia systems are the multimedia data that is presented to the user, the quality of these data will define the performace of the system and the users' satisfaction. This paper presents a study of subjective quality of scalable video sequences, coded using the scalable extension of the H.264 standard (SVC). A group of experiments was performed to measure, primarily, the efeects that the transmission instability (variations in the number of video layers received) has in the video quality and the relationship between the three scalability methods (spatial, temporal and quality) in terms of subjective quality. The decisions taken to model the tests were based on layered transmission systems that use protocols for adaptability and congestion control. To run the subjective assessments we used the ACR-HRR methodology and recommendations given by ITU-R Rec. BT.500 and ITU-T Rec. P.910. The results show that the instability modelled does not causes significant alterations on the overall video subjective quality if compared to a stable video and that the temporal scalability usually produces videos with worse quality than the spatial and quality methods, the latter being the one with the better quality. The main contributions presented in this work are the results obtained in the subjective assessments. Moreover, are also considered as contributions the methodology used throughout the entire work (including the test plan definition, the use of tools as JSVM, the test material selection and the steps taken during the assessment), some applications that were developed, the definition of future works and the specification of some problems that can also be solved with subjective quality evaluations.

O processo de compressão de vídeo é essencial para aplicações que utilizam vídeos digitais. O alto volume de informações contidas em um vídeo digital requer que um processo de compressão seja aplicado antes de este ser armazenado ou transmitido. O padrão H.264/AVC, estado-da-arte em termos de compressão de vídeo, introduziu um conjunto de ferramentas inéditas em relação a outros padrões, as quais possibilitam um ganho significativo em eficiência de compressão, diminuindo a taxa de bits sem perda na qualidade da imagem. Contudo, o preço deste ganho reside em um significativo aumento na complexidade de codificação. No padrão H.264/AVC, a codificação pode acontecer de acordo com um dos treze modos de codificação intra-quadro ou de acordo com um dos oito tamanhos de bloco disponíveis para a predição inter-quadros. A escolha de melhor modo utilizada pelo software de referência do padrão (JM 17.1) é baseada em uma busca exaustiva pelo melhor modo, realizando a codificação repetidamente para todos os modos até que o menor custo em termos de taxa de bits e distorção seja encontrado. Esta decisão aumenta drasticamente o fluxo de codificação, muitas vezes impossibilitando a codificação de vídeos digitais em tempo real. Neste contexto, a presente dissertação apresenta o estudo e o desenvolvimento de um conjunto de heurísticas que possibilitam a avaliação do melhor modo de codificação de bloco em um processo mais rápido que o usado pelo software de referência. Ao invés da realização do fluxo completo de codificação para todos os modos seguida por uma avaliação do melhor caso, propõe-se um conjunto de análises prévias que convergem para a decisão de apenas um modo de codificação. A redução atingida no número de repetições do processo de codificação foi de quarenta e sete vezes, ao custo de um aumento relativamente pequeno na taxa de bits. Quando comparada com outros trabalhos, a decisão rápida atingiu resultados expressivamente mais satisfatórios em termos de complexidade computacional, sem perda de qualidade ou aumento de taxa de bits significativo. Foram desenvolvidas arquiteturas de hardware que implementam as heurísticas propostas. A arquitetura de decisão intra-quadro atingiu uma frequência máxima de 105 MHz, enquanto que a arquitetura de decisão inter-quadros apresentou uma frequência de 118 MHz para dispositivos FPGA Virtex 5 da Xilinx, sendo ambas capazes de processar vídeos de alta definição em tempo real. / The video compression process is essential in digital video applications, due to the extremely high data volume present in a digital video to be stored or transmitted through a physical link. H.264/AVC, the state-of-art video coding standard, introduces a set of novel features which lead to a significant gain in terms of compression efficiency, decreasing the bit-rate without image quality losses. However, the price of this gain resides at a high complexity increase. In H.264/AVC, the encoding process can occur according to one of the thirteen intra-frame coding modes or according to one of the eight available inter-frames block sizes. In the reference software (JM 17.1), the choice of the best mode is performed through exhaustive executions of the whole encoding process. The mode which presents the lowest cost in terms of required bit-rate and image distortion is then chosen. This decision process increases significantly the encoding process, sometimes even forbidding its use in real time video coding applications. Considering this context, this thesis presents a study and the development of a set of heuristics which allow the evaluation of the best coding mode in a process which is faster than the one used by the reference software. Instead of performing the whole encoding flow for all the possible modes followed by an evaluation of the best case, this work proposes a set of pre-analysis which converge to the selection of one encoding mode. The reduction achieved in the number of repetitions of the encoding process is of forty seven times, at the cost of a relatively small bit-rate increase. When compared to other works, the fast mode decision results are expressively more satisfactory in terms of computational complexity, with no image quality loss or significant bit-rate increase. The hardware architectures which implement the proposed heuristics were also developed in this work. The architecture for intra-frame decision achieved a maximum frequency of 105 MHz, while the architecture for inter-frames decision presented a maximum frequency of 118 MHz for Virtex 5 FPGAs from Xilinx. They are both capable of processing high definition videos in real time.

A popularização das aplicações que manipulam vídeos digitais de altas resoluções incorpora diversos desafios no desenvolvimento de novas e eficientes técnicas para manter a eficiência na compressão de vídeo. Para lidar com esta demanda, o padrão HEVC foi proposto com o objetivo de duplicar as taxas de compressão quando comparado com padrões predecessores. No entanto, para atingir esta meta, o HEVC impõe um elevado custo computacional e, consequentemente, o aumento no consumo de energia. Este cenário torna-se ainda mais preocupante quando considerados dispositivos móveis alimentados por bateria os quais apresentam restrições computacionais no processamento de aplicações multimídia. A maioria dos trabalhos relacionados com este desafio, tipicamente, concentram suas contribuições no redução e controle do esforço computacional refletido no processo de codificação. Entretanto, a literatura indica uma carência de informações com relação ao consumo de energia despendido pelo processamento da codificação de vídeo e, principalmente, o impacto energético da hierarquia de memória cache neste contexto. Esta tese apresenta uma metodologia para caracterização energética da codificação de vídeo HEVC em processador de propósito geral. O principal objetivo da metodologia proposta nesta tese é fornecer dados quantitativos referentes ao consumo de energia do HEVC. Esta metodologia é composta por dois módulos, um deles voltado para o processamento da codificação HEVC e, o outro, direcionado ao comportamento do padrão HEVC no que diz respeito à memória cache. Uma das principais vantagens deste segundo módulo é manter-se independente de aplicação ou de arquitetura de processador. Neste trabalho, diversas análises foram realizadas visando a caracterização do consumo de energia do codificador HEVC em processador de propósito geral, considerando diferentes sequências de vídeo, resoluções e parâmetros do codificador. Além disso, uma análise extensa e detalhada de diferentes configurações possíveis de memória cache foi realizada com o propósito de avaliar o impacto energético destas configurações na codificação. Os resultados obtidos com a caracterização proposta demonstram que o gerenciamento dos parâmetros da codificação de vídeo, de maneira conjunta com as especificações da memória cache, tem um alto potencial para redução do consumo energético de codificação de vídeo, mantendo bons resultados de qualidade visual das sequências codificadas. / The popularization of high-resolution digital video applications brings several challenges on developing new and efficient techniques to maintain the video compression efficiency. To respond to this demand, the HEVC standard was proposed aiming to duplicate the compression rate when compared to its predecessors. However, to achieve such goal, HEVC imposes a high computational cost and, consequently, energy consumption increase. This scenario becomes even more concerned under battery-powered mobile devices which present computational constraints to process multimedia applications. Most of the related works about encoder realization, typically concentrate their contributions on computational effort reduction and management. Therefore, there is a lack of information regarding energy consumption on video encoders, specially about the energy impact of the cache hierarchy in this context. This thesis presents a methodology for energy characterization of the HEVC video encoder in general purpose processors. The main goal of this methodology is to provide quantitative data regarding the HEVC energy consumption. This methodology is composed of two modules, one focuses on the HEVC processing and the other focuses on the HEVC behavior regarding cache memory-related consumption. One of the main advantages of this second module is to remain independent of application or processor architecture. Several analyzes are performed aiming at the energetic characterization of HEVC coding considering different video sequences, resolutions, and parameters. In addition, an extensive and detailed analysis of different cache configurations is performed in order to evaluate the energy impact of such configurations during the video coding execution. The results obtained with the proposed characterization demonstrate that the management of the video coding parameters in conjunction with the cache specifications has a high potential for reducing the energy consumption of video coding whereas maintaining good coding efficiency results.

Este trabalho apresenta uma arquitetura de hardware para a predição intra-quadro do padrão emergente HEVC de codificação de vídeo. O padrão HEVC está sendo desenvolvido tendo como principal objetivo o aumento em 50% na eficiência de compressão, quando comparado com o padrão H.264/AVC, atual padrão estado da arte na codificação de vídeos. Para atingir este objetivo, várias novas ferramentas de codificação foram desenvolvidas para serem introduzidas no novo padrão HEVC. Embora essas novas ferramentas tenham obtido êxito em aumentar a eficiência de compressão do novo padrão HEVC, elas também colaboraram para o aumento da complexidade computacional no processo de codificação. Analisando somente os avanços na predição intra-quadro, em comparação com o padrão H.264/AVC, é possível perceber que vários novos modos direcionais de codificação foram inseridos no processo de predição. Além disso, existem mais tamanhos de blocos que podem ser considerados pela predição intra-quadro. Nesse contexto, este trabalho propõe o uso de duas abordagens para melhorar o desempenho da predição intra-quadro em codificadores HEVC. Primeiramente, foram desenvolvidos algoritmos rápidos de decisão de modo, baseados em heurísticas, para a predição intra-quadro. Os resultados mostraram que é possível reduzir a complexidade computacional do processo de predição intra-quadro com pequenas perdas na eficiência de compressão (taxa de bits e qualidade visual). No pior caso, a perda foi de 6.9% na taxa de bits e de 0.12dB na qualidade, para uma redução de 35% no tempo de processamento. Em seguida, utilizando um dos algoritmos desenvolvidos, uma arquitetura de hardware para a predição intra-quadro foi desenvolvida. Além da redução de complexidade proporcionada pelo uso do algoritmo desenvolvido, técnicas de desenvolvido de hardware, tais como aumento no nível de paralelismo e uso de pipeline, também foram utilizadas para melhorar o desempenho da arquitetura desenvolvida. Os resultados de síntese da arquitetura para a tecnologia IBM 0,65um mostram que ela é capaz de operar a 500MHz, atingindo uma taxa de processamento suficiente para realizar a predição intra-quadro de mais de 30 quadros por segundo para resoluções como Full HD (1920x1080pixels). / This work presents an intra-frame prediction hardware architecture targeting the emerging HEVC video coding standard. The HEVC standard is being developed with the main goal of increase the compression efficiency in 50% when compared to the latest H.264/AVC video coding standard. To achieve such a goal, several new video coding strategies were developed to be used in the HEVC. Although these strategies have increased the compression efficiency of the emerging HEVC standard, it also increased the computational complexity of the encoding process. Looking only to the intra prediction process, several new directional modes are used to perform the prediction. Besides, there are more block sizes that can be supported by the intra prediction process. This work proposes to use two different approaches to improve the HEVC intra prediction performance. First we developed fast intra mode decision algorithms, showing that it is possible to decrease the intra prediction computational complexity with negligible loss in the compression performance (bit-rate and video quality). In the worst case, the bit-rate loss was 6.99% and the PSNR loss was 0.12dB in average allowing reducing the encoding time up to 35%. Then, using the developed fast algorithms as base, this work proposes an intra prediction hardware architecture. The designed architecture was specifically based on one of the developed fast intra mode decision algorithms. Besides, hardware techniques such as increase the parallelism level and pipeline were also used to improve the intra prediction performance. The synthesis results for the IBM 0.65nm have shown that the architecture is able to achieve 500MHz as maximum operation frequency. This way, the architecture throughput is enough to perform the intra prediction process for more than 30 frames per second considering high resolution digital videos, such as Full HD (1920x1080).

A variedade de dispositivos eletrônicos capazes de gravar e reproduzir vídeos digitais vem crescendo rapidamente, aumentando com isso a disponibilidade deste tipo de informação nas mais diferentes plataformas. Com isso, se torna cada vez mais importante o desenvolvimento de formas eficientes de armazenamento, transmissão, e acesso a estes dados. Nesse contexto, a codificação de vídeos tem um papel fundamental ao compactar informação, otimizando o uso de recursos aplicados no armazenamento e na transmissão de vídeos digitais. Não obstante, tarefas que envolvem a análise de vídeos, manipulação e busca baseada em conteúdo também se tornam cada vez mais relevantes, formando uma base para diversas aplicações que exploram a riqueza da informação contida em vídeos digitais. Muitas vezes a solução destes problemas passa pela segmentação de vídeos, que consiste da divisão de um vídeo em regiões que apresentam homogeneidade segundo determinadas características, como por exemplo cor, textura, movimento ou algum aspecto semântico. Nesta tese é proposto um novo método para segmentação de vídeos em objetos constituintes com base na coerência de movimento de regiões. O método de segmentação proposto inicialmente identifica as correspondências entre pontos esparsamente amostrados ao longo de diferentes quadros do vídeo. Logo após, agrupa conjuntos de pontos que apresentam trajetórias semelhantes. Finalmente, uma classificação pixel a pixel é obtida a partir destes grupos de pontos amostrados. O método proposto não assume nenhum modelo de câmera ou de movimento global para a cena e/ou objetos, e possibilita que múltiplos objetos sejam identificados, sem que o número de objetos seja conhecido a priori. Para validar o método de segmentação proposto, foi desenvolvida uma abordagem para a codificação de vídeos baseada em objetos. Segundo esta abordagem, o movimento de um objeto é representado através de transformações afins, enquanto a textura e a forma dos objetos são codificadas simultaneamente, de modo progressivo. O método de codificação de vídeos desenvolvido fornece funcionalidades tais como a transmissão progressiva e a escalabilidade a nível de objeto. Resultados experimentais dos métodos de segmentação e codificação de vídeos desenvolvidos são apresentados, e comparados a outros métodos da literatura. Vídeos codificados segundo o método proposto são comparados em termos de PSNR a vídeos codificados pelo software de referência JM H.264/AVC, versão 16.0, mostrando a que distância o método proposto está do estado da arte em termos de eficiência de codificação, ao mesmo tempo que provê funcionalidades da codificação baseada em objetos. O método de segmentação proposto no presente trabalho resultou em duas publicações, uma nos anais do SIBGRAPI de 2007 e outra no períodico IEEE Transactions on Image Processing. / The variety of electronic devices for digital video recording and playback is growing rapidly, thus increasing the availability of such information in many different platforms. So, the development of efficient ways of storing, transmitting and accessing such data becomes increasingly important. In this context, video coding plays a key role in compressing data, optimizing resource usage for storing and transmitting digital video. Nevertheless, tasks involving video analysis, manipulation and content-based search also become increasingly relevant, forming a basis for several applications that exploit the abundance of information in digital video. Often the solution to these problems makes use of video segmentation, which consists of dividing a video into homogeneous regions according to certain characteristics such as color, texture, motion or some semantic aspect. In this thesis, a new method for segmentation of videos in their constituent objects based on motion coherence of regions is proposed. The proposed segmentation method initially identifies the correspondences of sparsely sampled points along different video frames. Then, it performs clustering of point sets that have similar trajectories. Finally, a pixelwise classification is obtained from these sampled point sets. The proposed method does not assume any camera model or global motion model to the scene and/or objects. Still, it allows the identification of multiple objects, without knowing the number of objects a priori. In order to validate the proposed segmentation method, an object-based video coding approach was developed. According to this approach, the motion of an object is represented by affine transformations, while object texture and shape are simultaneously coded, in a progressive way. The developed video coding method yields functionalities such as progressive transmission and object scalability. Experimental results obtained by the proposed segmentation and coding methods are presented, and compared to other methods from the literature. Videos coded by the proposed method are compared in terms of PSNR to videos coded by the reference software JM H.264/AVC, version 16.0, showing the distance of the proposed method from the sate of the art in terms of coding efficiency, while providing functionalities of object-based video coding. The segmentation method proposed in this work resulted in two publications, one in the proceedings of SIBGRAPI 2007 and another in the journal IEEE Transactions on Image Processing.

Visando atuação flexível em redes heterogêneas, modernos sistemas multimídia podem adotar o conceito da codificação escalável, onde o fluxo de vídeo é composto por múltiplas camadas, cada qual complementando e aprimorando gradualmente as características de exibição, de forma adaptativa às capacidades de cada receptor. Atualmente, a especificação H.264/SVC representa o estado da arte da área, por sua eficiência de codificação aprimorada, porém demanda recursos computacionais extremamente elevados. Neste contexto, o presente trabalho apresenta uma arquitetura de projeto colaborativo de hardware e software, que explora as características dos diversos algoritmos internos do codificador H.264/SVC, buscando um adequado balanceamento entre as duas tecnologias (hardware e software) para a implementação prática de um codificador escalável de até 16 camadas em formato de 1920x1080 pixels. A partir de um modelo do código de referência H.264/SVC, refinado para reduzir tempos de codificação, foram definidas estratégias de particionamento de módulos e integração entre entidades de software e hardware, avaliando-se questões como dependência de dados e potencial de paralelismo dos algoritmos, assim como restrições práticas das interfaces de comunicação e acessos à memória. Em hardware foram implementados módulos de transformadas, quantização, filtro anti-blocagem e predição entre camadas, permanecendo em software funções de gerência do sistema, entropia, controle de taxa e interface com usuário. A solução completa obtida, integrando módulos em hardware, sintetizados em uma placa de desenvolvimento, com o software de referência refinado, comprova a validade da proposta, pelos significativos ganhos de desempenho registrados, mostrando-se como uma solução adequada para aplicações que exijam codificação escalável tempo real. / In order to support heterogeneous networks and distinct devices simultaneously, modern multimedia systems can adopt the scalability concept, when the video stream is composed by multiple layers, each one being responsible for gradually enhance the video exhibition quality, according to specific receiver capabilities. Currently the H.264/SVC specification can be considered the state-of-art in this area, by improving the coding efficiency, but, in the other hand, impacting in extremely high computational demands. Based on that, this work presents a hardware/software co-design architecture, which explores the characteristics of H.264/SVC internal algorithms, aiming the right balancing between both technologies (hardware and software) in order to generate a practical scalable encoder implementation, able to process up to 16 layers in 1920x1080 pixels format. Based in an H.264/SVC reference code model, which was refined in order to reduce global encoding time, the approaches for module partitioning and data integration between hardware and software were defined. The proposed methodology took into account characteristics like data dependency and inherent possibility of parallelism, as well practical restrictions like influence of communication interfaces and memory accesses. Particularly, the modules of transforms, quantization, deblocking and inter-layer prediction were implemented in hardware, while the functions of system management, entropy, rate control and user interface were kept in software. The whole solution, which was obtained integrating hardware modules, synthesized in a development board, with the refined H.264/SVC reference code, validates the proposal, by the significant performance gains registered, indicating it as an adequate solution for applications which require real-time video scalable coding.

A evolução dos processos de fabricação de circuitos microeletrônicos coloca um número cada vez maior de dispositivos à disposição do projetista de circuitos integrados. Mais e mais funcionalidades são adicionadas aos equipamentos eletrônicos com um aumento correspondente no esforço de projeto. Aplicações de multimídia e comunicação digital, por exemplo, são muito populares e integram funções cada vez mais complexas. As janelas de mercado diminuem com a grande competição por novos produtos. Este cenário desafia os projetistas: são necessárias novas metodologias. Para aumentar a produtividade de uma equipe de projeto, é imprescindível a utilização de um nível de abstração mais alto. O mesmo sistema pode ser descrito por um número menor de primitivas se a linguagem de descrição possuir primitivas semanticamente mais ricas. Este é o chamado projeto baseado em reuso, onde módulos são desenvolvidos para responderem necessidades mais genéricas e serem reconfiguráveis. Além disso, devem seguir algum padrão de interface de comunicação. Aplicações multimídia são muito complexas. Na área de compressão de vídeo, por exemplo, há uma grande quantidade de processamento para permitir a compressão dos dados. Áudio e vídeo geram uma grande quantidade de dados. É imperativo comprimir os dados de maneira a permitir o seu armazenamento/transmissão através de recursos limitados. H.264 é a evolução dos padrões de compressão de vídeo digital, como H.263 ou MPEG-2, e a sua implementação só é possível graças ao progresso da microeletrônica. O desenvolvimento de um decodificador H.264 é um exemplo de um projeto de sistema digital complexo, visto como uma composição de módulos que executam as diferentes operações sobre o sinal. O foco deste trabalho é a metodologia para a construção de sistemas digitais a partir de funções já prontas, em um fluxo de projeto que permita o projeto e o teste baseados em reuso. O caso de estudo, o decodificador H.264, é analisado como um sistema composto por alguns módulos e o resultado é uma metodologia SoC apropriada para ele. Este trabalho levará a uma descrição de como o decodificador foi desenvolvido, uma vez que as técnicas de processamento e os desafios de implementação tenham sido completamente compreendidos. / The evolution of the manufacturing process of microelectronic circuits offers an ever increasing number of devices to the chip designer. More and more functionalities are added to the electronic equipments with a corresponding increase in design effort. Multimedia and digital communication applications, for example, are very popular and integrate each time more complex functions. The time-to-market reduces with the competition for new products. This scenario challenges the circuit designers: new methodologies are needed. To increase the productivity of a design team, higher level of abstraction must be used. The same system can be described with less number of primitives if the description language has primitives semantically richer. One primitive can call a pre-designed module giving a hierarchical design process. This is the so called reuse based design, because modules are developed to respond general needs and made reconfigurable and they must follow some standards of communication interfaces. Multimedia applications are very complex. For video compression, for example, we need a big amount of processing in order to realize data compressing. Audio and video generate a big amount of data. It is imperative to compress the data to allow its storage/transmission through limited resources. H.264 is the evolution of video compression standards, like H.263 or MPEG-2, and its implementation is only possible due to microelectronics progress. Its development is an example of a complex digital system design, and can be seen as a composition of modules that execute the different signal operations. The focus here is the methodology for building digital systems from functions already developed, in a design flow that facilitates reuse-based design and test. The case study, an H.264 decoder, is analyzed as a system made of several modules and the result is a SoC methodology fashioned for it. This work presents a description of how the decoder was developed, after the complete understanding of all the involved processing techniques and design implementation challenges.

O processo de compressão de vídeo é essencial para aplicações que utilizam vídeos digitais. O alto volume de informações contidas em um vídeo digital requer que um processo de compressão seja aplicado antes de este ser armazenado ou transmitido. O padrão H.264/AVC, estado-da-arte em termos de compressão de vídeo, introduziu um conjunto de ferramentas inéditas em relação a outros padrões, as quais possibilitam um ganho significativo em eficiência de compressão, diminuindo a taxa de bits sem perda na qualidade da imagem. Contudo, o preço deste ganho reside em um significativo aumento na complexidade de codificação. No padrão H.264/AVC, a codificação pode acontecer de acordo com um dos treze modos de codificação intra-quadro ou de acordo com um dos oito tamanhos de bloco disponíveis para a predição inter-quadros. A escolha de melhor modo utilizada pelo software de referência do padrão (JM 17.1) é baseada em uma busca exaustiva pelo melhor modo, realizando a codificação repetidamente para todos os modos até que o menor custo em termos de taxa de bits e distorção seja encontrado. Esta decisão aumenta drasticamente o fluxo de codificação, muitas vezes impossibilitando a codificação de vídeos digitais em tempo real. Neste contexto, a presente dissertação apresenta o estudo e o desenvolvimento de um conjunto de heurísticas que possibilitam a avaliação do melhor modo de codificação de bloco em um processo mais rápido que o usado pelo software de referência. Ao invés da realização do fluxo completo de codificação para todos os modos seguida por uma avaliação do melhor caso, propõe-se um conjunto de análises prévias que convergem para a decisão de apenas um modo de codificação. A redução atingida no número de repetições do processo de codificação foi de quarenta e sete vezes, ao custo de um aumento relativamente pequeno na taxa de bits. Quando comparada com outros trabalhos, a decisão rápida atingiu resultados expressivamente mais satisfatórios em termos de complexidade computacional, sem perda de qualidade ou aumento de taxa de bits significativo. Foram desenvolvidas arquiteturas de hardware que implementam as heurísticas propostas. A arquitetura de decisão intra-quadro atingiu uma frequência máxima de 105 MHz, enquanto que a arquitetura de decisão inter-quadros apresentou uma frequência de 118 MHz para dispositivos FPGA Virtex 5 da Xilinx, sendo ambas capazes de processar vídeos de alta definição em tempo real. / The video compression process is essential in digital video applications, due to the extremely high data volume present in a digital video to be stored or transmitted through a physical link. H.264/AVC, the state-of-art video coding standard, introduces a set of novel features which lead to a significant gain in terms of compression efficiency, decreasing the bit-rate without image quality losses. However, the price of this gain resides at a high complexity increase. In H.264/AVC, the encoding process can occur according to one of the thirteen intra-frame coding modes or according to one of the eight available inter-frames block sizes. In the reference software (JM 17.1), the choice of the best mode is performed through exhaustive executions of the whole encoding process. The mode which presents the lowest cost in terms of required bit-rate and image distortion is then chosen. This decision process increases significantly the encoding process, sometimes even forbidding its use in real time video coding applications. Considering this context, this thesis presents a study and the development of a set of heuristics which allow the evaluation of the best coding mode in a process which is faster than the one used by the reference software. Instead of performing the whole encoding flow for all the possible modes followed by an evaluation of the best case, this work proposes a set of pre-analysis which converge to the selection of one encoding mode. The reduction achieved in the number of repetitions of the encoding process is of forty seven times, at the cost of a relatively small bit-rate increase. When compared to other works, the fast mode decision results are expressively more satisfactory in terms of computational complexity, with no image quality loss or significant bit-rate increase. The hardware architectures which implement the proposed heuristics were also developed in this work. The architecture for intra-frame decision achieved a maximum frequency of 105 MHz, while the architecture for inter-frames decision presented a maximum frequency of 118 MHz for Virtex 5 FPGAs from Xilinx. They are both capable of processing high definition videos in real time.

A evolução dos processos de fabricação de circuitos microeletrônicos coloca um número cada vez maior de dispositivos à disposição do projetista de circuitos integrados. Mais e mais funcionalidades são adicionadas aos equipamentos eletrônicos com um aumento correspondente no esforço de projeto. Aplicações de multimídia e comunicação digital, por exemplo, são muito populares e integram funções cada vez mais complexas. As janelas de mercado diminuem com a grande competição por novos produtos. Este cenário desafia os projetistas: são necessárias novas metodologias. Para aumentar a produtividade de uma equipe de projeto, é imprescindível a utilização de um nível de abstração mais alto. O mesmo sistema pode ser descrito por um número menor de primitivas se a linguagem de descrição possuir primitivas semanticamente mais ricas. Este é o chamado projeto baseado em reuso, onde módulos são desenvolvidos para responderem necessidades mais genéricas e serem reconfiguráveis. Além disso, devem seguir algum padrão de interface de comunicação. Aplicações multimídia são muito complexas. Na área de compressão de vídeo, por exemplo, há uma grande quantidade de processamento para permitir a compressão dos dados. Áudio e vídeo geram uma grande quantidade de dados. É imperativo comprimir os dados de maneira a permitir o seu armazenamento/transmissão através de recursos limitados. H.264 é a evolução dos padrões de compressão de vídeo digital, como H.263 ou MPEG-2, e a sua implementação só é possível graças ao progresso da microeletrônica. O desenvolvimento de um decodificador H.264 é um exemplo de um projeto de sistema digital complexo, visto como uma composição de módulos que executam as diferentes operações sobre o sinal. O foco deste trabalho é a metodologia para a construção de sistemas digitais a partir de funções já prontas, em um fluxo de projeto que permita o projeto e o teste baseados em reuso. O caso de estudo, o decodificador H.264, é analisado como um sistema composto por alguns módulos e o resultado é uma metodologia SoC apropriada para ele. Este trabalho levará a uma descrição de como o decodificador foi desenvolvido, uma vez que as técnicas de processamento e os desafios de implementação tenham sido completamente compreendidos. / The evolution of the manufacturing process of microelectronic circuits offers an ever increasing number of devices to the chip designer. More and more functionalities are added to the electronic equipments with a corresponding increase in design effort. Multimedia and digital communication applications, for example, are very popular and integrate each time more complex functions. The time-to-market reduces with the competition for new products. This scenario challenges the circuit designers: new methodologies are needed. To increase the productivity of a design team, higher level of abstraction must be used. The same system can be described with less number of primitives if the description language has primitives semantically richer. One primitive can call a pre-designed module giving a hierarchical design process. This is the so called reuse based design, because modules are developed to respond general needs and made reconfigurable and they must follow some standards of communication interfaces. Multimedia applications are very complex. For video compression, for example, we need a big amount of processing in order to realize data compressing. Audio and video generate a big amount of data. It is imperative to compress the data to allow its storage/transmission through limited resources. H.264 is the evolution of video compression standards, like H.263 or MPEG-2, and its implementation is only possible due to microelectronics progress. Its development is an example of a complex digital system design, and can be seen as a composition of modules that execute the different signal operations. The focus here is the methodology for building digital systems from functions already developed, in a design flow that facilitates reuse-based design and test. The case study, an H.264 decoder, is analyzed as a system made of several modules and the result is a SoC methodology fashioned for it. This work presents a description of how the decoder was developed, after the complete understanding of all the involved processing techniques and design implementation challenges.

Visando atuação flexível em redes heterogêneas, modernos sistemas multimídia podem adotar o conceito da codificação escalável, onde o fluxo de vídeo é composto por múltiplas camadas, cada qual complementando e aprimorando gradualmente as características de exibição, de forma adaptativa às capacidades de cada receptor. Atualmente, a especificação H.264/SVC representa o estado da arte da área, por sua eficiência de codificação aprimorada, porém demanda recursos computacionais extremamente elevados. Neste contexto, o presente trabalho apresenta uma arquitetura de projeto colaborativo de hardware e software, que explora as características dos diversos algoritmos internos do codificador H.264/SVC, buscando um adequado balanceamento entre as duas tecnologias (hardware e software) para a implementação prática de um codificador escalável de até 16 camadas em formato de 1920x1080 pixels. A partir de um modelo do código de referência H.264/SVC, refinado para reduzir tempos de codificação, foram definidas estratégias de particionamento de módulos e integração entre entidades de software e hardware, avaliando-se questões como dependência de dados e potencial de paralelismo dos algoritmos, assim como restrições práticas das interfaces de comunicação e acessos à memória. Em hardware foram implementados módulos de transformadas, quantização, filtro anti-blocagem e predição entre camadas, permanecendo em software funções de gerência do sistema, entropia, controle de taxa e interface com usuário. A solução completa obtida, integrando módulos em hardware, sintetizados em uma placa de desenvolvimento, com o software de referência refinado, comprova a validade da proposta, pelos significativos ganhos de desempenho registrados, mostrando-se como uma solução adequada para aplicações que exijam codificação escalável tempo real. / In order to support heterogeneous networks and distinct devices simultaneously, modern multimedia systems can adopt the scalability concept, when the video stream is composed by multiple layers, each one being responsible for gradually enhance the video exhibition quality, according to specific receiver capabilities. Currently the H.264/SVC specification can be considered the state-of-art in this area, by improving the coding efficiency, but, in the other hand, impacting in extremely high computational demands. Based on that, this work presents a hardware/software co-design architecture, which explores the characteristics of H.264/SVC internal algorithms, aiming the right balancing between both technologies (hardware and software) in order to generate a practical scalable encoder implementation, able to process up to 16 layers in 1920x1080 pixels format. Based in an H.264/SVC reference code model, which was refined in order to reduce global encoding time, the approaches for module partitioning and data integration between hardware and software were defined. The proposed methodology took into account characteristics like data dependency and inherent possibility of parallelism, as well practical restrictions like influence of communication interfaces and memory accesses. Particularly, the modules of transforms, quantization, deblocking and inter-layer prediction were implemented in hardware, while the functions of system management, entropy, rate control and user interface were kept in software. The whole solution, which was obtained integrating hardware modules, synthesized in a development board, with the refined H.264/SVC reference code, validates the proposal, by the significant performance gains registered, indicating it as an adequate solution for applications which require real-time video scalable coding.