Error Resilient Coding tools are the methods to avoid or reduce the amount of corruption in video by altering the encoding algorithm. One of them is Flexible Macroblock Ordering (FMO) which provides us with ordering macroblocks of the frames flexibly. Six of them have definite ordering pattern and the last one, called explicit type, can get any order. In this thesis two explicit type algorithms, one of which is new, are explained and the performance of different FMO types in wired and wireless communication are evaluated. The first algorithm separates the important blocks into separate packets, so it equalizes the importance of packets. The proposed method allocates the important macroblocks according to a checkerboard pattern and employs unequal error protection to protect them more. The simulations are performed for wired and wireless communication and Forward Error Correction is used in the second stage of the simulations. Lastly the results of the new algorithms are compared with the performance of the other FMO types. According to the simulations the Proposed algorithm performs better than others when the error rate is very high and FEC is employed.

Mobile devices such as PDAs and cellular phones became indispensible part of business and entertainment world. There are a number of applications run on these devices and they tend to increase day by day causing devices tend to consume more battery power. H.264/AVC is an emerging video compression standard that is likely to be used widely in multimedia environments. As a mobile application, video compression algorithm of H.264 standard has a complex structure that increase the power demand of realizing hardware. In order to reduce this power demand, power consuming parts of the algorithm like deblocking filter and transform&amp / quantization need to be specifically changed for low power application. A low power deblocking filter and inverse transform/quantization algorithm for H.264/AVC decoder is to be proposed and implemented on FPGA.

The advances in multimedia technologies increased the interest in utilizing three dimensional (3D) video applications in mobile devices. However, wireless transmission is significantly prone to errors. Typically, packets may be corrupted or lost due to transmission errors, causing blocking artifacts. Furthermore, because of compression and coding, the error propagates through the sequence and salient features of the video cannot be recovered until a key-frame or synchronization-frame is correctly received. Without the use of concealment and enhancement techniques, visible artifacts would inevitably and regularly appear in the decoded stream. In this thesis, error concealment techniques for full frame losses in depth plus video and stereo video structures are implemented and compared. Temporal and interview correlations are utilized to predict the lost frames while considering the memory usage and computational complexity.The concealment methods are implemented on jm17.2 decoder which is based on H.264/AVC specifications [1]. The simulation results are compared with the simple frame copy (FC) method for different sequences having different characteristics.

Internet Protocol Television (IPTV) has become the application that drives the Internet to a new height. However, challenges still remain in IPTV in-home distribution. The high-quality video streaming in IPTV services demands home networks to deliver video streaming packets with stringent Quality-of-Service (QoS) requirements. Currently, most service providers recommend Ethernet-based broadband home networks for IPTV. However, many existing houses are not wired with Ethernet cables and the rewiring cost is prohibitively expensive. Therefore, wireless solutions are preferred if their performance can meet the requirements. IEEE 802.11 wireless local area networks (WLANs) are pervasively adopted in home networks for their flexibility and affordability. However, through our experiments in the real environment, we found that the conventional single-hop infrastructure mode WLANs have very limited capacity and coverage in a typical in-door environment due to high attenuation and interference. The single-hop wireless networks cannot provide support for high-quality video streaming to the entire house. Multi-hop wireless networks are therefore used to extend the coverage. Contrary to the common believes that adding relay routers in the same wireless channel should reduce the throughput, our experiment, analysis and simulation results show that the multi-hop IEEE 802.11 WLANs can improve both the capacity and coverage in certain scenarios, and sufficiently support high-quality video streaming in a typical house. In this research, we analyzed and evaluated the performance of H.264-based video streaming over multi-hop wireless networks. Our analysis and simulation results reveal a wide spectrum of coverage-capacity tradeoff of multi-hop wireless networks in generic scenarios. More- over, we discuss the methods of how to further improve video streaming performance. This research provides the guidance on how to achieve the optimal balance for a given scenario, which is of great importance when deploying end-to-end IPTV services with QoS guarantee.

Technology is integrated into daily life more than before as it evolves through communication area. In the past, it started with audio devices that help us to communicate while far between two ends of communication line. Nowadays visual communication comes in front considering the communication technology. This became possible with the improvement in the compression techniques of visual data and increasing speed, optimized architecture of the new family processors. These type processors are named as Digital Signal Processors (DSP&rsquo / s). Texas Instruments TMS320C6000 Digital Signal Processor family offers one of the fastest DSP core in the market. TMS320C64x sub-family processors are newly developed under the TMS320C6000 family to overcome disadvantages of its predecessor family TMS320C62x. TMS320C64x family has optimized architecture for packed data processing, improved data paths and functional units,improved memory architecture and increased speed. These capabilities make this family of processors good candidate for real-time video processing applications. Advantages of this core are used for implementing newly established H.264 Recommendation. Highly optimizing C Compiler of TMS320C64x enabled fast running implementation of encoder blocks that bring heavy computational load to encoder. Such as fast implementation of Motion Estimation, Transform, Entropy Coding became possible. Simplified Densely Centered Uniform-P Search algorithm is used for fast estimation of motion vectors. Time taking parts enhanced to improve the performance of the encoder.

abstract: With tremendous increase in the popularity of networked multimedia applications, video data is expected to account for a large portion of the traffic on the Internet and more importantly next-generation wireless systems. To be able to satisfy a broad range of customers requirements, two major problems need to be solved. The first problem is the need for a scalable representation of the input video. The recently developed scalable extension of the state-of-the art H.264/MPEG-4 AVC video coding standard, also known as H.264/SVC (Scalable Video Coding) provides a solution to this problem. The second problem is that wireless transmission medium typically introduce errors in the bit stream due to noise, congestion and fading on the channel. Protection against these channel impairments can be realized by the use of forward error correcting (FEC) codes. In this research study, the performance of scalable video coding in the presence of bit errors is studied. The encoded video is channel coded using Reed Solomon codes to provide acceptable performance in the presence of channel impairments. In the scalable bit stream, some parts of the bit stream are more important than other parts. Parity bytes are assigned to the video packets based on their importance in unequal error protection scheme. In equal error protection scheme, parity bytes are assigned based on the length of the message. A quantitative comparison of the two schemes, along with the case where no channel coding is employed is performed. H.264 SVC single layer video streams for long video sequences of different genres is considered in this study which serves as a means of effective video characterization. JSVM reference software, in its current version, does not support decoding of erroneous bit streams. A framework to obtain H.264 SVC compatible bit stream is modeled in this study. It is concluded that assigning of parity bytes based on the distribution of data for different types of frames provides optimum performance. Application of error protection to the bit stream enhances the quality of the decoded video with minimal overhead added to the bit stream. / Dissertation/Thesis / M.S. Electrical Engineering 2011

A evolução dos processos de fabricação de circuitos microeletrônicos coloca um número cada vez maior de dispositivos à disposição do projetista de circuitos integrados. Mais e mais funcionalidades são adicionadas aos equipamentos eletrônicos com um aumento correspondente no esforço de projeto. Aplicações de multimídia e comunicação digital, por exemplo, são muito populares e integram funções cada vez mais complexas. As janelas de mercado diminuem com a grande competição por novos produtos. Este cenário desafia os projetistas: são necessárias novas metodologias. Para aumentar a produtividade de uma equipe de projeto, é imprescindível a utilização de um nível de abstração mais alto. O mesmo sistema pode ser descrito por um número menor de primitivas se a linguagem de descrição possuir primitivas semanticamente mais ricas. Este é o chamado projeto baseado em reuso, onde módulos são desenvolvidos para responderem necessidades mais genéricas e serem reconfiguráveis. Além disso, devem seguir algum padrão de interface de comunicação. Aplicações multimídia são muito complexas. Na área de compressão de vídeo, por exemplo, há uma grande quantidade de processamento para permitir a compressão dos dados. Áudio e vídeo geram uma grande quantidade de dados. É imperativo comprimir os dados de maneira a permitir o seu armazenamento/transmissão através de recursos limitados. H.264 é a evolução dos padrões de compressão de vídeo digital, como H.263 ou MPEG-2, e a sua implementação só é possível graças ao progresso da microeletrônica. O desenvolvimento de um decodificador H.264 é um exemplo de um projeto de sistema digital complexo, visto como uma composição de módulos que executam as diferentes operações sobre o sinal. O foco deste trabalho é a metodologia para a construção de sistemas digitais a partir de funções já prontas, em um fluxo de projeto que permita o projeto e o teste baseados em reuso. O caso de estudo, o decodificador H.264, é analisado como um sistema composto por alguns módulos e o resultado é uma metodologia SoC apropriada para ele. Este trabalho levará a uma descrição de como o decodificador foi desenvolvido, uma vez que as técnicas de processamento e os desafios de implementação tenham sido completamente compreendidos. / The evolution of the manufacturing process of microelectronic circuits offers an ever increasing number of devices to the chip designer. More and more functionalities are added to the electronic equipments with a corresponding increase in design effort. Multimedia and digital communication applications, for example, are very popular and integrate each time more complex functions. The time-to-market reduces with the competition for new products. This scenario challenges the circuit designers: new methodologies are needed. To increase the productivity of a design team, higher level of abstraction must be used. The same system can be described with less number of primitives if the description language has primitives semantically richer. One primitive can call a pre-designed module giving a hierarchical design process. This is the so called reuse based design, because modules are developed to respond general needs and made reconfigurable and they must follow some standards of communication interfaces. Multimedia applications are very complex. For video compression, for example, we need a big amount of processing in order to realize data compressing. Audio and video generate a big amount of data. It is imperative to compress the data to allow its storage/transmission through limited resources. H.264 is the evolution of video compression standards, like H.263 or MPEG-2, and its implementation is only possible due to microelectronics progress. Its development is an example of a complex digital system design, and can be seen as a composition of modules that execute the different signal operations. The focus here is the methodology for building digital systems from functions already developed, in a design flow that facilitates reuse-based design and test. The case study, an H.264 decoder, is analyzed as a system made of several modules and the result is a SoC methodology fashioned for it. This work presents a description of how the decoder was developed, after the complete understanding of all the involved processing techniques and design implementation challenges.

As inovações tecnológicas têm propiciado transformações nas formas de interação e, principalmente, na comunicação entre as pessoas. Os avanços nas áreas de tecnologia da informação e comunicações abriram novos horizontes para a criação de demandas até então não existentes. Nesse contexto, a utilização de vídeo digital de alta definição para aplicações de tempo real ganha ênfase. Entretanto, os desafios envolvidos na manipulação da quantidade de informações necessárias à sua representação, fomentam pesquisas na indústria e na academia para minimizar os impactos sobre a largura de banda necessária para transmissão e/ou no espaço para o seu armazenamento. Para enfrentar esses problemas diversos padrões de compressão de vídeo têm sido desenvolvidos sendo que, nesse aspecto, o padrão H.264/AVC é considerado o estado da arte. O padrão H.264/AVC introduz ganhos significativos na taxa de compressão, em relação a seus antecessores, porém esses ganhos vêem acompanhados pelo aumento na complexidade computacional das ferramentas aplicadas como, por exemplo, a Codificação Aritmética Binária Adaptativa ao Contexto (CABAC). A complexidade computacional relacionado ao padrão H.264/AVC é tal que torna impraticável sua execução em software (para operar em um processador de propósito geral, ao menos para nos disponíveis atuais) com a finalidade de realizar a codificação ou decodificação em tempo real para sequências de vídeo de alta definição. Esta dissertação apresenta uma arquitetura de hardware para o processo de decodificação do CABAC, conforme especificação do padrão H.264/AVC. Tendo o objetivo de contribuir para a resolução de alguns dos problemas relacionados à tarefa de decodificação de vídeo de alta definição em tempo real. Para isso, apresenta-se uma introdução sobre conceitos fundamentais da compressão de dados e vídeo digital, além da discussão sobre as principais características do padrão H.264/AVC. O conjunto de algoritmos presentes no CABAC e o fluxo de decodificação do CABAC são descritos em detalhes. Para fundamentar as decisões de projeto um vasto conjunto de experimentos foi realizado para analisar o comportamento do bitstream durante o processo de decodificação do CABAC. A arquitetura de hardware proposta e desenvolvida é apresentada em detalhes, tendo seu desempenho comparado com outras propostas encontradas na literatura. Os resultados obtidos mostram que a arquitetura desenvolvida é eficaz em seu objetivo, pois atinge a capacidade de processamento de vídeos em alta definição (HD1080p) em tempo real. Além disso, os experimentos realizados deram origem a observações inovadoras, que permitiram determinar os pontos chave para minimizar os gargalos inerentes ao conjunto de algoritmos que compõe o CABAC. / The technological innovations of recent decades have brought changes in the forms of human interaction especially in communication area. Advances in the areas of information technology and communications opened new horizons for creating demands non-existent so far. In this scenario the high-definition digital video for real-time applications has gained emphasis for this context. However, the challenges involved in handling the amount of information necessary for its representation, promoting research in industry and academia to minimize the impact on the bandwidth needed for transmission and / or the space for the storage. To address those problems several video compression standards have been developed and the H.264/AVC standard is the state-of-the-art. The H.264/AVC standard introduces significant gains in compression rate, compared to its predecessors. These gains are obtained by an increase in computational complexity of the techniques used, such as the CABAC. The computational requirements of H.264/AVC standard is so strong that make its implementation impractical in software (to operate on a general purpose processor) for the purpose of performing encoding or decoding in real time for high-definition video sequences. This dissertation presents a new CABAD architecture with the implementation in hardware intended to solve the problems related to the task of decoding high-definition video in real time. An introduction to fundamental concepts of data compression and digital video is presented, in addition to discussing the main features of the H.264/AVC standard. The set of algorithms the CABAC and of the CABAD decode flow are described in detail. A wide number of experiments were conducted to identify the static and dynamic behavior of the bitstream to support the design decisions. At the end the developed architecture is examined and compared with other proposals found in literature. The results show that the architecture developed is effective in its purpose to handle high-definition video (HD1080p) in real time. Furthermore, the experiments have led to innovative observations to determine the key points to minimize the bottlenecks inherent in the set of algorithms that make the CABAD.

O processo de compressão de vídeo é essencial para aplicações que utilizam vídeos digitais. O alto volume de informações contidas em um vídeo digital requer que um processo de compressão seja aplicado antes de este ser armazenado ou transmitido. O padrão H.264/AVC, estado-da-arte em termos de compressão de vídeo, introduziu um conjunto de ferramentas inéditas em relação a outros padrões, as quais possibilitam um ganho significativo em eficiência de compressão, diminuindo a taxa de bits sem perda na qualidade da imagem. Contudo, o preço deste ganho reside em um significativo aumento na complexidade de codificação. No padrão H.264/AVC, a codificação pode acontecer de acordo com um dos treze modos de codificação intra-quadro ou de acordo com um dos oito tamanhos de bloco disponíveis para a predição inter-quadros. A escolha de melhor modo utilizada pelo software de referência do padrão (JM 17.1) é baseada em uma busca exaustiva pelo melhor modo, realizando a codificação repetidamente para todos os modos até que o menor custo em termos de taxa de bits e distorção seja encontrado. Esta decisão aumenta drasticamente o fluxo de codificação, muitas vezes impossibilitando a codificação de vídeos digitais em tempo real. Neste contexto, a presente dissertação apresenta o estudo e o desenvolvimento de um conjunto de heurísticas que possibilitam a avaliação do melhor modo de codificação de bloco em um processo mais rápido que o usado pelo software de referência. Ao invés da realização do fluxo completo de codificação para todos os modos seguida por uma avaliação do melhor caso, propõe-se um conjunto de análises prévias que convergem para a decisão de apenas um modo de codificação. A redução atingida no número de repetições do processo de codificação foi de quarenta e sete vezes, ao custo de um aumento relativamente pequeno na taxa de bits. Quando comparada com outros trabalhos, a decisão rápida atingiu resultados expressivamente mais satisfatórios em termos de complexidade computacional, sem perda de qualidade ou aumento de taxa de bits significativo. Foram desenvolvidas arquiteturas de hardware que implementam as heurísticas propostas. A arquitetura de decisão intra-quadro atingiu uma frequência máxima de 105 MHz, enquanto que a arquitetura de decisão inter-quadros apresentou uma frequência de 118 MHz para dispositivos FPGA Virtex 5 da Xilinx, sendo ambas capazes de processar vídeos de alta definição em tempo real. / The video compression process is essential in digital video applications, due to the extremely high data volume present in a digital video to be stored or transmitted through a physical link. H.264/AVC, the state-of-art video coding standard, introduces a set of novel features which lead to a significant gain in terms of compression efficiency, decreasing the bit-rate without image quality losses. However, the price of this gain resides at a high complexity increase. In H.264/AVC, the encoding process can occur according to one of the thirteen intra-frame coding modes or according to one of the eight available inter-frames block sizes. In the reference software (JM 17.1), the choice of the best mode is performed through exhaustive executions of the whole encoding process. The mode which presents the lowest cost in terms of required bit-rate and image distortion is then chosen. This decision process increases significantly the encoding process, sometimes even forbidding its use in real time video coding applications. Considering this context, this thesis presents a study and the development of a set of heuristics which allow the evaluation of the best coding mode in a process which is faster than the one used by the reference software. Instead of performing the whole encoding flow for all the possible modes followed by an evaluation of the best case, this work proposes a set of pre-analysis which converge to the selection of one encoding mode. The reduction achieved in the number of repetitions of the encoding process is of forty seven times, at the cost of a relatively small bit-rate increase. When compared to other works, the fast mode decision results are expressively more satisfactory in terms of computational complexity, with no image quality loss or significant bit-rate increase. The hardware architectures which implement the proposed heuristics were also developed in this work. The architecture for intra-frame decision achieved a maximum frequency of 105 MHz, while the architecture for inter-frames decision presented a maximum frequency of 118 MHz for Virtex 5 FPGAs from Xilinx. They are both capable of processing high definition videos in real time.

As redes-em-chip (NoCs) surgiram como uma alternativa aos atuais problemas de interconexão decorrentes da redução da escala de tecnologia de fabricação de circuitos integrados. O desenvolvimento de transistores com nanômetros de largura tem permitido a inserção de sistemas altamente complexos em uma única pastilha de silício. Dessa forma, os SoCs (Systems-on-Chip) passaram a constituir inúmeros elementos de processamentos (EPs) e as NoCs têm se apresentado como uma opção eficiente no provimento da interconexão dos mesmos, permitindo maior escalabilidade e paralelismo ao sistema. No entanto, esta conexão não é realizada de forma direta. Todo sistema conectado por uma NoC necessita de interfaces de rede (NIs) para intermediar a conexão dos elementos de processamento aos roteadores da rede. O objetivo desse trabalho é apresentar soluções arquiteturais de interfaces de rede para NoCs que atendam diferentes aplicações de forma genérica. Neste trabalho foram desenvolvidas interfaces de redes reutilizáveis e parametrizáveis, e para atender a estas características, as interfaces de rede possibilitam a configuração de diversos parâmetros arquiteturais, como largura da palavra de dados dos EPs, profundidade das FIFOs das interfaces, profundidade das FIFOs da NoC e largura de dados da rede, possibilitando prover a interconexão de qualquer aplicação com um mínimo de reprojeto. As interfaces de rede, juntamente com a NoC, são responsáveis pelo desempenho da comunicação da aplicação e, para isso, o projeto de uma NI deve ser capaz de atender aos requisitos do sistema, por isso, a importância de se obter um projeto de NIs flexível. Para validar as arquiteturas das NIs desenvolvidas, os módulos do decodificador de vídeo no contexto do padrão H.264 foram conectados à NoC através das interfaces projetadas. A partir dessa implementação, puderam-se levantar diversas necessidades que devem ser atendidas pelas NIs. Por fim, foram analisados os resultados de síntese das NIs para diferentes configurações. Também foram verificados os resultados de síntese e desempenho do decodificador de vídeo H.264 conectado pelas NIs à NoC. Com relação aos resultados de síntese em FPGA, a implementação do decodificador de vídeo com NoC e NIs não apresentou um grande aumento em área quando comparada a implementação com conexão ponto-a-ponto. Além disso, para diferentes configurações das NIs, a NoC pode ser utilizada atendendo aos requisitos de desempenho exigidos pela aplicação, sem a necessidade de operar na sua máxima taxa de operação para a resolução QCIF. / Networks-on-Chip (NoCs) have emerged as an alternative to the current interconnection problems arising from the scaling technology for manufacturing integrated circuits. The development of transistors with nanometer-wide has enabled the integration of highly complex systems on a single silicon wafer. Thus, SoCs (Systemson- Chip) have integrated numerous processing elements (EPs) and NoCs have been presented as an effective option in providing the interconnection of these elements, allowing scalability and parallelism to the system. However, this connection is not done directly. Every system connected by NoC needs network interfaces to intermediate the connection of processing elements to network routers. The goal of this thesis is to present architectural solutions for network interfaces for applications in general. In this work we developed a generic, reusable and configurable network interface. The proposed network interface enables the configuration of several architectural parameters, such as data width of the packets, FIFOs depth of the interfaces, FIFO depth and data width of the NoC, and thus, being able to provide the interconnection of any application with a minimal redesign. Network interfaces, together with the NoC, are responsible for application performance and, therefore, the design of an NI should be able to support the system requirements. To validate the architecture of developed NI, the modules of H.264 decoder were connected to NoC through designed interface. From this implementation, one could raise several needs that must be supported by the NIs. Finally, we analyzed the results of synthesis of the NIs for different configurations. It was also analyzed the results of synthesis and performance of H.264 video decoder connected by NIs to NoC. According to results for FPGA synthesis, the implementation of video decoder with NoC and NIs did not show a large increase in area when compared with the implementation of peer-to-peer. Moreover, for different configurations, the NoC can be used according to time requisitions required by the application, without the need to operate at its maximum operation frequency for QCIF resolution.