Tese (doutorado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, 2017. / Submitted by Raquel Almeida (raquel.df13@gmail.com) on 2017-06-22T19:03:58Z No. of bitstreams: 1 2017_AlexandreFienodaSilva.pdf: 5179649 bytes, checksum: de1d53930e22f809bd34322d5c5270d0 (MD5) / Approved for entry into archive by Raquel Viana (raquelviana@bce.unb.br) on 2017-10-05T17:04:26Z (GMT) No. of bitstreams: 1 2017_AlexandreFienodaSilva.pdf: 5179649 bytes, checksum: de1d53930e22f809bd34322d5c5270d0 (MD5) / Made available in DSpace on 2017-10-05T17:04:26Z (GMT). No. of bitstreams: 1 2017_AlexandreFienodaSilva.pdf: 5179649 bytes, checksum: de1d53930e22f809bd34322d5c5270d0 (MD5) Previous issue date: 2017-10-05 / Um dos principais fatores para a redução da qualidade do conteúdo visual, em sistemas de imagem digital, são a presença de degradações introduzidas durante as etapas de processamento de sinais. Contudo, medir a qualidade de um vídeo implica em comparar direta ou indiretamente um vídeo de teste com o seu vídeo de referência. Na maioria das aplicações, os seres humanos são o meio mais confiável de estimar a qualidade de um vídeo. Embora mais confiáveis, estes métodos consomem tempo e são difíceis de incorporar em um serviço de controle de qualidade automatizado. Como alternativa, as métricas objectivas, ou seja, algoritmos, são geralmente usadas para estimar a qualidade de um vídeo automaticamente. Para desenvolver uma métrica objetiva é importante entender como as características perceptuais de um conjunto de artefatos estão relacionadas com suas forças físicas e com o incômodo percebido. Então, nós estudamos as características de diferentes tipos de artefatos comumente encontrados em vídeos comprimidos (ou seja, blocado, borrado e perda-de-pacotes) por meio de experimentos psicofísicos para medir independentemente a força e o incômodo desses artefatos, quando sozinhos ou combinados no vídeo. Nós analisamos os dados obtidos desses experimentos e propomos vários modelos de qualidade baseados nas combinações das forças perceptuais de artefatos individuais e suas interações. Inspirados pelos resultados experimentos, nós propomos uma métrica sem-referência baseada em características extraídas dos vídeos (por exemplo, informações DCT, a média da diferença absoluta entre blocos de uma imagem, variação da intensidade entre pixels vizinhos e atenção visual). Um modelo de regressão não-linear baseado em vetores de suporte (Support Vector Regression) é usado para combinar todas as características e estimar a qualidade do vídeo. Nossa métrica teve um desempenho muito melhor que as métricas de artefatos testadas e para algumas métricas com-referência (full-reference). / The main causes for the reducing of visual quality in digital imaging systems are the unwanted presence of degradations introduced during processing and transmission steps. However, measuring the quality of a video implies in a direct or indirect comparison between test video and reference video. In most applications, psycho-physical experiments with human subjects are the most reliable means of determining the quality of a video. Although more reliable, these methods are time consuming and difficult to incorporate into an automated quality control service. As an alternative, objective metrics, i.e. algorithms, are generally used to estimate video quality quality automatically. To develop an objective metric, it is important understand how the perceptual characteristics of a set of artifacts are related to their physical strengths and to the perceived annoyance. Then, to study the characteristics of different types of artifacts commonly found in compressed videos (i.e. blockiness, blurriness, and packet-loss) we performed six psychophysical experiments to independently measure the strength and overall annoyance of these artifact signals when presented alone or in combination. We analyzed the data from these experiments and proposed several models for the overall annoyance based on combinations of the perceptual strengths of the individual artifact signals and their interactions. Inspired by experimental results, we proposed a no-reference video quality metric based in several features extracted from the videos (e.g. DCT information, cross-correlation of sub-sampled images, average absolute differences between block image pixels, intensity variation between neighbouring pixels, and visual attention). A non-linear regression model using a support vector (SVR) technique is used to combine all features to obtain an overall quality estimate. Our metric performed better than the tested artifact metrics and for some full-reference metrics.

A tarefa de estimação de movimento, utilizada na compressão de vídeo digital, é normalmente realizada em hardware por processador dedicado, uma vez que demanda expressiva capacidade computacional. Este trabalho propõe e desenvolve uma arquitetura de hardware para realizar o cálculo dos vetores de movimento no contexto de compressão de vídeo digital. Essa arquitetura para estimação de movimento é composta pelos blocos: interface de entrada e saída (E/S), matriz de processamento com 64 elementos de processamento, unidade de comparação e unidade de controle. A arquitetura foi descrita em linguagem VHDL de maneira que o número de bits utilizados para representação da luminância dos pontos é configurável. A partir desta descrição, foi gerado um protótipo para dados representados em 4 bits utilizando um kit de desenvolvimento baseado no dispositivo FPGA XC2S150 da Xilinx. Para validação do algoritmo e da arquitetura implementada, além da simulação, foi desenvolvido um software para plataforma PC capaz de exercitar as funcionalidades do protótipo. O PC é utilizado como dispositivo controlador de E/S para esta validação, na qual uma implementação do algoritmo em software e outra em linguagem de descrição de hardware são comparadas. A máxima freqüência de trabalho do protótipo, estimada por simulação da arquitetura mapeada no FPGA XC2S150, é de 33 MHz. A esta freqüência o núcleo da arquitetura paralela de 64 elementos de processamento realiza cerca de 2,1 GOps (bilhões de operações inteiras por segundo). Esta arquitetura de hardware calcula os vetores de movimento para vídeo no formato 640x480 pontos à taxa de 107,32 quadros por segundo, ou um quadro a cada 9,3 ms. A arquitetura implementada para luminânica em 4 bits ocupa 16 pinos de E/S, 71,1% dos blocos lógicos do FPGA e 83,3% dos blocos de memória disponíveis no dispositivo XC2S150.

The robust popularization of 3D videos noticed along the last decade, allied to the omnipresence of smart mobile devices handling multimedia-capable features, has led to intense development and research focusing on efficient 3D-video encoding techniques, display technologies, and 3D-video capable mobile devices. In this scenario, the Multiview Video Coding (MVC) standard is key enabler of the current 3D-video systems by leading to meaningful data reduction through advanced encoding techniques. However, real-time MVC encoding for high definition videos demands high processing performance and, consequently, high energy consumption. These requirements are attended neither by the performance budget nor by the energy envelope available in the state-of-the-art mobile devices. As a result, the realization of MVC targeting mobile systems has been posing serious challenges to industry and academia. The main goal of this thesis is to propose and demonstrate energy-efficient MVC solutions to enable high-definition 3D-video encoding on mobile battery-powered embedded systems. To expedite high performance under severe energy constraints, this thesis proposes jointly considering energy-efficient optimizations at algorithmic and architectural levels. On the one hand, extensive application knowledge and data analysis was employed to reduce and control the MVC complexity and energy consumption at algorithmic level. On the other hand, hardware architectures specifically designed targeting the proposed algorithms were implemented applying low-power design techniques, dynamic voltage scaling, and application-aware dynamic power management. The algorithmic contribution lies in the MVC energy reduction by shorten the computational complexity of the energy-hungriest encoder blocks, the Mode Decision and the Motion and Disparity Estimation. The proposed energy-efficient algorithms take advantage of the video properties along with the strong correlation available within the 3D-Neighborhood (spatial, temporal and disparity) space in order to efficiently reduce energy consumption. Our Multi-Level Fast Mode Decision defines two complexity reduction operation modes able to provide, on average, 63% and 71% of complexity reduction, respectively. Additionally, the proposed Fast ME/DE algorithm reduces the complexity in about 83%, for the average case. Considering the run-time variations posed by changing coding parameters and video content, an Energy-Aware Complexity Adaptation algorithm is proposed to handle the energy versus coding efficiency tradeoff while providing graceful quality degradation under severe battery draining scenarios by employing asymmetric video coding. Finally, to cope with eventual video quality losses posed by the energy-efficient algorithms, we define a video quality management technique based on our Hierarchical Rate Control. The Hierarchical Rate Control implements a frame-level rate control based on a Model Predictive Controller able to increase in 0.8dB (Bjøntegaard) the overall video quality. The video quality is increased in 1.9dB (Bjøntegaard) with the integration of the basic unit-level rate control designed using Markov Decision Process and Reinforcement Learning. Even though the energy-efficient algorithms drive to meaningful energy reduction, hardware acceleration is mandatory to reach the energy-efficiency demanded by the MVC. Aware of this requirement, this thesis brings architectural solutions for the Motion and Disparity Estimation unit focusing on energy reduction while attending real-time throughput requirements. To achieve the desired results, as shown along this volume, there is a need to reduce the energy related to the ME/DE computation and related to the intense memory communication. Therefore, the ME/DE architectures incorporate the Fast ME/DE algorithm in order to reduce the computational complexity while the memory hierarchy was carefully designed to find the optimal energy tradeoff between external memory accesses and on-chip video memory size. Statistical analysis where used to define the size and organization of the on-chip cache memory while avoiding increased memory misses and the consequent data retransmission. A prefetching technique based on search window prediction also supports the reduction of external memory access. Moreover, a memory power gating technique based on dynamic search window formation and an application aware power management were proposed to reduce the static energy consumption related to on-chip video memory. To implement these techniques a SRAM memory featuring multiple power states was used. The architectural contribution contained in this thesis extends the state-of-the-art by achieving real-time ME/DE processing for 4-views HD1080p running at 300MHz and consuming 57mW.

Rastros do desenho e seus desdobramentos no vídeo digital. Esta pesquisa investiga as possibilidades de intersecção entre o desenho e o vídeo digital a partir da minha produção em artes visuais. A abordagem perpassa gestos de inscrição sobre a matéria constituindo um repertório de operações gráficas que migram para procedimentos em softwares digitais. Foram exploradas a captura (entrada) e a projeção (saída) de imagens, a partir da transdução, conceito de Júlio Plaza, que embasa a passagem dos sinais analógicos para o digital. A investigação também percorre o trânsito entre práticas do desenho, da programação aleatória e do vídeo digital, como fazeres interligados que constituem um campo de hibridação em arte e tecnologia. O estudo do termo metaficção, proposto por Linda Hutcheon, é apontado nas criações audiovisuais dos artistas Dziga Vertov, Jean Rouch e Willian Kentridge, a fim de traçar uma abordagem teórica cruzando questões processuais desses artistas. É realizada a análise do termo mise-in-abyme e o aspecto autorreflexivo como abismo espelhado no processo de criação, em relação às obras de René Magritte e Jeffrey Shaw. Por fim, apresento uma abordagem sobre o conceito de estratégia na criação de dispositivos para arte e a vídeoinstalação abrangendo correlações entre o desenho, vídeo, espaço perceptivo e público. / “Traces of the draw and its development in digital video” it's about an investigation into the possibilities of intersection between design and digital video from my production of visual arts. The research approaches on how the acts of inscription on the subject constitute a repertoire of graphics operations that are migrating to digital software procedures. Accordingly is exploited to capture (input) and projection (output) images from the transduction, Júlio Plaza's concept, which supports this transition from analog to digital. The investigation of the transit between the practices of draw, random programming and digital video, as interconnected doings that constitute a field of hybridization in art and technology. The study of the term "metafiction" proposed by Linda Hutcheon, appointed in audiovisual creations of artists Dziga Vertov, Jean Rouch and William Kentridge, in order to chart a theoretical approach to procedural issues across these artists. The analysis of the term mise-in-abyme and the self reflective aspect like an abyss mirrored in the process of creation in relation to the works of René Magritte and Jeffrey Shaw. Finally, a discussion about the concept of strategy in creating devices for art and video installation involving correlations between drawing, video, perceptual space and audience.

Tese (Doutorado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2012. / Submitted by Jaqueline Ferreira de Souza (jaquefs.braz@gmail.com) on 2013-01-09T13:30:16Z No. of bitstreams: 1 2012_TiagoAlvesdaFonseca.pdf: 2737366 bytes, checksum: 49bfac5f59a5985f7817408abd290da2 (MD5) / Approved for entry into archive by Marília Freitas(marilia@bce.unb.br) on 2013-01-10T13:41:42Z (GMT) No. of bitstreams: 1 2012_TiagoAlvesdaFonseca.pdf: 2737366 bytes, checksum: 49bfac5f59a5985f7817408abd290da2 (MD5) / Made available in DSpace on 2013-01-10T13:41:42Z (GMT). No. of bitstreams: 1 2012_TiagoAlvesdaFonseca.pdf: 2737366 bytes, checksum: 49bfac5f59a5985f7817408abd290da2 (MD5) / Um dos tipos de sinais que mais se beneficiou dos avanços tecnológicos e industriais recentes foi o vídeo digital. O barateamento de sistemas de aquisição e a evolução das técnicas de processamento de sinais difundiu o emprego de sistemas de vídeo digital nas mais diversas aplicações. Uma das peças fundamentais dessa popularização foi a evolução dos codificadores de vídeo digital, culminando com o padrão H.264/AVC, considerado estado da arte em compressão de vídeo. Sua ampla gama de ferramentas de codificação tornou o conjunto complexo em termos computacionais, deixando como desafio a projetistas de sistemas de hardware e de software a otimização das metodologias do padrão para a devida realização do H.264/AVC em produtos comercialmente viáveis. Esta tese abordará a análise do codificador H.264/AVC sob a ótica do esforço computacional envolvido em sua operação a partir de implementações em software executadas em computadores pessoais. A primeira contribuição trata de uma metodologia de otimização on-line do módulo de predições de forma a restringir a complexidade computacional da codificação a uma determinada provisão. A segunda contribuição apresentada estende o conceito de otimização RD com a inserção de mais um eixo de análise, o eixo da complexidade C. Duas implementações de alto desempenho computacional foram estudadas e otimizadas em termos de RDC. Derivou-se, a partir de treinamento off-line, dois arranjos de codificadores capazes de comprimir vídeo digital a velocidades controladas em faixas de valores de interesse prático. Por fim, uma última contribuição altera o esquema de otimização RDC e adiciona o eixo da energia demandada E ao problema de otimização RD, resultando num sistema em tempo real otimizado em termos de RDE. O codificador proposto otimizado por demanda energética é capaz de escalonar o consumo de energia em valores significativos às custas de impacto mínimo em termos de desempenho RD. Essa contribuição resume-se em um exemplo real de computação verde, em que uma atividade computacional é realizada por um mesmo equipamento, gastando menos energia e exposto a pequenas penalidades em termos de desempenho. Com isso, esperamos estar contribuindo para um sistema mais “verde”, reduzindo as emissões de carbono de servidores de computação intensiva. _______________________________________________________________________________________ ABSTRACT / Digital video communications were largely benefited from advances in technology and in industrial processes. The falling prices of acquisition devices and the evolution of signal processing made digital video an ubiquitous technology. Digital video encoders are the cornerstone for the popularity of video technologies and its state-of-the-art is represented by the H.264/AVC standard. The myriad of coding tools made the H.264/AVC a massively complex application, imposing challenges to hardware and software designers when realizing commercial appliances. This thesis analyses the H.264/AVC complexity when implemented in software and executed on personal computers. The first contribution leads to a on-line optimization method for the prediction stage in order to constrain the complexity to a certain level. The approach uses mode ranking and yields substantive complexity reduction. The second contribution extends the RD optimization framework adding a third analysis axis, the complexity C axis. Two high performance implementations were studied and RDC optimized. We derived a framework that allow for practical values of encoding speed with minor performance penalties. The RDC optimization framework was also modified by adding another axis to the optimization: the energy E axis. We provide a real-time RDE optimized scheme which is capable of scaling the energy demands in a significant range, slightly impacting the RD performance. This third contribution is a true example of green computingwhere the same task is accomplished in the same hardware system with much less energy consumption, incurring only is small performance penalties. Since we can provide settings to meet the rate and distortion targets, as well as the maximum encoding speed, using less energy, we hope to contribute towards a “greener” system, reducing the carbon footprint of video compression servers.

Dissertação (mestrado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2012. / Submitted by Albânia Cézar de Melo (albania@bce.unb.br) on 2013-02-04T12:22:19Z No. of bitstreams: 1 2012_BernardoVergneDias.pdf: 4319829 bytes, checksum: 8a90cb4ded8907fa7c73d4c0ebbdb0f3 (MD5) / Approved for entry into archive by Guimaraes Jacqueline(jacqueline.guimaraes@bce.unb.br) on 2013-05-06T14:09:07Z (GMT) No. of bitstreams: 1 2012_BernardoVergneDias.pdf: 4319829 bytes, checksum: 8a90cb4ded8907fa7c73d4c0ebbdb0f3 (MD5) / Made available in DSpace on 2013-05-06T14:09:07Z (GMT). No. of bitstreams: 1 2012_BernardoVergneDias.pdf: 4319829 bytes, checksum: 8a90cb4ded8907fa7c73d4c0ebbdb0f3 (MD5) / A distribuição de fluxo contínuo de vídeo (video streaming) é, atualmente, uma das aplicações de maior sucesso na Internet, sendo as redes par-a-par (P2P, Peer-to-Peer), baseadas em princípios como a escalabilidade e o compartilhamento de recursos, uma das opções importantes para contribuir para a solução de diversos gargalos decorrentes do emprego da tradicional arquitetura cliente-servidor, comumente presente na Internet. Por outro lado, esquemas de codificação de vídeo têm sido recentemente propostos, que permitem o ajuste entre a disponibilidade de recursos (banda) de rede e a quantidade de informação (camadas) sendo enviada para transmissão. Dentre tais esquemas, destaca-se o H.264 SVC (Scalable Video Coding), normatizado pela ITU-T (International Telecommunication Union). Dessa forma, o trabalho inicia-se com a apresentação de conceitos relativos à codificação escalável de vídeo bem como sobre alternativas relativas à distribuição de vídeo sobre redes P2P. Adicionalmente, o trabalho discute alternativas de protocolos de controle de congestionamento multidestinatário, considerando-se a importância desse controle para a distribuição de sequencias de vídeo e o tratamento de tráfego de tempo real na Internet. Uma arquitetura adaptativa para transmissão multidestinatária e ao vivo de vídeo escalável em rede P2P é então proposta, que se baseia, inicialmente, na definição de um paradigma de compressão de vídeo em blocos independentes, de curto intervalo de tempo, contendo uma ou algumas unidades completas de GOP (Group of Pictures). Para esse fim, os blocos são codificados no padrão H.264 SVC, e dotados das três dimensões de escalabilidade – temporal, espacial e de qualidade, sendo tal padrão adotado como forma de prover adaptabilidade. É apresentado, em seguida, um formato para encapsulamento dos blocos de vídeo em pacotes que serão transmitidos com emprego do protocolo RTP (Real-Time Protocol). A transmissão dar-se-á via rede lógica de sobreposição (overlay) organizada em árvore (Tree-based) valendo-se da estratégia de comunicação Push. O Scribe – protocolo descentralizado e escalável construído sobre uma rede em malha Pastry – é utilizado para criação de grupos multidestinatários (Multicast) na topologia árvore. O RTP é estendido para embarcar informações do protocolo de controle de congestionamento TFMCC (TCP-Friendly Multicast Congestion Control), o qual auxiliará o processo de ajuste dinâmico da qualidade de vídeo dos blocos SVC, compondo então, esse esquema, uma estratégia de CAT (Content Adaptation Technique). O TFMCC alimenta-se de parâmetros de QoS (Quality of Service), que serão mensurados pelos nós participantes da rede de transmissão do vídeo; além disso, este protocolo requer sinalização de retorno (feedback), que ocorrerá por canal de comunicação inverso, adicionado na rede Scribe. A literatura mostra que o TFMCC, especialmente em função de seu comportamento justo e moderadamente agressivo, se adequa bem no contexto de transmissão contínua de vídeo considerado nesta obra. A proposta inclui também o emprego de técnica de retransmissão da camada base de forma a poder compensar perdas de bloco buscando assegurar uma quantidade mínima de informação para reprodução de vídeo. A arquitetura proposta visa oferecer ao usuário melhor qualidade de experiência em transmissões ao vivo e de grande escala, sendo avaliada, a título preliminar, pela realização de testes em diferentes cenários e com base em diferentes sequências de vídeo. ______________________________________________________________________________ ABSTRACT / Video streaming is currently one of the most successful applications on the Internet and P2P (Peer-to-Peer) network, based on scalability and resource sharing principles, is one of the important options to contribute to solve many bottlenecks that result from the use of traditional client-server architecture, commonly present on the Internet. Furthermore, video encoding schemes have been recently proposed to allow adjustment between the availability of resources (bandwidth) of the network and the amount of information (layers) being sent. Among these schemes, we highlight the H.264 SVC (Scalable Video Coding), standardized by ITU-T (International Telecommunication Union). In this way, the work begins with the presentation of concepts of scalable video coding as well as alternatives for distribution of video over P2P networks. Additionally, this work discusses alternatives of multicast congestion control protocols, considering the importance of this control for the distribution of video sequences and processing of real-time traffic on the Internet. An adaptive architecture for live streaming of scalable video over P2P network is then proposed, which is based initially on the definition of a paradigm of video compression based on independent compressed blocks of short time interval, containing one or more GOP (Group of Pictures). To this end, the blocks are encoded in H.264 SVC (Scalable Video Coding) endowed with the three dimensions of scalability - temporal, spatial and quality. Such standard was adopted in order to provide adaptability. It is presented a format for encapsulation of video blocks for transmission over RTP (Real-Time Protocol). A tree-based overlay network is used for content distribution according to the Push strategy. The Scribe - a scalable application-level multicast infrastructure – which is built on top of Pastry – a decentralized and large-scale mesh peer-to-peer system - is used to create the multicast groups in a tree topology. The RTP is extended to support piggybacking of TFMCC (TCP-Friendly Multicast Congestion Control) protocol, which will assist the process of dynamic adjustment of video quality of the SVC blocks. This overall scheme composes a CAT (Content Adaptation Technique). The TFMCC takes as input a set of QoS (Quality of Service) parameters, which will be measured by the nodes of the tree overlay network. In addition, this protocol requires feedback of reports. To meet this need, a return channel is added to the Scribe. Related works show that the TFMCC, especially in light of his fair and moderately aggressive behavior, fits well in the context of video streaming addressed in this work. The proposal also includes a technique of retransmission of the base layer in order to compensate block losses, aiming to ensure a minimal amount of information for video playback. The architecture outlined aims to provide the highest quality user experience in live broadcasts and large scale, being evaluated, at first glance, by testing in different scenarios and based on different video sequences.

Tese (doutorado)—Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Elétrica, 2012. / Submitted by Alaíde Gonçalves dos Santos (alaide@unb.br) on 2013-04-17T13:29:00Z No. of bitstreams: 1 2012_DiogoCaetanoGarcia.pdf: 15878878 bytes, checksum: 91fe8abc8437486d6c943da6fb83374d (MD5) / Approved for entry into archive by Guimaraes Jacqueline(jacqueline.guimaraes@bce.unb.br) on 2013-04-17T14:00:13Z (GMT) No. of bitstreams: 1 2012_DiogoCaetanoGarcia.pdf: 15878878 bytes, checksum: 91fe8abc8437486d6c943da6fb83374d (MD5) / Made available in DSpace on 2013-04-17T14:00:13Z (GMT). No. of bitstreams: 1 2012_DiogoCaetanoGarcia.pdf: 15878878 bytes, checksum: 91fe8abc8437486d6c943da6fb83374d (MD5) / Sequências de múltiplas vistas emergiram recentemente, gerando uma série de aplicações imersivas, tais como como televisões 3D, telas autoestereoscópicas e televisão de ponto-de-vista livre. Em compensação, surgem considerações técnicas, tais como o aumento das taxas de transmissão e da complexidade computacional, em uma escala muito maior do que grande parte dos sistemas de transmissão atuais está preparada para suportar. Uma alternativa viável para muito sistemas é a codificação em resolução mista, amparada por diversos estudos que indicam que a visão binocular não é afetada quando uma das vistas é mais borrada que a outra. O sistema visual humano compensa a falta de detalhes com os detalhes da outra vista, tornando a visão estéreo subjetivamente muito próxima ao resultado obtido quando não se borra uma das vistas. Em compensação, esta arquitetura não é viável para sistemas de ponto-de-vista livre, pois os usuários podem escolher ver a vista borrada em um dado momento. A presente tese propõe três métodos de super-resolução para sequências de múltiplas vistas em resolução mista, nos quais as vistas em resolução normal são utilizadas para recuperar detalhes de alta frequência nas vistas em tamanho reduzido. Diversos testes com sequências reais e sintéticas, realizados com e sem codificação H.264/AVC, mostram ganhos objetivos de qualidade significativos para os métodos propostos, recuperando detalhes de alta frequência para as vistas em tamanho reduzido. _______________________________________________________________________________________________________________________________ ABSTRACT / Multiview sequences recently emerged, generating a number of immersive applications such as 3D TV, auto-stereoscopic screens ad free-viewpoint TV. On the other hand, several technical considerations emerge, like data-rate and computational-complexitv growth, in a much larger scale than many current transmission systems can bear. A viable alternative is mixed resolution coding, based on studies that indicate that binocular vision is not affected when one of the views is blurrier than the other. The human visual system compensates the lack of details with the details in the other view, making stereo vision subjectively very close to the results obtained when one of the views is not blurred. However, this system is not viable for free-viewpoint systems, as users may choose the blurred view at any given time. The present thesis proposes three super-resolution methods for mixed-resolution multiview sequences, using full-resolution views to recover high- frequency details for the low-resolution views. Several tests with real and synthetic sequences, made with and without 11.20 1 AYC coding, show significant objective quality gains for the proposed method, recovering high-frequency details for the low-resolution views.

Rastros do desenho e seus desdobramentos no vídeo digital. Esta pesquisa investiga as possibilidades de intersecção entre o desenho e o vídeo digital a partir da minha produção em artes visuais. A abordagem perpassa gestos de inscrição sobre a matéria constituindo um repertório de operações gráficas que migram para procedimentos em softwares digitais. Foram exploradas a captura (entrada) e a projeção (saída) de imagens, a partir da transdução, conceito de Júlio Plaza, que embasa a passagem dos sinais analógicos para o digital. A investigação também percorre o trânsito entre práticas do desenho, da programação aleatória e do vídeo digital, como fazeres interligados que constituem um campo de hibridação em arte e tecnologia. O estudo do termo metaficção, proposto por Linda Hutcheon, é apontado nas criações audiovisuais dos artistas Dziga Vertov, Jean Rouch e Willian Kentridge, a fim de traçar uma abordagem teórica cruzando questões processuais desses artistas. É realizada a análise do termo mise-in-abyme e o aspecto autorreflexivo como abismo espelhado no processo de criação, em relação às obras de René Magritte e Jeffrey Shaw. Por fim, apresento uma abordagem sobre o conceito de estratégia na criação de dispositivos para arte e a vídeoinstalação abrangendo correlações entre o desenho, vídeo, espaço perceptivo e público. / “Traces of the draw and its development in digital video” it's about an investigation into the possibilities of intersection between design and digital video from my production of visual arts. The research approaches on how the acts of inscription on the subject constitute a repertoire of graphics operations that are migrating to digital software procedures. Accordingly is exploited to capture (input) and projection (output) images from the transduction, Júlio Plaza's concept, which supports this transition from analog to digital. The investigation of the transit between the practices of draw, random programming and digital video, as interconnected doings that constitute a field of hybridization in art and technology. The study of the term "metafiction" proposed by Linda Hutcheon, appointed in audiovisual creations of artists Dziga Vertov, Jean Rouch and William Kentridge, in order to chart a theoretical approach to procedural issues across these artists. The analysis of the term mise-in-abyme and the self reflective aspect like an abyss mirrored in the process of creation in relation to the works of René Magritte and Jeffrey Shaw. Finally, a discussion about the concept of strategy in creating devices for art and video installation involving correlations between drawing, video, perceptual space and audience.

The robust popularization of 3D videos noticed along the last decade, allied to the omnipresence of smart mobile devices handling multimedia-capable features, has led to intense development and research focusing on efficient 3D-video encoding techniques, display technologies, and 3D-video capable mobile devices. In this scenario, the Multiview Video Coding (MVC) standard is key enabler of the current 3D-video systems by leading to meaningful data reduction through advanced encoding techniques. However, real-time MVC encoding for high definition videos demands high processing performance and, consequently, high energy consumption. These requirements are attended neither by the performance budget nor by the energy envelope available in the state-of-the-art mobile devices. As a result, the realization of MVC targeting mobile systems has been posing serious challenges to industry and academia. The main goal of this thesis is to propose and demonstrate energy-efficient MVC solutions to enable high-definition 3D-video encoding on mobile battery-powered embedded systems. To expedite high performance under severe energy constraints, this thesis proposes jointly considering energy-efficient optimizations at algorithmic and architectural levels. On the one hand, extensive application knowledge and data analysis was employed to reduce and control the MVC complexity and energy consumption at algorithmic level. On the other hand, hardware architectures specifically designed targeting the proposed algorithms were implemented applying low-power design techniques, dynamic voltage scaling, and application-aware dynamic power management. The algorithmic contribution lies in the MVC energy reduction by shorten the computational complexity of the energy-hungriest encoder blocks, the Mode Decision and the Motion and Disparity Estimation. The proposed energy-efficient algorithms take advantage of the video properties along with the strong correlation available within the 3D-Neighborhood (spatial, temporal and disparity) space in order to efficiently reduce energy consumption. Our Multi-Level Fast Mode Decision defines two complexity reduction operation modes able to provide, on average, 63% and 71% of complexity reduction, respectively. Additionally, the proposed Fast ME/DE algorithm reduces the complexity in about 83%, for the average case. Considering the run-time variations posed by changing coding parameters and video content, an Energy-Aware Complexity Adaptation algorithm is proposed to handle the energy versus coding efficiency tradeoff while providing graceful quality degradation under severe battery draining scenarios by employing asymmetric video coding. Finally, to cope with eventual video quality losses posed by the energy-efficient algorithms, we define a video quality management technique based on our Hierarchical Rate Control. The Hierarchical Rate Control implements a frame-level rate control based on a Model Predictive Controller able to increase in 0.8dB (Bjøntegaard) the overall video quality. The video quality is increased in 1.9dB (Bjøntegaard) with the integration of the basic unit-level rate control designed using Markov Decision Process and Reinforcement Learning. Even though the energy-efficient algorithms drive to meaningful energy reduction, hardware acceleration is mandatory to reach the energy-efficiency demanded by the MVC. Aware of this requirement, this thesis brings architectural solutions for the Motion and Disparity Estimation unit focusing on energy reduction while attending real-time throughput requirements. To achieve the desired results, as shown along this volume, there is a need to reduce the energy related to the ME/DE computation and related to the intense memory communication. Therefore, the ME/DE architectures incorporate the Fast ME/DE algorithm in order to reduce the computational complexity while the memory hierarchy was carefully designed to find the optimal energy tradeoff between external memory accesses and on-chip video memory size. Statistical analysis where used to define the size and organization of the on-chip cache memory while avoiding increased memory misses and the consequent data retransmission. A prefetching technique based on search window prediction also supports the reduction of external memory access. Moreover, a memory power gating technique based on dynamic search window formation and an application aware power management were proposed to reduce the static energy consumption related to on-chip video memory. To implement these techniques a SRAM memory featuring multiple power states was used. The architectural contribution contained in this thesis extends the state-of-the-art by achieving real-time ME/DE processing for 4-views HD1080p running at 300MHz and consuming 57mW.

A tarefa de estimação de movimento, utilizada na compressão de vídeo digital, é normalmente realizada em hardware por processador dedicado, uma vez que demanda expressiva capacidade computacional. Este trabalho propõe e desenvolve uma arquitetura de hardware para realizar o cálculo dos vetores de movimento no contexto de compressão de vídeo digital. Essa arquitetura para estimação de movimento é composta pelos blocos: interface de entrada e saída (E/S), matriz de processamento com 64 elementos de processamento, unidade de comparação e unidade de controle. A arquitetura foi descrita em linguagem VHDL de maneira que o número de bits utilizados para representação da luminância dos pontos é configurável. A partir desta descrição, foi gerado um protótipo para dados representados em 4 bits utilizando um kit de desenvolvimento baseado no dispositivo FPGA XC2S150 da Xilinx. Para validação do algoritmo e da arquitetura implementada, além da simulação, foi desenvolvido um software para plataforma PC capaz de exercitar as funcionalidades do protótipo. O PC é utilizado como dispositivo controlador de E/S para esta validação, na qual uma implementação do algoritmo em software e outra em linguagem de descrição de hardware são comparadas. A máxima freqüência de trabalho do protótipo, estimada por simulação da arquitetura mapeada no FPGA XC2S150, é de 33 MHz. A esta freqüência o núcleo da arquitetura paralela de 64 elementos de processamento realiza cerca de 2,1 GOps (bilhões de operações inteiras por segundo). Esta arquitetura de hardware calcula os vetores de movimento para vídeo no formato 640x480 pontos à taxa de 107,32 quadros por segundo, ou um quadro a cada 9,3 ms. A arquitetura implementada para luminânica em 4 bits ocupa 16 pinos de E/S, 71,1% dos blocos lógicos do FPGA e 83,3% dos blocos de memória disponíveis no dispositivo XC2S150.