by Lai Chun Kit. / Thesis (M.Phil.)--Chinese University of Hong Kong, 1998. / Includes bibliographical references (leaves 68-70). / Abstract also in Chinese. / ACKNOWLEDGMENTS --- p.IV / ABSTRACT --- p.v / Chapter Chapter 1 --- Traditional Image and Video Coding --- p.1 / Chapter 1.1 --- Introduction --- p.1 / Chapter 1.2 --- Fundamental Principle of Compression --- p.1 / Chapter 1.3 --- Entropy - Value of Information --- p.2 / Chapter 1.4 --- Performance Measure --- p.3 / Chapter 1.5 --- Image Coding Overview --- p.4 / Chapter 1.5.1 --- Digital Image Formation --- p.4 / Chapter 1.5.2 --- Needs of Image Compression --- p.4 / Chapter 1.5.3 --- Classification of Image Compression --- p.5 / Chapter 1.5.4 --- Transform Coding --- p.6 / Chapter 1.6 --- Video Coding Overview --- p.8 / Chapter Chapter 2 --- Discrete Wavelets Transform (DWT) and Subband Coding --- p.11 / Chapter 2.1 --- Subband Coding --- p.11 / Chapter 2.1.1 --- Introduction --- p.11 / Chapter 2.1.2 --- Quadrature Mirror Filters (QMFs) --- p.12 / Chapter 2.1.3 --- Subband Coding for Image --- p.13 / Chapter 2.2 --- Discrete Wavelets Transformation (DWT) --- p.15 / Chapter 2.2.1 --- Introduction --- p.15 / Chapter 2.2.2 --- Wavelet Theory --- p.15 / Chapter 2.2.3 --- Comparison Between Fourier Transform and Wavelet Transform --- p.16 / Chapter Chapter 3 --- Non-expansive Symmetric Extension --- p.19 / Chapter 3.1 --- Introduction --- p.19 / Chapter 3.2 --- Types of extension scheme --- p.19 / Chapter 3.3 --- Non-expansive Symmetric Extension and Symmetric Sub-sampling --- p.21 / Chapter Chapter 4 --- Content-based Video Coding in MPEG-4 Purposed Standard --- p.24 / Chapter 4.1 --- Introduction --- p.24 / Chapter 4.2 --- Motivation of the new MPEG-4 standard --- p.25 / Chapter 4.2.1 --- Changes in the production of audio-visual material --- p.25 / Chapter 4.2.2 --- Changes in the consumption of multimedia information --- p.25 / Chapter 4.2.3 --- Reuse of audio-visual material --- p.26 / Chapter 4.2.4 --- Changes in mode of implementation --- p.26 / Chapter 4.3 --- Objective of MPEG-4 standard --- p.27 / Chapter 4.4 --- Technical Description of MPEG-4 --- p.28 / Chapter 4.4.1 --- Overview of MPEG-4 coding system --- p.28 / Chapter 4.4.2 --- Shape Coding --- p.29 / Chapter 4.4.3 --- Shape Adaptive Texture Coding --- p.33 / Chapter 4.4.4 --- Motion Estimation and Compensation (ME/MC) --- p.35 / Chapter Chapter 5 --- Shape Adaptive Wavelet Transformation Coding Scheme (SA WT) --- p.36 / Chapter 5.1 --- Shape Adaptive Wavelet Transformation --- p.36 / Chapter 5.1.1 --- Introduction --- p.36 / Chapter 5.1.2 --- Description of Transformation Scheme --- p.37 / Chapter 5.2 --- Quantization --- p.40 / Chapter 5.3 --- Entropy Coding --- p.42 / Chapter 5.3.1 --- Introduction --- p.42 / Chapter 5.3.2 --- Stack Run Algorithm --- p.42 / Chapter 5.3.3 --- ZeroTree Entropy (ZTE) Coding Algorithm --- p.45 / Chapter 5.4 --- Binary Shape Coding --- p.49 / Chapter Chapter 6 --- Simulation --- p.51 / Chapter 6.1 --- Introduction --- p.51 / Chapter 6.2 --- SSAWT-Stack Run --- p.52 / Chapter 6.3 --- SSAWT-ZTR --- p.53 / Chapter 6.4 --- Simulation Results --- p.55 / Chapter 6.4.1 --- SSAWT - STACK --- p.55 / Chapter 6.4.2 --- SSAWT ´ؤ ZTE --- p.56 / Chapter 6.4.3 --- Comparison Result - Cjpeg and Wave03. --- p.57 / Chapter 6.5 --- Shape Coding Result --- p.61 / Chapter 6.6 --- Analysis --- p.63 / Chapter Chapter 7 --- Conclusion --- p.64 / Appendix A: Image Segmentation --- p.65 / Reference --- p.68

The first part of this thesis studies advanced wavelet transform techniques for scalable still image object coding. In order to adapt to the content of a given signal and obtain more flexible adaptive representation, two advanced wavelet transform techniques, wavelet packet transform and directional wavelet transform, are developed for object-based image coding. Extensive experiments demonstrate that the new wavelet image coding systems perform comparable to or better than state-of-the-art in image compression while possessing some attractive features such as object-based coding functionality and high coding scalability. / The objective of this thesis is to develop an object-based coding framework built upon a family of wavelet coding techniques for a variety of arbitrarily shaped visual object scalable coding applications. Two kinds of arbitrarily shaped visual object scalable coding techniques are investigated in this thesis. One is object-based scalable wavelet still image coding; another is object-based scalable wavelet video coding. / The second part of this thesis investigates various components of object-based scalable wavelet video coding. A generalized 3-D object-based directional threading, which unifies the concepts of temporal motion threading and spatial directional threading, is seamlessly incorporated into 3-D shape-adaptive directional wavelet transform to exploit the spatio-temporal correlation inside the 3-D video object. To improve the computational efficiency of multi-resolution motion estimation (MRME) in shift-invariant wavelet domain, two fast MRME algorithms are proposed for wavelet-based scalable video coding. As demonstrated in the experiments, the proposed 3-D object-based wavelet video coding techniques consistently outperform MPEG-4 and other wavelet-based schemes for coding arbitrarily shaped video object, while providing full spatio-temporal-quality scalability with non-redundant 3-D subband decomposition. / Liu, Yu. / Adviser: King Ngi Ngan. / Source: Dissertation Abstracts International, Volume: 70-06, Section: B, page: 3693. / Thesis (Ph.D.)--Chinese University of Hong Kong, 2008. / Includes bibliographical references (leaves 166-173). / Electronic reproduction. Hong Kong : Chinese University of Hong Kong, [2012] System requirements: Adobe Acrobat Reader. Available via World Wide Web. / Electronic reproduction. [Ann Arbor, MI] : ProQuest Information and Learning, [200-] System requirements: Adobe Acrobat Reader. Available via World Wide Web. / Abstracts in English and Chinese. / School code: 1307.

A Internet consolidou as redes IP como uma infra-estrutura de transporte de dados barata e versátil, fato que justifica o crescente interesse nela como infraestrutura de transporte para outros serviços, como telefonia e TV. Esta convergência de serviços tem base no amadurecimento das tecnologias de redes de transmissão de dados, que proporcionou o aumento da velocidade de conexão residencial, tornando cada vez mais viável o uso de aplicações multimídia, inclusive em tempo real. Desta demanda de serviços convergentes, nasceu a digitalização da TV e, posteriormente, a possibilidade de transmissão pelas redes IP, conhecida como IPTV. Este trabalho analisa o cenário atual de IPTV para distribuição de conteúdo multimídia em redes de acesso privadas. Parte-se da necessidade de mecanismos de segurança para distribuição e controle do consumo das mídias digitais no sistema. O trabalho analisa, portanto, mecanismos para descrição inequívoca dos direitos que os usuários têm sobre o conteúdo adquirido, bem como a utilização de tecnologias para a transmissão do conteúdo de forma segura. O trabalho visa contribuir para a comunidade científica a partir da utilização de padrões abertos na especificação de um elemento de distribuição de vídeo em uma plataforma IPTV. Este elemento se baseia em políticas de uso da linguagem de expressão de direitos do MPEG-21 para reforçar os direitos de autoria e distribuição do conteúdo durante seu manuseio em toda a cadeia de negócios. / Internet consolidated IP networks as a versatile and accessible data transport infrastructure, thus justifying the growing interest on it as a transport network for several services, such as telephony and TV. The convergence leverages on the maturity of network technologies, responsible for the increasing availability of bandwidth for residential access, making the use of multimedia applications, including interactive ones, possible. From the demand for convergence, Digital TV has born, and later on, its transmission through IP networks, know as IPTV. This work analyzes current IPTV scenario for multimedia content distribution in the scope of private networks. It is based on the need for security mechanisms for digital content delivering and control of consumption in the system. Therefore it analyzes mechanisms for rights description, as well as security transmission of content. This work\'s contribution stems from the reutilization of open standards in the specification of a distribution broker in the IPTV environment. Such broker is based on the MPEG-21 digital rights description to enforce copyright of digital content during handling in the entire value chain.

Un processus de convergence des techniques algorithmiques de deux domaines autrefois disjoints, convergence facilité par l'émergence de normes telles que MPEG-4, s'est engagé au cours de ces dernières années. Grâce au concept de codage par objets, une scène peut être reconstituée par la composition de divers objets dans un ordre déterminé. <br />Cette thèse s'inscrit dans le cadre de la composition d'objets visuels qui peuvent être de natures différentes (séquences vidéo, images fixes, objets synthétiques 3D, etc.). Néanmoins, les puissances de calcul nécessaires afin d'effectuer cette composition demeurent prohibitives sans mise en place d'accélérateurs matériels spécialisés et deviennent critiques dans un contexte de terminal portable.<br />Une revue tant algorithmique qu'architecturale des différents domaines est effectuée afin de souligner à la fois les points de convergence et de différence. Ensuite, trois axes (interdépendants) de réflexions concernant les problématiques de représentation des données, d'accès aux données et d'organisation des traitements sont principalement discutés.<br />Ces réflexions sont alors appliquées au cas concret d'un terminal portable pour la labiophonie : application de téléphonie où le visage de l'interlocuteur est reconstruit à partir d'un maillage de triangles et d'un placage de texture. Une architecture unique d'un compositeur d'image capable de traiter indifféremment ces objets visuels est ensuite définie. Enfin, une synthèse sur une plateforme de prototypage de cet opérateur autorise une comparaison avec des solutions existantes, apparues pour la plupart au cours de cette thèse.

L'objectif de la thèse de doctorat présentée dans ce mémoire est de proposer des techniques et des méthodologies nouvelles, simples et efficaces pour l'adaptation de contenu multimédia à diverses contraintes de contexte d'utilisation. Le travail est basé sur des parties de la norme MPEG-21 en cours de définition, qui vise à définir les différents composants d'un système de distribution de contenus multimédia. Le travail de cette thèse est divisé en deux parties principales: l'adaptation de médias uniques, et l'adaptation sémantique de documents multimédia composés. Dans l'adaptation de médias uniques, le média est adapté aux contraintes du contexte de consommation, telles que les capacités du terminal, les préférences de l'utilisateur, les capacités du réseau, les recommandations de l'auteur, etc... Dans cette forme d'adaptation, le média est considéré hors de tout contexte de présentation multimédia structurée, ou indépendamment de la composition multimédia (scène) dans laquelle il est utilisé. Nous avons défini des outils et descripteurs, étendant les outils et descripteurs MPEG-21 DIA, pour la description des suggestions d'adaptation de médias (également appelée Conversion de Ressource), et la description des paramètres correspondants. Nous avons réalisé un moteur d'adaptation de médias qui fonctionne selon ces suggestions ainsi que selon les contraintes du contexte, et qui applique au media, la forme la plus appropriée d'adaptation avec des valeurs optimales des paramètres d'adaptation, afin d'obtenir la meilleure qualité d'utilisation. Durant cette partie du travail, nous avons apporté plusieurs contributions à la norme MPEG-21 DIA. Dans l'adaptation sémantique de documents multimédia structurés, nous avons considéré l'adaptation selon les relations temporelles, spatiales et sémantiques entre les objets média de la scène. En adaptant une présentation multimédia afin de préserver l'uniformité et la logique de la scène adaptée, le processus d'adaptation doit avoir accès à l'information sémantique de la présentation. Nous avons défini un langage d'extension de la description de scène pour l'expression de cette information sémantique, à base de descripteurs. Ces descripteurs contiennent des informations fournies par l'auteur de la scène multimédia, ou par n'importe quelle autre entité dans la chaîne de livraison multimédia. L'information incluse dans ces descripteurs aide le moteur d'adaptation à décider de la forme et de la nature optimales des adaptations qui doivent être appliquées au document. Cette information consiste en une information sémantique indépendante de chaque objet média, les dépendances sémantiques entre les objets média de la scène et les préférences sémantiques sur la fragmentation de scène. Pour la réalisation d'un tel système d'adaptation, nous avons utilisé SMIL 2.0 pour décrire nos scènes multimédia. Cependant, la méthodologie est indépendante de ce choix et peut être appliquée à d'autres types de documents multimédia, tels que MPEG-4 XMT. Nous avons implémenté un moteur d'adaptation sémantique expérimental, qui manipule et adapte des documents SMIL, en utilisant les informations sémantiques et physiques du contenu, ainsi que des contraintes de contexte.

Cette thèse s'intéresse à améliorer les codeurs vidéo actuels tels que H.264 MPEG-4/AVC en utilisant avantageusement des informations structurelles contenues dans les images codées. Dans ce contexte, on observe que tous codeurs vidéo utilisent une étape de transformation permettant de décorréler mathématiquement les informations traitées afin d'en diminuer le coût de codage entropique. D'autre part, on remarque que toutes les images traitées qu'elles soient prédites ou non, possèdent des structures géométriques très marquées. Une étude des transformées existantes et possibles pour ces codeurs vidéo montre que peu d'entre elles (DCT, en ondelettes, à recouvrement, DCT sous forme lifting...) permettent de représenter efficacement ces structures géométriques des images. L'état de l'art de ces transformées exploitant les structures géométriques est porté historiquement par les ondelettes de seconde génération comme les contourlets, les bandelettes ou les directionlets. Mais, plusieurs études plus récentes utilisent des approches DCT, basées blocs, avec des orientations afin de mieux représenter ces structures géométriques. L'objectif de notre étude est d'améliorer le codage des images résiduelles H.264/AVC, issues de prédictions spatiales (Intra) ou temporelles (Inter), en utilisant leurs structures géométriques. Une première approche de ce travail de thèse nous a conduits à analyser et exploiter des méthodes connues de l'état de l'art. Pour cela, nous avons déni un schéma sous forme lifting réalisant les opérations de la DCT H.264/AVC. Ce schéma permet de voir cette DCT comme une transformée en ondelettes et donc de disposer d'une approche commune. On peut alors lui appliquer des outils de seconde génération an qu'elle représente au mieux les structures géométriques des images. Et, une version de transformée à recouvrement en pré- et post-traitements a été utilisée dans le codeur H.264/AVC. Une seconde approche de nos recherches a été de dénir une méthode d'orientation par pré- et post-traitements associée à un parcours adapté des coefficients quantifiés produits. Le pré-traitement de cette méthode d'orientation réalise des pseudo-rotations permettant de redresser les blocs des images vers l'horizontale ou la verticale. Cette opération est réalisée par cisaillements, soit par permutations circulaires des pixels, améliorant la décorrélation de la DCT qui suit sans présenter les défauts inhérents aux approches de l'état de l'art. Cette méthode, insérée dans un codeur H.264/AVC, présente de bonnes performances de codage. Cependant, le coût des informations d'orientation, sélectionnées selon un critère débit-distorsion, est élevé dégradant ces performances dans les bas débits, la méthode restant plus efficace que H.264/AVC dans les hauts débits (QP < 30). Les coefficients quantifiés issus de la méthode d'orientation précédente sont ensuite parcourus à la verticale, à l'horizontale ou en zigzag suivant les redressements appliqués ou le type de partitions. Cette adaptation de parcours permet de légèrement conserver du débit améliorant ainsi notre méthode globale qui devient plus efficaces que H.264/AVC dans les moyens débits (QP < 35).

<p>To provide universal multimedia experience, multimedia streaming services need to transparently handle the variation and heterogeneity in operating environment. From the standpoint of streaming application, video adaptation techniques are intended to cope with the environmental variations by utilizing manipulations of the video content itself. Scalable video coding (SVC) schemes, like that suggested by the standards H.264 and its SVC extension, is highly attractive for designing a self-adaptive video streaming system. When SVC is employed in streaming system, the produced video stream can be then easily truncated or tailored to form several sub-streams which can be decoded separately to obtain a range of preferable picture size, quality and frame rate. However, questions about how to perform the adaptation using SVC and how much adaptation SVC enables are still remaining research issues. We still lack a thorough understanding of how to automate the scaling procedure in order to achieve an optimal video Quality-of-Experience for end users.</p><p>Video QoE, depends highly on human perception. In this thesis, we introduce several video QoE studies around the usability of H.264 SVC. Several factors that contribute significantly to the overall QoEs have been identified and evaluated in these studies. As an example of application usage related factor, playback smoothness and application response time are critical performance measures which can benefit from temporal scalability. Targeting on applications that requires frequent interactivity, we propose a transcoding scheme that fully utilizes the benefits of Switching P and Switching I frames specified in H.264 to enhance video stream's temporal scalability.  Focusing on visual quality related factors, a series of carefully designed subjective quality assessment tests have been performed on mobile devices to investigate the effects of multi-dimensional scalability on human quality perception. Our study reveals that QoE degrades non-monotonically with bitrate and that scaling order preferences are content-dependent. Another study find out that the flickering effect caused by frequent switching between layers in SVC compliant bit-streams is highly related to the switching period. When the period is above a certain threshold, the flickering effect will disappear and layer switching should not be considered as harmful. We have also examined user perceived video quality in 3D virtual worlds. Our results show that the avatars' distance to the virtual screen in 3D worlds contribute significant to the video QoE, i.e., for a wide extent of distortion, there exists always a feasible virtual distance from where the distortion is not detectable for most of people, which makes sense to perform video adaptation.</p><p>The work presented in this thesis is supposed to help improving the design of self adaptive video streaming services that can deliver video content independently of network technology and end-device capability while seeking the best possible experience for video.</p> / Ardendo småföretagsdoktorand

<p>The purpose of this thesis is to examine the possibilities of creating a MPEG-4-compatible set-top box for IP-networks based on open standards. </p><p>Existing alternatives for transporting MPEG-4 over IP are evaluated and ISMA is found to be an important actor within the area. ISMA is a non-profit corporation formed to provide a forum for the creation of specifications that define an interoperable implementation for streaming rich media over IP-networks. </p><p>Two different designs based on ISMA's recommendation are constructed and evaluated. The designs have different levels of complexity and the more complex design is found to be better due to its extended functionality. </p><p>During the design process a number of problems related to this kind of set-top box are discovered. It is believed, however, that many of these problems will be solved within the near future.</p>

<p>Computer animated faces have found their way into a wide variety of areas. Starting from entertainment like computer games, through television and films to user interfaces using “talking heads”. Animated faces are also becoming popular in web applications in form of human-like assistants or newsreaders. </p><p>This thesis presents a few aspects of dealing with human face animations, namely: editing, playing and transmitting such animations. It describes a standard for handling human face animations, the MPEG-4 Face Animation, and shows the process of designing, implementing and evaluating applications compliant to this standard. </p><p>First, it presents changes introduced to the existing components of the Visage|toolkit package for dealing with facial animations, offered by the company Visage Technologies AB. It also presents the process of designing and implementing of an application for editing facial animations compliant to the MPEG-4 Face Animation standard. Finally, it discusses several approaches to the problem of streaming facial animations over the Internet or the Local Area Network (LAN).</p>

<p>A common problem of hearing aids is whistling caused by feedback from the loudspeaker back to the microphone. A method of reducing the negative effects, caused by the feedback, is called feedback cancellation. A variant of feedback cancellation uses a probe signal, which is applied to the speaker of the hearing aid and is used to continuously estimate the feedback. Oticon A/S has suggested a master's thesis with the purpose of designing and evaluating an algorithm generating a probe signal for feedback cancellation systems. The challenge was to find an inaudible probe signal with as much energy as possible. </p><p>Two approaches have been investigated for generating a probe signal. In the first approach the psychoacoustic principle of masking was used to estimate how much noise that could be added to a signal without being heard. Psychoacoustic models, including masking, are used in MPEG (Moving Pictures Expert Group) audio coding and one of these models has been examined in the thesis. In the second approach a standard LPC (Linear Prediction Coding) algorithm was used. In both the MPEG and the LPC approach, warped signal processing has been utilized improving the methods. </p><p>A listening test was performed, evaluating the methods generating the probe signal. The purpose of the test was to determine whether the noise, generated using the MPEG and LPC approach, was inaudible. A hearing aid system with feedback cancellation, using the probe signal, was also simulated. The listening test showed that the noise (probe signal) had to be lowered, much more than expected, to be inaudible. As a consequence, shown in the simulations, the feedback cancellation system, using the probe signal, had trouble identifying the feedback of the hearing aid.</p>