La production de dessins animés 2D, qui suit actuellement un schéma mis en place dans les années 1920, fait intervenir un très nombre de compétences humaines et de métiers différents. Par opposition à ce mode de travail traditionnel, la production de films de synthèse 3D, en exploitant les technologies et outils les plus récents de modélisation et d'animation 3D, s'affranchit pour une bonne part de cette composante artisanale et vient concurrencer l'industrie du dessin animé tradtionnel en termes de délais et de coûts de fabrication.<br /><br />Les défis à relever par l'industrie du dessin animé 2D se formulent donc en termes de:<br /><br /> 1. Réutilisation des contenus selon le paradigme Create once, render many,<br /> 2. Facilité d'échange et de transmission des contenus, ce qui nécessite de disposer d'un unique format de représentation,<br /> 3. Production efficace et économique des contenus, requérant une animation automatisée par ordinateur. <br /><br />Dans ce contexte compétitif, ce travail de thèse, réalisé dans le cadre du projet industriel TOON financé par la société Quadraxis avec le support de l' Agence Nationale de Valorisation de la Recherche (Oséo-ANVAR), a pour objectif de contribuer au développement d'une plate-forme de reconstruction, déformation et animation de modèles 3D pour les dessins animés 2D.<br /><br />Un état de l'art des méthodes et outils contribuant à la reconstruction de modèles 3D et à leur animation est présenté et discuté au regard des contraintes spécifiques des règles de création des dessins animés 2D et de la chaîne de fabrication traditionnelle. Ayant identifié les verrous technologiques à lever, nos contributions ont porté sur :<br /><br /> * l'élaboration d'une méthode de reconstruction de personnages virtuels 3D à partir de dessins 2D,<br /> * la mise au point d'une procédure de reconstruction surfacique par NURBS dotée d'une capacité de déformation interactive 2D/3D,<br /> * la conception d'un module de modélisation 3D pour surfaces maillées, compatible avec le standard d'animation MPEG-4/AFX. <br /><br />Les développements réalisés, intégrés dans un prototype de la plate-forme TOON, montrent un gain en temps de 20% sur l'ensemble de la chaîne de production tout en garantissant une complète interopérabilité des applications via le standard MPEG-4.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Le développement de réseaux de vidéosurveillance, civils ou militaires, pose des défis scientifiques et technologiques en termes d’analyse et de reconnaissance des contenus des flux compressés. Dans ce contexte, les contributions de cette thèse portent sur : - une méthode de segmentation automatique des objets mobiles (piétons, véhicules, animaux …) dans le domaine compressé, - la prise en compte des différents standards de compression les plus couramment utilisés en surveillance (MPEG-2, MPEG-4 Part 2 et MPEG-4 Part 10 / H.264 AVC), - une chaîne de traitement multi-flux optimisée depuis la segmentation des objets jusqu’à leur suivi et description. Le démonstrateur réalisé a permis d’évaluer les performances des approches méthodologiques développées dans le cadre d’un outil d’aide à l’investigation, identifiant les véhicules répondant à un signalement dans des bases de données de plusieurs dizaines d’heures. En outre, appliqué à des corpus représentatifs des différentes situations de vidéosurveillance (stations de métro, carrefours, surveillance de zones en milieu rural ou de frontières ...), le système a permis d’obtenir les résultats suivants : - analyse de 14 flux MPEG-2, 8 flux MPEG-4 Part 2 ou 3 flux AVC en temps réel sur un coeur à 2.66 GHZ (vidéo 720x576, 25 images par seconde), - taux de détection des véhicules de 100% sur la durée des séquences de surveillance de trafic, avec un taux de détection image par image proche des 95%, - segmentation de chaque objet sur 80 à 150% de sa surface (sous ou sur-segmentation liée au domaine compressé). Ces recherches ont fait l’objet du dépôt de 9 brevets liés à des nouveaux services et applications rendus opérationnels grâce aux approches mises en oeuvre. Citons entre autres des outils pour la protection inégale aux erreurs, la cryptographie visuelle, la vérification d’intégrité par tatouage ou l’enfouissement par stéganographie / The increasing deployment of civil and military videosurveillance networks brings both scientific and technological challenges regarding analysis and content recognition over compressed streams. In this context, the contributions of this thesis focus on: - an autonomous method to segment in the compressed domain mobile objects (pedestrians, vehicles, animals …), - the coverage of the various compression standards commonly used in surveillance (MPEG-2, MPEG-4 Part 2, MPEG-4 Part 10 / H.264 AVC), - an optimised multi-stream processing chain from the objects segmentation up to their tracking and description. The developed demonstrator made it possible to bench the performances of the methodological approaches chosen for a tool dedicated to help investigations. It identifies vehicles from a witness description in databases of tens of hours of video. Moreover, while dealing with corpus covering the different kind of content expected from surveillance (subway stations, crossroads, areas in countryside or border surveillance …), the system provided the following results: - simultaneous real time analysis of up to 14 MPEG-2 streams, 8 MPEG-4 Part 2 streams or 3 AVC streams on a single core (2.66 GHz; 720x576 video, 25 fps), - 100% vehicles detected over the length of traffic surveillance footages, with a image per image detection near 95%, - a segmentation spreading over 80 to 150% of the object area (under or over-segmentation linked with the compressed domain). These researches led to 9 patents linked with new services and applications that were made possible thanks to the suggested approaches. Among these lie tools for Unequal Error Protection, Visual Cryptography, Watermarking or Steganography

Au cours des dernières années les Mondes Virtuels 3D (MV3D) sont devenus une réalité. Initialement considérés comme un nouveau moyen de communication sociale, initiés par le développement logiciel et matériel, les MV3Ds révèlent diverses fonctionnalités, des expériences et des connaissances. Étant la représentation de l'utilisateur, l'avatar est l’une des ressources les plus significatives et les plus complexes d'un monde virtuel. Une courte analyse d'un contenu de MV nous informe que le stockage/transmission est la partie la plus significative des ressources du MV. Dans l’ensemble des ressources, les avatars sont les structures les plus complexes, représentés par différents composants : géométrie, images, animations, etc. Donc, en abordant les problématiques de compression, d'adaptation et d'interopérabilité liées aux avatars, nous traitons implicitement presque tout type de ressources tifs qu’on pourrait retrouver dans les MVs. L'objectif global du développement d’outils et des méthodes, pour un déploiement élargi de MV, est traduit par les trois points spécifiques suivants: Proposer un framework de compression pour permettre le transfert efficace et compact d'avatars et de ressources graphiques 3D généraux. Spécifiquement pour des avatars, le framework devrait être indépendante avec un formalisme de représentation. Proposer une solution optimisée permettant l’accessibilité aux avatars sur des terminaux à faibles ressources tels que les téléphones portables. Définir un modèle de métadonnées permettant l'interopérabilité d'avatars entre différents MVs. Les trois objectifs sont traités dans ce manuscrit et pour chacun nous proposons des contributions originales. / In the last few years 3D Virtual Worlds (3DVWs) became a reality. Initially considered as a new mean for social communication, triggered by the development of software and hardware technology, 3DVWs are exposing now different functionalities, experiences and acquaintances. Therefore, they achieved their popularity very fast, indicated by the number and the progression of active users. Being the representation of the user, the avatar is one of the most significant and most complex assets of a Virtual World. A short analysis of a VW content allows one to observe that from the point of view of the storage/transmission the most significant amount is represented by the VW assets. Within the set of assets, the avatars are the most complex structures, consisting of different components: geometry, images, animations, structures, etc. The overall objective of developing tools and methods for a large deployment of VW are translated into three specific ones: To propose a compression framework to enable efficient, compact transfer of avatars, and general 3D graphics assets. Specifically for avatars, the framework should be independent from the representation formalism. To propose an optimized solution making the avatars accessible on weak terminals such as mobile phones. To define a metadata model allowing avatars interoperability between different VWs. The three objectives are addressed in this thesis and for each we propose original contributions.

Un processus de convergence des techniques algorithmiques de deux domaines autrefois disjoints, convergence facilité par l'émergence de normes telles que MPEG-4, s'est engagé au cours de ces dernières années. Grâce au concept de codage par objets, une scène peut être reconstituée par la composition de divers objets dans un ordre déterminé. <br />Cette thèse s'inscrit dans le cadre de la composition d'objets visuels qui peuvent être de natures différentes (séquences vidéo, images fixes, objets synthétiques 3D, etc.). Néanmoins, les puissances de calcul nécessaires afin d'effectuer cette composition demeurent prohibitives sans mise en place d'accélérateurs matériels spécialisés et deviennent critiques dans un contexte de terminal portable.<br />Une revue tant algorithmique qu'architecturale des différents domaines est effectuée afin de souligner à la fois les points de convergence et de différence. Ensuite, trois axes (interdépendants) de réflexions concernant les problématiques de représentation des données, d'accès aux données et d'organisation des traitements sont principalement discutés.<br />Ces réflexions sont alors appliquées au cas concret d'un terminal portable pour la labiophonie : application de téléphonie où le visage de l'interlocuteur est reconstruit à partir d'un maillage de triangles et d'un placage de texture. Une architecture unique d'un compositeur d'image capable de traiter indifféremment ces objets visuels est ensuite définie. Enfin, une synthèse sur une plateforme de prototypage de cet opérateur autorise une comparaison avec des solutions existantes, apparues pour la plupart au cours de cette thèse.

Cette thèse s'intéresse à améliorer les codeurs vidéo actuels tels que H.264 MPEG-4/AVC en utilisant avantageusement des informations structurelles contenues dans les images codées. Dans ce contexte, on observe que tous codeurs vidéo utilisent une étape de transformation permettant de décorréler mathématiquement les informations traitées afin d'en diminuer le coût de codage entropique. D'autre part, on remarque que toutes les images traitées qu'elles soient prédites ou non, possèdent des structures géométriques très marquées. Une étude des transformées existantes et possibles pour ces codeurs vidéo montre que peu d'entre elles (DCT, en ondelettes, à recouvrement, DCT sous forme lifting...) permettent de représenter efficacement ces structures géométriques des images. L'état de l'art de ces transformées exploitant les structures géométriques est porté historiquement par les ondelettes de seconde génération comme les contourlets, les bandelettes ou les directionlets. Mais, plusieurs études plus récentes utilisent des approches DCT, basées blocs, avec des orientations afin de mieux représenter ces structures géométriques. L'objectif de notre étude est d'améliorer le codage des images résiduelles H.264/AVC, issues de prédictions spatiales (Intra) ou temporelles (Inter), en utilisant leurs structures géométriques. Une première approche de ce travail de thèse nous a conduits à analyser et exploiter des méthodes connues de l'état de l'art. Pour cela, nous avons déni un schéma sous forme lifting réalisant les opérations de la DCT H.264/AVC. Ce schéma permet de voir cette DCT comme une transformée en ondelettes et donc de disposer d'une approche commune. On peut alors lui appliquer des outils de seconde génération an qu'elle représente au mieux les structures géométriques des images. Et, une version de transformée à recouvrement en pré- et post-traitements a été utilisée dans le codeur H.264/AVC. Une seconde approche de nos recherches a été de dénir une méthode d'orientation par pré- et post-traitements associée à un parcours adapté des coefficients quantifiés produits. Le pré-traitement de cette méthode d'orientation réalise des pseudo-rotations permettant de redresser les blocs des images vers l'horizontale ou la verticale. Cette opération est réalisée par cisaillements, soit par permutations circulaires des pixels, améliorant la décorrélation de la DCT qui suit sans présenter les défauts inhérents aux approches de l'état de l'art. Cette méthode, insérée dans un codeur H.264/AVC, présente de bonnes performances de codage. Cependant, le coût des informations d'orientation, sélectionnées selon un critère débit-distorsion, est élevé dégradant ces performances dans les bas débits, la méthode restant plus efficace que H.264/AVC dans les hauts débits (QP < 30). Les coefficients quantifiés issus de la méthode d'orientation précédente sont ensuite parcourus à la verticale, à l'horizontale ou en zigzag suivant les redressements appliqués ou le type de partitions. Cette adaptation de parcours permet de légèrement conserver du débit améliorant ainsi notre méthode globale qui devient plus efficaces que H.264/AVC dans les moyens débits (QP < 35).

<p>To provide universal multimedia experience, multimedia streaming services need to transparently handle the variation and heterogeneity in operating environment. From the standpoint of streaming application, video adaptation techniques are intended to cope with the environmental variations by utilizing manipulations of the video content itself. Scalable video coding (SVC) schemes, like that suggested by the standards H.264 and its SVC extension, is highly attractive for designing a self-adaptive video streaming system. When SVC is employed in streaming system, the produced video stream can be then easily truncated or tailored to form several sub-streams which can be decoded separately to obtain a range of preferable picture size, quality and frame rate. However, questions about how to perform the adaptation using SVC and how much adaptation SVC enables are still remaining research issues. We still lack a thorough understanding of how to automate the scaling procedure in order to achieve an optimal video Quality-of-Experience for end users.</p><p>Video QoE, depends highly on human perception. In this thesis, we introduce several video QoE studies around the usability of H.264 SVC. Several factors that contribute significantly to the overall QoEs have been identified and evaluated in these studies. As an example of application usage related factor, playback smoothness and application response time are critical performance measures which can benefit from temporal scalability. Targeting on applications that requires frequent interactivity, we propose a transcoding scheme that fully utilizes the benefits of Switching P and Switching I frames specified in H.264 to enhance video stream's temporal scalability.  Focusing on visual quality related factors, a series of carefully designed subjective quality assessment tests have been performed on mobile devices to investigate the effects of multi-dimensional scalability on human quality perception. Our study reveals that QoE degrades non-monotonically with bitrate and that scaling order preferences are content-dependent. Another study find out that the flickering effect caused by frequent switching between layers in SVC compliant bit-streams is highly related to the switching period. When the period is above a certain threshold, the flickering effect will disappear and layer switching should not be considered as harmful. We have also examined user perceived video quality in 3D virtual worlds. Our results show that the avatars' distance to the virtual screen in 3D worlds contribute significant to the video QoE, i.e., for a wide extent of distortion, there exists always a feasible virtual distance from where the distortion is not detectable for most of people, which makes sense to perform video adaptation.</p><p>The work presented in this thesis is supposed to help improving the design of self adaptive video streaming services that can deliver video content independently of network technology and end-device capability while seeking the best possible experience for video.</p> / Ardendo småföretagsdoktorand

<p>The purpose of this thesis is to examine the possibilities of creating a MPEG-4-compatible set-top box for IP-networks based on open standards. </p><p>Existing alternatives for transporting MPEG-4 over IP are evaluated and ISMA is found to be an important actor within the area. ISMA is a non-profit corporation formed to provide a forum for the creation of specifications that define an interoperable implementation for streaming rich media over IP-networks. </p><p>Two different designs based on ISMA's recommendation are constructed and evaluated. The designs have different levels of complexity and the more complex design is found to be better due to its extended functionality. </p><p>During the design process a number of problems related to this kind of set-top box are discovered. It is believed, however, that many of these problems will be solved within the near future.</p>

<p>Computer animated faces have found their way into a wide variety of areas. Starting from entertainment like computer games, through television and films to user interfaces using “talking heads”. Animated faces are also becoming popular in web applications in form of human-like assistants or newsreaders. </p><p>This thesis presents a few aspects of dealing with human face animations, namely: editing, playing and transmitting such animations. It describes a standard for handling human face animations, the MPEG-4 Face Animation, and shows the process of designing, implementing and evaluating applications compliant to this standard. </p><p>First, it presents changes introduced to the existing components of the Visage|toolkit package for dealing with facial animations, offered by the company Visage Technologies AB. It also presents the process of designing and implementing of an application for editing facial animations compliant to the MPEG-4 Face Animation standard. Finally, it discusses several approaches to the problem of streaming facial animations over the Internet or the Local Area Network (LAN).</p>

<p>This thesis aims at building a system capable of automatically extracting and parameterizing the position of a face and its features in images acquired from a low-end monocular camera. Such a challenging task is justified by the importance and variety of its possible applications, ranging from face and expression recognition to animation of virtual characters using video depicting real actors. The implementation includes the construction of Active Appearance Models of the human face from training images. The existing face model Candide-3 is used as a starting point, making the translation of the tracking parameters to standard MPEG-4 Facial Animation Parameters easy.</p><p>The Inverse Compositional Algorithm is employed to adapt the models to new images, working on a subspace where the appearance is "projected out" and thus focusing only on shape.</p><p>The algorithm is tested on a generic model, aiming at tracking different people’s faces, and on a specific model, considering one person only. In the former case, the need for improvements in the robustness of the system is highlighted. By contrast, the latter case gives good results regarding both quality and speed, with real time performance being a feasible goal for future developments.</p>