L'étude des réseaux sur puces (NoC) est un domaine de recherche qui traite principalement la communication globale dans les systèmes sur puce (SoC). La topologie choisie et l'algorithme de routage jouent un rôle essentiel durant la phase de conception des architectures NoC. La modélisation des structures répétitives telles que les topologies des réseaux sur puce sous des formes graphiques pose un défi particulier. Cet aspect peut être rencontré dans les applications orienté contrôle/données intensif tel que le codeur vidéo H.264. Model Driven Engineering est une méthodologie de développement logiciel où le système complet est modélisé à un niveau d'abstraction élevé en utilisant un langage de modélisation unifié comme l’UML/MARTE. Le profil UML pour la modélisation et l'analyse des systèmes embarqués en temps réel (MARTE) est la norme actuelle pour la modélisation des SoCs.Cette thèse décrit une méthodologie adéquate pour la modélisation des NoCs en utilisant le profil MARTE. L'étude proposée a montré que le paquetage RSM (Repetitive Structure Modeling) du profil MARTE est assez puissant pour modéliser différent types de topologies. En utilisant cette méthodologie, plusieurs aspects tels que l’algorithme de routage sont modélisés en se basant sur les machines d'état. Ceci permet au profil MARTE à être assez complet pour la modélisation d'un grand nombre d’architectures de NoCs. Certains travaux sont en cours pour synthétiser ces réseaux, en VHDL à partir de ces modèles. Pour la validation de la méthodologie proposée, une approche de co-design a été étudiée par l’implémentation d'un système de codage vidéo H.264 sur un NoC de type Diagonal Mesh en utilisant model en « Y » de l’outil Gaspard2. Avant de passer à l'association de l'application/architecture, une optimisation architecturale ciblant la réduction de la puissance consommée du module le plus critique (Estimateur de Mouvement) de l'application a été effectué. Ainsi, une architecture VLSI flexible d’un estimateur de mouvement à blocks variables (FSVBSME) a été proposée. / The study of Networks on Chips (NoCs) is a research field that primarily addresses the global communication in Systems-on-Chip (SoCs). The selected topology and the routing algorithm play a prime role during the design of NoC architectures.The modeling of repetitive structures such as network on chip topologies in graphics forms poses a particular challenge. This aspect may be encountered in intensive data/control oriented applications such as H.264 video coder. Model driven engineering is a software development methodology where the complete system is modeled at a high abstraction level using a modeling language as UML/MARTE. The UML profile for Modeling and Analysis of Real-Time Embedded systems (MARTE) is the current standard for the SoCs modeling. This thesis describes an adequate methodology for modeling NoCs by using the MARTE standard profile. The proposed study has shown that the Repetitive Structure Modeling (RSM) package of MARTE profile is powerful enough for modeling different topologies. By using this methodology, several aspects such as routing algorithm are modeled based finite state machines. This allows to the MARTE profile to be complete enough for modeling a large number of NoCs architectures. Some work is on-going to synthesize such networks in VHDL from such models. While validating the proposed methodology, a co-design approach has been studied by mapping a H264 video coding system onto a Diagonal Mesh NoC by using the Y Chart of Gaspard2 tool. Before allowing the association of the application/architecture, an architectural optimization targeting power minimization of the most critical module of the application has been performed. So, a flexible VLSI architecture for full-search VBSME (FSVBSME) has been proposed.

Parler de la télévision interactive, c'est aussi poser un regard sur les NTIC. Une des singularités de l'interactivité télévisuelle réside dans la possibilité pour le spectateur d'utiliser une « voie de retour » plus conséquente, ce qui lui donne le rôle de véritable émetteur et non pas de spectateur « passif ». De nouvelles pratiques d'interactions et d'échanges se mettent progressivement en place au sein des médias audiovisuels. Fortement dépendante de la numérisation des signes et de leurs traitements automatiques, le récepteur s'intercale entre une réception d'évènements et une production de signes, il devient à son tour générateur de nouvelles cartes de sens. Ce ne sont plus des rapports déterminés, entretenus par des systèmes machiniques, ce sont aussi des rapports extrasensoriels qui apparaissent. La télévision appréhendée par les sens proprio-tactilo-kinesthésiques ouvre une ère médiatique fondée sur des rapports interpersonnels réorganisant son système de représentation.

Après l'obtention de mon doctorat (2005), mes travaux ont porté initialement sur deux des axes de recherche de la thèse, notamment sur le codage vidéo scalable et sur le codage d'images par ondelettes adaptées à la forme (OAF). J'ai en particulier étudié la mise en place d'un codeur vidéo scalable basé sur la transformée en ondelettes par schémas lifting compensés en mouvement et allocation optimale des ressources de codage. En suite j'ai abordé le problème du critère optimal pour l'estimation de mouvement pour ce type de codeur : des meilleures performances débit-distorsion peuvent être atteintes au prix d'une augmentation de la complexité de l'estimation de mouvement. Par rapport au codage d'images par OAF, j'ai travaillé sur les conditions qui permettent à cette approche d'être compétitif avec les méthodes traditionnelles, et ensuite sur l'utilisation conjointe de la transformée en OAF avec la quantification vectorielle arborescente et avec la transformée de Karhunen-Loéve par classes pour la compression d'images multi-spectrales. J'ai aussi considéré la relation entre distorsion sur les coefficients et distorsion perceptuelle ou non-perceptuelle sur l'image résultante. Ensuite j'ai travaillé sur l'amélioration d'un codeur vidéo standard par une représentation efficace du mouvement : un premier travail, visant une très bonne précision, a abouti à une nouvelle méthode de codage sans pertes basée sur l'information mutuelle ; une deuxième approche utilise la quantification des vecteurs de mouvement, permettant de réduire le débit pour la même qualité. J'ai ensuite travaillé sur le codage vidéo distribué (CVD). Dans le contexte du CVD, la corrélation entre deux images consécutives (ou entre deux vues voisines dans le cas de vidéo multi-vues) est exploité uniquement au décodeur, tandis que les deux images sont codées séparément. Il est alors fondamental que le décodeur soit capable de construire une bonne estimation de l'image manquante : dans ce cas le codeur devra envoyer seulement quelques bits de parité d'un code à correction d'erreurs pour améliorer l'estimation jusqu'à avoir une qualité acceptable. Dans ce cadre, mes travaux ont visé surtout à améliorer l'estimation de l'image manquante, par une description précise du mouvement : un premier axe est basé sur la représentation dense des champs de vecteurs de mouvement ; un deuxième sur la modélisation des trajectoires des objets ; les méthodes basées sur les hash, de raffinement successif et de fusion du mouvement global avec le mouvement local ont également donné des bons résultats. Ces techniques d'estimation peuvent être utilisées dans le cadre du codage par descriptions multiples : les images paires et impaires d'une séquence vidéo sont codées dans deux flux séparés avec un codeur standard, et le décodeur peut reproduire le taux original d'images par seconde même s'il reçoit un seul flux : les techniques de CVD permettent de reconstruire l'image manquante. Le CVD permet également de gérer efficacement le compromis entre degré d'interactivité, occupation d'espace de stockage et besoins de bande passante lors du streaming interactif de vidéos multi-vues. Le CVD de la vidéo 3D comporte des problématiques liées au codage des cartes de profondeur à la détection et la gestion des occlusions, et à la fusion des estimations temporelles et inter-vues. Finalement je me suis aussi occupé de la relation entre qualité de l'estimation de l'image manquante et le débit de codage total associé. Même en dehors du cadre du CVD, la compression vidéo 3D, ou plus précisément, de la vidéo multi-vues (VMV) et de la vidéo multi-vues avec profondeur (MVP) est également un domaine majeur de mon activité de recherche. Je me suis intéressé aux méthodes d'estimation dense de disparité, au codage de cartes de profondeur et au codage par Don't Care Regions (DCR) c'est à dire, en considérant les erreurs sur l'image synthétisé avec la carte de profondeur plutôt que la carte de profondeur elle-même. Le dernier domaine de recherche concerne la distribution de la vidéo sur réseau. Dans le cas de réseau filaire, j'ai travaillé sur une approche network-aware pour la distribution coopérative de vidéo. Dans le cas de réseau sans fils, je me suis intéressé à un protocole cross-layer qui minimise le nombre de message échangé, tout en garantissant à tous les nœuds la réception de la vidéo. Ce protocole a ensuite été amélioré pour prendre en compte les compromis entre distorsion et congestion sur le réseau. Ce protocole peut être utilisé conjointement au codage réseau pour maximiser le throughput du réseau et pour améliorer la robustesse de la communication. Les techniques de codage réseau peuvent également être utilisées avec le codage à descriptions multiples pour ultérieurement améliorer la robustesse, et avec le codage de la vidéo multi-vues pour optimiser (en sens débit-distorsion) la planification d'envoi des paquets vidéo.

Le codage vidéo distribué (DVC) est une technique récemment proposée dans le cadre du codage vidéo, et qui convient surtout à une nouvelle classe d'applications telles que la surveillance vidéo sans fil, les réseaux de capteurs multimédia, et les téléphones mobiles. En DVC, une information adjacente (SI) est estimée au décodeur en se basant sur les trames décodées disponibles, et utilisée pour le décodage et la reconstruction des autres trames. Dans cette thèse, nous proposons de nouvelles techniques qui permettent d'améliorer la qualité de la SI. Tout d'abord, le raffinement itératif de la SI est réalisé après le décodage de chaque sous-bande DCT. Ensuite, une nouvelle méthode de génération de la SI est proposée, qui utilise l'estimation des vecteurs de mouvement dans les deux sens et le raffinement Quad-tree. Ensuite, de nouvelles approches sont proposées afin de combiner les estimations globale et locale en utilisant les différences entre les blocs correspondants et la technique SVM. En plus, des algorithmes sont proposés pour améliorer la fusion au cours du décodage. En outre, les objets segmentés des trames de référence sont utilisés dans la fusion, en utilisant les courbes élastiques et la compensation de mouvement basée-objets. De nombreuses simulations ont été effectuées pour tester les performances des techniques proposés et qui montrent des gains importants par rapport au codeur classique DISCOVER. Par ailleurs, les performances de DVC obtenues en appliquant les algorithmes proposés surpassent celles de H.264/AVC Intra et H.264/AVC No motion pour les séquences testées. En plus, l'écart vis-à-vis de H.264/AVC Inter (IB...IB) est considérablement réduit. / Distributed Video Coding (DVC) is a recently proposed paradigm in video communication, which fits well emerging applications such as wireless video surveillance, multimedia sensor networks, wireless PC camera, and mobile cameras phones. These applications require a low complexity encoding, while possibly affording a high complexity decoding. In DVC, a Side Information (SI) is estimated at the decoder, using the available decoded frames, and used for the decoding and reconstruction of other frames. In this PhD thesis, we propose new techniques in order to improve the quality of the SI. First, successive refinement of the SI is performed after each decoded DCT band. Then, a new scheme for SI generation based on backward, forward motion estimations, and Quad-tree refinement is proposed. Furthermore, new methods for combining global and local motion estimations are proposed, to further improve the SI, using the differences between the corresponding blocks and Support Vector Machine (SVM). In addition, algorithms are proposed to refine the fusion during the decoding process. Furthermore, the foreground objects are used in the combination of the global and local motion estimations, using elastic curves and foreground objects motion compensation. Extensive experiments have been conducted showing that important gains are obtained by the proposed techniques compared to the classical DISCOVER codec. In addition, the performance of DVC applying the proposed algorithms outperforms now the performance of H.264/AVC Intra and H.264/AVC No motion for tested sequences. Besides that, the gap with H.264/AVC in an Inter IB…IB configuration is significantly reduced.

L’évolution des technologies vidéo permet des expériences de plus en plus immersives. Cependant, les technologies 3D actuelles sont encore très limitées et offrent des situations de visualisation qui ne sont ni confortables ni naturelles. La prochaine génération de technologies vidéo immersives apparait donc comme un défi technique majeur, en particulier avec la prometteuse approche light-field (LF). Le light-field représente tous les rayons lumineux dans une scène. De nouveaux dispositifs d’acquisition apparaissent, tels que des ensembles de caméras ou des appareils photo plénoptiques (basés sur des micro-lentilles). Plusieurs sortes de systèmes d’affichage ciblent des applications immersives, comme les visiocasques ou les écrans light-field basés sur la projection, et des applications cibles prometteuses existent déjà (e.g. la vidéo 360°, la réalité virtuelle, etc.). Depuis plusieurs années, le light-field a stimulé l’intérêt de plusieurs entreprises et institutions, par exemple dans des groupes MPEG et JPEG. Les contenus light-feld ont des structures spécifiques et utilisent une quantité massive de données, ce qui représente un défi pour implémenter les futurs services. L'un des buts principaux de notre travail est d'abord de déterminer quelles technologies sont réalistes ou prometteuses. Cette étude est faite sous l'angle de la compression image et vidéo, car l'efficacité de la compression est un facteur clé pour mettre en place ces services light-field sur le marché. On propose ensuite des nouveaux schémas de codage pour augmenter les performances de compression et permettre une transmission efficace des contenus light-field sur les futurs réseaux. / Evolutions in video technologies tend to offer increasingly immersive experiences. However, currently available 3D technologies are still very limited and only provide uncomfortable and unnatural viewing situations to the users. The next generation of immersive video technologies appears therefore as a major technical challenge, particularly with the promising light-field (LF) approach. The light-field represents all the light rays (i.e. in all directions) in a scene. New devices for sampling/capturing the light-field of a scene are emerging fast such as camera arrays or plenoptic cameras based on lenticular arrays. Several kinds of display systems target immersive applications like Head Mounted Display and projection-based light-field display systems, and promising target applications already exist. For several years now this light-field representation has been drawing a lot of interest from many companies and institutions, for example in MPEG and JPEG groups. Light-field contents have specific structures, and use a massive amount of data, that represent a challenge to set up future services. One of the main goals of this work is first to assess which technologies and formats are realistic or promising. The study is done through the scope of image/video compression, as compression efficiency is a key factor for enabling these services on the consumer markets. Secondly, improvements and new coding schemes are proposed to increase compression performance in order to enable efficient light-field content transmission on future networks.

Créé au L.V.S.N. (Laboratoire de Vision et de Systèmes Numériques) de l'Université Laval, ce mémoire de maîtrise a pour but l'ajout d'un module d'évaluation de la qualité vidéo à un encodeur vidéo afin de contrôler la qualité d'une séquence vidéo produite par cet encodeur. Le système développé est supporté dans un environnement Microsoft Windows 2000 et est transférable directement vers le système d'exploitation Windows XP. Il utilise les composantes contenues dans l'environnement MFC (Microsoft Fondation Class) comme interface utilisateur et utilise quelques programmes utilisant la console. Il possède divers modules réalisant les tâches d'encodage vidéo, de décodage vidéo ainsi qu'un dernier module servant à l'évaluation de la qualité vidéo à proprement parler. Le logiciel peut être adapté pour d'autres systèmes d'exploitation, mais son interface doit être refaite pour tenir compte des nécessités graphiques du nouveau système d'exploitation. Le projet est soumis avec le plus grand respect pour les détenteurs des marques de commerce déposées Microsoft Corporation (MS), MFC, MS Windows, MS Studio .NET et Star Wars ainsi que tous les personnages de la série.

Depuis 2002, le codage vidéo distribué a connu un véritable essor de par ses résultats théoriques séduisants, et ses applications potentielles attractives. En effet, avec ce mode de compression, toute comparaison inter-image est transférée au décodeur, ce qui implique une baisse considérable de la complexité à l'encodeur, et de plus, un encodage indépendant des caméras dans le cas de compression multi-vues. Cette thèse a pour but de proposer de nouvelles solutions dans le domaine du codage vidéo distribué, et particulièrement dans son application aux systèmes multi-caméra. Ces contributions se présentent sous plusieurs aspects : un nouveau modèle débit-distorsion et sa mise en pratique sur trois probléma- tiques, de nouvelles méthodes de construction de l'information adjacente et enfin une étude approfondie du décodeur des trames Wyner-Ziv. Ces nouvelles approches ont toutes pour but d'améliorer les performances débit-distorsion ou de permettre une compréhension plus précise du comportement du codeur. Celles-ci sont exposées en détail dans ce manuscrit avec au préalable une explication complète du contexte dans lequel elles s'inscrivent.

Les progrès récents sur les schémas de codage vidéo par ondelettes ont permis l'apparition d'une nouvelle génération de codeurs vidéos scalables t+2D dont l'efficacité est comparable à celle des meilleurs codecs hybrides. Ces schémas reposent sur l'utilisation d'une transformée en ondelettes appliquée le long du mouvement des images afin d'exploiter leur redondance temporelle, suivie d'une décomposition spatiale des sous-bandes résultantes et d'un codage entropique. L'objectif de cette thèse consiste en l'étude et la construction de nouvelles transformées scalables mises en jeu dans le schéma de codage vidéo t+2D, afin d'en améliorer l'efficacité de codage. L'utilisation du formalisme lifting lors de la construction de ces transformées spatio-temporelles permet l'introduction d'opérateurs non-linéaires, particulièrement utiles pour représenter efficacement les singularités et discontinuités présentes dans une séquence vidéo. Dans un premier temps, nous nous intéressons à l'optimisation et la construction de nouvelles transformées temporelles compensées en mouvement, afin d'améliorer leur performance de décorrelation. Nous étudions alors la construction de filtres M-bandes pour décomposer spatialement les sous-bande temporelles et nous montrons comment les propriétés de scalabilité des bancs de synthèse M-bandes peuvent être étendues à des facteurs rationnels quelconques. Enfin, nous décrivons comment mettre en oeuvre des décompositions spatiales en ondelettes adaptatives, non-linéaires et inversibles, sans nécessiter la transmission d'une carte de décisions.

La problématique principale de cette thèse est la compression de masses de données vidéo haute résolution. Nous proposons un schéma de compression vidéo par transformée en ondelettes compensée en mouvement. Plus précisément, dans le but de réduire le coût des vecteurs mouvement parfois trop élevé dans ce type de schéma, nous avons développé une approche de quantification avec pertes de ces vecteurs, permettant d'adapter leur précision tout en respectant le compromis débit/ distorsion. Cette approche permet d'améliorer considérablement les performances du codeur, spécialement `a bas débit. Pour modéliser l'influence de l'introduction de perte sur l'information de mouvement, nous avons établi un modèle théorique de distorsion de l'erreur de codage, et, enfin, nous avons réalisé une allocation de débit optimale basée modèle entre les vecteurs mouvement et les coefficients d'ondelettes. Pour éviter certains artefacts dus à une mauvaise estimation du mouvement, nous avons ensuite amélioré le schéma lifting utilisé pour la transformée en ondelettes par une approche novatrice : les coefficients du schéma lifting sont adaptés à la norme des vecteurs mouvement. Notre méthode de quantification des vecteurs mouvement a par ailleurs été appliquée au codeur H.264, la norme actuelle de compression vidéo pour la Haute Définition. Enfin, nous avons travaillé sur le Codage par Descriptions Multiples, une approche de codage conjoint source / canal pour la compression robuste de vidéos utilisée dans la transmission sur des canaux de communication bruités. Nous avons développé un codeur vidéo robuste, par des approches de Codage par Descriptions Multiples dans le domaine transformé. Une allocation de débit est réalisée au codeur pour répartir le débit des coefficients d'ondelettes entre les différentes descriptions, en fonction des paramètres du canal. Plus particulièrement, pour reconstruire au mieux la vidéo en sortie du canal, nous avons réalisé des approches de décodage optimal, basées sur la connaissance des densités de probabilités des sous bandes des différentes descriptions, sur un modèle de canal et sur des probabilités à posteriori. En parallèle, le codage de source vidéo distribué a également été exploré.

Cette étude traite de l'évaluation locale des distorsions perceptuelles, de l'évaluation globale de la qualité visuelle, et de l'influence de l'attention visuelle en évaluation de qualité. Afin d'évaluer localement les distorsions dans les images, nous avons simplifié un modèle existant du système visuel humain en utilisant la transformée en ondelettes et nous avons proposé une meilleure modélisation des effets de masquage par la prise en compte du masquage semi-local. A partir de ces modèles, nous avons conçu et validé des métriques de qualité d'images. Pour les vidéos, nous avons conçu une méthode d'évaluation locale des distorsions temporelles reposant sur un cumul temporel court terme des distorsions spatiales. Celui-ci simule l'évaluation des distorsions via des mécanismes de sélection de l'attention visuelle. Une métrique de qualité s'appuyant sur cette méthode a été conçue et validée. Celle-ci est basée sur un cumul temporel long terme incorporant un comportement asymétrique et un effet de saturation perceptuelle. L'influence de l'attention visuelle sur l'évaluation de la qualité a été analysée à partir des données issues de tests oculométriques réalisés sur des images et sur des vidéos, en exploration libre et en tâche de qualité. Les résultats ont confirmé, entre autres, l'influence de la tâche de qualité sur le déploiement de l'attention visuelle. L'impact de l'attention visuelle sur l'évaluation objective de la qualité a également été étudié en utilisant l'information de saillance réelle. Nous avons montré qu'une simple pondération linéaire des distorsions par l'attention visuelle ne permettait pas d'améliorer clairement les performances des métriques de qualité.