Dissertação apresentada para obtenção do grau de Mestre em Tecnologia Multimédia, na Faculdade de Engenharia da Universidade do Porto, sob a orientação do Professor António Augusto de Sousa e do Engº. José Miguel Losa

Dissertação apresentada para obtenção do grau de Mestre em Tecnologia Multimédia, na Faculdade de Engenharia da Universidade do porto, sob a orientação dos Profs. Drs. Gabriel David e João Falcão e Cunha

Tese de mestrado. Multimédia (Área de Especialização de Música Interactiva e Design de Som). Faculdade de Engenharia. Universidade do Porto. 2012

Alors que les services de streaming vidéo (Netflix +YouTube) représentent plus de 50% du trafic web des foyers américains sur leurs lignes fixes, l'expansion de la mobilité (4G LTE et LTEa) et l'arrivée des réseaux du futur (NGN) avec la distinction entre opérateur de réseaux et opérateurs de services, risquent de modifier le modèle économique des fournisseurs de service. Le modèle en Best-effort utilisé actuellement par les services de streaming risque de péricliter dû au coût important lié à ce type de fonctionnement. Il convient donc de réfléchir à un modèle optimisant les flux du service à envoyer en fonction du besoin réel des utilisateurs finaux. L'objectif principal de cette thèse est donc de proposer une solution permettant de prendre en compte la QoE au sein des services de streaming. Dans une première partie de cette thèse, nous mettons en avant le caractère très personnel de la qualité d'expérience lors d'une session de visionnage multimédia. Ceci est réalisé par des tests subjectifs sur une cinquantaine d'utilisateurs. Nous présentons ensuite une architecture permettant la prise en compte de la QoE au sein des protocoles de streaming HTTP adaptatifs (HTTP Live Streaming, DASH ...) afin de prendre des décisions d'adaptation du service non plus sur la bande passante disponible à un instant T, mais sur les attentes implicites de l'utilisateur et ceci d'une manière non intrusive. L‘implémentation d'une preuve du concept est illustrée à travers la création d'un projet open source (http://ipfhas.github.io/) / While streaming video services (Netflix + YouTube} represent more than 50% of US households consumed bandwidth, the growth of mobility (4G LTE + LTEa) and the arrival of 3 next generation networks (NGN) with the distinction between network operator and service operator may change the business model of service providers. The Best-Effort model currently used by streaming services will decrease due to its hight cost. It is therefore necessary to consider a model optimizing the service flow based on real users expectations. The main objective of this thesis is to propose a solution which take into account the QoE in streaming services. In the first art of this thesis, we highlight the very personal nature of the quality of experience during viewing multimedia session. This is achieved by subjective tests on fifty users. Then, we present an architecture for the QoE consideration in HTTP adaptive streaming protocols (HTTP Live Streaming, DASH ...) to make adaptation decisions based on implicit expectations of the user. A proof of concept is illustrated through an open source project (http://ipfhas.github.io/)

.

Le sujet de la thèse est situé à la confluence du IP multicast et des environnements virtuelles. La thèse présente l'élaboration, l'implémentation et les expérimentations d'une architecture de communication pour une application d'environnement virtuel à grande échelle. Le but de cette architecture est de permettre à un grand nombre de participants, situés dans un monde virtuel, de communiquer entre eux (chaque participant communique seulement avec ses voisins), à travers différent s flux de données (vidéo, audio, texte). Dans la conception de cette architecture nous avons considéré les objectifs suivants : minimiser le trafic dans le réseau, permettre à un très grand nombre de participants d'être connectés simultanément dans le inonde virtuel, accepter des participants avec des capacités très différentes, donner à chacun d'entre eux la possibilité de Communiquer selon ses capacités et de prendre en compte les contraintes des temps réel spécifique à des flux multimédia. Nous utilisons le multipoint comme moyen de communication de groupe et en particulier les aspects contrôle de congestion afin de réduire le trafic dans le réseau. Un modèle simplifié de multipoint ayant été proposé à l'IETF (le modèle SSM ou Source Spécifique Multicast), nous avons choisi de l'utiliser dans notre architecture, à cause du fait qu'il était mieux adapté pour exprimer les différentes préférences des participants. Pour réaliser la communication dans des mondes virtuels, nous avons défini une architecture composée de deux nivelles de filtrage des données. Au premier niveau de filtrage, le monde virtuel est dynamiquement découpé en zones selon la densité de participants dans le monde. Un participant connait tous les autres participants présents dans sa zone. Au deuxième niveau de filtrage, le participant calcule ses voisins dans le monde virtuel et commence a communiquer avec eux selon leurs Capacités. Un participant peut transmettre des différents flux des données. Chaque flux est envoyé sur un canal SSM différent. Les expériences réalisées ont démontré la faisabilité et les performances de notre architecture comparent aux autres architectures proposées dans la littérature. On a intégré le module de communication proposé dans V-Eye, une application de monde virtuel développée par le projet Planète.

Un processus de convergence des techniques algorithmiques de deux domaines autrefois disjoints, convergence facilité par l'émergence de normes telles que MPEG-4, s'est engagé au cours de ces dernières années. Grâce au concept de codage par objets, une scène peut être reconstituée par la composition de divers objets dans un ordre déterminé. <br />Cette thèse s'inscrit dans le cadre de la composition d'objets visuels qui peuvent être de natures différentes (séquences vidéo, images fixes, objets synthétiques 3D, etc.). Néanmoins, les puissances de calcul nécessaires afin d'effectuer cette composition demeurent prohibitives sans mise en place d'accélérateurs matériels spécialisés et deviennent critiques dans un contexte de terminal portable.<br />Une revue tant algorithmique qu'architecturale des différents domaines est effectuée afin de souligner à la fois les points de convergence et de différence. Ensuite, trois axes (interdépendants) de réflexions concernant les problématiques de représentation des données, d'accès aux données et d'organisation des traitements sont principalement discutés.<br />Ces réflexions sont alors appliquées au cas concret d'un terminal portable pour la labiophonie : application de téléphonie où le visage de l'interlocuteur est reconstruit à partir d'un maillage de triangles et d'un placage de texture. Une architecture unique d'un compositeur d'image capable de traiter indifféremment ces objets visuels est ensuite définie. Enfin, une synthèse sur une plateforme de prototypage de cet opérateur autorise une comparaison avec des solutions existantes, apparues pour la plupart au cours de cette thèse.

Les travaux de cette thèse concernent la comparaison des documents vidéo. Dans le domaine en pleine expansion de la vidéo numérique, les documents disponibles sont maintenant présents en quantité importante même dans les foyers. Opération de base de tout type d'analyse de contenus, en complément de la classification, de l'extraction et de la structuration, la comparaison dans le domaine de l'audiovisuel est d'une utilité qui n'est pas à démontrer.<br />Des approches classiques de comparaison se basent essentiellement sur l'ensemble des caractéristiques<br />bas niveaux des documents à comparer, en les considérant comme des vecteurs multidimensionnels. D'autres approches se basent sur la similarité des images composant la vidéo sans tenir compte de la composition temporelle du document ni de la bande<br />son. Le défaut que l'on peut reprocher à ces méthodes est qu'elles restreignent la comparaison à un simple opérateur binaire robuste au bruit. De tels opérateurs sont généralement utilisés afin d'identifier les différents exemplaires d'un même document. L'originalité de notre démarche réside dans le fait que nous introduisons la notion de la similarité de style<br />en s'inspirant des critères humains dans la comparaison des documents vidéo. Ces critères<br />sont plus souples, et n'imposent pas une similarité stricte de toutes les caractéristiques étudiées<br />à la fois.<br />En nous inspirant de la programmation dynamique et de la comparaison des séries chronologiques, nous définissons un algorithme d'extraction des similarités entre les séries de valeurs produites par l'analyse de caractéristiques audiovisuelles de bas-niveau. Ensuite, un second traitement générique approxime le résultat de l'algorithme de la longueur de la Plus<br />Longue Sous-Séquence Commune (PLSC) plus rapidement que ce dernier. Nous proposons une représentation des données issues de ces traitements sous la forme d'un schéma matriciel propre à la comparaison visuelle et immédiate de deux contenus. Cette matrice peut être également utilisée pour définir une mesure de similarité générique, applicable à des documents de même genre ou de genres hétérogènes.<br />Plusieurs applications ont été mises en place pour démontrer le comportement de la méthode de comparaison et de la mesure de similarité, ainsi que leur pertinence. Les expérimentations concernent essentiellement : - l'identification d'une structure organisationnelle en collection / sous-collection d'une base de documents, - la mise en évidence d'éléments<br />stylistiques dans un film de cinéma, - la mise en évidence de la grille de programmes d'un<br />flux de télévision.

Ce document traite des systèmes d'information multimédia. Il retrace différents travaux de recherche sur les bases de données multimédias et sur les bases de données vidéo. Il concerne la période 1995-2000.

Les progrès technologiques confirmés au cours de cette décennie favorisent une importante révolution dans la façon de concevoir les systèmes informatiques. Des réseaux offrant des débits de milliards de bits par seconde permettront d'inter-connecter des ordinateurs personnels, moyens ultra-performants exécutant de nouvelles applications pouvant traiter, émettre ou recevoir des dizaines de megabits de données par seconde. Les systèmes automatisés sont des exemples de systèmes informatiques qui connaitront l'influence des progrés technologiques. L'audio, la vidéo, l'imagerie aux rayons X ou infrarouge, sont de nouveaux types d'information présentés sous forme de média continus pouvant être intégrés, à la faveur des progrès technologiques, aux systèmes automatisés. Nous proposons des extensions multimédia à MMS, la norme OSI de communication des systèmes automatisés, comme moyen d'intégration de ces nouveaux types d'information. MMS est basée sur le passage de messages et un protocole client-serveur mal adaptés aux flots soutenus de média continus. Après une présentation des particularités des systèmes multimédia traitant et véhiculant l'information sous forme de média discrets et continus, nous mettons en évidence des aspects de MMS qui la rendent inapte au traitement et au transfert de flots de média continus. Nous proposons ensuite un modèle d'extension du modèle objet et des services de MMS permettant de satisfaire les contraintes des média continus. Nous étudions enfin un prototype d'implémentation des nouveaux objets et services définis sur une plate-forme expérimentale. Ladite plate-forme se compose de stations de travail UNIX et Windows NT connectées par des infracstructures ATM. Elle servira à la mesure de performances des différents choix d'implémentation du modèle d'extension de MMS.