Les vidéos omnidirectionnelles, également appelées vidéos sphériques ou vidéos360°, sont des vidéos avec des pixels enregistrés dans toutes les directions de l’espace. Un utilisateur qui regarde un tel contenu avec un Casques de Réalité Virtuelle (CRV) peut sélectionner la partie de la vidéo à afficher, usuellement nommée viewport, en bougeant la tête. Pour se sentir totalement immergé à l’intérieur du contenu, l’utilisateur a besoin de voir au moins 90 viewports par seconde en 4K. Avec les technologies de streaming traditionnelles, fournir une telle qualité nécessiterait un débit de plus de100 Mbit s−1, ce qui est bien trop élevé. Dans cette thèse, je présente mes contributions pour rendre possible le streaming de vidéos omnidirectionnelles hautement immersives sur l’Internet. On peut distinguer six contributions : une proposition d’architecture de streaming viewport adaptatif réutilisant une partie des technologies existantes ; une extension de cette architecture pour des vidéos à six degrés de liberté ; deux études théoriques des vidéos à qualité spatiale non-homogène; un logiciel open source de manipulation des vidéos 360°; et un jeu d’enregistrements de déplacements d’utilisateurs regardant des vidéos 360°. / Omnidirectional videos, also denoted as spherical videos or 360° videos, are videos with pixels recorded from a given viewpoint in every direction of space. A user watching such an omnidirectional content with a Head Mounted Display (HMD) can select the portion of the videoto display, usually denoted as viewport, by moving her head. To feel high immersion inside the content a user needs to see viewport with 4K resolutionand 90 Hz frame rate. With traditional streaming technologies, providing such quality would require a data rate of more than 100 Mbit s−1, which is far too high compared to the median Internet access band width. In this dissertation, I present my contributions to enable the streaming of highly immersive omnidirectional videos on the Internet. We can distinguish six contributions : a viewport-adaptive streaming architecture proposal reusing a part of existing technologies ; an extension of this architecture for videos with six degrees of freedom ; two theoretical studies of videos with non homogeneous spatial quality ; an open-source software for handling 360° videos ; and a dataset of recorded users’ trajectories while watching 360° videos.

Avec l’apparition des chaînes musicales au début des années 1980, l’industrie musicale investit massivement dans la production de clips vidéo. Pour répondre à la forte demande de clips, de nombreux réalisateurs venant aussi bien de la télévision, de la publicité, que du cinéma mirent tous leur talent au service de ce nouveau format télévisuel. C’est dans ce contexte que différents artistes visuels furent également sollicités ou proposèrent leur service pour réaliser différents clips. Au début des années 1980, le clip apparut à certains artistes comme le format idéal pour diffuser leurs images à la télévision. Il leur permettait par sa diffusion à la télévision de toucher un plus large public que celui des musées ou des galeries d’art. Pour d’autres, le clip fut un format d’expérimentation mais aussi un prolongement possible pour leur pratique artistique. Ainsi cette étude se propose d’analyser une partie de la production de certains artistes plasticiens souvent ignorée par les historiens de l’art et les critiques. À travers leurs travaux artistiques, certains artistes construisirent au contraire une critique et interrogèrent le format tout en remettant en question la pop culture diffusée à la télévision. Si la création de MTV fut une date fondatrice dans l’histoire du clip vidéo, vingt-cinq ans plus tard, l’avènement de YouTube et des sites de partage de vidéos dès 2005 marqua un grand changement dans la production mais aussi dans la consommation de clips vidéo. Nous verrons que cela entraina de nouveaux usages pour les utilisateurs pour les artistes qui s’emparèrent des contenus disponibles pour les détourner. / With the advent of music channels in the early 1980s, the music industry invested heavily in the production of music videos. To meet the high demand of music video, many filmmakers from television industry, advertising, cinema put their talents in this new TV format service. It is in this context that different visual artists were also requested and proposed their services to direct different music videos. In the early 1980s, the clip appeared some artists as the ideal format to distribute their images on television. It allowed them by its broadcast on television to reach a wider audience than museums or art galleries. For others, the clip was an experimental format, but also a potential extension to their artistic practice. So this study will analyze some of the production of certain visuals artists often ignored by art historians and critics. Through their artworks, some artists built instead a critique and questioned the format while challenging pop culture broadcast on television. If the creation of MTV was a funding event in the history of the music video, twenty-five years later, the advent of YouTube and in 2005 marked a big change in production but also in consumption of music videos. We will see that it led to new uses for Internet users and for artists who took possession available content to divert it.

Le prototypage est une étape essentielle du processus de design. Pendant les premières phases du processus de conception, les designers utilisent le prototypage rapide pour explorer diverses idées. Les outils et techniques actuels de prototypage se concentrent en particulier sur des représentations papier et donc destinées à être jetées. Or, alors que ces prototypes jetables peuvent être créés rapidement, ils se prêtent mal au processus d'itération. Je propose donc de créer des outils de prototypage rapide qui puissent efficacement supporter la création d'artéfacts à la fois jetables et réutilisables pour esquisser de nouvelles interactions dans les premières phases du processus de design. La première partie porte sur le prototypage vidéo. Les designers font face à deux écueils majeurs à l'utilisation de la vidéo en design d'interaction: le temps nécessaire pour filmer et celui nécessaire pour éditer. J’ai développé VideoClipper pour aider le processus de création de vidéo. Cet outil intègre une méthode de design itérative qui encourage la planification et permet une vraie flexibilité pendant la création de prototypes. Je présente les résultats d'une étude utilisateur informelle de trois semaines avec des étudiants en design d'interaction. Les résultats suggèrent que les participants passent moins de temps à capturer et éditer avec VideoClipper qu'avec les autres outils vidéos. En revanche, ils trouvent parfois difficile de créer des stop-motions pour représenter des interactions continues et de re-filmer de nouveaux segments lorsque le design évolue. J'ai ensuite crée Montage, un outil de prototypage vidéo qui permet aux designers de progressivement augmenter leurs prototypes papier avec des maquettes numériques pour faciliter la création, la réutilisation et l'exploration d'interactions dynamiques. Montage utilise l'incrustation vidéo pour découpler l'interface du prototype de son contexte d'utilisation, permettant aux designers de les réutiliser ou de les modifier indépendamment. Je décris comment Montage améliore le prototypage vidéo en combinant la vidéo avec des maquettes numériques animées et encourage l'exploration d'autres contextes d'utilisation tout en permettant le prototypage de styles d'interaction différents. La deuxième partie porte sur l’implémentation de prototypes interactifs. Les designers et développeurs professionnels ont souvent du mal à effectuer la transition de la représentation du design à son implémentation concrète. Avec N. Maudet, j'ai mené trois études sur la conception et l'implémentation d'interactions non-conventionnelles pour comprendre l'écart entre les processus, les outils et les représentations des designers et des développeurs. Nous avons découvert que les pratiques actuelles entraînent des redondances entre le travail des designers et celui des développeurs et des divergences entre le design et son implémentation. Nous identifions trois types de problèmes: l'omission de détails critiques, l'ignorance des cas extrêmes et la non prise en compte des limitations techniques. Je propose quatre principes de design pour créer des outils qui limitent ces problèmes. Ces principes sont utilisés pour créer Enact, un environnement interactif de prototypage d'interactions tactiles. Les résultats de deux études suggèrent que Enact aide les participants à détecter plus de cas extrêmes, augmente la participation des designers et offre de nouvelles possibilités de co-création. Ces trois outils de prototypage reposent sur les mêmes principes théoriques sous-jacent: réification, polymorphisme, réutilisation et substrats d'information. De même, les outils présentés mettent en œuvre une approche du prototypage que je nomme “Takeaway Prototyping” ou prototypage recyclable. Par contraste avec les prototypes jetables, les outils pour le prototypage recyclable permettent le design par énaction et réifient des artefacts de conception pour matérialiser la progression du design. / Prototyping is essential in any design process. During the early stages, designers rely on rapid prototyping to explore ideas. Current rapid prototyping tools and techniques focus on paper representations and their disposability. However, while these throwaway prototypes are quick to create they are difficult to iterate over. I argue that rapid prototyping tools can effectively support reusable as well as throwaway artifacts for sketching interaction in early-stage design. First, I investigate tools in the context of video prototyping. Designers experience two main barriers to use video in interaction design: the time to capture and edit the video artifacts. To aid during the capturing-phase of video prototyping I created VideoClipper. This tool embodies an integrated iterative design method that rewards discipline but permits flexibility for video prototyping. The tool provides a storyboard-style overview to organize multiple videos in story Lines. VideoClipper offers editable and reusable TitleCards, video capture for steady-state and rough stop-motion filming and the ability to recombine videos in new ways for redesign. I present informal user studies with interaction design students using VideoClipper in three design courses. Results suggest that participants spend less time capturing and editing in VideoClipper than with other video tools. However, many designers find tedious to create stop-motion videos for continuous interactions and to re-shoot clips as the design evolves. Participants continuously try to reduce re-shooting by reusing backgrounds or mixing different levels of fidelity. Inspired by this behavior, I created Montage, a prototyping tool for video prototyping that lets designers progressively augment paper prototypes with digital sketches, facilitating the creation, reuse and exploration of dynamic interactions. Montage uses chroma keying to decouple the prototyped interface from its context of use, letting designers reuse or change them independently. I describe how Montage enhances video prototyping by combining video with digital animated sketches, encourages the exploration of different contexts of use, and supports prototyping of different interaction styles. Second, I investigate how early designs start being implemented into interactive prototypes. Professional designers and developers often struggle when transitioning from the illustration of the design to the actual implementation of the system. In collaboration with Nolwenn Maudet, I conducted three studies that focused on the design and implementation of custom interactions to understand the mismatches between designers' and developers' processes, tools and representations. We find that current practices induce unnecessary rework and cause discrepancies between design and implementation and we identify three recurring types of breakdowns: omitting critical details, ignoring edge cases, and disregarding technical limitations. I propose four design principles to create tools that mitigate these problems: Provide multiple viewpoints, maintain a single source of truth, reveal the invisible and support design by enaction. We apply these principles to create Enact, an interactive live environment for prototyping touch-based interactions. We introduce two studies to assess Enact and to compare designer-developer collaboration with Enact versus current tools. Results suggest that Enact helps participants detect more edge cases, increases designers' participation and provides new opportunities for co-creation. These three prototyping tools rely on the same underlying theoretical principles: reification, polymorphism, reuse, and information substrates. Also, the presented tools outline a new prototyping approach that I call "Takeaway Prototyping". In contrast to throwaway prototypes, instead of emphasizing disposability, tools for "Takeaway Prototyping" support design by enaction and reify design artifacts to materialize the lessons learned.

L’essentiel de ce texte se veut une réflexion sur la manière de raconter une histoire ou, plutôt, de l’évoquer : un questionnement qui fonde ma pratique de l’image photographique et vidéographique. Afin de mener à bien cette réflexion, plusieurs aspects de mon questionnement par rapport à l’image seront abordés : la notion de véracité historique, l’image photographique, l’image d’archives, la complexité, un « univers de possibles », ainsi que l’analyse de ma méthodologie de travail. Cet approfondissement théorique sera développé de connivence avec ma pratique visuelle qui, dans le cadre de ma maîtrise en arts visuels, s’est principalement déployée sous la forme de l’installation vidéographique. Mots-clés : histoire, archives, évocation, complexité, art vidéographique. / This text is essentially a reflection on how to tell a story, or rather, how to evoke it: a questioning that inhabits my photographic and video practice. To carry out this reflection, several aspects of this inquiry in relation to the image will be discussed, the notions of historical truth, the photographic image, the archive image, complexity, “a universe of possibilities” and also, an analysis of my methodology. This theoretical inquisition will be developed in collusion with my visual practice that has been deployed, during my master’s degree, mainly in the form of video installations.

En soulignant les similitudes entre la révolution virtuelle à celle qui eue lieu au dix-neuvième siècle, avec la mécanisation des transports et de l'image, l'installation vidéo intitulée Transcénique stéréo questionne les impacts des technologies numériques sur notre façon d'être et de se déplacer dans le monde. Le pouvoir libérateur du récit, qui émerge de l'acte de se déplacer et de se représenter ces déplacements, est opposé à la cartographie comme outil de possession et de contrôle. Différentes technologies de l'image analogique sont étudiées afin de comprendre leur mode opératoire et d'en retracer les applications à l'ère du numérique. Finalement, les notions de prise de vue et de montage cinématographique sont analysées afin de comprendre comment ces techniques peuvent être applicable à l'image numérique, et ce, dans l'espoir d'en saisir son « essence ».

L'objectif de cette thèse est le déploiement et l'évaluation d'une plate-forme de télé-échographie mobile, utilisée pour fournir un diagnostic et des soins à distance dans des milieux médicalement isolés. La plateforme intègre de nouveaux concepts qui permettent de l’utilisation de la télé-échographie robotisée sur les réseaux sans fil 3G, 4G et 5G pour satisfaire au transfert de qualité des vidéos ultrasonores pour un diagnostic médical robuste. Ce travail contribue au domaine des Sciences et Technologies de l'Information et de la Communication appliquées au secteur de la santé et en particulier à la robotique médicale téléopérée. Les principales contributions de la thèse sont : I. Un état de l’art des systèmes télé-robotiques appliqués au médical menée sur la base de publications écrites entre 2004 et 2016, II. L'évaluation objective et subjective (clinique) de la qualité vidéo a démontré que les normes H.264/AVC et HEVC peuvent atteindre une qualité vidéo sans perte de diagnostic à des débits (1024 et 2048 Kbps) bien en deçà des débits de données supportés par les réseaux 4G. Les normes de codage vidéo antérieures (Mpeg-4, Mpeg-2) ne peuvent pas être utilisées pour le diagnostic clinique à ces débits car elles présentent une perte d'information pour le diagnostic médical, III. Les experts médicaux ont apprécié la réactivité dynamique mécanique de la plate-forme en raison du faible délai présenté par les canaux LTE. La limitation la plus importante soulevée par l'expert médical, empêchant une évaluation globale clinique favorable au diagnostic, était le positionnement initial du robot sur le corps du patient et son déplacement vers l'obtention d’une échographie cardiaque, Les résultats fournissent une forte indication que la plate-forme télé-échographie robotisée peut être utilisée pour fournir un diagnostic fiable et à distance sur les réseaux sans fil émergents 4G et au-delà. / The objective of this Thesis was the deployment and evaluation of an end-to-end mobile tele-echography platform used to provide remote diagnosis and care within medically isolated settings. The platform integrates new concepts that enable robotized tele-echography over commercially available 4G and beyond mobile networks for rendering diagnostically robust medical ultrasound video. It contributes to the field of Information and Communication technologies applied in the healthcare sector. The main contributions of the Thesis are: I. A systematic review on the state of the art in medical telerobotic systems was conducted based on publications of the last decade, and more specifically between the years 2004 to 2016. II. Both objective and subjective (clinical) video quality assessment demonstrated that H.264/AVC and HEVC standards can achieve diagnostically-lossless video quality at bitrates (1024 and 2048 Kbps) well within the LTE supported data rates. Earlier video coding standards (Mpeg-4 & Mpeg-2) cannot be employed for clinical diagnosis at these rates as they present loss of clinical information.III. Medical experts highly appreciated the proposed platform’s mechanical dynamic responsiveness due to the low end-to-end delay (latency) facilitated by LTE-channels. The most important limitation raised by the medical expert and prevented higher overall rating and ultimately clinical QoE was the robot initial positioning on the patient’s body and navigation towards obtaining the cardiac ultrasound. IV. Results provides a strong indication that the proposed robotized tele-echography platform can be used to provide reliable, remote diagnosis over emerging 4G and beyond wireless networks.

Pour respecter les droits d’auteur, la version électronique de ce mémoire a été dépouillée de ses documents visuels. / Cette recherche propose d’identifier comment les jeux vidéo narratifs peuvent susciter l’émoi de leurs joueurs en empruntant des moyens qui sont propres à leurs potentiels d’expression. Ainsi, en se positionnant à la suite des travaux de Bernard Perron, il s’agit d’étudier comment, à travers le contrôle et le gameplay, les émotions vidéoludiques viennent trouver leur place aux côtés des émotions fictionnelles et artistiques pour former une expérience que le joueur pourra appréhender avec sa sensibilité d’agent, et non seulement à travers l’histoire pré-scriptée par les développeurs. Pour ce faire, divers jeux sont analysés: Heavy Rain, Brothers: A Tale of Two Sons, The Walking Dead, Life is Strange et Papo & Yo. En prolongement des travaux de Roger Odin, ce mémoire offre une ouverture vers un nouveau type de mise en phase : la mise en phase émotionnelle. / This master’s thesis analyzes how story-driven video games can trigger players’ emotions in their own way. Following Bernard Perron’s research on emotion in video games, our purpose is to explore how, through player control and gameplay, gameplay emotions find their place along fictional and artifact emotions. We will observe how all these contribute to an experience for the player to understand through his sensibility and agency, and not exclusively through the high-level story written by the game developers. To this end, a range of videogames are analyzed: Heavy Rain, Brothers: A Tale of Two Sons, The Walking Dead, Life is Strange and Papo & Yo. Prolonging Roger Odin’s work, the thesis opens up a new type of attunement: emotional attunement.

L'arrivée de la norme MPEG-7 pour les vidéos exige la création de structures de haut niveau représentant leurs contenus. Le travail de cette thèse aborde l'automatisation de la fabrication d'une partie de ces structures. Comme point de départ, nous utilisons des outils de segmentation des objets en mouvement. Nos objectifs sont alors : retrouver des objets similaires dans la vidéo, utiliser les similarités entre plans caméras pour construire des regroupements de plans en scènes. Une fois ces structures construites, il est facile de fournir aux utilisateurs finaux des outils de visualisation de la vidéo permettant des navigations interactives : par exemple sauter au prochain plan ou scène contenant un personnage. La difficulté principale réside dans la grande variabilité des objets observés : changements de points de vues, d'échelles, occultations, etc. La contribution principale de cette thèse est la modélisation de la variabilité des observations par un mélange de densités basée sur la théorie du mélange gaussien. Cette modélisation permet de capturer les différentes apparences intra-plan de l'objet suivi et de réduire considérablement le nombre des descripteurs de bas niveaux à indexer par objet suivi. Autour de cette contribution se greffent des propositions qui peuvent être vues comme des mises en oeuvre de cette première pour différentes applications : mise en correspondance des objets suivis représentés par des mélanges gaussiens, fabrication initiale des catégories de tous les objets présents dans une vidéo par une technique de classification non supervisée, extraction de vues caractéristiques et utilisation de la détection d'objets similaires pour regrouper des plans en scènes.

Aujourd'hui, l'intelligence artificielle (IA) est une composante essentielle d'un jeu vidéo et de plus en plus d'efforts sont portés sur cet aspect afin de rendre les jeux plus ludiques et plus immersifs. Cette amélioration va cependant de pair avec une augmentation sans cesse croissante des ressources informatiques nécessaires au fonctionnement de l'IA. De fait, il arrive que ces besoins soient si importants qu'ils dégradent le taux de rafraîchissement (TR) du jeu et ainsi la qualité d'expérience (QoE) du joueur. Dans ce contexte, notre objectif est de de maintenir le TR au dessus d'un certain seuil en modulant la quantité de ressources requises par l'IA. Pour ce faire, nous proposons de donner la possibilité au programmeur de définir plusieurs niveaux de détails pour l'IA (Level Of Details LOD), à l'instar de ce qui se fait pour afficher une scène graphique.Les travaux utilisant ce type d'approches proposent généralement d'utiliser des critères de distance à la caméra et de visibilité. Cependant, élaborés dans le contexte du rendu graphique, ces critères sont finalement assez peu adaptés au contexte IA car ils ne permettent pas toujours de rendre compte de l'importance réelle d'un personnage pour le joueur. Dans cette thèse, nous proposons d'utiliser des concepts organisationnels tels que le groupe et le rôle pour définir l'importance d'un personnage pour l'IA. De cette façon, un jeu vidéo est considéré comme une société d'agents (les personnages du jeu) dont l'importance individuelle ou collective est déterminée en fonction de leurs positions dans l'organisation, ce qui permet de déterminer une distribution des ressources de calcul disponibles adaptée : les entités les plus importantes dans l'histoire du jeu sont privilégiées.Notre approche a été implémentée et intégrée au moteur de jeu AGDE (Moteur Agent de développement du jeu). L'évaluation expérimentale a été réalisée à l'aide d'un système de mesures répétées pour évaluer la différence entre les QoE d'un jeu avec et sans notre approche. / In recent years there have been many efforts to develop original video games by improving both their aesthetic and mechanics. The more the mechanics is rich and realistic, the more advanced models of programming are required. However, using advanced models of programming such as agent-oriented programming often comes with an overhead in terms of computational resources. Furthermore, this overhead on computational resources may degrade the frame rate and subsequently quality of experience (QoE) for the players.In this context, our aim is to propose the QoE support means for ensuring that, in any case, the frame rate does not fall below a given lower bound. We suggest adapting the amount of time allocated for agents depending upon the importance of their organization roles. In this regard, we use a level of detail (LoD) approach to compute the dynamics of the game.LoD in game AI is based on the idea to use the most of the computational effort on the game characters that are the most important to the player(s). One critical issue in LoD for game AI is to determine the criterion for defining the importance of game characters. Existing work propose to use the criteria of camera distance and visibility. However such criteria have been developed from the perspective of graphics. In this thesis, we have used the roles played by the game characters (in the context of a video game) as the criterion for determining their importance. In this way, a video game has been considered as an agent society, where the game characters get priority and relatively higher share in distribution of the computational resources based on their relative importance in the game story.Our approach has been implemented and integrated to the AGDE (Agent Game Development Engine) game engine. The experimental evaluation has been carried out using a repeated measure scheme to assess the difference in QoE metrics between a game implemented our approach and a control game. The null hypothesizes have been rejected using t-paired test: the players have found significant positive difference in the QoE.

La contrainte positive de Barney permet d’'aborder la capacité du dispositif à produire des usages qui, parce que contraints, s'avèrent féconds. Les corps monstrueux sont analysés dans le genre vidéoludique horrifique à partir de cette problématique de la fertilité artistique des dispositifs de contrainte développant une nouvelle approche iconologique tant des enjeux de la relation vidéoludique à l'image que du pouvoir générateur des monstres. Les dispositifs sont conçus comme parcours dont la spatialité est étroitement liée aux idées de clôture et d'obstacle. En écho à Jankélévitch, ces entraves se constituent en organes-obstacles engageant à une pratique où le malgré est paradoxalement le grâce-à. Le recours à l'entrave est souhaité en vue d'un processus génératif ne pouvant prendre corps qu'au risque de l'épreuve d'un déplaisir, d'une «horreur délicieuse» engageant à approfondir l'affinité entre le sublime et la façon dont les dispositifs de contrainte se constituent à travers l'expérience de plaisirs négatifs, d'une disconvenance conduisant selon Schiller à une convenance supérieure. Au-delà de la conjuration de la stupeur horrifiée, par l'artialisation de l' image, l'ouverture iconologique interartiale (picturale, vidéoplastique...) et mythologique permet la mise à jour heuristique de la genèse du monstrueux par un dispositif de contrainte (Tête de Méduse, Rubens) et de la résistance par impossibilité de la capture (Protée) qui conduit à examiner les dispositifs irréductibles à !'enclosure et la question de l'absence de contrainte comme contrainte paradoxale, induisant l' exercice de la mètis qui permet d'éviter l'achoppement dans le clos comme la perte dans l'ouvert. / The notion of positive restraint (Barney) brings to light the apparatuses' ability to produce practices that prove to be fertile, because restrained. Monstrous bodies in horror video games are analyzed from the perspective of the restraint apparatuses' artistic fertility, thus elaborating a new iconological approach to the image issues in videogames and monsters' generating power. Apparatuses are understood as routes whose spatialit is closely linked to the ideas of enclosure and obstacle. Echoing to Jankélévitch, these constraints establish organs-obstacles that set in motion a practice in which despife is paradoxically thanks to. Submitting to constraint engages a generalive process that can only take shape in the presence of a displeasure trial, a "delightful horror" leading us to investigate further the link between sublime and the way restraint apparatuses are grounded in the experience of negative pleasures, of a unsuitability leading, according to Schiller, to a superior suitability. Beyond discharging oneself from horrified stupor by the "artialisation" of the image, the interartial iconological (pictorial, video...) and mythological fields allow us to explore the genesis of monstrosity by restrainl apparatuses (Rubens' Medusa). It also underlines the idea of resistance by the impossibility of capture (Proteus) that leads us to examine the apparatuses without considering them as necessarily linked to closure, and the question of the lack of restraint considered as a paradoxical restraint, which leads to the practice of mètis that enables to avoid stumbling in closed spaces as well as getting lost in wide open spaces.