Cette thèse s'inscrit dans le thème du rendu expressif qui vise à définir des outils de création et de traitement d'images ou d'animations stylisées. Les applications concernent tous les métiers nécessitant une représentation visuelle plus stylisée qu'une photographie : création artistique (jeux vidéo, film d'animation, dessins animés), restitution archéologique, documentation technique, etc. Un critère fondamental de qualité d'une image est l'absence d'artefacts visuels. Cette considération a toujours existé, mais elle est particulièrement importante dans le cas de l'informatique graphique. En effet, la nature même de l'image – des pixels discrets – est source d'artefacts. Les artefacts sont encore plus visibles lorsque l'on s'intéresse aux animations, des artefacts temporels s'ajoutant aux artefacts spatiaux. L'objectif de cette thèse est d'une part de formaliser et mesurer ces artefacts en tenant compte de la perception humaine, et d'autre part de proposer de nouvelles méthodes de stylisation interactive d'animations 3D. Nous présentons tout d'abord un ensemble de techniques pour créer et assurer la cohérence de dessins au trait extraits de scènes 3D animées. Nous proposons ensuite deux méthodes de stylisation des régions de couleur permettant la créations d'un grand nombre de motifs. Le point commun à toutes ces approches est la représentation du médium simulé (pigment d'aquarelle, coup de crayon ou de pinceau...) par une texture évoluant au cours de l'animation. Nous décrivons enfin deux expériences utilisateurs visant à évaluer perceptuellement la qualité des résultats produits par ce type de techniques. / This PhD thesis deals with expressive rendering, a sub-field of computer graphics which aims at defining creation and processing tools to stylize images and animations. It has applications in all the fields that need depictions more stylized than photographs, such as entertainment (e.g., video games, animated films, cartoons), virtual heritage, technical illustration, etc. A crucial criterion to assert the quality of an image is the absence of visual artifacts. While already true for traditional art, this consideration is especially important in computer graphics. Indeed the intrinsic discrete nature of an image can lead to artifacts. This is even more noticeable during animations, as temporal artifacts are added to spatial ones. The goal of this thesis is twofold: (1) To formalize and measure these artifacts by taking into account human perception; (2) To propose new interactive methods to stylize 3D animations. First we present a set of techniques to ensure the coherence of line drawings extracted form 3D animated scenes. Then we propose two methods to stylize shaded regions, which allow to create a wide variety of patterns. The shared ground layer of all these approaches is the use of temporally varying textures to represent the simulated media (e.g., watercolor pigments, brush strokes). Finally we describe two user studies aiming at evaluating the quality of the results produced by such techniques.

Le but du rendu stylisé est de produire un rendud'une scène 3D dans le style visuel particuliervoulu par un artiste.Cela nécessite de reproduire automatiquementsur ordinateur certaines caractéristiquesd'illustrations traditionnelles: par exemple,la façon dont un artiste représente les ombres et lalumière, les contours des objets, ou bien les coupsde pinceau qui ont servi à créer une peinture.Les problématiques du rendu stylisé sont pertinentesdans des domaines comme la réalisation de films d'animation 3Dou le jeu vidéo, où les studios cherchent de plus en plus à se démarquerpar des styles visuels originaux.Dans cette thèse, nous explorons des techniques destylisation qui peuvent s'intégrer dans des pipelinesde rendu temps-réel existants, et nous proposons deux contributions.La première est un outil de création de modèles d'illuminationstylisés pour des objets 3D.La conception de ces modèles est complexe et coûteuse en temps,car ils doivent produire un résultat cohérentsous une multitude d'angles de vue et d'éclairages.Nous proposons une méthode qui facilite la créationde modèles d'illumination pour le rendu stylisé,en les décomposant en sous-modèles plus simples à manipuler.Notre seconde contribution est un pipeline de rendude scènes 3D dans un style peinture,qui utilise une combinaison de bruits procéduraux 3Det de filtrage en espace écran.Des techniques de filtrage d'image ont déjà été proposéespour styliser des images ou des vidéos:le but de ce travail est d'utiliser ces filtres pourstyliser des scènes 3D tout en gardant la cohérence du mouvement.Cependant, directement appliquer un filtreen espace écran produit des défauts visuels au niveau dessilhouettes des objets.Nous proposons une méthode qui permet d'assurer la cohérence du mouvement,en guidant les filtres d'images avec des informations sur la géométrie extraites de G-buffers, et qui élimine les défauts aux silhouettes. / The goal of stylized rendering is to render 3D scenes in the visual style intended by an artist.This often entails reproducing, with some degree of automation,the visual features typically found in 2D illustrationsthat constitute the "style" of an artist.Examples of these features include the depiction of light and shade,the representation of the contours of objects,or the strokes on a canvas that make a painting.This field is relevant today in domains such as computer-generated animation orvideo games, where studios seek to differentiate themselveswith styles that deviate from photorealism.In this thesis, we explore stylization techniques that can be easilyinserted into existing real-time rendering pipelines, and propose two novel techniques in this domain.Our first contribution is a workflow that aims to facilitatethe design of complex stylized shading models for 3D objects.Designing a stylized shading model that follows artistic constraintsand stays consistent under a variety of lightingconditions and viewpoints is a difficult and time-consuming process.Specialized shading models intended for stylization existbut are still limited in the range of appearances and behaviors they can reproduce.We propose a way to build and experiment with complex shading modelsby combining several simple shading behaviors using a layered approach,which allows a more intuitive and efficient exploration of the design space of shading models.In our second contribution, we present a pipeline to render 3D scenes in painterly styles,simulating the appearance of brush strokes,using a combination of procedural noise andlocal image filtering in screen-space.Image filtering techniques can achieve a wide range of stylized effects on 2D pictures and video:our goal is to use those existing filtering techniques to stylize 3D scenes,in a way that is coherent with the underlying animation or camera movement.This is not a trivial process, as naive approaches to filtering in screen-spacecan introduce visual inconsistencies around the silhouette of objects.The proposed method ensures motion coherence by guiding filters with informationfrom G-buffers, and ensures a coherent stylization of silhouettes in a generic way.

La communication visuelle tire profit de la grande variété d'apparences qu'une image peut avoir. En ignorant les détails, les images simplifiées concentrent l'attention de l'observateur sur le contenu essentiel à transmettre. Les images stylisées, qui diffèrent de la réalité, peuvent suggérer une information subjective ou imaginaire. Des variations plus subtiles, comme le changement de l'éclairage dans une photographie, ont également un impact direct sur la façon dont le message transmis va être interprété. Le but de cette thèse est de permettre à un utilisateur de manipuler le contenu visuel et créer des images qui correspondent au message qu'il cherche à transmettre. Nous proposons plusieurs manipulations qui modifient, simplifient ou stylisent des images pour augmenter leur pouvoir d'expression. Nous présentons d'abord deux méthodes pour enlever les détails d'une photographie ou d'une vidéo. Le résultat de cette simplification met en valeur les structures importantes de l'image. Nous introduisons ensuite une nouvelle primitive vectorielle, nommée Courbe de Diffusion, qui facilite la création de dégradés de couleurs et de flou dans des images vectorielles. Les images créées avec des courbes de diffusion présentent des effets complexes qui sont difficiles à reproduire avec les outils vectoriels existants. Dans une seconde partie, nous proposons deux algorithmes pour la création d'animations stylisées à partir de vidéos et de scènes 3D. Ces deux méthodes produisent des animations qui ont l'apparence 2D de média traditionnels comme l'aquarelle. Nous décrivons enfin une approche pour décomposer l'information d'illumination et de réflectance dans une photographie. Nous utilisons des indications utilisateurs pour résoudre ce problème sous-contraint. Les différentes manipulations d'image proposées dans ce mémoire facilitent la création d'une variété de représentations visuelles, comme illustré par nos résultats.

Cette thèse s'inscrit dans le thème du rendu expressif qui vise à définir des outils de création et de traitement d'images ou d'animations stylisées. Les applications concernent tous les métiers nécessitant une représentation visuelle plus stylisée qu'une photographie : création artistique (jeux vidéo, film d'animation, dessins animés), restitution archéologique, documentation technique, etc. Un critère fondamental de qualité d'une image est l'absence d'artefacts visuels. Cette considération a toujours existé, mais elle est particulièrement importante dans le cas de l'informatique graphique. En effet, la nature même de l'image - des pixels discrets - est source d'artefacts. Les artefacts sont encore plus visibles lorsque l'on s'intéresse aux animations, des artefacts temporels s'ajoutant aux artefacts spatiaux. L'objectif de cette thèse est d'une part de formaliser et mesurer ces artefacts en tenant compte de la perception humaine, et d'autre part de proposer de nouvelles méthodes de stylisation interactive d'animations 3D. Nous présentons tout d'abord un ensemble de techniques pour créer et assurer la cohérence de dessins au trait extraits de scènes 3D animées. Nous proposons ensuite deux méthodes de stylisation des régions de couleur permettant la créations d'un grand nombre de motifs. Le point commun à toutes ces approches est la représentation du médium simulé (pigment d'aquarelle, coup de crayon ou de pinceau...) par une texture évoluant au cours de l'animation. Nous décrivons enfin deux expériences utilisateurs visant à évaluer perceptuellement la qualité des résultats produits par ce type de techniques.

Le rendu expressif a pour objectif de créer des algorithmes permettant aux de contrôler la manière dont les images de synthèse sont créées. Plus précisément, il s'agit de laisser aux utilisateurs la possibilité de faire passer un message spécifique dans un style donné, même s'il faut pour cela s'éloigner des techniques d'éclairement physiquement réalistes. Dans cette thèse, nous proposons une formalisation du rendu expressif, en décomposant le message à communiquer dans une scène 3D et le style utilisé pour créer l'image finale. Au cours de ce manuscrit, nous nous concentrons sur deux domaines ayant la particularité de s'appuyer sur un message commun : la mise en valeur de la forme des objets dans des scènes dynamiques. Dans la première partie de ce mémoire, nous proposons de nouvelles solutions pour exagérer les détails de surface à travers le rendu. Nous montrons notamment comment extraire des informations pertinentes sur la forme des objets en prenant les caractéristiques du système visuel humain en compte. Notre approche permet ainsi de déterminer des informations dépendantes du point de vue, qui fournissent des niveaux de détail automatiques de manière dynamique. Nous nous servons ensuite de ce message pour modifier l'éclairement et l'introduire dans des styles variés, allant du rendu minimaliste noir et blanc, au rendu réaliste. Dans la seconde partie de ce mémoire, nous proposons une nouvelle approche pour communiquer la forme des objets via le dessin au trait. Nous introduisons une définition générale des lignes, cohérente spatialement et temporellement, et capable d'identifier de nombreux types de détails. Nous montrons ensuite comment appliquer une stylisation implicite le long de ces lignes, de sorte à obtenir des effets et styles originaux qui s'adaptent parfaitement aux détails de surface. Nous discutons enfin plus en détail des limitations de chacune de ces approches dans une troisième partie. Nous montrons que notre perception de l'apparence est un élément essentiel sur lequel nous pourrions nous appuyer dans des travaux futurs. Les messages et styles dont nous parlons pourraient évoluer en un modèle plus intuitif et plus cohérent.

L'édition, la création, et le design digital mènent la flexibilité des ordinateurs vers l'acte de création. La quasi-absence de conséquences par l'expérimentation peut être à la fois une bonne et une mauvaise chose. Bien que la flexibilité des ordinateurs encourage l'exploration d'idées artistiques, elle peut également la freiner, en proposant trop d'options mal-adaptées. Un grand défi pour le développement des logiciels graphiques aujourd'hui est de tirer parti de la flexibilité sans précédent des ordinateurs, tout en offrant à l'utilisateur le niveau de contrôle adapté à ses besoins. La difficulté quand on développe un tel système est fortement influencée par l'attente que l'utilisateur place dans le travail effectué par l'ordinateur. L'ordinateur étant considéré comme un assistant dans le processus de création, on attend de lui qu'il soit 'assez intelligent' pour mériter ce rang. Habituellement, nous n'acceptons pas bien quand le résultat d'une telle assistance n'est pas satisfaisante. Cependant, le niveau d'attente et, par conséquence, de satisfaction, varie en fonction de l'utilisateur. Les utilisateurs novices ont tendance à être moins exigeants et sont satisfaits quand ils peuvent créer des résultats intéressants avec peu d'intervention humaine. Les utilisateurs professionnels, d'un autre côté, ont des besoins différents. Ils recherchent des logiciels assez performants pour automatiser leurs taches, mais qui leur laissent assez de contrôle sur le résultat obtenu. Pour cette catégorie d'utilisateurs, plus l'impact du logiciel sur le résultat est important, plus ils veulent avoir le contrôle sur la façon dont est obtenu ce résultat. Dans cette thèse, nous démontrons que l'ordinateur peut être un assistant précieux dans le processus de création visuel du moment que des systèmes d'interaction adaptés existent. L'adaptation est donc un aspect important car, à différents niveaux, les utilisateurs veulent pouvoir contrôler le résultat afin d'exprimer leur style et leur créativité. La thèse présente deux scénarios différents qui démontrent que la contrôlabilité joue un rôle majeur dans l'expressivité : une technique temps-réel pour grouper des scènes 3d dynamiques pour obtenir automatiquement un résultat sur lequel on peut facilement appliquer un style de rendu arbitraire; et plusieurs dérivées d'une primitive de dessin vectoriel appelée Diffusion Curves qui contraignent et contrôlent la création de dégradés de couleurs complexes. La thèse propose, d'un coté, des représentations mathématiques et algorithmiques adaptées avec différents niveaux de contrôle sur les algorithmes de rendu expressif qui manipulent des scènes bi et tridimensionnelles; et, d'un autre coté, de traduire ces outils en interface intuitive pour l'utilisateur.

Les travaux que j'ai pu mener durant ma these peuvent etre organises selon trois themes. <br />Premierement, j'ai etudie les problemes de representation souleves par la production d'images ou d'animations a caractere expressif (c'est a dire introduisant l'expressivite d'un utilisateur/artiste). Cela <br />m'a mene a proposer des solutions a des problemes concrets dans ce domaine. En second lieu, j'ai etudie les methodes d'acquisition de style a partir d'exemples fournis par l'utilisateur/artiste. <br />En particulier j'ai pu produire des systemes d'acquisition operant sur des images vectorielles ou bitmap. Pour finir, j'ai tente de tisser des liens entre le domaine fascinant de la perception visuelle et les methodes de representation ou d'acquisition, donnant ainsi un cadre d'etude commun a de nombreuses approches de rendu expressif, de prime abord heterogenes.

La communication visuelle est un outil extrêmement efficace pour transmettre un message. En fonction du but de l'auteur de l'image, différentes représentions sont possibles allant d'une représentation photoréaliste à un dessin ou une peinture, voire à des schémas. Cette HDR présente des outils informatiques visant à améliorer le processus de création d'images. Cette création peut passer par le rendu d'un modèle 3D, la traitement d'un film ou d'une image mais aussi le dessin direct. Ces travaux reposent sur deux principes. Premièrement il est fondamental de trouver un bon compromis entre la production manuelle et la production automatique. L'enjeu est de trouver les bons outils de contrôle à laisser au créateur tout en lui simplifiant la tache le plus possible. Pour cela le créateur doit être intégré dans le processus de conception même de l'outil. Deuxièmement, partant du principe qu'une image est faite pour être vue par le système visuel, nous pouvons nous appuyer sur les connaissances actuelles en perception humaine pour guider nos algorithmes. Cela permet d'obtenir des images pertinentes et des outils efficaces pour le créateur et pour le spectateur de l'image.

Le rendu expressif a pour objectif de développer des algorithmes qui donnent la possibilité aux utilisateurs de créer des images artistiques. Il permet non-seulement de reproduire des styles traditionnels, mais surtout de communiquer un message spécifique avec un style qui lui correspond. Dans ce manuscrit, nous proposons de nouvelles solutions pour réintroduire la forme, souvent masquée dans les images réalistes. Nous montrons tout d'abord comment extraire les informations de surface pertinentes sur des objets 3D dynamiques, en nous basant sur les caractéristiques du système visuel humain, de sorte à obtenir des informations qui fournissent des niveaux de détail automatiques tout en prenant le point de vue en compte. Dans un deuxième temps, nous utilisons ces données extraites à la surface des objets 3D pour les intégrer en temps réel dans des styles variés, allant du rendu minimaliste noir et blanc au dessin au trait, en passant par des résultats réalistes. / Expressive rendering aims at designing algorithms that give users the possibility to create artistic images. It allows to produce traditional styles, but also to convey a specific message with its corresponding style. In this thesis, we propose new solutions for enhancing shape, often hidden in realistic images. We first show how to extract relevant surface features on 3D dynamic scenes, taking the human visual system into account, in order to be able to control level-of-details. In a second step, we integrate this information in a variety of styles: minimalist black and white, realistic, or line-based renderings.

Dans ce document, nous explorons les différentes étapes habituellement requises pour la synthèse d'image. Le principal but de cette exploration est de prendre en compte autant que possible l'utilisateur. La création d'images 3D nécessite en premier lieu la définition d'une collection de modèles 3D et de leur position relative. Pour cet objectif, nous explorons les techniques de modélisation 3D par esquisses pour des maillages 3D, en étendant l'utilisation de courbe de la définition de la silhouette à celle du profil de la forme, et en exposant toutes les différentes étapes du processus de reconstruction ainsi que la représentation interne. Nous explorons aussi l'utilisation de tels outils lorsque l'utilisateur se trouve face à de grands écrans. Une fois la géométrie d'un objet définie, un utilisateur doit définir son apparence résultant de l'interaction de la lumière avec ses propriétés de réflexion et sa géométrie. Nous introduisons un nouveau modèle de BRBF et ses outils de modélisation pour étendre les effets lumineux possibles. Puisque la forme de l'objet influence la perception de son éclairement, nous introduisons aussi un descripteur de forme pour extraire des informations continues de convexité et de courbure. Cette analyse en temps-réel est utilisée pour re-introduire ces information dans différents styles de rendu. Finallement, nous introduisons une nouvelle représentation pour l'éclairement qui offre un grand potentiel en terme d'édition pour l'éclairage global. Cette représentation est basée sur une grille régulière de vecteurs d'irradiance qui encode l'éclairement incident. La combinaison d'une approche volumique et vectorielle rend cette méthode bien adaptée pour tous les algorithmes qui doivent faire face à la complexité géométrique des scènes 3D.