La synthèse de textures est une technique qui génère une texture automatiquement grâce à un algorithme. Cette technique permet de réduire le temps de création des textures et le coût mémoire étant donné que seuls les algorithmes et leurs paramètres ont besoin d'être stockés. Cependant, des difficultés sont souvent rencontrées lors de l'utilisation des textures synthétisées. D'abord, les paramètres de ces textures sont difficiles à manipuler. Ensuite, l'algorithme de synthèse génère souvent les textures sous forme de tableaux de pixels nécessitant beaucoup de mémoire. Pour aborder ces difficultés, nous proposons les approches suivantes : pour améliorer la visualisation de l'espace des textures synthétisées, nous proposons de construire un résumé de cet espace: une seule image statique qui résume, dans un espace limité de pixels, les apparences produites par un synthétiseur donné. De plus, pour améliorer la sélection de paramètres, nous augmentons les curseurs qui contrôlent les paramètres avec des bandes visuelles révélant les changements qui se produisent quand l'utilisateur manipule les curseurs. Pour permettre à l'utilisateur d'interagir de manière interactive avec les résumés visuels, nous nous reposons sur un algorithme de synthèse par patch permettant de générer les textures de façon rapide grâce à une implémentation parallèle sur le processeur graphique. Au lieu de générer le résultat de ce synthétiseur sous forme d'un tableau de pixels, nous représentons le résultat dans une structure compacte et nous utilisons une méthode rapide permettant de lire des pixels directement à partir de cette structure / Texture synthesis is a technique that algorithmically generates textures at rendering time. The automatic synthesis reduces authoring time and memory requirements since only the algorithm and its parameters need to be stored or transferred. However, two difficulties often arise when using texture synthesis: First, the visualization and parameters selection of synthesized textures are difficult. Second, most synthesizers generate textures in a bitmap format leading to high memory usage. To address these difficulties we propose the following approaches: First, to improve the visualization of synthesized textures we propose the idea of a procedural texture preview: A single static image summarizing in a limited pixel space the appearances produced by a given synthesizer. The main challenge is to ensure that most appearances are visible, are allotted a similar pixel area, and are ordered in a smooth manner throughout the preview. Furthermore, to improve parameters selection we augment sliders controlling parameters with visual previews revealing the changes that will be introduced upon manipulation. Second, to allow user interactions with these visual previews we rely on a fast patch-based synthesizer. This synthesizer achieves a high degree of parallelism and is implemented entirely on the GPU. Finally, rather than generating the output of the synthesizer as a bitmap texture we encode the result in a compact representation and allow to decoding texels from this representation during rendering

Les travaux de cette thèse s'inscrivent dans le cadre du projet PIA2 3DNeuroSecure. Ce dernier vise à proposer un système collaboratif de navigation multi-échelle interactive dans des données visuelles massives (Visual Big Data) ayant pour cadre applicatif l'imagerie biomédicale 3D ultra-haute résolution (ordre du micron) possiblement multi-modale. En outre, ce système devra être capable d'intégrer divers traitements et/ou annotations (tags) au travers de ressources HPC distantes. Toutes ces opérations doivent être envisagées sans possibilité de stockage complet en mémoire (techniques out-of-core : structures pyramidales, tuilées, … avec ou sans compression …). La volumétrie des données images envisagées (Visual Big Data) induit par ailleurs le découplage des lieux de capture/imagerie/génération (histologie, confocal, imageurs médicaux variés, simulation …), de ceux de stockage et calcul haute performance (data center) mais aussi de ceux de manipulation des données acquises (divers périphériques connectés, mobiles ou non, tablette, PC, mur d’images, salle de RV …). La visualisation restituée en streaming à l’usager sera adaptée à son périphérique, tant en termes de résolution (Full HD à GigaPixel) que de rendu 3D (« à plat » classique, en relief stéréoscopique à lunettes, en relief autostéréoscopique sans lunettes). L'ensemble de ces développements pris en charge par le CReSTIC avec l'appui de la MaSCA (Maison de la Simulation de Champagne-Ardenne) se résument donc par : - la définition et la mise en oeuvre des structures de données adaptées à la visualisation out-of-core des visual big data (VBD) ciblées - l’adaptation des traitements spécifiques des partenaires comme des rendus 3D interactifs à ces nouvelles structures de données - les choix techniques d’architecture pour le HPC et la virtualisation de l’application de navigation pour profiter au mieux des ressources du datacanter local ROMEO. Le rendu relief avec ou sans lunettes, avec ou sans compression du flux vidéo relief associé seront opérés au niveau du logiciel MINT de l’URCA qui servira de support de développement. / These thesis studies are part of the PIA2 project 3DNeuroSecure. This one aims to provide a collaborative system of interactive multi-scale navigation within visual big data (VDB) with ultra-high definition (tera-voxels), potentially multimodal, 3D biomedical imaging as application framework. In addition, this system will be able to integrate a variety of processing and/or annotations (tags) through remote HPC resources. All of these treatments must be possible in an out-of-core context. Because of the visual big data, we have to decoupled the location of acquisition from ones of storage and high performance computation and from ones for the manipulation of the data (various connected devices, mobile or not, smartphone, PC, large display wall, virtual reality room ...). The streaming visualization will be adapted to the user device in terms of both resolution (Full HD to GigaPixel) and 3D rendering (classic rendering on 2D screens, stereoscopic with glasses or autostereoscopic without glasses). All these developments supported by the CReSTIC with the support of MaSCA (Maison de la Simulation de Champagne-Ardenne) can therefore be summarized as: - the definition and implementation of the data structures adapted to the out-of-core visualization of the targeted visual big data. - the adaptation of the specific treatments partners, like interactive 3D rendering, to these new data structures. - the technical architecture choices for the HPC and the virtualization of the navigation software application, to take advantage of "ROMEO", the local datacenter. The auto-/stereoscopic rendering with or without glasses will be operated within the MINT software of the "université de Reims Champagne-Ardenne".

La génération d'images de synthèse pour la production cinématographique n'a cessé d'évoluer durant ces dernières décennies. Pour le non-expert, il semble que les effets spéciaux aient atteint un niveau de réalisme ne pouvant être dépassé. Cependant, les logiciels mis à la disposition des artistes ont encore du progrès à accomplir. En effet, encore trop de temps est passé à attendre le résultat de longs calculs, notamment lors de la prévisualisation d'effets spéciaux. La lenteur ou la mauvaise qualité des logiciels de prévisualisation pose un réel problème aux artistes. Cependant, l'évolution des cartes graphiques ces dernières années laisse espérer une potentielle amélioration des performances de ces outils, notamment par la mise en place d'algorithmes hybrides rasterisation/ lancer de rayons, tirant profit de la puissance de calcul de ces processeurs, et ce, grâce à leur architecture massivement parallèle. Cette thèse explore les différentes briques logicielles nécessaires à la mise en place d'un pipeline de rendu complexe sur carte graphique, permettant une meilleure prévisualisation des effets spéciaux. Différentes contributions ont été apportées à l'entreprise durant cette thèse. Tout d'abord, un pipeline de rendu hybride a été développé (cf. Chapitre 2). Par la suite, différentes méthodes d'implémentation de l'algorithme de Path Tracing ont été testées (cf. Chapitre 3), de façon à accroître les performances du pipeline de rendu sur GPU. Une structure d'accélération spatiale a été implémentée (cf. Chapitre 4), et une amélioration de l'algorithme de traversée de cette structure sur GPU a été proposée (cf. Section 4.3.2). Ensuite, une nouvelle méthode de décorrélation d'échantillons, dans le cadre de la génération de nombres aléatoires a été proposée (cf. Section 5.4) et a donné lieu à une publication [Dufay et al., 2016]. Pour finir, nous avons tenté de combiner l'algorithme de Path Tracing et les solutions Many Lights, toujours dans le but d'améliorer la prévisualisation de l'éclairage global. Cette thèse a aussi donné lieu à la soumission de trois mémoires d'invention et a permis le développement de deux outils logiciels présentés en Annexe A. / Image synthesis for movie production never stopped evolving over the last decades. It seems it has reached a level of realism that cannot be outperformed. However, the software tools available for visual effects (VFX) artists still need to progress. Indeed, too much time is still wasted waiting for results of long computations, especially when previewing VFX. The delays or poor quality of previsualization software poses a real problem for artists. However, the evolution of graphics processing units (GPUs) in recent years suggests a potential improvement of these tools. In particular, by implementing hybrid rasterization/ray tracing algorithms, taking advantage of the computing power of these processors and their massively parallel architecture. This thesis explores the different software bricks needed to set up a complex rendering pipeline on the GPU, that enables a better previsualization of VFX. Several contributions have been brought during this thesis. First, a hybrid rendering pipeline was developed (cf. Chapter 2). Subsequently, various implementation schemes of the Path Tracing algorithm have been tested (cf. Chapter 3), in order to increase the performance of the rendering pipeline on the GPU. A spatial acceleration structure has been implemented (cf. Chapter 4), and an improvement of the traversal algorithm of this structure on GPU has been proposed (cf. Section 4.3.2). Then, a new sample decorrelation method, in the context of random number generation was proposed (cf. Section 5.4) and resulted in a publication [Dufay et al., 2016]. Finally, we combined the Path Tracing algorithm with the Many Lights solution, always with the aim of improving the preview of global illumination. This thesis also led to the submission of three patents and allowed the development of two software tools presented in Appendix A.

La simulation numérique génère des maillages de plus en plus gros pouvant atteindre plusieurs dizaines de millions de tétraèdres. Ces ensembles doivent être visuellement analysés afin d'acquérir des connaissances relatives aux données physiques simulées pour l'élaboration de conclusions. Les capacités de calcul utilisées pour la visualisation scientifique de telles données sont souvent inférieures à celles mises en oeuvre pour les simulations numériques. L'exploration visuelle de ces ensembles massifs est ainsi difficilement interactive sur les stations de travail usuelles. Au sein de ce mémoire, nous proposons une nouvelle approche interactive pour l'exploration visuelle de maillages tétraédriques massifs pouvant atteindre plus de quarante millions de cellules. Elle s'inscrit pleinement dans le procédé de génération des simulations numériques, reposant sur deux maillages à résolution différente -- un fin et un grossier -- d'une même simulation. Une partition des sommets fins est extraite guidée par le maillage grossier permettant la reconstruction à la volée d'un maillage dit birésolution, mélange des deux résolutions initiales, à l'instar des méthodes multirésolution usuelles. L'implantation de cette extraction est détaillée au sein d'un processeur central, des nouvelles générations de cartes graphiques et en mémoire externe. Elles permettent d'obtenir des taux d'extraction inégalés par les précédentes approches. Afin de visualiser ce maillage, un nouvel algorithme de rendu volumique direct implanté entièrement sur carte graphique est proposé. Un certain nombre d'approximations sont réalisées et évaluées afin de garantir un affichage interactif des maillages birésolution.

Dans ce document, nous explorons les différentes étapes habituellement requises pour la synthèse d'image. Le principal but de cette exploration est de prendre en compte autant que possible l'utilisateur. La création d'images 3D nécessite en premier lieu la définition d'une collection de modèles 3D et de leur position relative. Pour cet objectif, nous explorons les techniques de modélisation 3D par esquisses pour des maillages 3D, en étendant l'utilisation de courbe de la définition de la silhouette à celle du profil de la forme, et en exposant toutes les différentes étapes du processus de reconstruction ainsi que la représentation interne. Nous explorons aussi l'utilisation de tels outils lorsque l'utilisateur se trouve face à de grands écrans. Une fois la géométrie d'un objet définie, un utilisateur doit définir son apparence résultant de l'interaction de la lumière avec ses propriétés de réflexion et sa géométrie. Nous introduisons un nouveau modèle de BRBF et ses outils de modélisation pour étendre les effets lumineux possibles. Puisque la forme de l'objet influence la perception de son éclairement, nous introduisons aussi un descripteur de forme pour extraire des informations continues de convexité et de courbure. Cette analyse en temps-réel est utilisée pour re-introduire ces information dans différents styles de rendu. Finallement, nous introduisons une nouvelle représentation pour l'éclairement qui offre un grand potentiel en terme d'édition pour l'éclairage global. Cette représentation est basée sur une grille régulière de vecteurs d'irradiance qui encode l'éclairement incident. La combinaison d'une approche volumique et vectorielle rend cette méthode bien adaptée pour tous les algorithmes qui doivent faire face à la complexité géométrique des scènes 3D.

Les fonctions de texture directionnelle (« Bidirectional Texture Function » ou BTF) ont rencontré un certain succès ces dernières années dans le contexte de la synthèse d'images en temps-réel grâce à la fois au réalisme qu'elles apportent et au faible coût de calcul nécessaire. Cependant, un inconvénient de cette approche reste la taille gigantesque des données et de nombreuses méthodes ont été proposées afin de les compresser. Dans ce document, nous proposons une nouvelle représentation des BTFs qui améliore la cohérence des données et qui permet ainsi une compression plus efficace de celles-ci. Dans un premier temps, nous étudions les méthodes d'acquisition et de génération des BTFs et plus particulièrement, les méthodes de compression adaptées à une utilisation sur cartes graphiques. Nous réalisons ensuite une étude à l'aide de notre logiciel BTFInspect afin de déterminer parmi les différents phénomènes visuels mesurés dans les BTFs, ceux qui influencent majoritairement la cohérence des données par pixel. Dans un deuxième temps, nous proposons une nouvelle représentation pour les BTFs, appelées « Flat Bidirectional Texture Function » Flat-BTFs, qui améliore la cohérence des données d'une BTF et synthétiques afin de valider sa mise en œuvre. Dans l'analyse des résultats obtenus, nous montrons statistiquement et visuellement le gain de cohérence obtenu ainsi que l'absence d'une perte significative de qualité en comparaison avec la représentation d'origine. Enfin, dans un troisième temps, nous validons l'utilisation de notre nouvelle représentation dans des applications de rendu en temps-réel sur cartes graphiques. Puis, nous proposons une compression de l'apparence grâce à une méthode de quantification adaptée et présentée dans le cadre d'une application de diffusion de données 3D entre un serveur contenant des modèles 3D et un client désirant visualiser ces données.

La texture des surfaces est tactilement perçue principalement par les vibrations générées lors du glissement de nos doigts sur celles-ci. Malgré sa prévalence quotidienne, l'étude de l'interaction du doigt avec une texture, dans le cadre de la réalité virtuelle, n'a pas été approfondie en détail. Cette thèse explore une partie des facteurs qui contribuent à la mécanique de l'interaction entre un doigt et une surface avec pour objectif sa reproduction artificielle. L'enregistrement et la reproduction des textures tactiles sont premièrement discutés, accompagnés de la conception d'un appareil capable de précisément mesurer la force d'interaction émanant de la friction d'un doigt qui glisse. Le même dispositif piézoélectrique fut employé pour déformer à haute vitesse le bout du doigt, dans le but de reproduire la présence d'une texture. Ce travail est une nouvelle approche pour simuler la rugosité et la texture d'une surface virtuelle. La question de l'enregistrement et de la reproduction des surfaces texturées a motivé l'étude du comportement mécanique du bout du doigt. Cette étude révèle que le bout des doigts se comporte comme un ressort élastique dans les basses fréquences, et qu'après une fréquence de coupure d'environ 100 Hz, la réponse est dominée par l'amortissement visqueux, un fait qui n'a jamais été directement observé auparavant. Ensuite, les spécificités des signaux vibratoires créés par le frottement d'un doigt sur plusieurs textures furent analysées. L'expression des fluctuations de la force de friction en fonction de l'espace plutôt que du temps, indique que plusieurs caractéristiques du signal peuvent jouer un rôle majeur dans la perception tactile des textures. Cette thèse met en lumière l'importance de la mécanique et de la biomécanique pendant l'exploration haptique des surfaces et leur potentielle contribution à la perception. Collectivement, les résultats présentés dans cette thèse sont utiles pour la conception de meilleurs systèmes de réalité virtuelle et à d'autres applications.

Le photo-réalisme en synthèse d'images nécessite l'intervention de nombreux paramètres, ainsi que des calculs complexes. Le but peut être considéré comme atteint lorsque un observateur ne peut plus faire la différence entre une simulation et une photographie de la scène simulée. Pour atteindre cet objectif, il est nécessaire d'effectuer des calculs complexes, aussi bien au niveau de la géométrie de la scène, de la simulation des matériaux, ou encore de l'interaction lumière matière. Toutefois, un élément est souvent oublié dans cette quête de réalisme : l'environnement d'observation. Cette simulation est en effet observée sur un dispositif de visualisation, par un observateur humain, placé dans un certain environnement. Or, chacune de ces trois composantes dispose de caractéristiques bien spécifiques qu'il peut être intéressant d'exploiter en synthèse d'images. C'est ce que nous nous proposons de faire à travers une métrique perceptuelle entre images développée pour correspondre à nos besoins. Cette métrique permet de comparer deux images en utilisant un modèle de vision qui simule le traitement effectué par le système visuel humain. Elle sera ensuite intégrée dans un algorithme de rendu progressif, afin de remplacer les critères empiriques de ce dernier par des critères perceptuels. Les temps de calculs obtenus sont pratiquement deux fois inférieurs à eux d'un calcul complet.

La quête vers un photoréalisme accru en synthèse d'images est passée jusqu'ici par une amélioration de la simulation des phénomènes physiques. En revanche, la manipulation de l'information couleur est demeurée quelque peu délaissée. Le but de ce mémoire est de présenter un certain nombre de problèmes liés à la couleur en synthèse d'images, et d'y apporter autant que possible des solutions. Nous analysons tout d'abord la mise en oeuvre informatique d'un logiciel de rendu prenant en compte l'aspect spectral de la lumière. La solution la plus simple étant très coûteuse, les approches algorithmiques plus efficaces connues à ce jour sont présentées, puis comparées. Nous proposons alors une méthode adaptative où les données spectrales sont approximées plus ou moins finement en fonction d'une estimation dynamique de l'erreur colorimétrique. Nous présentons dans un deuxième temps le problème de la visualisation des données calculées par un logiciel de rendu spectral. Celle-ci doit se faire au sens d'une fidélité couleur auprès de deux observateurs humains (l'un virtuel plongé dans la scène, et l'autre présent devant l'outil de visualisation). Il est donc nécessaire de posséder un modèle de vision de la couleur inversible, ainsi qu'un modèle de moniteur couleur. Les solutions connues sont passées en revue. Et, quelques voix de recherches sont suggérées. Nous abordons finalement le problème de l'évaluation d'une distance perceptuelle entre images en couleur. Après un rappel des méthodes existantes, nous proposons un algorithme spécifique à la synthèse d'images. Celui-ci s'appuie sur la notion de focus d'attention, et sur l'utilisation d'un espace couleur uniforme récemment défini.

La combinaison de microscope photonique et de caméra est largement utilisée dans les applications de micro-assemblage. Cet instrument indispensable comporte cinq propriétés : un faible champ de vision, une faible profondeur de champ, une faible distance de travail, une forte dépendance à l'éclairage et un encombrement important. La conséquence directe de ces propriétés dans un contexte de micro-assemblage est l'utilisation de système de vision distribué composé d'imageurs de caractéristiques différentes et complémentaires qui ont un coût et un encombrement important. C'est pour cela que notre approche consiste a reconstruire certaines vues indispensables au contrôle de la station par des techniques de rendu d'images, limitant ainsi le nombre de vidéo microscopes photoniques réels dans la station. Pour cela, nous proposons d'utiliser deux techniques, la construction d'images mosaïques et le transfert trifocal. Avant toute chose le système de vision doit être calibré, nous présentons les étapes du calibrage stéréoscopique faible pour ce contexte de microscopie photonique ainsi que leurs améliorations par de nouveaux algorithmes. La construction d'images mosaïques est une technique qui permet de reconstruire une image complète d'une scène à partir d'un ensemble d'images représentant chacune une petite partie de cette scène. Après avoir présenté de nouveaux algorithmes en vue d'améliorer la construction de mosaïques nous l'utilisons pour la supervision de station de micromanipulation. Le transfert trifocal est une technique qui permet à partir d'un simple calibrage stéréoscopique faible de reconstruire une vue virtuelle à partir de seulement deux vues réelles sans le besoin d'information 3D explicite. Après un éclaircissement sur la théorie et la proposition de nouveaux algorithmes nous l'utilisons dans une boucle d'asservissement visuel de type look-and-move, pour contrôler le déplacement d'une micropince. La vue de côté virtuelle permettant le contrôle est reconstruite à partir des vues réelles provenant d'un stéréo microscope photonique.