Peu d'études ont été menées sur l'influence de la stéréoscopie sur la perception d'un mixage audio au cinéma. Les témoignages de mixeurs ou les articles scientifiques montrent pourtant une grande diversité d'opinions à ce sujet. Certains estiment que cette influence est négligeable, d'autres affirment qu'il faut totalement revoir notre conception de la bande-son, aussi bien au niveau du mixage que de la diffusion. Une première série d'expériences s'est intéressée à la perception des sons d'ambiance. 8 séquences, dans leurs versions stéréoscopiques (3D-s) et non-stéréoscopiques (2D), ont été diffusées dans un cinéma à des sujets avec plusieurs mixages différents. Pour chaque présentation, les sujets devaient évaluer à quel point le mixage proposé leur paraissait trop frontal ou au contraire trop « surround », le but étant de mettre en évidence une éventuelle influence de la stéréoscopie sur la perception de la balance frontal/surround d'un mixage audio. Les résultats obtenus ont rejoint ceux d'une expérience préliminaire menée dans un auditorium de mixage, où les sujets se trouvaient en situation de mixeur et devaient eux-mêmes régler la balance frontal/surround : l'influence de la stéréoscopie était faible et n'apparaissait que pour quelques séquences. Des études ont ensuite été menées sur la perception des objets sonores tels que dialogues et effets. Une quatrième expérience s'est intéressée à l'effet ventriloque en élévation : lorsque l'on présente à un sujet des stimuli audio et visuel temporellement coïncidents mais spatialement disparates, les sujets perçoivent parfois le stimulus sonore au même endroit que le stimulus visuel. On appelle ce phénomène l’effet ventriloque car il rappelle l'illusion créée par le ventriloque lorsque sa voix semble plutôt provenir de sa marionnette que de sa propre bouche. Ce phénomène a été très largement étudié dans le plan horizontal, et dans une moindre mesure en distance. Par contre, très peu d'études se sont intéressées à l'élévation. Dans cette expérience, nous avons présenté à des sujets des séquences audiovisuelles montrant un homme en train de parler. Sa voix pouvait être reproduite sur différents haut-parleurs, qui créaient des disparités plus ou moins grandes en azimut et en élévation entre le son et l'image. Pour chaque présentation, les sujets devaient indiquer si la voix semblait ou non provenir de la même direction que la bouche de l'acteur. Les résultats ont montré que l'effet ventriloque était très efficace en élévation, ce qui suggère qu'il n'est peut-être pas nécessaire de rechercher la cohérence audiovisuelle en élévation au cinéma. / Few psychoacoustic studies have been carried out about the influence of stereoscopy on the sound mixing of movies. Yet very different opinions can be found in the cinema industry and in scientific papers. Some argue that sound needs to be mixed differently for stereoscopic movies while others pretend that this influence is negligible.A first set of experiments was conducted, which focused on the perception of ambience. Eight sequences - in their stereoscopic (s-3D) and non-stereoscopic (2D) versions, with several different sound mixes - were presented to subjects. For each presentation, subjects had to judge to what extent the mix sounded frontal or “surround.” The goal was to verify whether stereoscopy had an influence on the perception of the front/surround balance of ambience. Results showed that this influence was weak, which was consistent with a preliminary experiment conducted in a mixing auditorium where subjects had to mix the front/surround balance of several sequences themselves.Studies were then conducted on the perception of sound objects such as dialogs or on-screen effects. A fourth experiment focused on ventriloquism in elevation: when presented with a spatially discordant auditory-visual stimulus, subjects sometimes perceive the sound and the visual stimuli as coming from the same location. Such a phenomenon is often referred to as ventriloquism, because it evokes the illusion created by a ventriloquist when his voice seems to emanate from his puppet rather than from his mouth. While this effect has been extensively examined in the horizontal plane and to a lesser extent in distance, few psychoacoustic studies have focused on elevation. In this experiment, sequences of a man talking were presented to subjects. His voice could be reproduced on different loudspeakers, which created disparities in both azimuth and elevation between the sound and the visual stimuli. For each presentation, subjects had to indicate whether or not the voice seemed to emanate from the mouth of the actor. Ventriloquism was found to be highly effective in elevation, which suggests that audiovisual coherence in elevation might be unnecessary in theaters.

Ce travail s'insère dans un projet global de modélisation de scènes urbaines à partir d'images satellitaires très haute résolution. Le projet a été proposé dans le cadre d'une collaboration entre l'IGN et le CNES et l'université de Paris 5. L'objectif final du projet sera de fournir un système automatique permettant de classifier la scène en deux thèmes ; bâti et routes et de reconstruire les bâtiments en 3D. Dans le cadre de cette thèse, on s'intéresse uniquement à la modélisation des bâtiments. <br />On dispose en entrée de couples stéréoscopiques panchromatiques à [50-70 cm] de résolution et de faible rapport Base sur Hauteur B/H [0.05-0.2]. On exclut la multiscopie.<br />Étant donnée la complexité d'une extraction fine et détaillée des toits en contexte satellitaire, on propose de modéliser la scène urbaine par une surface 3D hybride fournissant différents niveaux de description en fonction de la fiabilité des primitives extraites : points 3D, segments 3D et surfaces planes. <br />Une stratégie mixte a été adoptée. Tout d'abord, une stratégie ascendante basée sur les images permet d'extraire les primitives 3D (segments 3D et facettes 3D). Deux stratégies complémentaires d'extractions de primitives seront détaillées. Une description multi-échelles est utilisée pour la segmentation des images. Notre apport consiste essentiellement dans l'appariement global de deux segmentations multi-échelles du couple stéréoscopique.<br /><br />L'ensemble des primitives sera validé par une approche descendante et permettra de contraindre la modélisation de la surface 3D.<br />Le problème de modélisation de surface 3D peut être formulé comme un problème de minimisation d'énergie. Il sera résolu par optimisation à base de flots de graphes, contrainte par les primitives 3D. Le graphe 3D hybride sera construit à partir d'un volume de corrélation sur la scène 3D et des primitives 3D extraites. La surface finale est obtenue par recherche de la coupe de capacité minimale dans ce graphe 3D.<br /> La majeure contribution de notre approche consiste à utiliser des primitives 3D extraites et des données externes telles que le réseau routier ou les plans cadastraux pour contraindre le problème d'optimisation et modéliser de manière explicite les occultations et les discontinuités.<br />Le produit final, sera un Modèle Numérique d'Élévation hybride « raster/vecteur », permettant d'exploiter à chaque endroit de la scène, les primitives du niveau le plus élevé que l'on a pu reconstruire de manière fiable.<br /><br />Mots-clés : images satellitaires haute résolution, stéréoscopie, Modèle Numérique d'Élévation, primitives 3D, mise en correspondance de régions, appariement multi-échelles, optimisation à base de flots de graphes.

Les modèles polyédriques, très utilisés dans les processus d'ingénierie, constituent une représentation privilégiée au sein des maquettes numériques de produits. Les approches et méthodes de manipulation et d'exploitation de ces modèles, sont le plus souvent pilotées par un critère géométrique lié à la forme des objets (normale, courbure ...) mais très peu prennent en compte des informations de type perceptuelles. Parallèlement, les techniques de traitement d'images existantes extraient des données (contours, primitives géométriques, textures ...) relatives à la description des formes des objets qu'elles représentent. Ainsi, le but de cette thèse est de réaliser un couplage modèle polyédrique 3D / images numériques 2D pour manipuler les modèles 3D avec des critères extraits d'image(s). Une méthode de simplification et deux méthodes de déformation de polyèdres sont présentées. Dans la première méthode, la simplification est basée sur un processus itératif de suppression de sommets piloté par un critère de tolérance de simplification. Cette tolérance est liée au filtrage de contours d'image(s) qui sont projetés sur le modèle 3D afin d'identifier les zones plus ou moins proches de ces lignes de caractère. Les méthodes de déformation de polyèdres sont appliquées au cas du remplissage de trous. Une triangulation est insérée au modèle puis déformée par la résolution d'un problème d'optimisation numérique sous contraintes. La fonctionnelle à minimiser simule la variation de courbure entre le maillage inséré et le modèle initial. La solution est obtenue par un algorithme itératif basé sur un modèle mécanique de réseau de barres. Les contraintes imposent le respect de lignes de caractère 3D obtenues par triangulation stéréoscopique dans la première méthode, ou bien calculées en fonction de l'intensité lumineuse des pixels et qui imposent le déplacement des sommets correspondants suivant une certaine élévation (problème inverse du Shape From Shading). Les trois méthodes implémentées sont complètement modulaires.

Ce document traite de plusieurs aspects de la vision stéréoscopique par ordinateur. Cette méthode consiste à partir d'une ou de plusieurs paires d'images à " reconstruire " une scène observée en trois dimensions, c'est-à-dire à produire une description des objets et surfaces observés ainsi que leur position dans l'espace. Le premier problème abordé est celui du calibrage, dont l'objet est de calculer les paramètres des caméras (focale, centre optique, etc.) ainsi que leur position, soit à partir d'images d'objets de géométrie et de position connue, soit de manière automatique (on parle alors d'auto-calibrage). Des résultats nouveaux sont présentés sur l'auto-calibrage de la distorsion optique et sur l'auto-calibrage d'une paire de caméras rigidement liées à partir de plusieurs paires d'images. Ensuite sont présentées différentes méthodes permettant de rectifier les images de manière à simplifier la mise en correspondance, puis d'effectuer cette mise en correspondance par une technique de corrélation. Outre des améliorations des résultats classiques, de nouvelles méthodes permettant d'obtenir une plus grande précision sont discutées. La dernière phase, dite de reconstruction, permet d'obtenir une description des surfaces observée allant jusqu'aux propriétés différentielles d'ordre un et deux (plan tangent et courbures à la surface), à partir des résultats de stéréoscopie par corrélation. Ce document se termine par quelques applications réalisées au cours de ces recherches telles qu'un système d'aide chirurgicale pré-opératoire ou une caméra stéréo bon marché.

De nos jours, les logiciels doivent continuellement évoluer et intégrer toujours plus de fonctionnalités pour ne pas devenir obsolètes. C'est pourquoi, la maintenance représente plus de 60% du coût d'un logiciel. Pour réduire les coûts de programmation, les fonctionnalités sont programmées plus rapidement, ce qui induit inévitablement une baisse de qualité. Comprendre l’évolution du logiciel est donc devenu nécessaire pour garantir un bon niveau de qualité et retarder le dépérissement du code. En analysant à la fois les données sur l’évolution du code contenues dans un système de gestion de versions et les données quantitatives que nous pouvons déduire du code, nous sommes en mesure de mieux comprendre l'évolution du logiciel. Cependant, la quantité de données générées par une telle analyse est trop importante pour être étudiées manuellement et les méthodes d’analyses automatiques sont peu précises. Dans ce mémoire, nous proposons d'analyser ces données avec une méthode semi automatique : la visualisation. Eyes Of Darwin, notre système de visualisation en 3D, utilise une métaphore avec des quartiers et des bâtiments d'une ville pour visualiser toute l'évolution du logiciel sur une seule vue. De plus, il intègre un système de réduction de l'occlusion qui transforme l'écran de l'utilisateur en une fenêtre ouverte sur la scène en 3D qu'il affiche. Pour finir, ce mémoire présente une étude exploratoire qui valide notre approche. / Software must continuously evolve and integrate more functionalities to remain useful. Consequently, more than 60% of a software system's cost is related to maintenance. To reduce this cost, programming must performed faster, witch leads to a decrease of the system code's quality. Therefore, understanding software evolution is becoming a necessity to prevent code decay and to increase the system life span. To ease software understanding, we perform a cross analysis of the historical data extracted from a version control system, with quantitative data that we obtain from the source code. However, the significant amount of data generated by this kind of analysis makes it necessary to have tools to support the maintainer’s analysis. First, tools help because examining them manually is impossible. Second, they help because automatics methods are not accurate enough. We present a new semiautomatic approach to help analysis. Our 3D visualization system, Eyes Of Darwin, uses a cityscape metaphor to show software's evolution on a single view. It integrates an occlusion reduction system, witch turns the screen to an open window on the 3D world. We conclude, with an exploratory study in order to validate our approach.

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

L'attention visuelle est l'un des mécanismes les plus importants mis en oeuvre par le système visuel humain (SVH) afin de réduire la quantité d'information que le cerveau a besoin de traiter pour appréhender le contenu d'une scène. Un nombre croissant de travaux est consacré à l'étude de l'attention visuelle, et en particulier à sa modélisation computationnelle. Dans cette thèse, nous présentons des études portant sur plusieurs aspects de cette recherche. Nos travaux peuvent être classés globalement en deux parties. La première concerne les questions liées à la vérité de terrain utilisée, la seconde est relative à la modélisation de l'attention visuelle dans des conditions de visualisation 3D. Dans la première partie, nous analysons la fiabilité de cartes de densité de fixation issues de différentes bases de données occulométriques. Ensuite, nous identifions quantitativement les similitudes et les différences entre carte de densité de fixation et carte d'importance visuelle, ces deux types de carte étant les vérités de terrain communément utilisées par les applications relatives à l'attention. Puis, pour faire face au manque de vérité de terrain exploitable pour la modélisation de l'attention visuelle 3D, nous procédons à une expérimentation oculométrique binoculaire qui aboutit à la création d'une nouvelle base de données avec des images stéréoscopiques 3D. Dans la seconde partie, nous commençons par examiner l'impact de la profondeur sur l'attention visuelle dans des conditions de visualisation 3D. Nous quantifions d'abord le " biais de profondeur " lié à la visualisation de contenus synthétiques 3D sur écran plat stéréoscopique. Ensuite, nous étendons notre étude avec l'usage d'images 3D au contenu naturel. Nous proposons un modèle de l'attention visuelle 3D basé saillance de profondeur, modèle qui repose sur le contraste de profondeur de la scène. Deux façons différentes d'exploiter l'information de profondeur par notre modèle sont comparées. Ensuite, nous étudions le biais central et les différences qui existent selon que les conditions de visualisation soient 2D ou 3D. Nous intégrons aussi le biais central à notre modèle de l'attention visuelle 3D. Enfin, considérant que l'attention visuelle combinée à une technique de floutage peut améliorer la qualité d'expérience de la TV-3D, nous étudions l'influence de flou sur la perception de la profondeur, et la relation du flou avec la disparité binoculaire.

No description available.

Cette thèse étudie la précision en vision stéréo, les méthodes de détection dites a contrario et en présente une application à l'imagerie satellitaire. La première partie a été réalisée dans le cadre du projet DGA-ANR-ASTRID "STÉRÉO". Son but est de définir les limites effectives des méthodes de reconstruction stéréo quand on contrôle toute la chaîne d’acquisition à la précision maximale, que l’on acquiert des paires stéréo en rapport B/H très faible et sans bruit. Pour valider ce concept, nous créons des vérités terrains très précises en utilisant un rendeur. En gardant les rayons calculés durant le rendu, nous avons une information très dense sur la scène 3D. Ainsi nous créons des cartes d'occultations, de disparités dont l'erreur de précision est inférieure à 10e-6. Nous avons mis à la disposition de la communauté de recherche des images de synthèse avec un SNR supérieur à 500 : un ensemble de 66 paires stéréo dont le B/H varie de1/2500 à 1/50. Pour évaluer les méthodes de stéréo sur ce nouveau type de données, nous proposons des métriques calculant la qualité des cartes de disparités estimées, combinant la précision et la densité des points dont l'erreur relative est inférieure à un certain seuil. Nous évaluons plusieurs algorithmes représentatifs de l'état de l'art, sur les paires créées ainsi sur les paires de Middlebury, jusqu'à leurs limites de fonctionnement. Nous confirmons par ces analyses, que les hypothèses théoriques sur le bien-fondé du faible B/H en fort SNR sont valides, jusqu'à une certaine limite que nous caractérisons. Nous découvrons ainsi que de simples méthodes de flux optique pour l'appariement stéréo deviennent plus performantes que des méthodes variationnelles discrètes plus élaborées. Cette conclusion n'est toutefois valide que pour des forts rapports signal à bruit. L'exploitation des données denses nous permet de compléter les vérités terrain par une détection très précise des bords d'occultation. Nous proposons une méthode de calcul de contours vectoriels subpixéliens à partir d'un nuage de points très dense, basée sur des méthodes a contrario de classification de pixels. La seconde partie de la thèse est dédiée à une application du flot optique subpixélien et des méthodes a contrario pour détecter des nuages en imagerie satellitaire. Nous proposons une méthode qui n'exploite que l'information visible optique. Elle repose sur la redondance temporelle obtenue grâce au passage répété des satellites au-dessus des mêmes zones géographiques. Nous définissons quatre indices pour séparer les nuages du paysage : le mouvement apparent inter-canaux, la texture locale, l'émergence temporelle et la luminance. Ces indices sont modélisés dans le cadre statistique des méthodes a contrario qui produisent un NFA (nombre de fausses alarmes pour chacun). Nous proposons une méthode pour combiner ces indices et calculer un NFA beaucoup plus discriminant. Nous comparons les cartes de nuages estimées à des vérités terrain annotées et aux cartes nuageuses produites par les algorithmes liés aux satellites Landsat-8 etSentinel-2. Nous montrons que les scores de détection et de fausses alarmes sont supérieurs à ceux obtenus avec ces algorithmes, qui pourtant utilisent une dizaine de bandes multi-spectrales. / This thesis studies the accuracy in stereo vision, detection methods calleda contrario and presents an application to satellite imagery. The first part was carried out within the framework of the project DGA-ANR-ASTRID"STEREO". His The aim is to define the effective limits of stereo reconstruction when controlling the entire acquisition chain at the maximum precision, that one acquires stereo pairs in very low baseline and noise-free. To validate thisconcept, we create very precise ground truths using a renderer. By keeping the rays computed during rendering, we have very dense information on the 3Dscene. Thus we create occultation and disparity maps whose precision error is less than 10e-6. We have made synthetic images available to the research community with an SNR greater than 500: a set of 66 stereo pairs whoseB/H varies from 1/2500 to 1/50. To evaluate stereo methods onthis new type of data, we propose metrics computing the quality of the estimated disparity maps, combining the precision and the density of the points whose relative error is less than a certain threshold. We evaluate several algorithmsrepresentative of the state of the art, on the pairs thus created and on theMiddlebury pairs, up to their operating limits. We confirm by these analyzesthat the theoretical assumptions about the merit of the low B/H in highSNR are valid, up to a certain limit that we characterize. We thus discover that simple optical flow methods for stereo matching become more efficient than more sophisticated discrete variational methods. This conclusion, however, is only valid for high signal-to-noise ratios. The use of the dense data allows us to complete the ground truths a subpixel detection of the occlusion edges. We propose a method to compute subpixel vector contours from a very dense cloud ofpoints, based on pixel classification a contrario methods. The second part of the thesis is devoted to an application of the subpixelian optical flowand a contrario methods to detect clouds in satellite imagery. We propose a method that exploits only visible optical information. It is based onthe temporal redundancy obtained by the repeated passages of the satellites overthe same geographical zones. We define four clues to separate the clouds fromthe landscape: the apparent inter-channel movement, Local texture, temporal emergence and luminance. These indices are modeled in the statistical framework of a contrario methods which produce an NFA (number of false alarms for each). We propose a method for combining these indices and computing a much more discriminating NFA. We compare the estimated cloud maps to annotated ground truths and the cloud maps produced by the algorithms related to the Landsat-8and Sentinel-2 satellites. We show that the detection and false alarms scores are higher than those obtained with these algorithms, which however use a dozen multi-spectral bands.

En vision par ordinateur, le flot de scène représente le déplacement des points d'une surface située dans une scène 3D quelconque, entre deux instants consécutifs. Il s'agit donc d'un champ vectoriel 3D. Celui-ci est particulièrement utile dans l'analyse des déformations d'une surface quelconque, observée par un système d'au moins deux caméras. <br />Cette thèse traite de l'estimation du flot de scène et d'une application dans le domaine de la géophysique. Elle s'est déroulée dans le cadre de l'ACI GEOLSTEREO, en collaboration étroite avec le laboratoire Geosciences Azur, situé à Sophia Antipolis (06, UMR 6526 - CNRS - UNSA - UPMC- IRD). <br /><br />Nous proposons d'estimer le flot de scène en couplant l'évaluation du flot optique dans les séquences d'images associées à chaque caméra, à l'estimation de la correspondance stéréo dense entre les images. De plus, notre approche évalue, en même temps que le flot de scène, les occultations à la fois en flot optique et en stéréo. Nous obtenons au final un système d'EDP couplant le flot optique et la stéréo, que nous résolvons numériquement à l'aide d'un algorithme multirésolution original.<br />Alors que les précédentes méthodes variationnelles estimaient la reconstrution 3D au temps $t$ et le flot de scène séparément, notre méthode estime les deux simultanément. Nous présentons des résultats numériques sur des séquences synthétiques avec leur vérité terrain, et nous comparons également la précision du flot de scène projeté dans une caméra avec une méthode récente et performante d'estimation variationnelle du flot optique. Des résultats sont présentés sur une séquence stéréo réelle, se rapportant à un mouvement non rigide et à de larges discontinuités. <br /><br />Enfin, nous présentons l'approche originale de modélisation physique 3D utilisée au laboratoire Geosciences Azur. Nous décrivons la mise en place du dispositif stéréoscopique associé, ainsi que le déroulement de l'expérience. Des résultats de reconstruction 3D, d'estimation du flot de scène, et de suivi de la déformation d'une surface sont montrés dans le chapitre 4 de la thèse.