Québec Université Laval, Bibliothèque 2014

L'estimation de la profondeur consiste à calculer la distance entre différents points de la scène et la caméra. Savoir à quelle distance un objet donné est de la caméra permettrait de comprendre sa représentation spatiale. Les anciennes méthodes ont utilisé des paires d'images stéréo pour extraire la profondeur. Pour avoir une paire d'images stéréo, nous avons besoin d'une paire de caméras calibrées. Cependant, il est plus simple d'avoir une seule image étant donnée qu'aucun calibrage de caméra n'est alors nécessaire. C'est pour cette raison que les méthodes basées sur l'apprentissage sont apparues. Ils estiment la profondeur à partir d'une seule image. Les premières solutions des méthodes basées sur l'apprentissage ont utilisé la vérité terrain de la profondeur durant l'apprentissage. Cette vérité terrain est généralement acquise à partir de capteurs tels que Kinect ou Lidar. L'acquisition de profondeur est coûteuse et difficile, c'est pourquoi des méthodes auto-supervisées se sont apparues naturellement comme une solution. Ces méthodes ont montré de bons résultats pour l'estimation de la profondeur d'une seule image. Dans ce travail, nous proposons d'estimer des cartes de profondeur d'images prises du point de vue des conducteurs de train. Pour ce faire, nous avons proposé d'utiliser les contraintes géométriques et les paramètres standards des rails pour extraire la carte de profondeur à entre les rails, afin de la fournir comme signal de supervision au réseau. Il a été démontré que la carte de profondeur fournie au réseau résout le problème de la profondeur des voies ferrées qui apparaissent généralement comme des objets verticaux devant la caméra. Cela a également amélioré les résultats de l'estimation de la profondeur des séquences des trains. Au cours de ce projet, nous avons d'abord choisi certaines séquences de trains et déterminé leurs distances focales pour calculer la carte de profondeur de la voie ferrée. Nous avons utilisé ce jeu de données et les distances focales calculées pour affiner un modèle existant « Monodepth2 » pré-entrainé précédemment sur le jeu de données Kitti. / Depth prediction is the task of computing the distance of different points in the scene from the camera. Knowing how far away a given object is from the camera would make it possible to understand its spatial representation. Early methods have used stereo pairs of images to extract depth. To have a stereo pair of images, we need a calibrated pair of cameras. However, it is simpler to have a single image as no calibration or synchronization is needed. For this reason, learning-based methods, which estimate depth from monocular images, have been introduced. Early solutions of learning-based problems have used ground truth depth for training, usually acquired from sensors such as Kinect or Lidar. Acquiring depth ground truth is expensive and difficult which is why self-supervised methods, which do not acquire such ground truth for fine-tuning, has appeared and have shown promising results for single image depth estimation. In this work, we propose to estimate depth maps for images taken from the train driver viewpoint. To do so, we propose to use geometry constraints and rails standard parameters to extract the depth map inside the rails, to provide it as a supervisory signal to the network. To this end, we first gathered a train sequences dataset and determined their focal lengths to compute the depth map inside the rails. Then we used this dataset and the computed focal lengths to finetune an existing model "Monodepth2" trained previously on the Kitti dataset. We show that the ground truth depth map provided to the network solves the problem of depth of the rail tracks which otherwise appear as standing objects in front of the camera. It also improves the results of depth estimation of train sequences.

Le but de la présente recherche est d’étudier l’influence de la séparation spatiale entre des marqueurs auditifs statiques sur la discrimination de la durée. Dans ce contexte, une surestimation de cette dernière en fonction de l’augmentation de la distance entre les marqueurs des intervalles temporels est fréquemment observée. Il s’agit de l’effet kappa. Bien que démontré en modalité tactile et visuelle, aucune étude ne le met clairement en évidence avec une méthode expérimentale équivalente pour l’audition. Afin de préciser son implication et de tenter d’établir les limites temporelles et spatiales de sa manifestation pour cette modalité, dix participants doivent comparer deux intervalles temporels vides délimités par trois stimuli auditifs statiques séparés par une distance variant, en ratios, de 1:1:1 à 1:1:2 (1 = 0,90 m et 2 = 1,80 m). Ce type de tâche correspond à la méthode des stimuli constants. Les standards utilisés sont de 160 ms et de 320 ms. Généralement, les résultats obtenus indiquent qu'il n'y a pas d'effet kappa avec les paramètres utilisés. Au contraire, une tendance à percevoir les intervalles temporels comme étant plus courts lorsqu’ils sont délimités par des marqueurs séparés par une plus grande distance est observée.

Les technologies de relief tridimensionnel (3D) ont récemment reçu un nouvel attrait. Lesraisons potentielles sont que ces technologies peuvent fournir une expérience visuelle plusriche et plus immersive. En effet, un observateur peut extraire les disparités binoculairesprésentées entre les vues gauche et droite, pour retrouver plus efficacement la profondeur dela scène visuelle observée, et ainsi, trouver une nouvelle dimension dans le contenu.Cependant, tandis que la valeur de la profondeur est plutôt bien appréciée, un certain nombrede problèmes qui impactent la qualité de l'expérience dans les représentations 3D ont étéidentifiés. L'objective de cette thèse est d'étudier les principaux facteurs qui affectent laqualité de l'expérience en stéréoscopie dans le but de fournir des méthodes qui pourraientaméliorer l'utilisation des systèmes stéréoscopiques. Trois aspects majeurs de la qualité del'expérience sont adressés : (1) les sources et causes de la fatigue visuelle, (2) les distorsionsperceptives et (3) l'amélioration de la qualité de l'expérience en 3D au travers de l'adaptationdu contenu visuel. Pour étudier la fatigue visuelle, les mouvements de vergence étaientmesurés à la fois avec un écran 3D et avec un système à double écran qui permettaient laprésentation de stimuli avec les informations de disparité et de flou présentés en congruencecomme en incongruence. L'effet de la stéréoscopie sur les mouvements de vergence a étéétudié dans le but de tester si la mesure oculaire pouvait être utilisée comme indicateur defatigue visuelle. Le sujet suivant étudiait la consistance de la perception des formes 3Dstéréoscopiques en fonction de distances virtuelles induites par la disparité et par le signald'accommodation. Le rôle de la taille de la pupille et de la profondeur de champ enstéréoscopie étaient étudiés par la manipulation de la taille de la pupille avec deux conditionsd'illumination contrôlée. Finalement, l'amélioration de la perception de la forme 3D estquestionnée au travers de l'adaptation du contenu visuel en fonction de la mesure de seuilsperceptifs individuels pour des stimuli se déplaçant en profondeur.

Cette thèse avait pour objectif d'analyser l'influence de certains facteurs (expertise, difficulté de la tâche) sur le traitement dimages en 2D et 3D. Le terrain choisi pour étudier cette question est le domaine de la chirurgie minimale invasive, qui, par les nouvelles technologies quelle utilise, permet de recueillir des données écologiques dans une situation réelle avec de vrais experts. Nous avons donc comparé la performance de sujets novices et experts dans des tâches de complexités diverses avec différentes technologies chirurgicales (laparoscopie classique en 2D et 3D et laparoscopie robotique en 2D et 3D). Nos plans expérimentaux nous ont permis de mettre en évidence deux dimensions distinctes : une perceptive (différence 2D-3D) et une instrumentale (différence laparoscopie classique-robotique). Nos résultats montrent dans lensemble que les différences entre le 2D et le 3D se marquent particulièrement pour les sujets novices et dans les tâches de complexité moyenne. En effet, peu de différence entre le 2D et 3D est mise en évidence chez les chirurgiens experts qui ont développé des mécanismes de compensation très efficaces quand ils sont dans un environnement en 2D. En ce qui concerne la complexité des tâches, la différence entre le 2D et 3D est minime quand la tâche est simple et augmente avec la difficulté de la tâche. Elle atteint cependant un sommet à partir duquel elle napparaît plus, la différence se marquant pour les tâches très complexes à un niveau instrumental et non plus perceptif. Enfin, nous montrons chez nos sujets novices très peu de transfert dhabiletés dune technologie à lautre, ce qui encourage la poursuite des formations avec les diverses techniques afin déviter tout risque lors dune reconversion au cours dune intervention chirurgicale. This thesis aimed to analyse the influence of some factors (expertise, task complexity) on the processing of 2D and 3D images. The field of these studies was the minimal invasive surgery which uses new technologies and allows to obtain ecological data from real experts. We compared the performance of novices (medical students) and experts (surgeons) in tasks of varied complexities with different surgical techniques (classical laparoscopy in 2D and 3d and robotic laparoscopy in 2D and 3D). Our experimental plans allowed us to differentiate two dimensions: one perceptive (2D-3D difference) and one instrumental (classical and robotic laparoscopy difference). Our main results showed that difference between 2D and 3D particularly occurs in novice performance and in tasks of middle complexity. Indeed, we observed very few differences between 2D and 3D in expert performance, surgeons have developed very efficient compensatory mechanisms when they act in 2D vision. Concerning the task complexity, the difference between 2D and 3D was really minor when the task is easy and increased with the complexity of the task. However, this difference reached a top after which the difference between 2D and 3D disappeared and thus only the instrumental difference remained for very complex tasks. Finally, we showed very switch of skills between the techniques by novice subjects. This finding stresses the necessity to pursue training with the different techniques in order to prevent gaps in performance and thus operating risk if a conversion procedure occurs.

Les technologies de relief tridimensionnel (3D) ont récemment reçu un nouvel attrait. Lesraisons potentielles sont que ces technologies peuvent fournir une expérience visuelle plusriche et plus immersive. En effet, un observateur peut extraire les disparités binoculairesprésentées entre les vues gauche et droite, pour retrouver plus efficacement la profondeur dela scène visuelle observée, et ainsi, trouver une nouvelle dimension dans le contenu.Cependant, tandis que la valeur de la profondeur est plutôt bien appréciée, un certain nombrede problèmes qui impactent la qualité de l’expérience dans les représentations 3D ont étéidentifiés. L’objective de cette thèse est d’étudier les principaux facteurs qui affectent laqualité de l’expérience en stéréoscopie dans le but de fournir des méthodes qui pourraientaméliorer l’utilisation des systèmes stéréoscopiques. Trois aspects majeurs de la qualité del’expérience sont adressés : (1) les sources et causes de la fatigue visuelle, (2) les distorsionsperceptives et (3) l’amélioration de la qualité de l’expérience en 3D au travers de l’adaptationdu contenu visuel. Pour étudier la fatigue visuelle, les mouvements de vergence étaientmesurés à la fois avec un écran 3D et avec un système à double écran qui permettaient laprésentation de stimuli avec les informations de disparité et de flou présentés en congruencecomme en incongruence. L’effet de la stéréoscopie sur les mouvements de vergence a étéétudié dans le but de tester si la mesure oculaire pouvait être utilisée comme indicateur defatigue visuelle. Le sujet suivant étudiait la consistance de la perception des formes 3Dstéréoscopiques en fonction de distances virtuelles induites par la disparité et par le signald’accommodation. Le rôle de la taille de la pupille et de la profondeur de champ enstéréoscopie étaient étudiés par la manipulation de la taille de la pupille avec deux conditionsd’illumination contrôlée. Finalement, l’amélioration de la perception de la forme 3D estquestionnée au travers de l’adaptation du contenu visuel en fonction de la mesure de seuilsperceptifs individuels pour des stimuli se déplaçant en profondeur. / Stereoscopic 3-Dimensional (S3D) technology has recently received growing attraction,potentially because it provides a more informative and more immersive visual experience.Indeed, the viewer may extract the binocular disparities displayed between the left and theright views, more efficiently retrieve the depth of the observed visual scene, and thus, givevisual content another dimension. However, while the additional value of depth is ratherappreciated, a number of problems have been raised that impact the Quality of Experience(QoE) in S3D representations. The objective of this thesis is to investigate the main factorsaffecting QoE in stereopsis in order to provide guidelines towards the improvement andfurther use of stereoscopic systems. Three main aspects of QoE in S3D are addressed: (1) thesources and causes of visual fatigue, (2) the perceptual distortions arising in S3D and, (3) theimprovement of S3D QoE through content adaptation. To study visual fatigue in S3D,vergence eye movements were measured both in S3D display and in dual-screen display thatenables the presentation of matched disparity and defocus stimuli. The effect of stereopsis onvergence movements was studied so as to test whether vergence tracking can be used asindicator of visual fatigue. The next topic investigated the consistency in stereoscopic 3Dshape perception as a function of vergence distance and accommodation distance. The role ofthe pupil size and the depth of focus in S3D were evaluated by manipulating the pupilaperture with two controlled lighting conditions. Finally, the improvement of 3D shapeperception is addressed through content adaptation according to individual perceptionthresholds measurement for motion-in-depth stimuli.

Suite à l’amélioration des outils de capture et de stockage des données, ces dernières années ont vu les quantités de données à traiter croître énormément. De nombreux travaux, allant du traitement automatique à la visualisation d’information, ont alors été mis en place, mais certains domaines sont encore trop spécifiques pour en profiter. C’est le cas du Renseignement d’Origine ÉlectroMagnétique (ROEM). Ce domaine ne fait pas uniquement face à de grandes quantités de données mais doit aussi gérer des données et des usages complexes ainsi que des populations d’utilisateurs ayant de moins en moins d’expérience. Dans cette thèse nous nous sommes intéressés à l’usage de l’existant et des nouvelles technologies appliquées à la visualisation pour proposer des solutions à la combinaison de problématiques comme les données en grandes quantité et les données complexes. Nous commençons par présenter une analyse du domaine du ROEM qui a permis d’extraire les problématiques auxquelles il doit faire face. Nous nous intéressons ensuite aux solutions gérant les combinaisons de telles problématiques. L’existant ne contenant pas directement de telles solutions, nous nous intéressons alors à la description des problématiques de visualisation et proposons une caractérisation de ces problématiques. Cette caractérisation nous permet de décrire les représentations existantes et de mettre en place un outil de recommandation des représentations basé sur la façon dont l’existant résout les problématiques. Enfin nous nous intéressons à identifier de nouvelles métaphores pour compléter l’existant et proposons une représentation immersive permettant de résoudre les problématiques du ROEM. Ces contributions permettent d’analyser et d’utiliser l’existant et approfondissent l’usage des représentations immersives pour la visualisation d’information. / As a result of the improvement of data capture and storage, recent years have seen the amount of data to be processed increase dramatically. Many studies, ranging from automatic processing to information visualization, have been performed, but some areas are still too specific to take advantage of. This is the case of ELectromagnetic INTelligence(ELINT). This domain does not only deal with a huge amount of data but also has to handle complex data and usage as well as populations of users with less and less experience. In this thesis we focus on the use of existing and new technologies applied to visualization to propose solutions to the combination of issues such as huge amount and complex data. We begin by presenting an analysis of the ELINT field which made it possible to extract the issues that it must faces. Then, we focus on the visual solutions handling the combinations of such issues but the existing work do not contain directly such solutions. Therefore, we focus on the description of visual issues and propose a characterization of these issues. This characterization allows us to describe the existing representations and to build a recommendation tool based on how the existing work solves the issues. Finally, we focus on identifying new metaphors to complete the existing work and propose an immersive representation to solve the issues of ELINT. These contributions make it possible to analyze and use the existing and deepen the use of immersive representations for the visualization of information.

Cette thèse a pour objet les systèmes 3D émergents et leurs problématiques de codage multi-vues-plus-profondeur, de synthèse de vues virtuelles et de perception stéréoscopique. Des solutions sont proposées au travers d'un codage de carte de profondeur efficace, d'une nouvelle méthode de synthèse par extrapolation et d'un modèle d'attention visuelle dynamique. Premièrement, le rôle de la disparité binoculaire dans le déploiement de l'attention visuelle est étudié. Suite à une analyse statistique de biais potentiels de centre et de profondeur en condition mono et stéréoscopique, un nouveau modèle de saillance est proposé combinant des attributs bas et haut niveau, dont le mécanisme visuel de séparation fond/forme. Les performances confirment la validité de l'approche et la pertinence d'une combinaison d'attributs visuels pondérés au cours du temps. En outre une nouvelle méthode de compression de carte de profondeur est présentée ; celle-ci se base sur la transmission sans perte des contours et permet une reconstruction fiable de la géométrie de la scène pour des synthèses de vues précises. Cette méthode est évaluée par des métriques de qualité objectives ainsi que par des tests subjectifs. Enfin une nouvelle méthode d'inpainting directionnelle est présentée pour l'extrapolation de nouveaux points de vues à la fois pour la 3DTV et la FTV. La structure située à l'arrière-plan est propagée en priorité dans les zones découvertes. Le calcul d'isophotes, robuste car basée tenseur, ainsi que le remplissage directionnel assurent une synthèse de vue plausible. Ces résultats sont visuellement prometteurs que ce soit à faible ou large écart de la vue d'origine.