Cette thèse explore différentes représentations de modèles 3D pour la mise en correspondance de formes 3D, l’alignement d’une instance 2D et de son modèle 3D et l’alignement de modèles 3D à une image 2D pour toute une catégorie d’objets. La géométrie d’une forme 3D est presque entièrement encodée par les fonctions et valeurs propres de l’opérateur de Laplace-Beltrami sur cette forme. Nous utilisons cette représentation mathématiquement élégante pour caractériser les points d’une forme en développant une nouvelle notion d’échelle. Nous montrons que cette signature présente plusieurs avantages. Un élément clé de la compréhension d’une image est l’alignement des objets qu’elle contient à leur modèle 3D. Nous considérons ce problème d’alignement 2D-3D pour une représentation 2D arbitraire, telle un dessin ou une peinture. Nous représentons le modèle d’un site architectural par un ensemble d’elements visuels discriminants. Nous développons ensuite une procédure pour mettre ces éléments en correspondance avec une représentation 2D du site. Nous validons notre méthode sur une nouvelle base de données de représentations historiques et non-photographiques. Nous étendons cette approche pour décrire non pas un unique site architectural, mais une catégorie entière d’objets, représentée par une grande collection de modèles 3D. Notre méthode d’alignement 2D-3D pour une catégorie d’objets non seulement détecte les instances, mais identifie une approximation de leur style et de leur point de vue. Nous évaluons notre approche sur un sous-ensemble de la difficile base de donnée “Pascal VOC 2007” pour la catégorie des chaises, que nous représentons pas une base de donnée de 1394 modèles 3D. / Thanks to the success of 3D reconstruction algorithms and the development of online tools for computer-aided design (CAD) the number of publicly available 3D models has grown significantly in recent years, and will continue to do so. This thesis investigates representations of 3D models for 3D shape matching, instance-level 2D-3D alignment, and category-level 2D-3D recognition. The geometry of a 3D shape can be represented almost completely by the eigen-functions and eigen-values of the Laplace-Beltrami operator on the shape. We use this mathematically elegant representation to characterize points on the shape, with a new notion of scale. This 3D point signature can be interpreted in the framework of quantum mechanics and we call it the Wave Kernel Signature (WKS). We show that it has advantages with respect to the previous state-of-the-art shape descriptors, and can be used for 3D shape matching, segmentation and recognition. A key element for understanding images is the ability to align an object depicted in an image to its given 3D model. We tackle this instance level 2D-3D alignment problem for arbitrary 2D depictions including drawings, paintings, and historical photographs. This is a tremendously diffcult task as the appearance and scene structure in the 2D depictions can be very different from the appearance and geometry of the 3D model, e.g., due to the specific rendering style, drawing error, age, lighting or change of seasons. We represent the 3D model of an entire architectural site by a set of visual parts learned from rendered views of the site. We then develop a procedure to match those scene parts that we call 3D discriminative visual elements to the 2D depiction of the architectural site. We validate our method on a newly collected dataset of non-photographic and historical depictions of three architectural sites. We extend this approach to describe not only a single architectural site but an entire object category, represented by a large collection of 3D CAD models. We develop a category-level 2D-3D alignment method that not only detects objects in cluttered images but also identifies their approximate style and viewpoint. We evaluate our approach both qualitatively and quantitatively on a subset of the challenging Pascal VOC 2012 images of the \chair" category using a reference library of 1394 CAD models downloaded from the Internet.
| Identifer | oai:union.ndltd.org:theses.fr/2015ENSU0006 |
| Date | 08 May 2015 |
| Creators | Aubry, Mathieu |
| Contributors | Paris, Ecole normale supérieure, Cremers, Daniel, Sivic, Josef |
| Source Sets | Dépôt national des thèses électroniques françaises |
| Language | English |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation, Text |
Page generated in 0.0011 seconds