La reconstruction 3D multi-vue atteint désormais un niveau de maturité industrielle : des utilisateurs non-experts peuvent produire des modèles 3D large-échelle de qualité à l'aide de logiciels commerciaux. Ces reconstructions utilisent des capteurs haut de gamme comme des LIDAR ou des appareils photos de type DSLR, montés sur un trépied et déplacés autour de la scène. Ces protocoles d'acquisition sont mal adaptés à l’inspection d’infrastructures de grande taille, à géométrie complexe. Avec l'évolution rapide des capacités des micro-drones, il devient envisageable de leur confier ce type de tâche. Un tel choix modifie les données d’acquisition : on passe d’un ensemble restreint de photos de qualité, soigneusement acquises par l’opérateur, à une séquence d'images à cadence vidéo, sujette à des variations de qualité image dues, par exemple, au bougé et au défocus.Les données vidéo posent problème aux logiciels de photogrammétrie du fait de la combinatoire élevée engendrée par le grand nombre d’images. Nous proposons d’exploiter l’intégralité des images en deux étapes. Au cours de la première, la reconstruction 3D est obtenue en sous-échantillonnant temporellement la séquence, lors de la seconde, la restitution haute résolution de texture est obtenue en exploitant l'ensemble des images. L'intérêt de la texture est de permettre de visualiser des détails fins du modèle numérisé qui ont été perdus dans le bruit géométrique de la reconstruction. Cette augmentation de qualité se fait via des techniques de Super Résolution (SR).Pour atteindre cet objectif nous avons conçu et réalisé une chaîne algorithmique prenant, en entrée, la séquence vidéo acquise et fournissant, en sortie, un modèle 3D de la scène avec une texture sur-résolue. Cette chaîne est construite autour d’un algorithme de reconstruction 3D multi-vues de l’état de l’art pour la partie géométrique.Une contribution centrale de notre chaîne est la méthode de recalage employée afin d’atteindre la précision sub-pixellique requise pour la SR. Contrairement aux données classiquement utilisées en SR, nos prises de vues sont affectées par un mouvement 3D, face à une scène à géométrie 3D, ce qui entraîne des mouvements image complexes. La précision intrinsèque des méthodes de reconstruction 3D est insuffisante pour effectuer un recalage purement géométrique, ainsi nous appliquons un raffinement supplémentaire par flot optique. Le résultat de cette méthode de restitution de texture SR est d'abord comparée qualitativement à une approche concurrente de l’état de l’art.Ces appréciations qualitatives sont renforcées par une évaluation quantitative de qualité image. Nous avons à cet effet élaboré un protocole d’évaluation quantitatif de techniques de SR appliquées sur des surfaces 3D. Il est fondé sur l'utilisation de mires fractales binaires, initialement proposées par S. Landeau. Nous avons étendu ces idées au contexte de SR sur des surfaces courbes. Cette méthode est employée ici pour valider les choix de notre méthode de SR, mais elle s'applique à l'évaluation de toute texturation de modèle 3D.Enfin, les surfaces spéculaires présentes dans les scènes induisent des artefacts au niveau des résultats de SR en raison de la perte de photoconsistence des pixels au travers des images à fusionner. Pour traiter ce problème nous avons proposé deux méthodes correctives permettant de recaler photométriquement nos images et restaurer la photoconsistence. La première méthode est basée sur une modélisation des phénomènes d’illumination dans un cas d'usage particulier, la seconde repose sur une égalisation photométrique locale. Les deux méthodes testées sur des données polluées par une illumination variable s'avèrent effectivement capables d'éliminer les artefacts. / Multi-view 3D reconstruction techniques have reached industrial level maturity : non-expert users are now able to use commercial software to produce quality, large scale, 3D models. These reconstructions use top of the line sensors such as LIDAR or DSLR cameras, mounted on tripods and moved around the scene. Such protocols are not designed to efficiently inspect large infrastructures with complex geometry. As the capabilities of micro-drones progress at a fast rate, it is becoming possible to delegate such tasks to them. This choice induces changes in the acquired data : rather than a set of carefully acquired images, micro-drones will produce a video sequence with varying image quality, due to such flaws as motion blur and defocus. Processing video data is challenging for photogrammetry software, due to the high combinatorial cost induced by the large number of images. We use the full image sequence in two steps. Firstly, a 3D reconstruction is obtained using a temporal sub-sampling of the data, then a high resolution texture is built from the full sequence. Texture allows the inspector to visualize small details that may be lost in the noise of the geometric reconstruction. We apply Super Resolution techniques to achieve texture quality augmentation. To reach this goal we developed an algorithmic pipeline that processes the video input and outputs a 3D model of the scene with super resolved texture. This pipeline uses a state of the art 3D reconstruction software for the geometric reconstruction step. The main contribution of this pipeline is the image registration method used to achieve the sub-pixel accuracy required for Super Resolution. Unlike the data on which Super Resolution is generally applied, our viewpoints are subject to relative 3D motion and are facing a scene with 3D geometry, which makes the motion field all the more complex. The intrinsic precision of current 3D reconstruction algorithms is insufficient to perform a purely geometric registration. Instead we refine the geometric registration with an optical flow algorithm. This approach is qualitatively to a competing state of the art method. qualitative comparisons are reinforced by a quantitative evaluation of the resulting image quality. For this we developed a quantitative evaluation protocol of Super Resolution techniques applied to 3D surfaces. This method is based on the Binary Fractal Targets proposed by S. Landeau. We extended these ideas to the context of curved surfaces. This method has been used to validate our choice of Super Resolution algorithm. Finally, specularities present on the scene surfaces induce artefacts in our Super Resolution results, due to the loss of photoconsistency among the set of images to be fused. To address this problem we propose two corrective methods designed to achieve photometric registration of our images and restore photoconsistency. The first method is based on a model of the illumination phenomena, valid in a specific setting, the second relies on local photometric equalization among the images. When tested on data polluted by varying illumination, both methods were able to eliminate these artefacts.
| Identifer | oai:union.ndltd.org:theses.fr/2018SACLS026 |
| Date | 23 March 2018 |
| Creators | Burns, Calum |
| Contributors | Université Paris-Saclay (ComUE), Champagnat, Frédéric |
| Source Sets | Dépôt national des thèses électroniques françaises |
| Language | French |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation, Text |
Page generated in 0.0205 seconds