[pt] Alvo de intenso estudo da visão computacional, a reconstrução densa 3D teve um importante marco com os primeiros sistemas em tempo real a alcançarem precisão milimétrica com uso de câmeras RGBD e GPUs. Entretanto estes métodos não são aplicáveis a dispositivos de menor poder computacional. Tendo a limitação de recursos computacionais como requisito, o objetivo deste trabalho é apresentar um método de odometria visual utilizando câmeras comuns e sem a necessidade de GPU, baseado em técnicas de Structure from Motion (SFM) com features esparsos, utilizando as informações de uma reconstrução densa. A Odometria visual é o processo de estimar a orientação e posição de um agente (um robô, por exemplo), a partir das imagens. Esta dissertação fornece uma comparação entre a precisão da odometria calculada pelo método proposto e pela reconstrução densa utilizando o Kinect Fusion. O resultado desta pesquisa é diretamente aplicável na área de realidade aumentada, tanto pelas informações da odometria que podem ser usadas para definir a posição de uma câmera, como pela reconstrução densa, que pode tratar aspectos como oclusão dos objetos virtuais com reais. / [en] Aim of intense research in the field computational vision, dense 3D reconstruction achieves an important landmark with first methods running in real time with millimetric precision, using RGBD cameras and GPUs. However these methods are not suitable for low computational resources. Having low computational resources as requirement, the goal of this work is to show a method of visual odometry using regular cameras, without using a GPU. The proposed method is based on technics of sparse Structure From Motion (SFM), using data provided by dense 3D reconstruction. Visual odometry is the process of estimating the position and orientation of an agent (a robot, for instance), based on images. This dissertation compares the proposed method with the odometry calculated by Kinect Fusion. Results of this research are applicable in augmented reality. Odometry provided by this work can be used to model a camera and the data from dense 3D reconstruction, can be used to handle occlusion between virtual and real objects.

Purpose – While single theoretical approaches related to visual humanities research and in particular digital 3D reconstruction – as the virtual, interpretative 3D modeling and visualization of historical objects – are widely described in compendia like Wikipedia, and various publications discuss approaches from certain disciplinary perspectives, a comprehensive and multidisciplinary systematization is still missing. Against this background, the research activity described within this article is intended to gain a wide and multidisciplinary overview for research approaches, theories, and methods which are relevant to investigate or explain knowledge-related phenomena in the context of visual humanities research and education. Design/methodology/approach – To meet these interests we intend to set up a Wiki resource as a structured repository. The content will be based on (a) interactive workshops held at conferences to collect and structure knowledge assets on visual knowledge involving experts from different domains. Moreover, (b) a student seminar starting in early 2017 is designated to describe some typical research designs as well as amend related methods and theories in the Wiki resource based on Wikipedia articles. A content structuring principle for the Wiki resource follows the guidelines of Wikimedia as well as plans for the results to be populated again in Wikipedia. Originality/value – While Wiki approaches are frequently used in the context of visual humanities, these resources are primarily created by experts. Furthermore, Wiki-based approaches related to visualization are often focused on a certain disciplinary context as, for example, art history. A unique aspect of the described setting is to build a Wiki on digital 3D reconstruction including expertise from different knowledge domains – i.e. on perception and cognition, didactics, information sciences, as well as computing and visual humanities. Moreover, the combination of student work and assessments by experts also provides novel insights for educational research. Practical implications – The intended product is a comprehensive and multidisciplinary structured repository on digital 3D reconstruction research approaches, methods, theories, publication bodies, and good practice examples. The editing of the project results into the Wikipedia will lead to a wide dissemination and visibility of group activities and outcomes as well as enhance competencies of all contributors on collaborative work.

No description available.

Ce mémoire s'intéresse à la vision par ordinateur appliquée à des projets d'art technologique. Le sujet traité est la calibration de systèmes de caméras et de projecteurs dans des applications de suivi et de reconstruction 3D en arts visuels et en art performatif. Le mémoire s'articule autour de deux collaborations avec les artistes québécois Daniel Danis et Nicolas Reeves. La géométrie projective et les méthodes de calibration classiques telles que la calibration planaire et la calibration par géométrie épipolaire sont présentées pour introduire les techniques utilisées dans ces deux projets. La collaboration avec Nicolas Reeves consiste à calibrer un système caméra-projecteur sur tête robotisée pour projeter des vidéos en temps réel sur des écrans cubiques mobiles. En plus d'appliquer des méthodes de calibration classiques, nous proposons une nouvelle technique de calibration de la pose d'une caméra sur tête robotisée. Cette technique utilise des plans elliptiques générés par l'observation d'un seul point dans le monde pour déterminer la pose de la caméra par rapport au centre de rotation de la tête robotisée. Le projet avec le metteur en scène Daniel Danis aborde les techniques de calibration de systèmes multi-caméras. Pour son projet de théâtre, nous avons développé un algorithme de calibration d'un réseau de caméras wiimotes. Cette technique basée sur la géométrie épipolaire permet de faire de la reconstruction 3D d'une trajectoire dans un grand volume à un coût minime. Les résultats des techniques de calibration développées sont présentés, de même que leur utilisation dans des contextes réels de performance devant public. / This thesis focuses on computer vision applications for technological art projects. Camera and projector calibration is discussed in the context of tracking applications and 3D reconstruction in visual arts and performance art. The thesis is based on two collaborations with québécois artists Daniel Danis and Nicolas Reeves. Projective geometry and classical camera calibration techniques, such as planar calibration and calibration from epipolar geometry, are detailed to introduce the techniques implemented in both artistic projects. The project realized in collaboration with Nicolas Reeves consists of calibrating a pan-tilt camera-projector system in order to adapt videos to be projected in real time on mobile cubic screens. To fulfil the project, we used classical camera calibration techniques combined with our proposed camera pose calibration technique for pan-tilt systems. This technique uses elliptic planes, generated by the observation of a point in the scene while the camera is panning, to compute the camera pose in relation to the rotation centre of the pan-tilt system. The project developed in collaboration with Daniel Danis is based on multi-camera calibration. For this studio theatre project, we developed a multi-camera calibration algorithm to be used with a wiimote network. The technique based on epipolar geometry allows 3D reconstruction of a trajectory in a large environment at a low cost. The results obtained from the camera calibration techniques implemented are presented alongside their application in real public performance contexts.

Cette thése a été réalisée dans le cadre d'une cotutelle avec l'Institut National Polytechnique de Grenoble (France). La recherche a été effectuée au sein des laboratoires de vision 3D (DIRO, UdM) et PERCEPTION-INRIA (Grenoble). / Cette thèse s’intéresse à trois problèmes fondamentaux de la vision par ordinateur qui sont le suivi vidéo, le calibrage et la reconstruction 3D. Les approches proposées sont strictement basées sur des contraintes photométriques et géométriques présentent dans des images 2D. Le suivi de mouvement se fait généralement dans un flux vidéo et consiste à suivre un objet d’intérêt identifié par l’usager. Nous reprenons une des méthodes les plus robustes à cet effet et l’améliorons de sorte à prendre en charge, en plus de ses translations, les rotations qu’effectue l’objet d’intérêt. Par la suite nous nous attelons au calibrage de caméras; un autre problème fondamental en vision. Il s’agit là, d’estimer des paramètres intrinsèques qui décrivent la projection d’entités 3D dans une image plane. Plus précisément, nous proposons des algorithmes de calibrage plan pour les cam ́eras linéaires (pushbroom) et les vidéo projecteurs lesquels ́etaient, jusque là, calibrés de façon laborieuse. Le troisième volet de cette thèse sera consacré à la reconstruction 3D par ombres projetée. À moins de connaissance à-priori sur le contenu de la scène, cette technique est intrinsèquement ambigüe. Nous proposons une méthode pour réduire cette ambiguïté en exploitant le fait que les spots de lumières sont souvent visibles dans la caméra. / The topic of this thesis revolves around three fundamental problems in computer vision; namely, video tracking, camera calibration and shape recovery. The proposed methods are solely based on photometric and geometric constraints found in the images. Video tracking, usually performed on a video sequence, consists in tracking a region of interest, selected manually by an operator. We extend a successful tracking method by adding the ability to estimate the orientation of the tracked object. Furthermore, we consider another fundamental problem in computer vision: cali- bration. Here we tackle the problem of calibrating linear cameras (a.k.a: pushbroom) and video projectors. For the former one we propose a convenient plane-based cali- bration algorithm and for the latter, a calibration algorithm that does not require a physical grid and a planar auto-calibration algorithm. Finally, we pointed our third research direction toward shape reconstruction using coplanar shadows. This technique is known to suffer from a bas-relief ambiguity if no extra information on the scene or light source is provided. We propose a simple method to reduce this ambiguity from four to a single parameter. We achieve this by taking into account the visibility of the light spots in the camera.

Malgré les récentes avancées des Systèmes de Cartographie Mobile, la reconstruction automatique d’objets à partir des données acquises est encore un point crucial. Dans cette thèse, nous nous intéresserons en particulier à la reconstruction tridimensionnelle du marquage au sol à partir d’images acquises sur le réseau routier par une base stéréoscopique horizontale d’un système de cartographie mobile, dans un contexte urbain dense. Une nouvelle approche s’appuyant sur la connaissance de la géométrie 3D des marquages au sol est présentée, conduisant à une précision de reconstruction 3D centimétrique avec un faible niveau de généralisation. Deux objets de la signalisation routière horizontale sont étudiés : les passages piétons et les lignes blanches discontinues. La stratégie générale est composée de trois grandes étapes. La première d’entre elles permet d’obtenir des chaînes de contours 3D. Les contours sont extraits dans les images gauche et droite. Ensuite, un algorithme reposant sur une optimisation par programmation dynamique est mis en oeuvre pour apparier les points de contours des deux images. Un post-traitement permet un appariement sub-pixellique, et, les chaînes de contours 3D sont finalement obtenues par une triangulation photogrammétrique classique. La seconde étape fait intervenir les spécifications géométriques des marquages au sol pour réaliser un filtrage des chaînes de contours 3D. Elle permet de déterminer des candidats pour les objets du marquage au sol. La dernière étape peut être vue comme une validation permettant de rejeter ou d’accepter ces hypothèses. Les candidats retenus sont alors reconstruits finement. Pour chaque bande d’un passage piéton ou d’une ligne discontinue, le modèle est un quasi-parallélogramme. Une contrainte de planéité est imposée aux sommets de chaque bande, ce qui n’est pas le cas pour l’ensemble des bandes formant un marquage au sol particulier. La méthode est évaluée sur un ensemble de 150 paires d’images acquises en centre ville dans des conditions normales de trafic. Les résultats montrent la validité de notre stratégie en terme de robustesse, de complétude et de précision géométrique. La méthode est robuste et permet de gérer les occultations partielles ainsi que les marquages usés ou abîmés. Le taux de détection atteint 90% et la précision de reconstruction 3D est de l’ordre de 2 à 4 cm. Finalement, une application de la reconstruction des marquages au sol est présentée : le géoréférencement du système d’acquisition. La majorité des systèmes de cartographie mobile utilisent des capteurs de géoréférencement direct comme un couplage GPS/INS pour leur localisation. Cependant, en milieu urbain dense, les masques et les multi-trajets corrompent les mesures et conduisent à une précision d’environ 50 cm. Afin d’améliorer la qualité de localisation, nous cherchons à apparier les images terrestres avec des images aériennes calibrées de la même zone. Les marquages au sol sont alors utilisés comme objets d’appariement. La validité de la méthode est démontrée sur un exemple de passage piéton / Despite advances in ground-based Mobile Mapping System (MMS), automatic feature reconstruction seems far from being reached. In this thesis, we focus on 3D roadmark reconstruction from images acquired by road looking cameras of a MMS stereo-rig in dense urban context. A new approach is presented, that uses 3D geometric knowledge of roadmarks and provides a centimetric 3D accuracy with a low level of generalisation. Two classes of roadmarks are studied: zebra-crossing and dashed-lines. The general strategy consists in three main steps. The first step provides 3D linked-edges. Edges are extracted in the left and right images. Then a matching algorithm that is based on dynamic programming optimisation matches the edges between the two images. A sub-pixel matching is computed by post processing and 3D linked-edges are provided by classical photogrammetric triangulation. The second step uses the known specification of roadmarks to perform a signature based filtering of 3D linked-edges. This step provides hypothetical candidates for roadmark objects. The last step can be seen as a validation step that rejects or accepts the candidates. The validated candidates are finely reconstructed. The adopted model consists of a quasi parallelogram for each strip of zebra-crossing or dashed-line. Each strip is constrained to be flat but the roadmark as a whole is not planar. The method is evaluated on a set of 150 stereo-pairs acquired in a real urban area under normal traffic conditions. The results show the validity of the approach in terms of robustness, completeness and geometric accuracy. The method is robust and deals properly with partially occluded roadmarks as well as damaged or eroded ones. The detection rate reaches 90% and the 3D accuracy is about 2-4 cm. Finally an application of reconstructed roadmarks is presented. They are used in georeferencing of the system. Most of the MMSs use direct georeferencing devices such as GPS/INS for their localisation. However in urban areas masks and multi-path errors corrupt the measurements and provide only 50 cm accuracy. In order to improve the localisation quality, we aim at matching ground-based images with calibrated aerial images of the same area. For this purpose roadmarks are used as matching objects. The validity of this method is demonstrated on a zebra-crossing example

Ce manuscrit de thèse présente l’étude des techniques de super-résolution latérale en nanoscopie optique, qui est une des nouvelles techniques d'imagerie haute résolution, aujourd'hui largement utilisée en biophysique et en imagerie médicale, pour imager et caractériser des nanostructures, tout en conservant les avantages de l'imagerie optique en champ lointain comme un vaste champ, la visualisation et l’analyse en temps réel…Un des défis futurs de la microscopie 3D super-résolue est d’éviter l’utilisation des marqueurs fluorescents. La microscopie interférométrique fait partie des techniques d’imagerie 3D sans marquage permettant la détection de nanostructures. Pour améliorer le pouvoir de détection de ce système optique, un premier protocole de traitement d’images a été développé et implémenté, permettant ainsi de révéler des structures initialement non mesurables. Puis, pour améliorer la résolution latérale du système, une nouvelle technique combinant l’interférométrie et le principe du nano-jet photonique a été développée permettant l’observation d’objets de taille inférieure à la limite de diffraction de l’instrument optique. / This manuscript presents the study of the lateral super-resolution techniques in optical nanoscopy, which is a new high-resolution imaging method now widely used in biophysics and medical imaging, to observe and measure nanostructures, with the advantages of far field optical imaging, such as a large field of view, visualization and analysis in real time…One of the future challenges of 3D super resolution microscopy is to avoid the use of fluorescent markers. Interferometric microscopy is a 3D label-free imaging technique enabling the detection of nanostructures. To improve the detection capability of this optical system, a first version of a protocol composed of image processing methods was developed and implemented, revealing structures initially unmeasurable. Then, to improve the lateral resolution of the system, a new technique combining interferometry and the principle of the photonic nano-jet has been developed, thus allowing the observation of objects of a size smaller than the diffraction limit of the optical instrument.

Cette thèse porte sur l’évaluation des techniques pour la tomographie chimique par STEM EDX : mise au point des procédures expérimentales, traitement des données, reconstruction des volumes, analyse de la qualité des résultats obtenus et évaluation de la complexité globale. Les performances très limitées de l’analyse STEM EDX font que peu d’études, jusqu’à aujourd’hui, se sont portées sur cette technique. Cependant, les avancées très notables procurées par les nouveaux détecteurs ‘SDD’ ainsi que les sources électroniques X-FEG haute brillance, rendant l’analyse STEM EDX 2D très rapide, ont relancé la possibilité de la tomographie chimique ; la technique demande toutefois à être mise au point et évaluée (performances et complexité). Nous avons travaillé sur un microscope Tecnai Osiris permettant d’acquérir des cartographies chimiques EDX de centaines de milliers de pixels avec une résolution de l’ordre du nanomètre en quelques minutes. Nous avons choisi de préparer par FIB des échantillons en forme de pointe et d’utiliser un porte-objet permettant une exploration angulaire de 180° sans ombrage. Puis, à l’aide d’échantillons modèles (billes de SiO2 dans une résine), nous avons évalué les déformations d’échantillon par l’irradiation du faisceau électronique. Ceci nous a permis de proposer une méthode pour limiter cet effet par déposition d’une couche de 20 nm de chrome. Des simulations d’images ont permis d’évaluer les logiciels et méthodes de reconstruction. La méthodologie de chaque étape d’une analyse de tomographie STEM EDX a ensuite été expliquée, et l’intérêt de la technique démontré grâce à la comparaison de l’analyse 2D et 3D d’un transistor FDSOI 28 nm. La qualité des reconstructions (rapport signal-sur-bruit, résolution spatiale) a été évaluée en fonction des paramètres expérimentaux à l’aide de simulations et d’expériences. Une résolution de 4 nm est démontrée grâce à l’analyse d’une mire et d’un transistor « gate all around ». Pour ce même transistor, la possibilité et l’intérêt d’analyse de défaillance à l’échelle nanométrique est prouvée. Une analyse d’un défaut de grille d’une SRAM ou de trous dans un pilier en cuivre permettent d’expliquer l’intérêt d’une combinaison d’un volume HAADF (morphologie et résolution < 4 nm) et du volume EDX (information chimique). La conclusion est que cette technique, qui reste encore à améliorer du point de vue de sa simplicité, montre déjà son utilité pour l’analyse et la mise au point des technologies avancées (nœud 20 nm et après). / This thesis focuses on the evaluation of the STEM EDX chemical tomography technique: development of experimental procedures, data processing and volumes reconstruction, quality analysis of the results and evaluation of the overall complexity. Until now, STEM EDX analysis performances were very limited, so only few studies about this technique have been realized. However, very significant progress procured by the new SDD detectors as well as by the high brightness electronic sources (X-FEG), making the STEM EDX 2D analysis very fast, have revived the possibility of the chemical tomography, although the technique has to be developed and evaluated (performance and complexity). We have worked on a Tecnai Osiris which acquires EDX chemical mapping of hundreds of thousands of pixels with resolution of one nanometer and in a few minutes. We chose to prepare the rod-shaped samples by FIB and use a sample holder allowing an angle of exploration of 180° without shadowing effects. Then, using model samples (SiO2 balls in resin), we evaluated the sample deformation due to the electron beam irradiation. This allowed us to propose a method to reduce this effect by depositing a 20 nm chromium layer. Images simulations were used to evaluate the software and the reconstruction methods. The methodology of each step of the STEM EDX tomography analysis is then explained and the technique interest is demonstrated by comparing the 2D and the 3D analysis of a transistor 28 nm FDSOI. The quality of the reconstructions (signal-to-noise ratio, spatial resolution) was evaluated, in function of experimental parameters, using simulations and experiments. A resolution of 4 nm is demonstrated through the analysis of a test pattern and a "gate all around” transistor. For the same transistor, the possibility and the interest of a failure analysis at the nanoscale is proven. Analyses of a SRAM gate fail or of the holes in a copper pillar explain the benefits of a combination between a HAADF volume (morphology and resolution < 4 nm) and an EDX volume (chemical information). To conclude, this technique, which still needs to be improved in terms of simplicity, is already showing its usefulness for the analysis and the development of advanced technologies (20nm node and beyond).

The principal aims of this research have been the development of photogrammetric techniques for the measurement of anisotropic deformation in uniaxially loaded cylindrical specimens. This has been achieved through the use of calibrated cameras and the application of edge detection and multiple view geometry. The techniques have been demonstrated at quasi-static strain rates, 10^-3 s^-1, using a screw-driven loading device and high strain rates, 10^3 s^-1, using Split Hopkinson Bars. The materials that have been measured using the technique are nearlyisotropic steel, anisotropic cross-rolled Ti-6Al-4V and anisotropic clock-rolled commercially pure Zr. These techniques allow the surface shapes of specimens that deform elliptically to be completely tracked and measured in situ during loading. This has allowed the measurement of properties that could not have been recorded before, including true direct stress and the ratio of transverse strains in principal material directions, at quasi-static and elevated strain rates, in tension and compression. The techniques have been validated by measuring elliptical prisms of various aspect ratios and independently measuring interrupted specimens using a coordinate measurement machine. A secondary aim of this research has been to improve the characterisation of the anisotropic mechanical properties of cross-rolled Ti-6Al-4V using the techniques developed. In particular, the uniaxial yield stresses, hardening properties and the associated anisotropic deformation behaviour along the principal material directions, have all been recorded in detail not seen before. Significant findings include: higher yield stresses in-plane than in the through-thickness direction in both tension and compression, and the near transverse-isotropy of the through-thickness direction for loading conditions other than quasi-static tension, where significant anisotropy was observed.

No description available.