No description available.

Over the past two decades, a major part of the manufacturing and assembly market has been driven by its customer requirements. Increasing customer demand for personalised products create the demand for smaller batch sizes, shorter production times, lower costs, and the flexibility to produce families of products - or different parts - with the same sets of equipment. Consequently, manufacturing companies have deployed various automation systems and production strategies to improve their resource efficiency and move towards right-first-time production. However, many of these automated systems, which are involved with robot-based, repeatable assembly automation, require component- specific fixtures for accurate positioning and extensive robot programming, to achieve flexibility in their production. Threaded fastening operations are widely used in assembly. In high-volume production, the fastening processes are commonly automated using jigs, fixtures, and semi-automated tools. This form of automation delivers reliable assembly results at the expense of flexibility and requires component variability to be adequately controlled. On the other hand, in low- volume, high- value manufacturing, fastening processes are typically carried out manually by skilled workers. This research is aimed at addressing the aforementioned issues by developing a freeform automated threaded fastener assembly system that uses 3D visual guidance. The proof-of-concept system developed focuses on picking up fasteners from clutter, identifying a hole feature in an imprecisely positioned target component and carry out torque-controlled fastening. This approach has achieved flexibility and adaptability without the use of dedicated fixtures and robot programming. This research also investigates and evaluates different 3D imaging technology to identify the suitable technology required for fastener assembly in a non-structured industrial environment. The proposed solution utilises the commercially available technologies to enhance the precision and speed of identification of components for assembly processes, thereby improving and validating the possibility of reliably implementing this solution for industrial applications. As a part of this research, a number of novel algorithms are developed to robustly identify assembly components located in a random environment by enhancing the existing methods and technologies within the domain of the fastening processes. A bolt identification algorithm was developed to identify bolts located in a random clutter by enhancing the existing surface-based matching algorithm. A novel hole feature identification algorithm was developed to detect threaded holes and identify its size and location in 3D. The developed bolt and feature identification algorithms are robust and has sub-millimetre accuracy required to perform successful fastener assembly in industrial conditions. In addition, the processing time required for these identification algorithms - to identify and localise bolts and hole features - is less than a second, thereby increasing the speed of fastener assembly.

Extraire des mesures sur des surfaces est un problème dans de nombreux domaines de recherche. L'archaïsme de certains systèmes ou la cherté d'appareils perfectionnés empêchent l'extraction rapide et robuste de ces paramètres. Pourtant, ils sont essentiels dans de nombreux domaines, comme les paramètres de rugosité qui interviennent dans de nombreux phénomènes physiques ou les valeurs dendrométriques pour l'étude de la bio-diversité. En parallèle, l'utilisation et la production de contenus 3D se développent considérablement ces dernières années dans des domaines très divers. Le but de cette thèse est donc d'utiliser toutes ces innovations dans le domaine de la reconstruction 3D et de les appliquer à la mesure de paramètres de surfaces. Pour cela, il est nécessaire de créer une chaîne complète de reconstruction 3D, n'utilisant que des images prises sans contrainte dans le but d'être accessible au plus grand nombre. Dans cette chaîne nous utilisons des algorithmes de stéréo-vision robustes produisant, pour chaque couple d'images, un nuage de points. Après le passage de ces nuages dans un référentiel commun, une étape de filtrage des points 3D et de suppression des redondances est nécessaire. Une étape de lissage permet d'obtenir le nuage final. Pour justifier des bons résultats obtenus, une étape de validation nous a permis de vérifier et d'étudier la robustesse de la chaîne de traitements développée. Enfin, les paramètres de rugosités et dendrométriques seront extraits. Nous étudierons dans ces deux cas, comment extraire ces informations et leurs utilisations / Extracting measures on surfaces is a problem in many areas of research. The archaism of some systems or the costliness of sophisticated devices prevent the fast and robust extraction of these parameters. Yet these measures are essential in many areas, such as roughness parameters involved in many physical phenomena or dendrometric values for the study of biodiversity. In parallel, the use and production of 3D content has grown dramatically this past year in very diverse domains. The purpose of this thesis is to use these innovations in the context of surfaces parameter measurements. It is necessary to create a complete chain of 3D reconstruction, using pictures taken without constraint, in order to be open to as many people. This chain uses robust stereo-vision algorithms in order to produce a point cloud for each pair of images. After the generation of these point cloud in the same geometric frame, a filtering step of 3D points and a deletion step of redundancies are necessary and a smoothing step allows us to obtain the final point cloud. To reveal the good results, a validation step has enabled us to verify and investigate the robustness of the developed chain. The roughness and dendrometric parameters are finally extracted. We will study in both cases, how to extract this information and their uses

Les systèmes d’imagerie infrarouge suivent depuis plusieurs années la même tendance de miniaturisation que les systèmes d’imagerie visible. Aujourd’hui cette miniaturisation se rapproche d’une limite physique qui amène la communauté à se tourner vers une nouvelle approche : la fonctionnalisation, c’est-à-dire l’apport de fonctions d’imagerie avancées aux systèmes telles que l’imagerie 3D.En infrarouge, la fonction d’imagerie 3D est très recherchée car elle pourrait apporter à un fantassin un outil de télémétrie passive fonctionnant de nuit comme de jour, ou encore permettre l’autonomie en environnements complexes à des systèmes tels que les drones. Cependant, le cout d’une caméra infrarouge hautes-performances est élevé. Multiplier le nombre de cameras n’est donc pas une solution acceptable pour répondre à ce besoin.C’est dans ce contexte que se situe ce travail qui consiste à apporter une fonction de vision 3D à des caméras infrarouges possédant un unique plan focal.Au cours de cette thèse, j’ai identifié la technologie d’imagerie 3D la plus adaptée à ce besoin : la camera plénoptique. J’ai montré que cette dernière permet de proposer, en intégrant une matrice de microlentilles dans le cryostat, un bloc de détection infrarouge avec une fonction d’imagerie 3D. L’environnement scellé du bloc de détection m’a amené à développer un modèle de dimensionnement rigoureux que j’ai appliqué pour concevoir et réaliser une camera plénoptique infrarouge refroidie. J’ai ensuite mis au point une méthode de caractérisation originale et intégré les mesures dans une série d’algorithmes de traitement d’image afin de remonter à la distance des objets observés. / For a few years now, infrared cameras have been following the same miniaturization trend introduced with visible cameras. Today, this miniaturization is nearing a physical limit, leading the community to take a different approach called functionalization: that is bringing an advanced imaging capability to the system.For infrared cameras, one of the most desired functions is 3D vision. This could be used to bring soldiers a passive telemetry tool or to help UAVs navigate a complex environment, even at night. However, high performance infrared cameras are expensive. Multiplying the number of cameras would thus not be an acceptable solution to bring 3D vision to these systems.That is why this work focuses on bringing 3D vision to cooled infrared cameras using only a single focal plane array.During this PhD, I have first identified the plenoptic technology as the most suitable for our need of 3D vision with a single cooled infrared sensor. I have shown that integrating a microlens array inside the dewar could bring this function to the infrared region. I have then developed a complete design model for such a camera and used it to design and build a cooled infrared plenoptic camera. I have created a method to characterize our camera and integrated this method into the image processing algorithms necessary to generate refocused images and derive the distance of objects in the scene.

Travail organisé autour du thème de la vision tridimensionnelle. Le problème de la modélisation automatique d'objets est abordé, ainsi que celui de la collaboration d'un capteur 3D et d'un capteur 2D. Cette modélisation est effectué en 3 temps : acquisition d'une image 3D grâce a un capteur réalisé au cours de ce travail : obtention de modèles partiels grâce a un procédé de segmentation d'images 3D : obtention de modèles complets grâce à une unité de génération d'hypothèses de correspondances 3D et à une unité de fusion de modèles partiels

Extraire des mesures sur des surfaces est un problème dans de nombreux domaines de recherche. L'archaïsme de certains systèmes ou la cherté d'appareils perfectionnés empêchent l'extraction rapide et robuste de ces paramètres. Pourtant, ils sont essentiels dans de nombreux domaines, comme les paramètres de rugosité qui interviennent dans de nombreux phénomènes physiques ou les valeurs dendrométriques pour l'étude de la bio-diversité. En parallèle, l'utilisation et la production de contenus 3D se développent considérablement ces dernières années dans des domaines très divers. Le but de cette thèse est donc d'utiliser toutes ces innovations dans le domaine de la reconstruction 3D et de les appliquer à la mesure de paramètres de surfaces. Pour cela, il est nécessaire de créer une chaîne complète de reconstruction 3D, n'utilisant que des images prises sans contrainte dans le but d'être accessible au plus grand nombre. Dans cette chaîne nous utilisons des algorithmes de stéréo-vision robustes produisant, pour chaque couple d'images, un nuage de points. Après le passage de ces nuages dans un référentiel commun, une étape de filtrage des points 3D et de suppression des redondances est nécessaire. Une étape de lissage permet d'obtenir le nuage final. Pour justifier des bons résultats obtenus, une étape de validation nous a permis de vérifier et d'étudier la robustesse de la chaîne de traitements développée. Enfin, les paramètres de rugosités et dendrométriques seront extraits. Nous étudierons dans ces deux cas, comment extraire ces informations et leurs utilisations

Master´s thesis is describing basic concepts in machine vision. Used camera systems and possible imaging 2D and 3D are described. Practical part deals with constructin of scanning device with linear actuator, conveyor belt, camera and laser. For experimental use is construction of scanning device made for 2D and 3D image using several methods.

As the requirement for more realistic 3D environments is pushed forward by the computer {graphics | movie | simulation | games} industry, attention turns away from the creation of purely synthetic, artist derived environments towards the use of real world captures from the 3D world in which we live. However, common 3D acquisition techniques, such as laser scanning and stereo capture, are realistically only 2.5D in nature - such that the backs and occluded portions of objects cannot be realised from a single uni-directional viewpoint. Although multi-directional capture has existed for sometime, this incurs additional temporal and computational cost with no existing guarantee that the resulting acquisition will be free of minor holes, missing surfaces and alike. Drawing inspiration from the study of human abilities in 3D visual completion, we consider the automated completion of these hidden or missing portions in 3D scenes originally acquired from 2.5D (or 3D) capture. We propose an approach based on the visual propagation of available scene knowledge from the known (visible) scene areas to these unknown (invisible) 3D regions (i.e. the completion of unknown volumes via visual propagation - the concept of volume completion). Our proposed approach uses a combination of global surface fitting, to derive an initial underlying geometric surface completion, together with a 3D extension of nonparametric texture synthesis in order to provide the propagation of localised structural 3D surface detail (i.e. surface relief). We further extend our technique both to the combined completion of 3D surface relief and colour and additionally to hierarchical surface completion that offers both improved structural results and computational efficiency gains over our initial non-hierarchical technique. To validate the success of these approaches we present the completion and extension of numerous 2.5D (and 3D) surface examples with relief ranging in natural, man-made, stochastic, regular and irregular forms. These results are evaluated both subjectively within our definition of plausible completion and quantitatively by statistical analysis in the geometric and colour domains.

La manipulation et le micro-assemblage de composants de taille micrométrique (1 µm ->1 mm) afin de réaliser des microsystèmes posent énormément de problèmes. À cette échelle les composants sont quasiment invisibles à l'oeil nu et on constate une inversion de l'importante des forces : les forces surfaciques (capillarité, Van der Waals, électrostatiques, ...) deviennent prépondérantes par rapport aux forces volumiques (poids, inertie). Il est ainsi nécessaire et indispensable de mettre en oeuvre des stratégies novatrices appropriées tant du point de vue de l'imagerie et de la vision que de la manipulation et de la commande pour la fabrication des microsystèmes. Le micro-assemblage comporte des tâches de micromanipulation (positionnement, prise, transfert, dépose, ...) ainsi que tâches plus complexes (orientation dans l'espace, insertion, ...). Nos travaux répondent clairement à ces attentes c'est-à-dire utiliser un système de vision (un microscope optique) pour automatiser des tâches simples de manipulation de microcomposants et des tâches plus complexes d'assemblage de MEMS. Plusieurs lois de commande ont été développées telles qu'un asservissement visuel 2D multi-échelle pour la manipulation et un asservissement visuel 3D pour l'assemblage. Pour les deux approches développées, la précision et la répétabilité obtenues sur les processus de manipulation et d'assemblage sont satisfaisantes. Cependant, avant toute chose, le système de vision doit être calibré pour atteindre de meilleures performances. Dans cet objectif, une méthode de calibrage multi-échelle de microscopes photoniques a été présentée et détaillée. À partir de l'étude des contraintes liées à l'utilisation de ce genre d'imageur, des techniques de vision 3D telles le depth-from-focus et le pose-from-focus ont été pensées et intégrées pour aboutir à une station de micro-assemblage entièrement automatisée.

La finalité de cette thèse est d’étudier la pertinence et les limites des méthodes de vision 3D couplées à une caméra ultra-rapide pour la mesure de champs vibratoires, sans contact et de manière synchrone, dans le domaine des fréquences associées à la vibro-acoustique. Un premier montage pseudo stéréoscopique, issu de la robotique, mobilisant un jeu de quatre miroirs afin de générer deux vues virtuelles à partir d’une seule caméra réelle, a été testé sur une plaque et un haut-parleur. Les résultats, validés par comparaison avec ceux obtenus avec un vibromètre laser, attestent de la pertinence de l’approche en dépit des contraintes liées aux éléments optiques. Dans une logique de simplification, trois autres montages ont alors été proposés et testés, permettant de concevoir deux techniques de mesure de vibration plein champ et une méthode itérative de rectification d’images (IRIs), adaptées au contexte. La méthode sans miroir utilise une ligne mathématique pour la triangulation et est fondamentalement adaptée à la mesure de vibrations mono-axiales d'objets globalement plans, affichant des déplacements non-répétables selon la normale de la surface ou selon un axe connu. La méthode à caméras asynchrones, quant à elle, utilise une caméra ultra-rapide et une caméra rapide, et permet la mesure de vibrations multi-axiales de phénomènes vibratoires 3D. Les résultats obtenus sur le capot d’une voiture et sur un haut-parleur attestent de son potentiel pour la caractérisation de panneaux ou le test qualité de fin de chaine d’assemblage de haut-parleurs par exemple. En conclusion, les trois protocoles de mesure et les résultats associés sont comparés afin de cibler leurs potentialités et limites respectives dans le contexte de la mesure de vibrations. / The objective of this Ph.D is to study the relevance and limits of 3D vision methods coupled to high-speed cameras and applied to non-contact synchronous vibration measurement, in the vibro-acoustic range of frequencies. A first pseudo stereoscopic set-up, taken from robotics, using a four-mirror adapter in order to generate two virtual viewpoints from a single real camera, has been tested on a plate and a loudspeaker. The results, validated by comparison with those obtained with a laser vibrometre, prove the relevance of the approach, despite some constraints related to the optical elements. In a logic of simplification, three other set-ups have then been proposed and tested, allowing designing two full-field vibration measurement techniques and a method for the Iterative Rectification of Images (IRIs), adapted to the context. The no-mirror method uses a mathematical line to triangulate positions and is basically suited to measure the single-axis vibrations of globally plane objects, displaying non-repeatable displacements along the normal of the surface or along a known axis. The asynchronous cameras technique requires a high-speed and an industrial camera used simultaneously to measure the multi-axis displacements of 3D vibratory phenomena. The results obtained on a car bonnet and a loudspeaker prove its potential to characterise large panels or to carry out end-of-line testing of loud-speakers for example. In conclusion, the three measurement protocols and the associated results are compared in order to assess their respective potentialities and limits in the context of vibration measurement.