Return to search

Aerial inspection of complex structures using multi-modal procedures and data processing a comprehensive solution for drone-based multi-modal inspection of industrial components

Thèse ou mémoire avec insertion d'articles / Les systèmes aériens autonomes (UAV/UAS), communément appelés drones, sont un sujet de plus en plus important dans les inspections par essais non-destructifs (END). Avec les avancées technologiques significatives des caméras thermiques, les méthodes d'inspection visuelle acquièrent continuellement de l'attention dans les inspections END. Les inspections dans les zones difficiles d'accès sont coûteuses, parfois impossibles en raison de la nature de la zone ou des dangers possibles pour les ressources humaines. L'inspection de spécimens complexes et de grande taille, notamment les des structures courbes, nécessite des relevés approfondis sous différents aspects, ce qui est presque impossible ou très coûteux avec des véhicules terrestres ou des ressources humaines. Ainsi, en raison de leur grande manœuvrabilité, les industries investissent davantage dans les drones pour surmonter les problèmes mentionnés et aider les inspecteurs à examiner les composants de manière approfondie. De plus, grâce à des développements récents, les UAVs peuvent également accéder à des zones éloignées ou difficiles d'accès et transporter de nombreuses charges utiles. Malgré les énormes avantages de l'utilisation des drones pour l'inspection, certains défis doivent être relevés. Ces dernières années, de nombreuses études se sont concentrées sur l'utilisation d'images thermiques/visibles pour inspecter différentes structures. Cependant, l'utilisation de données d'inspection multimodales par drone, y compris les données d'imagerie visible, thermique et de profondeur, pour fournir une compréhension approfondie de l'échantillon et de son environnement afin de produire une analyse plus précise, doit être étudiée en détail. Tout d'abord, cette étude aborde les défis communs des inspections par drone. La détection de l'effet de la réflexion thermique dans une inspection thermographique est le premier défi abordé dans cette étude. Ensuite, l'effet des mouvements constants et soudains d'un drone sur l'analyse des séquences d'images thermiques est étudié de manière approfondie. En outre, les résultats sont évalués à l'aide d'un scénario d'utilisation où le drone surveille un endroit fixe tout en restant en vol stationnaire. Par la suite, cette étude vise à développer une plateforme multi-sensorielle comprenant une structure de montage, des capteurs d'imagerie et un ordinateur embarqué. La solution logicielle intégrée à cette plate-forme fournit les fonctions requises d'acquisition, de transmission, de stockage et de traitement des données. De plus, cette étude se concentre sur le traitement de modalités multiples ou individuelles. Notamment, une méthode de segmentation par auto-apprentissage est proposée dans le contexte de la détection de défauts dans les images thermiques. Aussi, un algorithme de détection de fissures par drone est présenté pour analyser l'inspection visuelle des chaussées et des structures en béton. Ensuite, cette étude s'est concentrée sur le traitement des données multi-modales acquises par la plateforme multi-sensorielle présentée. En effet, l'utilisation d'images thermiques et visibles couplées pour améliorer la détection des anomalies est étudiée de manière approfondie. Plusieurs scénarios d'utilisation sont introduits présentant différentes approches pour améliorer l'efficacité de la détection. Ces derniers fournissent un aperçu de l'applicabilité des sous-études introduites. Pour chacun d'entre eux, de multiples expériences sont menées pour démontrer les applications des méthodes proposées dans des scénarios de cas réels. / Unmanned Aerial Vehicles/Systems (UAVs/UAS), commonly known as drones, is a rising topic in Non-Destructive Testing (NDT) inspections. With significant technological advancements in thermal cameras, visual inspection methods continuously gain much attention in non-destructive inspections. Inspections in remote or hard-to-access areas are costly and sometimes impossible due to the area's nature or the possible dangers facing human resources. Inspection of complex and large specimens, especially with curvaceous structures, requires extensive surveys from different aspects, which is nearly impossible or very costly using ground vehicles or human resources. Thus, industries are investing more in drones to overcome mentioned problems as they have high flexibility of maneuver, which can assist inspectors in examining the components thoroughly. They can also access remote or hard-to-access areas and carry many payloads thanks to recent developments. Despite the enormous benefits of using drones for inspection, some challenges need to be addressed. In recent years, many studies focused on using thermal/visible images to inspect different structures. However, using multi-modal data, including visible, thermal, and depth imagery data, provides an extensive understanding of the specimen and surrounding environment in case of drone-enabled inspections and produces a more accurate analysis that needs to be thoroughly studied. Firstly, this study addresses the common challenges in drone-based inspections in the scope of this research. Detecting the effect of thermal reflection in a thermographic inspection is the first challenge addressed in this study. Later, the effect of a drone's constant and sudden motions on analyzing thermal image sequences is investigated comprehensively. Also, the results are evaluated using a use-case scenario where the drone monitors a fixed location while hovering. Also, the next part of this study aims to develop a multi-sensory platform, including a mounting structure, imagery sensors, and an onboard computer. The software solution embedded in this platform provides the required data acquisition, transmission, storage, and processing features. Later, this study focuses on the processing of multiple or individual modalities. Firstly, a self-training segmentation method is proposed in the context of defect detection in thermal images. Also, a drone-enabled crack detection algorithm is presented for analyzing the visual inspection of pavement and concrete structures. Next, this study focused on processing multi-modal data acquired by the presented multi-sensory platform. Firstly, using coupled thermal and visible images to enhance abnormality detection is investigated thoroughly. Several use-case scenarios are introduced, presenting different approaches to enhance the detection's efficiency. In order to provide insight into the applicability of the introduced sub-studies. For each of them, multiple experiments are conducted demonstrating the applications of the proposed methods in real-case scenarios.

Identiferoai:union.ndltd.org:LAVAL/oai:corpus.ulaval.ca:20.500.11794/121804
Date28 July 2023
CreatorsNooralishahi, Parham
ContributorsMaldague, Xavier, Lopez Rodriguez, Fernando
Source SetsUniversité Laval
LanguageEnglish
Detected LanguageFrench
TypeCOAR1_1::Texte::Thèse::Thèse de doctorat
Format1 ressource en ligne (xxxi, 294 pages), application/pdf
Rightshttp://purl.org/coar/access_right/c_abf2

Page generated in 0.0025 seconds