This thesis aims to investigate a fault detection and diagnosis system for automotive cameras using unsupervised learning. 1) Can a front-looking wide-angle camera image dataset be created using Hardware-in-Loop (HIL) simulations? 2) Can an Adversarial Autoencoder (AAE) based unsupervised camera fault detection and diagnosis method be crafted for SPA2 Vehicle Control Unit (VCU) using an image dataset created using Hardware-inLoop? 3) Does using AAE surpass the performance of using Variational Autoencoder (VAE) for the unsupervised automotive camera fault diagnosis model? In the field of camera fault studies, automotive cameras stand out for its complex operational context, particularly in Advanced Driver-Assistance Systems (ADAS) applications. The literature review finds a notable gap in comprehensive image datasets addressing the image artefact spectrum of ADAS-equipped automotive cameras under real-world driving conditions. In this study, normal and fault scenarios for automotive cameras are defined leveraging published and company studies and a fault diagnosis model using unsupervised learning is proposed and examined. The types of image faults defined and included are Lens Flare, Gaussian Noise and Dead Pixels. Along with normal driving images, a balanced fault-injected image dataset is collected using real-time sensor simulation under driving scenario with industrially-recognised HIL setup. An AAE-based unsupervised automotive camera fault diagnosis system using VGG16 as encoder-decoder structure is proposed and experiments on its performance are conducted on both the selfcollected dataset and fault-injected KITTI raw images. For non-processed KITTI dataset, morphological operations are examined and are employed as preprocessing. The performance of the system is discussed in comparison to supervised and unsupervised image partition methods in related works. The research found that the AAE method outperforms popular VAE method, using VGG16 as encoder-decoder structure significantly using 3-layer Convolutional Neural Network (CNN) and ResNet18 and morphological preprocessings significantly ameliorate system performance. The best performing VGG16- AAE model achieves 62.7% accuracy to diagnosis on own dataset, and 86.4% accuracy on double-erosion-processed fault-injected KITTI dataset. In conclusion, this study introduced a novel scheme for collecting automotive sensor data using Hardware-in-Loop, utilised preprocessing techniques that enhance image partitioning and examined the application of unsupervised models for diagnosing faults in automotive cameras. / Denna avhandling syftar till att undersöka ett felupptäcknings- och diagnossystem för bilkameror med hjälp av oövervakad inlärning. De huvudsakliga forskningsfrågorna är om en bilduppsättning från en frontmonterad vidvinkelkamera kan skapas med hjälp av Hardware-in-Loop (HIL)-simulationer, om en Adversarial Autoencoder (AAE)-baserad metod för oövervakad felupptäckt och diagnos för SPA2 Vehicle Control Unit (VCU) kan utformas med en bilduppsättning skapad med Hardware-in-Loop, och om användningen av AAE skulle överträffa prestandan av att använda Variational Autoencoder (VAE) för den oövervakade modellen för felanalys i bilkameror. Befintliga studier om felanalys fokuserar på roterande maskiner, luftbehandlingsenheter och järnvägsfordon. Få studier undersöker definitionen av feltyper i bilkameror och klassificerar normala och felaktiga bilddata från kameror i kommersiella passagerarfordon. I denna studie definieras normala och felaktiga scenarier för bilkameror och en modell för felanalys med oövervakad inlärning föreslås och undersöks. De typer av bildfel som definieras är Lens Flare, Gaussiskt brus och Döda pixlar. Tillsammans med normala bilder samlas en balanserad uppsättning felinjicerade bilder in med hjälp av realtidssensor-simulering under körscenarier med industriellt erkänd HIL-uppsättning. Ett AAE-baserat system för oövervakad felanalys i bilkameror med VGG16 som kodaredekoderstruktur föreslås och experiment på dess prestanda genomförs både på den självinsamlade uppsättningen och felinjicerade KITTI-raw-bilder. För icke-behandlade KITTI-uppsättningar undersöks morfologiska operationer och används som förbehandling. Systemets prestanda diskuteras i jämförelse med övervakade och oövervakade bildpartitioneringsmetoder i relaterade arbeten. Forskningen fann att AAE-metoden överträffar den populära VAEmetoden, genom att använda VGG16 som kodare-dekoderstruktur signifikant med ett 3-lagers konvolutionellt neuralt nätverk (CNN) och ResNet18 och morfologiska förbehandlingar förbättrar systemets prestanda avsevärt. Den bäst presterande VGG16-AAE-modellen uppnår 62,7 % noggrannhet för diagnos på egen uppsättning, och 86,4 % noggrannhet på dubbelerosionsbehandlad felinjicerad KITTI-uppsättning. Sammanfattningsvis introducerade denna studie ett nytt system för insamling av data från bilsensorer med Hardware-in-Loop, utnyttjade förbehandlingstekniker som förbättrar bildpartitionering och undersökte tillämpningen av oövervakade modeller för att diagnostisera fel i bilkameror.
| Identifer | oai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-342420 |
| Date | January 2023 |
| Creators | Li, Ziyou |
| Publisher | KTH, Skolan för elektroteknik och datavetenskap (EECS) |
| Source Sets | DiVA Archive at Upsalla University |
| Language | English |
| Detected Language | Swedish |
| Type | Student thesis, info:eu-repo/semantics/bachelorThesis, text |
| Format | application/pdf |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | TRITA-EECS-EX ; 2023:893 |
Page generated in 0.0033 seconds