The usage of convolutional neural networks (CNNs) has revolutionized the field of computer vision. Though the algorithms used in image recognition have improved significantly in the past decade, they are still limited by the availability of training data. This paper aims to gain a better understanding of how limitations in the training data might affect the performance of the system. A robustness study was conducted. The study utilizes three different image datasets; pre-training CNN models on the ImageNet or CIFAR-10 datasets, and then training on the MAdWeather dataset, whose main characteristic is containing images with differing levels of obscurity in front of the objects in the images. The MAdWeather dataset is used in order to test how accurately a model can identify images that differ from its training dataset. The study shows that CNNs performance on one condition does not translate well to other conditions. / Bildklassificering med hjälp av datorer har revolutionerats genom introduktionen av CNNs. Och även om algoritmerna har förbättrats avsevärt, så är de fortsatt begränsade av tillgänglighet av data. Syftet med detta projekt är att få en bättre förståelse för hur begränsningar i träningsdata kan påverka prestandan för en modell. En studie genomförs för att avgöra hur robust en modell är mot att förutsättningarna, under vilka bilderna tas, förändras. Studien använder sig av tre olika dataset: ImageNet och CIFAR-10, för förträning av modellerna, samt MAdWeather för vidare träning. MAdWeather är speciellt framtaget med bilder där objekten är till olika grad grumlade. MAdWeather datasetet används vidare för att avgöra hur bra en modell är på att klassificera bilder som tagits fram under omständigheter som avviker från träningsdatan. Studien visar att CNNs prestanda på en viss omständighet, inte kan generaliseras till andra omständigheter. / Kandidatexjobb i elektroteknik 2022, KTH, Stockholm

L’imagerie thermique est largement utilisée dans le domaine militaire pour ses capacités de vision diurne etnocturne et sa longue portée d’observation. Cette technologie est basée sur la détection passive dans l’infrarouge.En conditions météorologiques dégradées ou quand la cible est partiellement dissimulée par du feuillage ou desfilets de camouflages militaires, elle devrait être à court terme de plus en plus complémentée par un systèmed’imagerie active. Cette technologie est essentielle pour l’imagerie à longue portée. La technique d’imagerie diteflash 2D est basée sur une source laser impulsionnel qui illumine la scène et sur une caméra rapide synchroniséequi constitue le système d’imagerie. Ces deux technologies sont bien éprouvées en présence de conditionsmétéorologiques claires. Les modèles TRM4 (imagerie thermique) et PERFIMA (imagerie active) sont capablesde prédire correctement les performances de tels systèmes par beau temps. En revanche, en conditions dégradéestelle que la pluie, le brouillard ou la neige, ces modèles deviennent non pertinents. Cette étude introduit denouveaux modèles pour compléter les codes TRM4 et PERFIMA, et les rendre aptes à prévoir les performancesdans ces conditions dégradées. Nous analysons ici plus particulièrement le temps de pluie pour l’imagerie activeet l’imagerie thermique. Dans un premier temps, nous répertorions l’impact possible de la pluie sur des paramètresphysiques connus (extinction, transmission, résolution spatiale, luminance de trajet, turbulence). Nous étudionsensuite les phénomènes physiques et les lois régissant les caractéristiques de la pluie. Nous avons développé desmodèles physiques permettant de calculer l’impact de la pluie sur le système global d’imagerie. Enfin, nous avonssimplifié et allégé ces modèles pour obtenir des modèles faciles à utiliser et à interfacer avec les codes TRM4 etPERFIMA qui sont couramment utilisés pour des applications industrielles. Ces modèles de prédiction del’imagerie active et de l’imagerie thermique ont été confrontés à la réalité (expérience avec l’imageur MILPATpar exemple) pour être validé sur des données réelles, comme la portée des systèmes. / Thermal imaging cameras are widely used in military contexts for their day and night vision capabilities andtheir observation range; there are based on passive infrared sensors (e.g. MWIR or LWIR range). Under badweather conditions or when the target is partially hidden (e.g. foliage, military camouflage) they will be more andmore complemented by active imaging systems, a key technology to perform target identification at long ranges.The 2D flash imaging technique is based on a high powered pulsed laser source that illuminates the entire sceneand a fast gated camera as the imaging system. Both technologies are well experienced under clear meteorologicalconditions; current models such as TRM4 (themal imaging) and PERFIMA (active imaging) codes are able topredict accurately the systems performances. However, under bad weather conditions such as rain, haze or snow,these models are not relevant. This study introduces new models to complete TRM4 and PERFIMA codesperformances predictions under bad weather conditions for both active and infrared imaging systems. We pointout rain effects on controlled physical parameters (extinction, transmission, spatial resolution, thermalbackground, turbulence). Then we develop physical models to describe their intrinsic characteristics and theirimpact on the imaging system performances. Finally, we approximate these models to have a “first order” modeleasy to deploy into TRM4 and PERFIMA already use for industrial applications. This theoretical work is validatedon real active and infrared data, as systems range.

Τα αυτοκινητιστικά δυστυχήματα αποτελούν μια από τις κυριότερες αιτίες θανάτου παγκοσμίως. Ο αυξανόμενος αριθμός τους οδήγησε στην συνειδητοποίηση ότι η χρήση προηγμένης τεχνολογίας για την κατασκευή ασφαλέστερων οχημάτων είναι απαραίτητη για την μείωση των ατυχημάτων και κατά συνέπεια των θανάτων που οφείλονται σε αυτά. Από τη στιγμή που οι τεχνολογικές εξελίξεις επέτρεψαν την ενσωμάτωση φθηνών, χαμηλής κατανάλωσης συστημάτων με μεγάλη επεξεργαστική ταχύτητα σε οχήματα, κατέστη προφανές ότι περίπλοκες τεχνικές υπολογιστικής όρασης μπορούσαν πλέον να χρησιμοποιηθούν για την υποβοήθηση της οδήγησης. Σε αυτή την κατεύθυνση, η παρούσα διατριβή εστιάζει στην ανάπτυξη καινοτόμων λύσεων για διαφορετικά κομμάτια που εμπλέκονται στα προηγμένα συστήματα υποβοήθησης του οδηγού. Πιο συγκεκριμένα, σε αυτή την διατριβή προτείνονται καινοτόμα υποσυστήματα για την αναγνώριση σημάτων οδικής κυκλοφορίας, την αναγνώριση φωτεινών σηματοδοτών, τον εντοπισμό προπορευόμενου οχήματος και τον εντοπισμό δρόμου. Οι τεχνικές που χρησιμοποιήθηκαν για την ανάπτυξη των προτεινόμενων λύσεων βασίζονται στην χρωματική επεξεργασία εικόνας με έμφαση στην ανεξαρτησία από την φωτεινότητα της σκηνής, στην χρήση πληροφορίας συμμετρίας για τον εντοπισμό χαρακτηριστικών αντικειμένων (όπως σήματα οδικής κυκλοφορίας, φωτεινοί σηματοδότες και οχήματα), στην χώρο-χρονική παρακολούθηση των εντοπισμένων αντικειμένων και στην αυτόματη κατάτμηση εικόνας για τον εντοπισμό δρόμου. Τα προτεινόμενα συστήματα αναπτύχθηκαν με στόχο την ανθεκτικότητα σε αλλαγές της φωτεινότητας ή τις καιρικές συνθήκες, καθώς και στην οδήγηση σε απαιτητικά περιβάλλοντα. Επίσης, έχει δοθεί ιδιαίτερη έμφαση στην προοπτική υλοποίησης συστημάτων πραγματικού χρόνου. Τα αποτελέσματα που παρουσιάζονται σε αυτή την διατριβή αποδεικνύουν την ανωτερότητα των προτεινόμενων μεθόδων έναντι αντίστοιχων της σχετικής βιβλιογραφίας, ειδικά στις περιπτώσεις του εντοπισμού προπορευόμενου οχήματος και του εντοπισμού δρόμου. Ελπίζουμε ότι μέρη της έρευνας αυτής θα εμπνεύσουν νέες προσεγγίσεις για τις μελλοντικές υλοποιήσεις αντίστοιχων συστημάτων. / Traffic accidents are one of the main reasons for the loss of human lives worldwide. Their increasing number has led to the realization that the use of advanced technology for manufacturing safer vehicles is imperative for limiting casualties. Since technological breakthroughs allowed the incorporation of cheap, low consumption systems with high processing speeds in vehicles, it became apparent that complex computer vision techniques could be used to assist drivers in navigating their vehicles. In this direction, this thesis focuses on providing novel solutions for different tasks involved in advanced driver assistance systems. More specifically, this thesis proposes novel sub-systems for traffic sign recognition, traffic light recognition, preceding vehicle detection and road detection. The techniques used for developing the proposed solutions are based on color image processing with a focus on illumination invariance, using symmetry information for man-made objects (like traffic signs, traffic lights and vehicles) detection, spatiotemporal tracking of detected results and automated image segmentation for road detection. The proposed systems were implemented with a goal of robustness to changes of illumination and weather conditions, as well as to diverse driving environments. A special focus on the prospect for real-time implementation has also been given. The results presented in this thesis indicate the superiority of the proposed methods to their counterparts found in relevant literature in both normal and challenging conditions, especially in the cases of preceding vehicle detection and road detection. Hopefully, parts of this research will provide new insights for future developments in the field of intelligent transportation.