Spelling suggestions: "subject:"layerwise relevance propagation"" "subject:"layerweise relevance propagation""
1 |
Using Layer-wise Relevance Propagation and Sensitivity Analysis Heatmaps to understand the Classification of an Image produced by a Neural Network / Användning av Layer-wise Relevance Propagationoch Sensitivity Analysis heatmaps för att förstå klassificering avbilder utförd av ett neuralt nätverkRosenlew, Matilda, Ljungdahl, Timas January 2019 (has links)
Neural networks are regarded as state of the art within many areas of machine learning, however due to their growing complexity and size, a question regarding their trustability and understandability has been raised. Thus, neural networks are often being considered a "black-box". This has lead to the emersion of evaluation methods trying to decipher these complex networks. Two of these methods, layer-wise relevance propagation (LRP) and sensitivity analysis (SA), are used to generate heatmaps, which presents pixels in the input image that have an impact on the classification. In this report, the aim is to do a usability-analysis by evaluating and comparing these methods to see how they can be used in order to understand a particular classification. The method used in this report is to iteratively distort image regions that were highlighted as important by the two heatmapping-methods. This lead to the findings that distorting essential features of an image according to the LRP heatmaps lead to a decrease in classification score, while distorting inessential features of an image according to the combination of SA and LRP heatmaps lead to an increase in classification score. The results corresponded well with the theory of the heatmapping-methods and lead to the conclusion that a combination of the two evaluation methods is advocated for, to fully understand a particular classification. / Neurala nätverk betraktas som den senaste tekniken i många områden inom maskininlärning, dock har deras pålitlighet och förståelse ifrågasatts på grund av deras växande komplexitet och storlek. Således, blir neurala nätverk ofta sedda som en "svart låda". Detta har lett till utvecklingen av evalueringsmetoder som ämnar att tolka dessa komplexa nätverk. Två av dessa metoder, layer-wise relevance propagation (LRP) och sensitivity analysis (SA), används för att generera färgdiagram som visar pixlar i indata-bilden som har en påverkan på klassificeringen. I den här rapporten, är målet att göra en användarbarhets-analys genom att utvärdera och jämföra dessa metoder för att se hur de kan användas för att förstå en specifik klassificering. Metoden som används i denna rapport är att iterativt förvränga bilder genom att följa de två färgdiagrams-metoderna. Detta ledde till insikterna att förvrängning av väsentliga delar av bilden, vilket framgick ur LRP färgdiagrammen, tydligt minskade sannolikheten för klassen. Det framkom även att förvrängning av oväsentliga delar, som framgick genom att kombinera SA och LRP färgdiagrammen, ökade sannolikheten för klassen. Resultaten stämde väl överens med teorin och detta ledde till slutsatsen att en kombination av metoderna rekommenderas för att förstå en specifik klassificering.
|
2 |
Robust and Explainable Face Morphing Detection and High Quality MorphingSeibold, Clemens Peter 05 February 2025 (has links)
Morphing, ein Spezialeffekt zur Generierung eines Übergangs von einem Bild zum anderen, hat seinen Ursprung in der Filmindustrie, kann aber auch für kriminelle Zwecke missbraucht werden. Ein Zwischenbild eines Morphs, der das Gesicht einer Person in das einer anderen Person überführt, ähnelt beiden Gesichtern. Wenn ein solches Bild für einen Ausweis oder Reisepass verwendet wird, können beide behaupten, dessen Eigentümer zu sein. So könnten sich beide beispielsweise ein personengebundenes Verkehrsticket teilen oder es könnten illegal und unbemerkt Ländergrenzen überquert werden.
Diese Dissertation stellt neue, auf neuronalen Netzen basierende Methoden zur Erkennung von Gesichtsmorphs und zur Lokalisierung von Fälschungsspuren vor. In Experimenten mit teilweise gemorphten Bildern wird gezeigt, dass die vorgestellten Detektoren in Kombination mit der vorgestellten Erklärbarkeitsmethode wesentlich genauer Fälschungsspuren lokalisieren können als andere gängige Methoden.
Zum Trainieren der in der Arbeit entwickelten Detektoren wird eine große Menge an repräsentativen Daten benötigt. Daher legt diese Dissertation einen Schwerpunkt auf die automatische Erstellung von Gesichtsmorphs. Dazu stellt sie zwei Methoden vor, die Artefakte, die durch den Registrierungs- und Überblendungsschritt beim Morphing entstehen, deutlich reduzieren oder sogar vermeiden. Beide Verbesserungsmethoden ahmen die Möglichkeiten nach, die ein Angreifer durch manuelle Anpassungen hat. Die vorgestellten Detektoren wurden auf internen und externen Datensätzen evaluiert. Zusätzlich wurde ein Detektor bei einem international anerkannten Benchmark eingereicht. Dabei übertraf dieser andere Einreichungen in mehreren Kategorien deutlich.
Zusammenfassend stellt diese Arbeit einen robusten und transparenten Detektor für gemorphte Gesichtsbilder vor, der Fälschungsspuren akkurat lokalisiert, mit dem Ziel einer nachvollziehbareren Klassifikation, sowie neue Methoden zur Erstellung von hochwertigen Gesichtsmorphs. / Morphing, as a smooth transformation of one image into another, originated in the cinematic industry. Beyond its entertainment applications, it can also be used for malicious purposes. An intermediate step of the morph from one person's face to that of a different one results in a synthetic face image that resembles both persons. If such an image is used for an ID card or passport, two individuals could claim ownership and share the associated privileges. Consequences can range from sharing a personal ticket for public transportation to entering a country unnoticed and without permission.
This dissertation introduces novel methods for detecting morphed face images using Deep Neural Networks and proposes approaches to precisely identify traces of forgery. Experiments with partially morphed face images show that the proposed detection approaches in combination with this explainability method outperform other methods. A prerequisite for developing machine learning-based detectors is to have a substantial amount of representative data. Therefore, this thesis also emphasizes the automatic generation of morphed images and proposes two methods that mitigate artifacts caused by the alignment and blending step of the face morphing process. These improvement methods mimic the capabilities an attacker has through manual adjustments. The proposed detectors are evaluated on internal and on external datasets. Additionally, a proposed detector was submitted to an internationally renowned challenge. In this external benchmark, the submitted detector significantly outperforms other state-of-the-art submissions across multiple categories. As a summary, this thesis introduces a robust and transparent face morphing detector that is capable of highlighting detected traces of forgery to support humans in understanding the detector's decision, as well as advanced methods to improve the automatic generation of morphed face images.
|
Page generated in 0.1067 seconds