National and Kapodistrian University of Athens
Linear and multilinear component analysis for editing pre-trained GANs
Abstract
dc:descriptionΤα Παραγωγικά Ανταγωνιστικά Δίκτυα (ΠΑΔ), είναι μια κατηγορία μοντέλων μηχανικής μάθησης που αποτελούνται από δύο νευρωνικά δίκτυα, το παραγωγικό δίκτυο και το διαχωριστικό δίκτυο, τα οποία εκπαιδεύονται μαζί με ανταγωνιστικό τρόπο. Το παραγωγικό δίκτυο λαμβάνει τυχαίο θόρυβο ως είσοδο και παράγει εικόνες, ενώ το διαχωριστικό δίκτυο προσπαθεί να διακρίνει μεταξύ πραγματικών και παραγόμενων εικόνων. Τα δύο δίκτυα ανταγωνίζονται σε μια εκπαιδευτική διαδικασία, με τη γεννήτρια να προσπαθεί να βελτιώσει την ικανότητά της να δημιουργεί ρεαλιστικές εικόνες και το διαχωριστή να προσπαθεί να γίνει καλύτερος στη διάκριση μεταξύ πραγματικών και ψεύτικων εικόνων. Αυτή η διαδικασία συνεχίζεται έως ότου η γεννήτρια παράγει εικόνες που είναι πολύ κοντά στις πραγματικές. Η επεξεργασία εικόνας έχει μακρά ιστορία στην όραση υπολογιστών και στα γραφικά, καθώς και στη μηχανική μάθηση. Τα ΠΑΔ χρησιμοποιούνται ευρέως για διάφορες εργασίες επεξεργασίας εικόνας, συμπεριλαμβανομένης της δημιουργίας εικόνων, της μεταφοράς στυλ, της υπερανάλυσης και πολλά άλλα. Διάφορες αρχιτεκτονικές ΠΑΔ, όπως DCGAN, CycleGAN και StyleGAN, έχουν αναπτυχθεί για την αντιμετώπιση διαφορετικών εργασιών επεξεργασίας εικόνας. Πρόσφατα, τα βαθιά γεννητικά μοντέλα, ιδιαίτερα τα σύγχρονα ΠΑΔ, έλαβαν μεγάλη προσοχή ως ένα πολλά υποσχόμενο εργαλείο για αποτελεσματική επεξεργασία εικόνας, καθώς διαπιστώθηκε ότι οι χειρισμοί λανθάνοντος χώρου συχνά οδηγούν σε ερμηνεύσιμες και προβλέψιμες αλλαγές στην έξοδο. Η εργασία βασίζεται στην προσεκτική ανάλυση του λανθάνοντος χώρου του ΠΑΔ, με στόχο την εύρεση ερμηνεύσιμων και απομπλεγμένων λανθάνονων μεταβλητών, οι οποίες μπορούν να αξιοποιηθούν για επεξεργασία εικόνας, με τρόπο πλήρως χωρίς επίβλεψη. Πρόσφατη εργασία έδειξε ότι ο λανθάνοντας χώρος εισόδου μπορεί να αποσυντεθεί σε σημασιολογικά σημαντικές κατευθύνσεις. Η μετακίνηση προς αυτές τις κατευθύνσεις αντιστοιχεί σε ερμηνεύσιμες, από τον άνθρωπο, μετατροπές εικόνας. Για παράδειγμα, από πτυχές υψηλού επιπέδου, όπως το σχήμα του προσώπου και το γενικό στυλ των μαλλιών, μέχρι τα μικρότερα χαρακτηριστικά του προσώπου έως τα χρώματα και τις μικροδομές , όλα μπορούν να ελεγχθούν μετακινώντας την αντίστοιχη κατεύθυνση του λανθάνοντος χώρου ΠΑΔ. Σε αυτή την εργασία, προσεγγίζουμε το πρόβλημα της ανακάλυψης σημασιολογικών κατευθύνσεων με τρόπο χωρίς επίβλεψη, χρησιμοποιώντας μεθόδους μείωσης διαστάσεων της εσωτερικής αναπαράστασης των ΠΑΔ. Η προσοχή είναι στραμμένη στην ανάλυση του μηχανισμού παραγωγής ΠΑΔ και στην εφαρμογή διαφορετικών αλγορίθμων για λανθάνουσα σημασιολογική ανακάλυψη με απευθείας αποσύνθεση των προεκπαιδευμένων βαρών. Ειδικότερα, χρησιμοποιούμε γραμμικές και πολυγραμμικές τεχνικές όπως PCA (Principal Component Analysis), LPP (Locality Preserving Projection), MPCA (Multilinear Principal Component Analysis) και PARAFAC2 (Parallel Factor Analysis 2) για την τροποποίηση του προεκπαιδευμένου μοντέλου StyleGAN. Αυτές οι τεχνικές χρησιμοποιούν μείωση διαστάσεων και αποσύνθεση τανυστή για να χειριστούν τον λανθάνοντα χώρο ή τις αναπαραστάσεις χαρακτηριστικών των εικόνων που δημιουργούνται από το μοντέλο StyleGAN. Συνολικά, τα αποτελέσματα της έρευνάς μας υποδηλώνουν ότι η επεξεργασία μιας προεκπαιδευμένης γεννήτριας StyleGAN είναι μια αποτελεσματική και πολλά υποσχόμενη προσέγγιση για την επίτευξη αποτελεσμάτων εικόνας υψηλής ποιότητας.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Πιτσιάκου Αγγελική
- Pitsiakou Angeliki
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:3362946