National and Kapodistrian University of Athens
Fast Quantized Johnson-Lindenstrauss Tranforms
Abstract
dc:descriptionΗ κβαντοποίηση έχει αναδειχθεί ως μία από τις βασικές τεχνικές για τη μείωση της κατανάλωσης μνήμης των μεγάλων γλωσσικών μοντέλων κατά τη διάρκεια της εξαγωγής συμπερασμάτων. Ένα χαρακτηριστικό παράδειγμα είναι το Quantized Johnson–Lindenstrauss (QJL), το οποίο συμπιέζει τις κρυφές μνήμες KV χρησιμοποιώντας ασύμμετρη κβαντοποίηση 1-bit, διατηρώντας παράλληλα κατά προσέγγιση τα εσωτερικά γινόμενα που απαιτούνται από τον μηχανισμό προσοχής. Πρόσφατες θεωρητικές και πρακτικές εργασίες στοχεύουν στην αντικατάσταση των πυκνών γκαουσιανών προβολών που χρησιμοποιούνται από τους προαναφερθέντες μετασχηματισμούς με πιο δομημένες ενσωματώσεις — όπως συνθέσεις τυχαιοποιημένων μετασχηματισμών Hadamard — διατηρώντας παράλληλα την ίδια διάσταση ένθεσης. Στην παρούσα διατριβή, εισάγουμε δύο κατασκευές που βασίζονται σε σύνθεση τυχαιοποιημένων μετασχηματισμών Hadamard, αν και με διαγώνιο Γκαουσιανό και όχι Rademacher στο δεύτερο στάδιο. Η πρώτη προσθέτει Γκαουσιανό dithering για την εξομάλυνση του κβαντιστή, ενώ η δεύτερη εισάγει μια τυχαία μετάθεση για την κανονικοποίηση της δομής συνδιακύμανσης των προκύπτοντων Γκαουσιανών μετρήσεων. Αποδυκνείουμε εγγυήσεις για τη διάσταση ένθεσης και τον χρόνο εκτέλεσης ανάλογες με αυτές του Fast JL στο μη κβαντισμένο πλαισίο. Η πρώτη κατασκευή επιτυγχάνει m=O(\varepsilon-2\log2(d/δ)), ενώ η δεύτερη επιτυγχάνει m=O(\varepsilon-2\log(d/δ)) υπό έναν περιορισμό στο \(m\). Και οι δύο κατασκευές μπορούν να εφαρμοστούν σε χρόνο \(O(d\log d)\).
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- ΚΟΡΑΚΙΤΗΣ ΑΓΓΕΛΟΣ
- KORAKITIS ANGELOS
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:5451092