Back to search

National and Kapodistrian University of Athens

Fast Quantized Johnson-Lindenstrauss Tranforms

Abstract

dc:description

Η κβαντοποίηση έχει αναδειχθεί ως μία από τις βασικές τεχνικές για τη μείωση της κατανάλωσης μνήμης των μεγάλων γλωσσικών μοντέλων κατά τη διάρκεια της εξαγωγής συμπερασμάτων. Ένα χαρακτηριστικό παράδειγμα είναι το Quantized Johnson–Lindenstrauss (QJL), το οποίο συμπιέζει τις κρυφές μνήμες KV χρησιμοποιώντας ασύμμετρη κβαντοποίηση 1-bit, διατηρώντας παράλληλα κατά προσέγγιση τα εσωτερικά γινόμενα που απαιτούνται από τον μηχανισμό προσοχής. Πρόσφατες θεωρητικές και πρακτικές εργασίες στοχεύουν στην αντικατάσταση των πυκνών γκαουσιανών προβολών που χρησιμοποιούνται από τους προαναφερθέντες μετασχηματισμούς με πιο δομημένες ενσωματώσεις — όπως συνθέσεις τυχαιοποιημένων μετασχηματισμών Hadamard — διατηρώντας παράλληλα την ίδια διάσταση ένθεσης. Στην παρούσα διατριβή, εισάγουμε δύο κατασκευές που βασίζονται σε σύνθεση τυχαιοποιημένων μετασχηματισμών Hadamard, αν και με διαγώνιο Γκαουσιανό και όχι Rademacher στο δεύτερο στάδιο. Η πρώτη προσθέτει Γκαουσιανό dithering για την εξομάλυνση του κβαντιστή, ενώ η δεύτερη εισάγει μια τυχαία μετάθεση για την κανονικοποίηση της δομής συνδιακύμανσης των προκύπτοντων Γκαουσιανών μετρήσεων. Αποδυκνείουμε εγγυήσεις για τη διάσταση ένθεσης και τον χρόνο εκτέλεσης ανάλογες με αυτές του Fast JL στο μη κβαντισμένο πλαισίο. Η πρώτη κατασκευή επιτυγχάνει m=O(\varepsilon-2\log2(d/δ)), ενώ η δεύτερη επιτυγχάνει m=O(\varepsilon-2\log(d/δ)) υπό έναν περιορισμό στο \(m\). Και οι δύο κατασκευές μπορούν να εφαρμοστούν σε χρόνο \(O(d\log d)\).

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • ΚΟΡΑΚΙΤΗΣ ΑΓΓΕΛΟΣ
  • KORAKITIS ANGELOS

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:5451092

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

ΚΟΡΑΚΙΤΗΣ ΑΓΓΕΛΟΣ; KORAKITIS ANGELOS. Fast Quantized Johnson-Lindenstrauss Tranforms. 2026. https://pergamos.lib.uoa.gr/uoa/dl/object/5451092