Back to search

National and Kapodistrian University of Athens

Sparse Communication for Deep Learning

Abstract

dc:description

Όσο οι αρχιτεκτονικές των νευρωνικών δικτύων γίνονται ολο και πιο πολύπλοκες τόσο αυξάνεται και η ανάγκη μας για καλύτερες αλγοριθμικές λύσεις και υποδομές για κατανεμημένη βαθιά μάθηση. Η "παραλληλία των δεδομένων" είναι μια διάσημη προσέγγιση για την κατανομή του φόρτου της διαδικασίας μάθησης σε πολλά μηχανήματα. Ωστόσο, η ανταλλαγή των διανυσμάτων κλίσης μεταξύ αυτών απαιτεί εκτεταμένη επικοινωνία μέσω δικτύου κάτι το οποίο συχνά προκαλεί επιβάρυνση στο χρόνο εκτέλεσης. Η συμπιεσμένη επικοινωνία αντιμετωπίζει αυτό το πρόβλημα μειώνοντας το μέγεθος των δεδομένων που επικοινωνούνται. Μια μεγάλη ποικιλία από αλγορίθμους συμπίεσης έχει αναπτυχθεί για αυτό το σκοπό και κάθε αλγόριθμος συνήθως συνοδεύεται από κάποιες ιδιότητες σχετικά με την απόδοση του δικτύου καθώς και την ικανότητα του μοντέλου να συγκλίνει παρουσία αυτής της μεθόδου. Σε αυτήν την εργασία, βασιζόμαστε σε ποικίλες τεχνικές που "αραιώνουν" τα διανύσματα κλίσης και πραγματοποιούμε μια πιο επιθετική μείωση των μεγεθών τους εφαρμόζοντας διάφορες μεθόδους που είτε επιτρέπουν είτε όχι την απώλεια πληροφορίας. Πιο συγκεκριμένα, χρησιμοποιούμε ιδέες όπως "παλινδρόμηση" ή τις ευρέως γνωστές "bloom filter" δομές δεδομένων. Στην προσπάθεια αυτή, στοχεύουμε, επιπλέον, στην ανάπτυξη ενός κατανοητού εργαλείου που επιτρέπει την εύκολη υλοποίηση καινούριων τέτοιων πειραματικών μεθόδων συμπίεσης.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Κωστοπούλου Καλλιόπη
  • Kostopoulou Kalliopi

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:2923172

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Κωστοπούλου Καλλιόπη; Kostopoulou Kalliopi. Sparse Communication for Deep Learning. 2020. https://pergamos.lib.uoa.gr/uoa/dl/object/2923172