National and Kapodistrian University of Athens
Sparse Communication for Deep Learning
Abstract
dc:descriptionΌσο οι αρχιτεκτονικές των νευρωνικών δικτύων γίνονται ολο και πιο πολύπλοκες τόσο αυξάνεται και η ανάγκη μας για καλύτερες αλγοριθμικές λύσεις και υποδομές για κατανεμημένη βαθιά μάθηση. Η "παραλληλία των δεδομένων" είναι μια διάσημη προσέγγιση για την κατανομή του φόρτου της διαδικασίας μάθησης σε πολλά μηχανήματα. Ωστόσο, η ανταλλαγή των διανυσμάτων κλίσης μεταξύ αυτών απαιτεί εκτεταμένη επικοινωνία μέσω δικτύου κάτι το οποίο συχνά προκαλεί επιβάρυνση στο χρόνο εκτέλεσης. Η συμπιεσμένη επικοινωνία αντιμετωπίζει αυτό το πρόβλημα μειώνοντας το μέγεθος των δεδομένων που επικοινωνούνται. Μια μεγάλη ποικιλία από αλγορίθμους συμπίεσης έχει αναπτυχθεί για αυτό το σκοπό και κάθε αλγόριθμος συνήθως συνοδεύεται από κάποιες ιδιότητες σχετικά με την απόδοση του δικτύου καθώς και την ικανότητα του μοντέλου να συγκλίνει παρουσία αυτής της μεθόδου. Σε αυτήν την εργασία, βασιζόμαστε σε ποικίλες τεχνικές που "αραιώνουν" τα διανύσματα κλίσης και πραγματοποιούμε μια πιο επιθετική μείωση των μεγεθών τους εφαρμόζοντας διάφορες μεθόδους που είτε επιτρέπουν είτε όχι την απώλεια πληροφορίας. Πιο συγκεκριμένα, χρησιμοποιούμε ιδέες όπως "παλινδρόμηση" ή τις ευρέως γνωστές "bloom filter" δομές δεδομένων. Στην προσπάθεια αυτή, στοχεύουμε, επιπλέον, στην ανάπτυξη ενός κατανοητού εργαλείου που επιτρέπει την εύκολη υλοποίηση καινούριων τέτοιων πειραματικών μεθόδων συμπίεσης.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Κωστοπούλου Καλλιόπη
- Kostopoulou Kalliopi
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:2923172