{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:2923172"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:2923172","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Sparse Communication for Deep Learning","abstract":"Όσο οι αρχιτεκτονικές των νευρωνικών δικτύων γίνονται ολο και πιο πολύπλοκες τόσο αυξάνεται και η ανάγκη μας για καλύτερες αλγοριθμικές λύσεις και υποδομές για κατανεμημένη βαθιά μάθηση. Η \"παραλληλία των δεδομένων\" είναι μια διάσημη προσέγγιση για την κατανομή του φόρτου της διαδικασίας μάθησης σε πολλά μηχανήματα. Ωστόσο, η ανταλλαγή των διανυσμάτων κλίσης μεταξύ αυτών απαιτεί εκτεταμένη επικοινωνία μέσω δικτύου κάτι το οποίο συχνά προκαλεί επιβάρυνση στο χρόνο εκτέλεσης. Η συμπιεσμένη επικοινωνία αντιμετωπίζει αυτό το πρόβλημα μειώνοντας το μέγεθος των δεδομένων που επικοινωνούνται. Μια μεγάλη ποικιλία από αλγορίθμους συμπίεσης έχει αναπτυχθεί για αυτό το σκοπό και κάθε αλγόριθμος συνήθως συνοδεύεται από κάποιες ιδιότητες σχετικά με την απόδοση του δικτύου καθώς και την ικανότητα του μοντέλου να συγκλίνει παρουσία αυτής της μεθόδου. Σε αυτήν την εργασία, βασιζόμαστε σε ποικίλες τεχνικές που \"αραιώνουν\" τα διανύσματα κλίσης και πραγματοποιούμε μια πιο επιθετική μείωση των μεγεθών τους εφαρμόζοντας διάφορες μεθόδους που είτε επιτρέπουν είτε όχι την απώλεια πληροφορίας. Πιο συγκεκριμένα, χρησιμοποιούμε ιδέες όπως \"παλινδρόμηση\" ή τις ευρέως γνωστές \"bloom filter\" δομές δεδομένων. Στην προσπάθεια αυτή, στοχεύουμε, επιπλέον, στην ανάπτυξη ενός κατανοητού εργαλείου που επιτρέπει την εύκολη υλοποίηση καινούριων τέτοιων πειραματικών μεθόδων συμπίεσης.","abstract_html":"Όσο οι αρχιτεκτονικές των νευρωνικών δικτύων γίνονται ολο και πιο πολύπλοκες τόσο αυξάνεται και η ανάγκη μας για καλύτερες αλγοριθμικές λύσεις και υποδομές για κατανεμημένη βαθιά μάθηση. Η &quot;παραλληλία των δεδομένων&quot; είναι μια διάσημη προσέγγιση για την κατανομή του φόρτου της διαδικασίας μάθησης σε πολλά μηχανήματα. Ωστόσο, η ανταλλαγή των διανυσμάτων κλίσης μεταξύ αυτών απαιτεί εκτεταμένη επικοινωνία μέσω δικτύου κάτι το οποίο συχνά προκαλεί επιβάρυνση στο χρόνο εκτέλεσης. Η συμπιεσμένη επικοινωνία αντιμετωπίζει αυτό το πρόβλημα μειώνοντας το μέγεθος των δεδομένων που επικοινωνούνται. Μια μεγάλη ποικιλία από αλγορίθμους συμπίεσης έχει αναπτυχθεί για αυτό το σκοπό και κάθε αλγόριθμος συνήθως συνοδεύεται από κάποιες ιδιότητες σχετικά με την απόδοση του δικτύου καθώς και την ικανότητα του μοντέλου να συγκλίνει παρουσία αυτής της μεθόδου. Σε αυτήν την εργασία, βασιζόμαστε σε ποικίλες τεχνικές που &quot;αραιώνουν&quot; τα διανύσματα κλίσης και πραγματοποιούμε μια πιο επιθετική μείωση των μεγεθών τους εφαρμόζοντας διάφορες μεθόδους που είτε επιτρέπουν είτε όχι την απώλεια πληροφορίας. Πιο συγκεκριμένα, χρησιμοποιούμε ιδέες όπως &quot;παλινδρόμηση&quot; ή τις ευρέως γνωστές &quot;bloom filter&quot; δομές δεδομένων. Στην προσπάθεια αυτή, στοχεύουμε, επιπλέον, στην ανάπτυξη ενός κατανοητού εργαλείου που επιτρέπει την εύκολη υλοποίηση καινούριων τέτοιων πειραματικών μεθόδων συμπίεσης.","abstract_has_math":false,"creators":["Κωστοπούλου Καλλιόπη","Kostopoulou Kalliopi"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2020,"date_issued":"2020","date_published":"2020","updated_at":"2026-11-19T05:39:41Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2923172"],"render_values":[{"text":"uoadl:2923172","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2923172","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2923172","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A2923172","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Κωστοπούλου Καλλιόπη","Kostopoulou Kalliopi"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2020"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2923172","https://pergamos.lib.uoa.gr/uoa/dl/object/2923172"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Όσο οι αρχιτεκτονικές των νευρωνικών δικτύων γίνονται ολο και πιο πολύπλοκες τόσο αυξάνεται και η ανάγκη μας για καλύτερες αλγοριθμικές λύσεις και υποδομές για κατανεμημένη βαθιά μάθηση. Η \"παραλληλία των δεδομένων\" είναι μια διάσημη προσέγγιση για την κατανομή του φόρτου της διαδικασίας μάθησης σε πολλά μηχανήματα. Ωστόσο, η ανταλλαγή των διανυσμάτων κλίσης μεταξύ αυτών απαιτεί εκτεταμένη επικοινωνία μέσω δικτύου κάτι το οποίο συχνά προκαλεί επιβάρυνση στο χρόνο εκτέλεσης. Η συμπιεσμένη επικοινωνία αντιμετωπίζει αυτό το πρόβλημα μειώνοντας το μέγεθος των δεδομένων που επικοινωνούνται. Μια μεγάλη ποικιλία από αλγορίθμους συμπίεσης έχει αναπτυχθεί για αυτό το σκοπό και κάθε αλγόριθμος συνήθως συνοδεύεται από κάποιες ιδιότητες σχετικά με την απόδοση του δικτύου καθώς και την ικανότητα του μοντέλου να συγκλίνει παρουσία αυτής της μεθόδου. Σε αυτήν την εργασία, βασιζόμαστε σε ποικίλες τεχνικές που \"αραιώνουν\" τα διανύσματα κλίσης και πραγματοποιούμε μια πιο επιθετική μείωση των μεγεθών τους εφαρμόζοντας διάφορες μεθόδους που είτε επιτρέπουν είτε όχι την απώλεια πληροφορίας. Πιο συγκεκριμένα, χρησιμοποιούμε ιδέες όπως \"παλινδρόμηση\" ή τις ευρέως γνωστές \"bloom filter\" δομές δεδομένων. Στην προσπάθεια αυτή, στοχεύουμε, επιπλέον, στην ανάπτυξη ενός κατανοητού εργαλείου που επιτρέπει την εύκολη υλοποίηση καινούριων τέτοιων πειραματικών μεθόδων συμπίεσης.","As the complexity of Neural Network architectures increases so does our need to develop better algorithmic solutions and infrastructures for distributed training. Data parallelism is a popular approach for distributing the workload of the training process to multiple workers. However, the gradient exchange that needs to take place between the workers requires extensive network communication which often causes a bottleneck. Compressed communication tackles this issue by reducing the volume of the communicated data. A wide range of gradient compression algorithms have been developed for this purpose and each one of them is usually followed by some properties regarding the network throughput, as well as the model’s ability to converge under this method. In this work, we step on various sparsification techniques and perform an even more aggressive reduction of the gradients’ size by applying several lossless or lossy encoding methods. More specifically, we employ ideas like curve fitting or the widely-known bloom filter data structures. While doing that we also develop a comprehensive framework that enables the integration of new experimental encoding methods."]},{"key":"dc:title","label":"Title","values":["Sparse Communication for Deep Learning"]}]}],"canonical_facts":{"dc:creator":["Κωστοπούλου Καλλιόπη","Kostopoulou Kalliopi"],"dc:date":["2020"],"dc:description":["Όσο οι αρχιτεκτονικές των νευρωνικών δικτύων γίνονται ολο και πιο πολύπλοκες τόσο αυξάνεται και η ανάγκη μας για καλύτερες αλγοριθμικές λύσεις και υποδομές για κατανεμημένη βαθιά μάθηση. Η \"παραλληλία των δεδομένων\" είναι μια διάσημη προσέγγιση για την κατανομή του φόρτου της διαδικασίας μάθησης σε πολλά μηχανήματα. Ωστόσο, η ανταλλαγή των διανυσμάτων κλίσης μεταξύ αυτών απαιτεί εκτεταμένη επικοινωνία μέσω δικτύου κάτι το οποίο συχνά προκαλεί επιβάρυνση στο χρόνο εκτέλεσης. Η συμπιεσμένη επικοινωνία αντιμετωπίζει αυτό το πρόβλημα μειώνοντας το μέγεθος των δεδομένων που επικοινωνούνται. Μια μεγάλη ποικιλία από αλγορίθμους συμπίεσης έχει αναπτυχθεί για αυτό το σκοπό και κάθε αλγόριθμος συνήθως συνοδεύεται από κάποιες ιδιότητες σχετικά με την απόδοση του δικτύου καθώς και την ικανότητα του μοντέλου να συγκλίνει παρουσία αυτής της μεθόδου. Σε αυτήν την εργασία, βασιζόμαστε σε ποικίλες τεχνικές που \"αραιώνουν\" τα διανύσματα κλίσης και πραγματοποιούμε μια πιο επιθετική μείωση των μεγεθών τους εφαρμόζοντας διάφορες μεθόδους που είτε επιτρέπουν είτε όχι την απώλεια πληροφορίας. Πιο συγκεκριμένα, χρησιμοποιούμε ιδέες όπως \"παλινδρόμηση\" ή τις ευρέως γνωστές \"bloom filter\" δομές δεδομένων. Στην προσπάθεια αυτή, στοχεύουμε, επιπλέον, στην ανάπτυξη ενός κατανοητού εργαλείου που επιτρέπει την εύκολη υλοποίηση καινούριων τέτοιων πειραματικών μεθόδων συμπίεσης.","As the complexity of Neural Network architectures increases so does our need to develop better algorithmic solutions and infrastructures for distributed training. Data parallelism is a popular approach for distributing the workload of the training process to multiple workers. However, the gradient exchange that needs to take place between the workers requires extensive network communication which often causes a bottleneck. Compressed communication tackles this issue by reducing the volume of the communicated data. A wide range of gradient compression algorithms have been developed for this purpose and each one of them is usually followed by some properties regarding the network throughput, as well as the model’s ability to converge under this method. In this work, we step on various sparsification techniques and perform an even more aggressive reduction of the gradients’ size by applying several lossless or lossy encoding methods. More specifically, we employ ideas like curve fitting or the widely-known bloom filter data structures. While doing that we also develop a comprehensive framework that enables the integration of new experimental encoding methods."],"dc:identifier":["uoadl:2923172","https://pergamos.lib.uoa.gr/uoa/dl/object/2923172"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Sparse Communication for Deep Learning"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:39:41Z"}