{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:2800879"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:2800879","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Hate Speech Detection using different text representations in online user comments","abstract":"Η ρητορική μίσους αφορά την διατύπωση προσβολών, απειλών ή στερεοτυπικών απόψεων απέναντι σε μια ομάδα ανθρώπων εξαιτίας κάποιου χαρακτηριστικού όπως η καταγωγή, το φύλο, η θρησκεία, οι σεξουαλικές προτιμήσεις κλπ. Τέτοιου είδους επιθέσεις είναι εκτός νόμου σε όλες τις σύγχονες και ανεπτυγμένες κοινωνίες, πχ ΗΠΑ, ΕΕ. Παρόλα αυτά το Διαδίκτυο και ιδιαίτερα οι πλατφόρμες κοινωνικής δικτύωσης δίνουν τη δυνατότητα διάδοσης τέτοιου είδους περιεχομένου εύκολα, γρήγορα και ανώνυμα. Έτσι, σε συνδυασμό με τη σημερινή οικονομική κρίση που ευνοεί την ανάπτυξη τέτοιων απόψεων, παρατηρούμε μια έξαρση του φαινομένου που δίνει τη δυνατότητα ο λόγος αυτός να φτάσει ένα πολύ μεγαλύτερο αριθμό ανθρώπων απ’ ότι στο παρελθόν. Ο τεράστιος αριθμός των δεδομένων που παράγονται στις παραπάνω πλατφόρμες καθιστά αδύνατο τον εντοπισμό αναρτήσεων από κάποιον διαχειριστή σελίδας ή από αναφορές χρηστών, κάνοντας αναγκαία τη χρήση αυτόματων εργαλείων εντοπισμού ρητορικής μίσους. Στα πλαίσια αυτής της εφαρμογής, στην παρούσα εργασία μελετάμε πολλαπλές τεχνικές αναπαραστάσεων κειμένου (Bag of Words, Bag of word/character n-grams, sentiment, syntax and grammar analysis features, word embeddings και n-gram graphs), καθώς και πληθώρα ενώ οι αλγορίθμων ταξινόμησης (Naive Bayes, Logistic Regression, Random Forests, K-Nearest Neighbors και Artificial Neural Networks). Υλοποιήσαμε πειράματα τόσο για δυαδική ταξινόμηση, όπου ο σκοπός του μοντέλου είναι η απόφαση εάν το κείμενο εισόδου περιέχει ρητορική μίσους ή όχι, όσο και για κατηγοριοποίηση πολλαπλών κλάσεων, όπου ο ταξινομητής προσπαθεί να διαχωρίσει μεταξύ διαφορετικών ειδών ρητορικής μίσους (π.χ. σεξισμός, ρατσισμός, κ.α.). Στόχος μας είναι να εξετάσουμε την απόδοση της κάθε τεχνικής αναπαρά- στασης και ταξινόμησης και να αναδείξουμε τις μεθόδους με την καλύτερη απόδοση. Επιπλέον, εξετάσαμε κατά πόσο οι συνδυασμοί διαφόρων τεχνικών αναπαράστασης κειμέ- νων επιτυγχάνουν καλύτερα αποτελέσματα από τη μεμονωμένη χρήση τους. Τέλος, δεί- χνουμε ότι η χρήση των n-gram graphs, που αναπαρίστανται από ένα διάνυσμα μικρών διαστάσεων, μπορεί να συμβάλει σημαντικά στον εντοπισμό της ρητορικής μίσους. Τα πειράματα έδειξαν ότι τα πιο αποδοτικά features είναι τα BoW, word embeddings με τους NGGs να ακολουθούν με ελαφρώς χειρότερη απόδοση. Επιπρόσθετα, ο συνδυασμός των προαναφερθέντων μεθόδων αναπαράστασης έχει την καλύτερη απόδοση σε σύγκριση με όλα τα υπόλοιπα features, είτε αυτά εξετάστηκαν μεμονωμένα είτε σε συνδυασμό με άλλα features. Τέλος, οι αλγόριθμοι ταξινόμησης φαίνεται να μην έχουν ιδιαίτερη στατιστική σημασία, μιας και τα αποτελέσματα στα στατιστικα τεστ είναι παρόμοια για όλους τους αλγορίθμους που χρησιμοποιήσαμε.","abstract_html":"Η ρητορική μίσους αφορά την διατύπωση προσβολών, απειλών ή στερεοτυπικών απόψεων απέναντι σε μια ομάδα ανθρώπων εξαιτίας κάποιου χαρακτηριστικού όπως η καταγωγή, το φύλο, η θρησκεία, οι σεξουαλικές προτιμήσεις κλπ. Τέτοιου είδους επιθέσεις είναι εκτός νόμου σε όλες τις σύγχονες και ανεπτυγμένες κοινωνίες, πχ ΗΠΑ, ΕΕ. Παρόλα αυτά το Διαδίκτυο και ιδιαίτερα οι πλατφόρμες κοινωνικής δικτύωσης δίνουν τη δυνατότητα διάδοσης τέτοιου είδους περιεχομένου εύκολα, γρήγορα και ανώνυμα. Έτσι, σε συνδυασμό με τη σημερινή οικονομική κρίση που ευνοεί την ανάπτυξη τέτοιων απόψεων, παρατηρούμε μια έξαρση του φαινομένου που δίνει τη δυνατότητα ο λόγος αυτός να φτάσει ένα πολύ μεγαλύτερο αριθμό ανθρώπων απ’ ότι στο παρελθόν. Ο τεράστιος αριθμός των δεδομένων που παράγονται στις παραπάνω πλατφόρμες καθιστά αδύνατο τον εντοπισμό αναρτήσεων από κάποιον διαχειριστή σελίδας ή από αναφορές χρηστών, κάνοντας αναγκαία τη χρήση αυτόματων εργαλείων εντοπισμού ρητορικής μίσους. Στα πλαίσια αυτής της εφαρμογής, στην παρούσα εργασία μελετάμε πολλαπλές τεχνικές αναπαραστάσεων κειμένου (Bag of Words, Bag of word/character n-grams, sentiment, syntax and grammar analysis features, word embeddings και n-gram graphs), καθώς και πληθώρα ενώ οι αλγορίθμων ταξινόμησης (Naive Bayes, Logistic Regression, Random Forests, K-Nearest Neighbors και Artificial Neural Networks). Υλοποιήσαμε πειράματα τόσο για δυαδική ταξινόμηση, όπου ο σκοπός του μοντέλου είναι η απόφαση εάν το κείμενο εισόδου περιέχει ρητορική μίσους ή όχι, όσο και για κατηγοριοποίηση πολλαπλών κλάσεων, όπου ο ταξινομητής προσπαθεί να διαχωρίσει μεταξύ διαφορετικών ειδών ρητορικής μίσους (π.χ. σεξισμός, ρατσισμός, κ.α.). Στόχος μας είναι να εξετάσουμε την απόδοση της κάθε τεχνικής αναπαρά- στασης και ταξινόμησης και να αναδείξουμε τις μεθόδους με την καλύτερη απόδοση. Επιπλέον, εξετάσαμε κατά πόσο οι συνδυασμοί διαφόρων τεχνικών αναπαράστασης κειμέ- νων επιτυγχάνουν καλύτερα αποτελέσματα από τη μεμονωμένη χρήση τους. Τέλος, δεί- χνουμε ότι η χρήση των n-gram graphs, που αναπαρίστανται από ένα διάνυσμα μικρών διαστάσεων, μπορεί να συμβάλει σημαντικά στον εντοπισμό της ρητορικής μίσους. Τα πειράματα έδειξαν ότι τα πιο αποδοτικά features είναι τα BoW, word embeddings με τους NGGs να ακολουθούν με ελαφρώς χειρότερη απόδοση. Επιπρόσθετα, ο συνδυασμός των προαναφερθέντων μεθόδων αναπαράστασης έχει την καλύτερη απόδοση σε σύγκριση με όλα τα υπόλοιπα features, είτε αυτά εξετάστηκαν μεμονωμένα είτε σε συνδυασμό με άλλα features. Τέλος, οι αλγόριθμοι ταξινόμησης φαίνεται να μην έχουν ιδιαίτερη στατιστική σημασία, μιας και τα αποτελέσματα στα στατιστικα τεστ είναι παρόμοια για όλους τους αλγορίθμους που χρησιμοποιήσαμε.","abstract_has_math":false,"creators":["Θεμελή Χρυσούλα","Themeli Chrysoula"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2018,"date_issued":"2018","date_published":"2018","updated_at":"2026-11-19T05:32:09Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2800879"],"render_values":[{"text":"uoadl:2800879","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2800879","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2800879","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A2800879","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Θεμελή Χρυσούλα","Themeli Chrysoula"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2018"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2800879","https://pergamos.lib.uoa.gr/uoa/dl/object/2800879"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η ρητορική μίσους αφορά την διατύπωση προσβολών, απειλών ή στερεοτυπικών απόψεων απέναντι σε μια ομάδα ανθρώπων εξαιτίας κάποιου χαρακτηριστικού όπως η καταγωγή, το φύλο, η θρησκεία, οι σεξουαλικές προτιμήσεις κλπ. Τέτοιου είδους επιθέσεις είναι εκτός νόμου σε όλες τις σύγχονες και ανεπτυγμένες κοινωνίες, πχ ΗΠΑ, ΕΕ. Παρόλα αυτά το Διαδίκτυο και ιδιαίτερα οι πλατφόρμες κοινωνικής δικτύωσης δίνουν τη δυνατότητα διάδοσης τέτοιου είδους περιεχομένου εύκολα, γρήγορα και ανώνυμα. Έτσι, σε συνδυασμό με τη σημερινή οικονομική κρίση που ευνοεί την ανάπτυξη τέτοιων απόψεων, παρατηρούμε μια έξαρση του φαινομένου που δίνει τη δυνατότητα ο λόγος αυτός να φτάσει ένα πολύ μεγαλύτερο αριθμό ανθρώπων απ’ ότι στο παρελθόν. Ο τεράστιος αριθμός των δεδομένων που παράγονται στις παραπάνω πλατφόρμες καθιστά αδύνατο τον εντοπισμό αναρτήσεων από κάποιον διαχειριστή σελίδας ή από αναφορές χρηστών, κάνοντας αναγκαία τη χρήση αυτόματων εργαλείων εντοπισμού ρητορικής μίσους. Στα πλαίσια αυτής της εφαρμογής, στην παρούσα εργασία μελετάμε πολλαπλές τεχνικές αναπαραστάσεων κειμένου (Bag of Words, Bag of word/character n-grams, sentiment, syntax and grammar analysis features, word embeddings και n-gram graphs), καθώς και πληθώρα ενώ οι αλγορίθμων ταξινόμησης (Naive Bayes, Logistic Regression, Random Forests, K-Nearest Neighbors και Artificial Neural Networks). Υλοποιήσαμε πειράματα τόσο για δυαδική ταξινόμηση, όπου ο σκοπός του μοντέλου είναι η απόφαση εάν το κείμενο εισόδου περιέχει ρητορική μίσους ή όχι, όσο και για κατηγοριοποίηση πολλαπλών κλάσεων, όπου ο ταξινομητής προσπαθεί να διαχωρίσει μεταξύ διαφορετικών ειδών ρητορικής μίσους (π.χ. σεξισμός, ρατσισμός, κ.α.). Στόχος μας είναι να εξετάσουμε την απόδοση της κάθε τεχνικής αναπαρά- στασης και ταξινόμησης και να αναδείξουμε τις μεθόδους με την καλύτερη απόδοση. Επιπλέον, εξετάσαμε κατά πόσο οι συνδυασμοί διαφόρων τεχνικών αναπαράστασης κειμέ- νων επιτυγχάνουν καλύτερα αποτελέσματα από τη μεμονωμένη χρήση τους. Τέλος, δεί- χνουμε ότι η χρήση των n-gram graphs, που αναπαρίστανται από ένα διάνυσμα μικρών διαστάσεων, μπορεί να συμβάλει σημαντικά στον εντοπισμό της ρητορικής μίσους. Τα πειράματα έδειξαν ότι τα πιο αποδοτικά features είναι τα BoW, word embeddings με τους NGGs να ακολουθούν με ελαφρώς χειρότερη απόδοση. Επιπρόσθετα, ο συνδυασμός των προαναφερθέντων μεθόδων αναπαράστασης έχει την καλύτερη απόδοση σε σύγκριση με όλα τα υπόλοιπα features, είτε αυτά εξετάστηκαν μεμονωμένα είτε σε συνδυασμό με άλλα features. Τέλος, οι αλγόριθμοι ταξινόμησης φαίνεται να μην έχουν ιδιαίτερη στατιστική σημασία, μιας και τα αποτελέσματα στα στατιστικα τεστ είναι παρόμοια για όλους τους αλγορίθμους που χρησιμοποιήσαμε.","Hate Speech is abusive or stereotyping speech against a group of people, based on characteristics such as race, religion, sexual orientation and gender. It is illegal based on the current legislation in the USA and the EU, however the Internet and social media made it possible to spread hatred easily, fast and anonymously. The large scale of data produced through social media platforms requires the development of an effective automatic model to detect such content. We study the performance of several text representation techniques and classification algorithms, aiming to efficiently handle the online abusive language discrimination task. We examine various representation techniques such as Bag of Words (BoW), word and character Bag of n-grams, sentiment, syntax and grammar analysis, word embeddings and n-gram graphs. In addition, we test multiple classification algorithms: Naive Bayes, Logistic Regression, Random Forests, K-Nearest Neighbors and Aritificial Neural Networks. Our goal is to evaluate representation and classification algorithms with respect to their contribution to performance in the Hate Speech detection task. Moreover, we highlight the utility of n-gram graphs (NGGs) as an efficient, lowdimensional text representation that constructs similarity vectors which appear to constitute deep features with significant contribution to the classification results. Apart from the binary classification experiments, we additionally test our method in multi-class classification experiments on abusive language discrimination tasks. Our results showe that NGGs are informative and rich features - despite being represented by vectors with dimensions equal to the number of possible classes - performing slightly worse than the Bag of Words and word embeddings, which are in contrast constitute by high-dimensional representations. We furthermore execute statistical tests, to examine whether NGGs have significant contribution to the results. The tests not only showe that NGGs are significant features with respect to the classification result, but also that the combination of the three best performing features (BoW, NGGs and word embeddings) achieves the best classification performance, with the use of the remaining text representations yielding deteriorated results. Finally, the classification algorithm selection seems to be less important, since statistical results for all the tested algorithms are similar."]},{"key":"dc:title","label":"Title","values":["Hate Speech Detection using different text representations in online user comments"]}]}],"canonical_facts":{"dc:creator":["Θεμελή Χρυσούλα","Themeli Chrysoula"],"dc:date":["2018"],"dc:description":["Η ρητορική μίσους αφορά την διατύπωση προσβολών, απειλών ή στερεοτυπικών απόψεων απέναντι σε μια ομάδα ανθρώπων εξαιτίας κάποιου χαρακτηριστικού όπως η καταγωγή, το φύλο, η θρησκεία, οι σεξουαλικές προτιμήσεις κλπ. Τέτοιου είδους επιθέσεις είναι εκτός νόμου σε όλες τις σύγχονες και ανεπτυγμένες κοινωνίες, πχ ΗΠΑ, ΕΕ. Παρόλα αυτά το Διαδίκτυο και ιδιαίτερα οι πλατφόρμες κοινωνικής δικτύωσης δίνουν τη δυνατότητα διάδοσης τέτοιου είδους περιεχομένου εύκολα, γρήγορα και ανώνυμα. Έτσι, σε συνδυασμό με τη σημερινή οικονομική κρίση που ευνοεί την ανάπτυξη τέτοιων απόψεων, παρατηρούμε μια έξαρση του φαινομένου που δίνει τη δυνατότητα ο λόγος αυτός να φτάσει ένα πολύ μεγαλύτερο αριθμό ανθρώπων απ’ ότι στο παρελθόν. Ο τεράστιος αριθμός των δεδομένων που παράγονται στις παραπάνω πλατφόρμες καθιστά αδύνατο τον εντοπισμό αναρτήσεων από κάποιον διαχειριστή σελίδας ή από αναφορές χρηστών, κάνοντας αναγκαία τη χρήση αυτόματων εργαλείων εντοπισμού ρητορικής μίσους. Στα πλαίσια αυτής της εφαρμογής, στην παρούσα εργασία μελετάμε πολλαπλές τεχνικές αναπαραστάσεων κειμένου (Bag of Words, Bag of word/character n-grams, sentiment, syntax and grammar analysis features, word embeddings και n-gram graphs), καθώς και πληθώρα ενώ οι αλγορίθμων ταξινόμησης (Naive Bayes, Logistic Regression, Random Forests, K-Nearest Neighbors και Artificial Neural Networks). Υλοποιήσαμε πειράματα τόσο για δυαδική ταξινόμηση, όπου ο σκοπός του μοντέλου είναι η απόφαση εάν το κείμενο εισόδου περιέχει ρητορική μίσους ή όχι, όσο και για κατηγοριοποίηση πολλαπλών κλάσεων, όπου ο ταξινομητής προσπαθεί να διαχωρίσει μεταξύ διαφορετικών ειδών ρητορικής μίσους (π.χ. σεξισμός, ρατσισμός, κ.α.). Στόχος μας είναι να εξετάσουμε την απόδοση της κάθε τεχνικής αναπαρά- στασης και ταξινόμησης και να αναδείξουμε τις μεθόδους με την καλύτερη απόδοση. Επιπλέον, εξετάσαμε κατά πόσο οι συνδυασμοί διαφόρων τεχνικών αναπαράστασης κειμέ- νων επιτυγχάνουν καλύτερα αποτελέσματα από τη μεμονωμένη χρήση τους. Τέλος, δεί- χνουμε ότι η χρήση των n-gram graphs, που αναπαρίστανται από ένα διάνυσμα μικρών διαστάσεων, μπορεί να συμβάλει σημαντικά στον εντοπισμό της ρητορικής μίσους. Τα πειράματα έδειξαν ότι τα πιο αποδοτικά features είναι τα BoW, word embeddings με τους NGGs να ακολουθούν με ελαφρώς χειρότερη απόδοση. Επιπρόσθετα, ο συνδυασμός των προαναφερθέντων μεθόδων αναπαράστασης έχει την καλύτερη απόδοση σε σύγκριση με όλα τα υπόλοιπα features, είτε αυτά εξετάστηκαν μεμονωμένα είτε σε συνδυασμό με άλλα features. Τέλος, οι αλγόριθμοι ταξινόμησης φαίνεται να μην έχουν ιδιαίτερη στατιστική σημασία, μιας και τα αποτελέσματα στα στατιστικα τεστ είναι παρόμοια για όλους τους αλγορίθμους που χρησιμοποιήσαμε.","Hate Speech is abusive or stereotyping speech against a group of people, based on characteristics such as race, religion, sexual orientation and gender. It is illegal based on the current legislation in the USA and the EU, however the Internet and social media made it possible to spread hatred easily, fast and anonymously. The large scale of data produced through social media platforms requires the development of an effective automatic model to detect such content. We study the performance of several text representation techniques and classification algorithms, aiming to efficiently handle the online abusive language discrimination task. We examine various representation techniques such as Bag of Words (BoW), word and character Bag of n-grams, sentiment, syntax and grammar analysis, word embeddings and n-gram graphs. In addition, we test multiple classification algorithms: Naive Bayes, Logistic Regression, Random Forests, K-Nearest Neighbors and Aritificial Neural Networks. Our goal is to evaluate representation and classification algorithms with respect to their contribution to performance in the Hate Speech detection task. Moreover, we highlight the utility of n-gram graphs (NGGs) as an efficient, lowdimensional text representation that constructs similarity vectors which appear to constitute deep features with significant contribution to the classification results. Apart from the binary classification experiments, we additionally test our method in multi-class classification experiments on abusive language discrimination tasks. Our results showe that NGGs are informative and rich features - despite being represented by vectors with dimensions equal to the number of possible classes - performing slightly worse than the Bag of Words and word embeddings, which are in contrast constitute by high-dimensional representations. We furthermore execute statistical tests, to examine whether NGGs have significant contribution to the results. The tests not only showe that NGGs are significant features with respect to the classification result, but also that the combination of the three best performing features (BoW, NGGs and word embeddings) achieves the best classification performance, with the use of the remaining text representations yielding deteriorated results. Finally, the classification algorithm selection seems to be less important, since statistical results for all the tested algorithms are similar."],"dc:identifier":["uoadl:2800879","https://pergamos.lib.uoa.gr/uoa/dl/object/2800879"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Hate Speech Detection using different text representations in online user comments"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:32:09Z"}