National and Kapodistrian University of Athens
Study of the effect of different representations on the automatic assessment on semantic or/and conceptual text proximity task.
Abstract
dc:descriptionΗ σημασιολογική ομοιότητα κειμένου είναι ένα έργο της Επεξεργασίας Φυσικής Γλώσσας που χρησιμοποιείται για πολλούς διαφορετικούς σκοπούς όπως η περίληψη και τα προβλήματα ερωτήσεων - απαντήσεων. Στη βιβλιογραφία έχουν προταθεί πολλές διαφορετικές μέθοδοι και μοντέλα αναπαράστασης κειμένου. Η παρούσα διπλωματική εργασία επιχειρεί να διερευνήσει τη χρήση του Bag of Words στο πρόβλημα της σημασιολογικής εγγύτητας κειμένου χρησιμοποιώντας γλωσσικά χαρακτηριστικά και συγκεκριμένα το Μέρος του Λόγου (Part of Speech - POS). Η προτεινόμενη μέθοδος συνδυάζει γραμματική πληροφορία με τη μέθοδο αναπαράστασης κειμένου BoW και του μέτρου ομοιότητας συνημιτόνου για τη σύγκριση κειμένων και την εύρεση κειμένων κοινής θεματολογίας. Πραγματοποιήθηκαν δύο πειράματα, ένα πείραμα εξαγωγής ομοιότητας κειμένων με αυτόματες υπολογιστικές μεθόδους, καθώς και ένα πείραμα αξιολόγησης από ανθρώπους. Για το υπολογιστικό πείραμα συνδυάσαμε το BoW με τη γραμματική πληροφορία και διεξάγαμε συγκρίσεις μεταξύ των κειμένων σε τριάδες, όπου ένα κείμενο αναφοράς συγκρίθηκε με δύο άλλα κείμενα, δημιουργώντας μια λίστα κατάταξης ομοιότητας. Για το πείραμα αξιολόγησης από ανθρώπους, τέσσερις αξιολογητές συμμετείχαν σε ένα πείραμα που διεξήγαγε επίσης συγκρίσεις κειμένων σε τριάδες, με παραγωγή κατάταξης βάσει ανθρώπινης κρίσης. Τα πειραματικά αποτελέσματα μέτρησαν τον βαθμό συμφωνίας μεταξύ αξιολογητών, μεταξύ ανθρώπων και αυτόματων μεθόδων και μεταξύ διαφορετικών αυτόματων υπολογιστικών μεθόδων. Τα αποτελέσματα έδειξαν μια χαμηλή έως μέση συμφωνία των αξιολογητών και των υπολογιστικών μεθόδων ομοιότητας, ενώ δεν βρέθηκε στατιστικά σημαντική διαφορά μεταξύ των δύο αυτόματων μεθόδων. Παρατηρήθηκαν διαφορές μεταξύ των κειμένων που δόθηκαν προς αξιολόγηση, οι οποίες αφήνουν περιθώρια για μία περαιτέρω διερεύνηση της χρησιμότητας της γραμματικής πληροφορίας στο πρόβλημα της σημασιολογικής εγγύτητας. Επίσης, τα αποτέλσματα αναδεικνύουν σημεία προς βελτίωση όσον αφορά την απόδοση του μοντέλου, για το οποίο παρέχουμε οδηγίες για πιθανές μελλοντικές επεκτάσεις.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Μελαδάκη Καλλιόπη-Μαρία
- Meladaki Kalliopi-Maria
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:2964371