{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:2964371"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:2964371","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Study of the effect of different representations on the automatic assessment on semantic or/and conceptual text proximity task.","abstract":"Η σημασιολογική ομοιότητα κειμένου είναι ένα έργο της Επεξεργασίας Φυσικής Γλώσσας που χρησιμοποιείται για πολλούς διαφορετικούς σκοπούς όπως η περίληψη και τα προβλήματα ερωτήσεων - απαντήσεων. Στη βιβλιογραφία έχουν προταθεί πολλές διαφορετικές μέθοδοι και μοντέλα αναπαράστασης κειμένου. Η παρούσα διπλωματική εργασία επιχειρεί να διερευνήσει τη χρήση του Bag of Words στο πρόβλημα της σημασιολογικής εγγύτητας κειμένου χρησιμοποιώντας γλωσσικά χαρακτηριστικά και συγκεκριμένα το Μέρος του Λόγου (Part of Speech - POS). Η προτεινόμενη μέθοδος συνδυάζει γραμματική πληροφορία με τη μέθοδο αναπαράστασης κειμένου BoW και του μέτρου ομοιότητας συνημιτόνου για τη σύγκριση κειμένων και την εύρεση κειμένων κοινής θεματολογίας. Πραγματοποιήθηκαν δύο πειράματα, ένα πείραμα εξαγωγής ομοιότητας κειμένων με αυτόματες υπολογιστικές μεθόδους, καθώς και ένα πείραμα αξιολόγησης από ανθρώπους. Για το υπολογιστικό πείραμα συνδυάσαμε το BoW με τη γραμματική πληροφορία και διεξάγαμε συγκρίσεις μεταξύ των κειμένων σε τριάδες, όπου ένα κείμενο αναφοράς συγκρίθηκε με δύο άλλα κείμενα, δημιουργώντας μια λίστα κατάταξης ομοιότητας. Για το πείραμα αξιολόγησης από ανθρώπους, τέσσερις αξιολογητές συμμετείχαν σε ένα πείραμα που διεξήγαγε επίσης συγκρίσεις κειμένων σε τριάδες, με παραγωγή κατάταξης βάσει ανθρώπινης κρίσης. Τα πειραματικά αποτελέσματα μέτρησαν τον βαθμό συμφωνίας μεταξύ αξιολογητών, μεταξύ ανθρώπων και αυτόματων μεθόδων και μεταξύ διαφορετικών αυτόματων υπολογιστικών μεθόδων. Τα αποτελέσματα έδειξαν μια χαμηλή έως μέση συμφωνία των αξιολογητών και των υπολογιστικών μεθόδων ομοιότητας, ενώ δεν βρέθηκε στατιστικά σημαντική διαφορά μεταξύ των δύο αυτόματων μεθόδων. Παρατηρήθηκαν διαφορές μεταξύ των κειμένων που δόθηκαν προς αξιολόγηση, οι οποίες αφήνουν περιθώρια για μία περαιτέρω διερεύνηση της χρησιμότητας της γραμματικής πληροφορίας στο πρόβλημα της σημασιολογικής εγγύτητας. Επίσης, τα αποτέλσματα αναδεικνύουν σημεία προς βελτίωση όσον αφορά την απόδοση του μοντέλου, για το οποίο παρέχουμε οδηγίες για πιθανές μελλοντικές επεκτάσεις.","abstract_html":"Η σημασιολογική ομοιότητα κειμένου είναι ένα έργο της Επεξεργασίας Φυσικής Γλώσσας που χρησιμοποιείται για πολλούς διαφορετικούς σκοπούς όπως η περίληψη και τα προβλήματα ερωτήσεων - απαντήσεων. Στη βιβλιογραφία έχουν προταθεί πολλές διαφορετικές μέθοδοι και μοντέλα αναπαράστασης κειμένου. Η παρούσα διπλωματική εργασία επιχειρεί να διερευνήσει τη χρήση του Bag of Words στο πρόβλημα της σημασιολογικής εγγύτητας κειμένου χρησιμοποιώντας γλωσσικά χαρακτηριστικά και συγκεκριμένα το Μέρος του Λόγου (Part of Speech - POS). Η προτεινόμενη μέθοδος συνδυάζει γραμματική πληροφορία με τη μέθοδο αναπαράστασης κειμένου BoW και του μέτρου ομοιότητας συνημιτόνου για τη σύγκριση κειμένων και την εύρεση κειμένων κοινής θεματολογίας. Πραγματοποιήθηκαν δύο πειράματα, ένα πείραμα εξαγωγής ομοιότητας κειμένων με αυτόματες υπολογιστικές μεθόδους, καθώς και ένα πείραμα αξιολόγησης από ανθρώπους. Για το υπολογιστικό πείραμα συνδυάσαμε το BoW με τη γραμματική πληροφορία και διεξάγαμε συγκρίσεις μεταξύ των κειμένων σε τριάδες, όπου ένα κείμενο αναφοράς συγκρίθηκε με δύο άλλα κείμενα, δημιουργώντας μια λίστα κατάταξης ομοιότητας. Για το πείραμα αξιολόγησης από ανθρώπους, τέσσερις αξιολογητές συμμετείχαν σε ένα πείραμα που διεξήγαγε επίσης συγκρίσεις κειμένων σε τριάδες, με παραγωγή κατάταξης βάσει ανθρώπινης κρίσης. Τα πειραματικά αποτελέσματα μέτρησαν τον βαθμό συμφωνίας μεταξύ αξιολογητών, μεταξύ ανθρώπων και αυτόματων μεθόδων και μεταξύ διαφορετικών αυτόματων υπολογιστικών μεθόδων. Τα αποτελέσματα έδειξαν μια χαμηλή έως μέση συμφωνία των αξιολογητών και των υπολογιστικών μεθόδων ομοιότητας, ενώ δεν βρέθηκε στατιστικά σημαντική διαφορά μεταξύ των δύο αυτόματων μεθόδων. Παρατηρήθηκαν διαφορές μεταξύ των κειμένων που δόθηκαν προς αξιολόγηση, οι οποίες αφήνουν περιθώρια για μία περαιτέρω διερεύνηση της χρησιμότητας της γραμματικής πληροφορίας στο πρόβλημα της σημασιολογικής εγγύτητας. Επίσης, τα αποτέλσματα αναδεικνύουν σημεία προς βελτίωση όσον αφορά την απόδοση του μοντέλου, για το οποίο παρέχουμε οδηγίες για πιθανές μελλοντικές επεκτάσεις.","abstract_has_math":false,"creators":["Μελαδάκη Καλλιόπη-Μαρία","Meladaki Kalliopi-Maria"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2021,"date_issued":"2021","date_published":"2021","updated_at":"2026-11-19T05:44:03Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2964371"],"render_values":[{"text":"uoadl:2964371","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2964371","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2964371","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A2964371","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Μελαδάκη Καλλιόπη-Μαρία","Meladaki Kalliopi-Maria"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2021"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2964371","https://pergamos.lib.uoa.gr/uoa/dl/object/2964371"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η σημασιολογική ομοιότητα κειμένου είναι ένα έργο της Επεξεργασίας Φυσικής Γλώσσας που χρησιμοποιείται για πολλούς διαφορετικούς σκοπούς όπως η περίληψη και τα προβλήματα ερωτήσεων - απαντήσεων. Στη βιβλιογραφία έχουν προταθεί πολλές διαφορετικές μέθοδοι και μοντέλα αναπαράστασης κειμένου. Η παρούσα διπλωματική εργασία επιχειρεί να διερευνήσει τη χρήση του Bag of Words στο πρόβλημα της σημασιολογικής εγγύτητας κειμένου χρησιμοποιώντας γλωσσικά χαρακτηριστικά και συγκεκριμένα το Μέρος του Λόγου (Part of Speech - POS). Η προτεινόμενη μέθοδος συνδυάζει γραμματική πληροφορία με τη μέθοδο αναπαράστασης κειμένου BoW και του μέτρου ομοιότητας συνημιτόνου για τη σύγκριση κειμένων και την εύρεση κειμένων κοινής θεματολογίας. Πραγματοποιήθηκαν δύο πειράματα, ένα πείραμα εξαγωγής ομοιότητας κειμένων με αυτόματες υπολογιστικές μεθόδους, καθώς και ένα πείραμα αξιολόγησης από ανθρώπους. Για το υπολογιστικό πείραμα συνδυάσαμε το BoW με τη γραμματική πληροφορία και διεξάγαμε συγκρίσεις μεταξύ των κειμένων σε τριάδες, όπου ένα κείμενο αναφοράς συγκρίθηκε με δύο άλλα κείμενα, δημιουργώντας μια λίστα κατάταξης ομοιότητας. Για το πείραμα αξιολόγησης από ανθρώπους, τέσσερις αξιολογητές συμμετείχαν σε ένα πείραμα που διεξήγαγε επίσης συγκρίσεις κειμένων σε τριάδες, με παραγωγή κατάταξης βάσει ανθρώπινης κρίσης. Τα πειραματικά αποτελέσματα μέτρησαν τον βαθμό συμφωνίας μεταξύ αξιολογητών, μεταξύ ανθρώπων και αυτόματων μεθόδων και μεταξύ διαφορετικών αυτόματων υπολογιστικών μεθόδων. Τα αποτελέσματα έδειξαν μια χαμηλή έως μέση συμφωνία των αξιολογητών και των υπολογιστικών μεθόδων ομοιότητας, ενώ δεν βρέθηκε στατιστικά σημαντική διαφορά μεταξύ των δύο αυτόματων μεθόδων. Παρατηρήθηκαν διαφορές μεταξύ των κειμένων που δόθηκαν προς αξιολόγηση, οι οποίες αφήνουν περιθώρια για μία περαιτέρω διερεύνηση της χρησιμότητας της γραμματικής πληροφορίας στο πρόβλημα της σημασιολογικής εγγύτητας. Επίσης, τα αποτέλσματα αναδεικνύουν σημεία προς βελτίωση όσον αφορά την απόδοση του μοντέλου, για το οποίο παρέχουμε οδηγίες για πιθανές μελλοντικές επεκτάσεις.","Text semantic similarity is a task of Natural Language Processing used for many different purposes like automatic summarisation and question - answering problems. Throughout the years different text representation methods and models have been proposed. This thesis attempts to investigate the use of Bag of Words (BoW) in the semantic text proximity task using linguistic features, specifically the Part of Speech (POS). The proposed method combines grammatical information with the text representation method of BoW and cosine similarity measure, to compare texts and find those of similar topic. Two experiments were conducted, one using and automatic similarity extraction method and one adopting a human evaluation approach. For the automatic approach we combined the BoW representation method with grammatical information, comparing triplets of texts to produce similarity ranking for each reference document. For the Human Evaluation experiment, four Human Annotators were involved an experiment to compare triplets of documents to produce similarity rankings. We utilized the empirical results to measure the degree of agreement (i) among humans, (ii) between humans and automatic methods, as well (iii) as between different automatic methods and variants. Our findings show a low to medium alignment of human evaluators with automatic methods, while comparison of the two automatic methods did not show a statistically significant difference. Notably, differences were observed between the texts provided for evaluation, which leaves room for further investigation about the usefulness of grammatical information in the problem of semantic proximity. Our results also highlight points for improvement in terms of model performance, for which we provide relevant directions for future work."]},{"key":"dc:title","label":"Title","values":["Study of the effect of different representations on the automatic assessment on semantic or/and conceptual text proximity task."]}]}],"canonical_facts":{"dc:creator":["Μελαδάκη Καλλιόπη-Μαρία","Meladaki Kalliopi-Maria"],"dc:date":["2021"],"dc:description":["Η σημασιολογική ομοιότητα κειμένου είναι ένα έργο της Επεξεργασίας Φυσικής Γλώσσας που χρησιμοποιείται για πολλούς διαφορετικούς σκοπούς όπως η περίληψη και τα προβλήματα ερωτήσεων - απαντήσεων. Στη βιβλιογραφία έχουν προταθεί πολλές διαφορετικές μέθοδοι και μοντέλα αναπαράστασης κειμένου. Η παρούσα διπλωματική εργασία επιχειρεί να διερευνήσει τη χρήση του Bag of Words στο πρόβλημα της σημασιολογικής εγγύτητας κειμένου χρησιμοποιώντας γλωσσικά χαρακτηριστικά και συγκεκριμένα το Μέρος του Λόγου (Part of Speech - POS). Η προτεινόμενη μέθοδος συνδυάζει γραμματική πληροφορία με τη μέθοδο αναπαράστασης κειμένου BoW και του μέτρου ομοιότητας συνημιτόνου για τη σύγκριση κειμένων και την εύρεση κειμένων κοινής θεματολογίας. Πραγματοποιήθηκαν δύο πειράματα, ένα πείραμα εξαγωγής ομοιότητας κειμένων με αυτόματες υπολογιστικές μεθόδους, καθώς και ένα πείραμα αξιολόγησης από ανθρώπους. Για το υπολογιστικό πείραμα συνδυάσαμε το BoW με τη γραμματική πληροφορία και διεξάγαμε συγκρίσεις μεταξύ των κειμένων σε τριάδες, όπου ένα κείμενο αναφοράς συγκρίθηκε με δύο άλλα κείμενα, δημιουργώντας μια λίστα κατάταξης ομοιότητας. Για το πείραμα αξιολόγησης από ανθρώπους, τέσσερις αξιολογητές συμμετείχαν σε ένα πείραμα που διεξήγαγε επίσης συγκρίσεις κειμένων σε τριάδες, με παραγωγή κατάταξης βάσει ανθρώπινης κρίσης. Τα πειραματικά αποτελέσματα μέτρησαν τον βαθμό συμφωνίας μεταξύ αξιολογητών, μεταξύ ανθρώπων και αυτόματων μεθόδων και μεταξύ διαφορετικών αυτόματων υπολογιστικών μεθόδων. Τα αποτελέσματα έδειξαν μια χαμηλή έως μέση συμφωνία των αξιολογητών και των υπολογιστικών μεθόδων ομοιότητας, ενώ δεν βρέθηκε στατιστικά σημαντική διαφορά μεταξύ των δύο αυτόματων μεθόδων. Παρατηρήθηκαν διαφορές μεταξύ των κειμένων που δόθηκαν προς αξιολόγηση, οι οποίες αφήνουν περιθώρια για μία περαιτέρω διερεύνηση της χρησιμότητας της γραμματικής πληροφορίας στο πρόβλημα της σημασιολογικής εγγύτητας. Επίσης, τα αποτέλσματα αναδεικνύουν σημεία προς βελτίωση όσον αφορά την απόδοση του μοντέλου, για το οποίο παρέχουμε οδηγίες για πιθανές μελλοντικές επεκτάσεις.","Text semantic similarity is a task of Natural Language Processing used for many different purposes like automatic summarisation and question - answering problems. Throughout the years different text representation methods and models have been proposed. This thesis attempts to investigate the use of Bag of Words (BoW) in the semantic text proximity task using linguistic features, specifically the Part of Speech (POS). The proposed method combines grammatical information with the text representation method of BoW and cosine similarity measure, to compare texts and find those of similar topic. Two experiments were conducted, one using and automatic similarity extraction method and one adopting a human evaluation approach. For the automatic approach we combined the BoW representation method with grammatical information, comparing triplets of texts to produce similarity ranking for each reference document. For the Human Evaluation experiment, four Human Annotators were involved an experiment to compare triplets of documents to produce similarity rankings. We utilized the empirical results to measure the degree of agreement (i) among humans, (ii) between humans and automatic methods, as well (iii) as between different automatic methods and variants. Our findings show a low to medium alignment of human evaluators with automatic methods, while comparison of the two automatic methods did not show a statistically significant difference. Notably, differences were observed between the texts provided for evaluation, which leaves room for further investigation about the usefulness of grammatical information in the problem of semantic proximity. Our results also highlight points for improvement in terms of model performance, for which we provide relevant directions for future work."],"dc:identifier":["uoadl:2964371","https://pergamos.lib.uoa.gr/uoa/dl/object/2964371"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Study of the effect of different representations on the automatic assessment on semantic or/and conceptual text proximity task."],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:44:03Z"}