{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3237832"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3237832","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Constrained Text Generation","abstract":"Η παραγωγή κειμένου υπό περιορισμούς αποτελεί έναν σχετικά νέο τομέα της Παραγωγής Φυσικής Γλώσσας. Προγενέστερα άρθρα έχουν δείξει πως τα προεκπαιδευμένα Γλωσσικά Μοντέλα (π.χ. GPT-2, BART) από μόνα τους και χωρίς τροποποιήσεις δεν προσφέρουν αρκούντως καλά αποτελέσματα. Πολλές προσεγγίσεις έχουν προταθεί για να πετύχουν καλύτερα αποτελέσματα, χρησιμοποιώντας εξωτερικές πηγές και πόρους, σε συνδυασμό με τροποποιήσεις στα υπάρχοντα Γλωσσικά Μοντέλα, καθώς και στην διαδικασία ρύθμισης τους για το συγκεκριμένο πρόβλημα. Η παρούσα έρευνα επικεντρώνεται στο πρόβλημα της παραγωγής φράσεων που περιέχουν ένα δεδομένο σύνολο λέξεων (concepts). Για αυτόν τον σκοπό, εφαρμόζουμε ευριστικές μεθόδους βαθμολόγησης, επιπλέον της συνάρτησης βαθμολόγησης του γλωσσικού μοντέλου GPT-2, ώστε να καθοδηγήσουμε την παραγωγή της φράσης προς τις προαναφερθείσες λέξεις, με τρόπο φυσικό και νοηματικά ορθό. Πιο συγκεκριμένα, προσθέτουμε επιπλέον βαθμούς στις υποψήφιες λέξεις με την καλύτερη GPT-2 βαθμολογία, π.χ. ως συνάρτηση του PMI τους, και της διανυσματικής τους ομοιότητας με τα εναπομείναντα concepts (για τα οποία υπάρχει ο περιορισμός να συμπεριληφθούν στη τελική πρόταση), καθώς και το κατά πόσο είναι οι ίδιες οι υποψήφιες λέξεις ένα από αυτά. Για όλες τις δοκιμές των συστημάτων που αναπτύχθηκαν, χρησιμοποιήσαμε το ευρέως χρησιμοποιούμενο για αυτό το πρόβλημα CommonGen dataset. Οι δοκιμές/πειράματα έδειξαν πως ο αλγόριθμος αναζήτησης Beam Search με μια κατάλληλη αντικειμενική συνάρτηση που συνδυάζει τις προαναφερθείσες ευριστικές δίνει βελτιωμένα αποτελέσματα σε σχέση με τον Greedy. Μάλιστα, μια συγκεκριμένη εκδοχή του o Diverse Beam Search, που εξασφαλίζει την ποικιλομορφία μεταξύ των beams (πιθανές λύσεις), βελτιώνει περεταίρω τα αποτελέσματα με την κατάλληλη αντικειμενική συνάρτηση. Οι ευριστικές που χρησιμοποιήθηκαν συνδυάστηκαν με δύο διαφορετικούς τρόπους, α)_με μια γραμμική συνάρτηση που σε κάθε ευριστική δίνεται ένα βάρος χειροκίνητα β) με την εφαρμογή μεθόδων Μηχανικής Μάθησης, ώστε να υπολογιστούν αυτόματα τα βάρη. Πιο συγκεκριμένα για το (β) τα καλύτερα αποτελέσματα επιτευχθήκαν με παλινδρόμηση με τη μέθοδο k-NN, τα οποία είναι συγκρίσιμα με τα βέλτιστα που πετύχαμε με την προσέγγιση (α), ενώ η προσέγγιση (β) έχει και ως πλεονέκτημα ότι δεν απαιτεί δοκιμή διαφορετικών βαρών.","abstract_html":"Η παραγωγή κειμένου υπό περιορισμούς αποτελεί έναν σχετικά νέο τομέα της Παραγωγής Φυσικής Γλώσσας. Προγενέστερα άρθρα έχουν δείξει πως τα προεκπαιδευμένα Γλωσσικά Μοντέλα (π.χ. GPT-2, BART) από μόνα τους και χωρίς τροποποιήσεις δεν προσφέρουν αρκούντως καλά αποτελέσματα. Πολλές προσεγγίσεις έχουν προταθεί για να πετύχουν καλύτερα αποτελέσματα, χρησιμοποιώντας εξωτερικές πηγές και πόρους, σε συνδυασμό με τροποποιήσεις στα υπάρχοντα Γλωσσικά Μοντέλα, καθώς και στην διαδικασία ρύθμισης τους για το συγκεκριμένο πρόβλημα. Η παρούσα έρευνα επικεντρώνεται στο πρόβλημα της παραγωγής φράσεων που περιέχουν ένα δεδομένο σύνολο λέξεων (concepts). Για αυτόν τον σκοπό, εφαρμόζουμε ευριστικές μεθόδους βαθμολόγησης, επιπλέον της συνάρτησης βαθμολόγησης του γλωσσικού μοντέλου GPT-2, ώστε να καθοδηγήσουμε την παραγωγή της φράσης προς τις προαναφερθείσες λέξεις, με τρόπο φυσικό και νοηματικά ορθό. Πιο συγκεκριμένα, προσθέτουμε επιπλέον βαθμούς στις υποψήφιες λέξεις με την καλύτερη GPT-2 βαθμολογία, π.χ. ως συνάρτηση του PMI τους, και της διανυσματικής τους ομοιότητας με τα εναπομείναντα concepts (για τα οποία υπάρχει ο περιορισμός να συμπεριληφθούν στη τελική πρόταση), καθώς και το κατά πόσο είναι οι ίδιες οι υποψήφιες λέξεις ένα από αυτά. Για όλες τις δοκιμές των συστημάτων που αναπτύχθηκαν, χρησιμοποιήσαμε το ευρέως χρησιμοποιούμενο για αυτό το πρόβλημα CommonGen dataset. Οι δοκιμές/πειράματα έδειξαν πως ο αλγόριθμος αναζήτησης Beam Search με μια κατάλληλη αντικειμενική συνάρτηση που συνδυάζει τις προαναφερθείσες ευριστικές δίνει βελτιωμένα αποτελέσματα σε σχέση με τον Greedy. Μάλιστα, μια συγκεκριμένη εκδοχή του o Diverse Beam Search, που εξασφαλίζει την ποικιλομορφία μεταξύ των beams (πιθανές λύσεις), βελτιώνει περεταίρω τα αποτελέσματα με την κατάλληλη αντικειμενική συνάρτηση. Οι ευριστικές που χρησιμοποιήθηκαν συνδυάστηκαν με δύο διαφορετικούς τρόπους, α)_με μια γραμμική συνάρτηση που σε κάθε ευριστική δίνεται ένα βάρος χειροκίνητα β) με την εφαρμογή μεθόδων Μηχανικής Μάθησης, ώστε να υπολογιστούν αυτόματα τα βάρη. Πιο συγκεκριμένα για το (β) τα καλύτερα αποτελέσματα επιτευχθήκαν με παλινδρόμηση με τη μέθοδο k-NN, τα οποία είναι συγκρίσιμα με τα βέλτιστα που πετύχαμε με την προσέγγιση (α), ενώ η προσέγγιση (β) έχει και ως πλεονέκτημα ότι δεν απαιτεί δοκιμή διαφορετικών βαρών.","abstract_has_math":false,"creators":["Κατσιφαράκης Νικόλαος","Katsifarakis Nikolaos"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2022,"date_issued":"2022","date_published":"2022","updated_at":"2026-11-19T06:19:58Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3237832"],"render_values":[{"text":"uoadl:3237832","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3237832","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3237832","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3237832","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Κατσιφαράκης Νικόλαος","Katsifarakis Nikolaos"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2022"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3237832","https://pergamos.lib.uoa.gr/uoa/dl/object/3237832"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η παραγωγή κειμένου υπό περιορισμούς αποτελεί έναν σχετικά νέο τομέα της Παραγωγής Φυσικής Γλώσσας. Προγενέστερα άρθρα έχουν δείξει πως τα προεκπαιδευμένα Γλωσσικά Μοντέλα (π.χ. GPT-2, BART) από μόνα τους και χωρίς τροποποιήσεις δεν προσφέρουν αρκούντως καλά αποτελέσματα. Πολλές προσεγγίσεις έχουν προταθεί για να πετύχουν καλύτερα αποτελέσματα, χρησιμοποιώντας εξωτερικές πηγές και πόρους, σε συνδυασμό με τροποποιήσεις στα υπάρχοντα Γλωσσικά Μοντέλα, καθώς και στην διαδικασία ρύθμισης τους για το συγκεκριμένο πρόβλημα. Η παρούσα έρευνα επικεντρώνεται στο πρόβλημα της παραγωγής φράσεων που περιέχουν ένα δεδομένο σύνολο λέξεων (concepts). Για αυτόν τον σκοπό, εφαρμόζουμε ευριστικές μεθόδους βαθμολόγησης, επιπλέον της συνάρτησης βαθμολόγησης του γλωσσικού μοντέλου GPT-2, ώστε να καθοδηγήσουμε την παραγωγή της φράσης προς τις προαναφερθείσες λέξεις, με τρόπο φυσικό και νοηματικά ορθό. Πιο συγκεκριμένα, προσθέτουμε επιπλέον βαθμούς στις υποψήφιες λέξεις με την καλύτερη GPT-2 βαθμολογία, π.χ. ως συνάρτηση του PMI τους, και της διανυσματικής τους ομοιότητας με τα εναπομείναντα concepts (για τα οποία υπάρχει ο περιορισμός να συμπεριληφθούν στη τελική πρόταση), καθώς και το κατά πόσο είναι οι ίδιες οι υποψήφιες λέξεις ένα από αυτά. Για όλες τις δοκιμές των συστημάτων που αναπτύχθηκαν, χρησιμοποιήσαμε το ευρέως χρησιμοποιούμενο για αυτό το πρόβλημα CommonGen dataset. Οι δοκιμές/πειράματα έδειξαν πως ο αλγόριθμος αναζήτησης Beam Search με μια κατάλληλη αντικειμενική συνάρτηση που συνδυάζει τις προαναφερθείσες ευριστικές δίνει βελτιωμένα αποτελέσματα σε σχέση με τον Greedy. Μάλιστα, μια συγκεκριμένη εκδοχή του o Diverse Beam Search, που εξασφαλίζει την ποικιλομορφία μεταξύ των beams (πιθανές λύσεις), βελτιώνει περεταίρω τα αποτελέσματα με την κατάλληλη αντικειμενική συνάρτηση. Οι ευριστικές που χρησιμοποιήθηκαν συνδυάστηκαν με δύο διαφορετικούς τρόπους, α)_με μια γραμμική συνάρτηση που σε κάθε ευριστική δίνεται ένα βάρος χειροκίνητα β) με την εφαρμογή μεθόδων Μηχανικής Μάθησης, ώστε να υπολογιστούν αυτόματα τα βάρη. Πιο συγκεκριμένα για το (β) τα καλύτερα αποτελέσματα επιτευχθήκαν με παλινδρόμηση με τη μέθοδο k-NN, τα οποία είναι συγκρίσιμα με τα βέλτιστα που πετύχαμε με την προσέγγιση (α), ενώ η προσέγγιση (β) έχει και ως πλεονέκτημα ότι δεν απαιτεί δοκιμή διαφορετικών βαρών.","Constrained text generation is a relatively new topic in NLG. It has been shown that pretrained Language Models (GPT-2, BART etc.), with no additional modifications or tuning, do not give good results. Many approaches have been introduced to improves results by utilizing external corpora, and by applying task – specific modifications to existing Language Models, as well as their fine – tuning process. This study focuses on the task of producing phrases that contain a give set of words (concepts). For this purpose, we apply a heuristic scoring method, on top of the GPT-2 scoring function, in order to guide the production of the phrase towards said concepts, in a natural and semantically sound way. More specifically, we add bonus scores to the top – scoring (according to GPT-2) candidate words, for example as a function of their PMI and embedding similarity to the remaining concept words (the containment of which, in the produced phrase, is the constraint), as well as a bonus if the candidate word itself is a concept. In order to test the models we developed, we employed the widely used, for this task, CommonGen dataset. The tests showed that the Beam Search algorithm, with a suitable objective function that combines the aforementioned heuristics, outperforms the Greedy search algorithm. Additionally, a variation of the Diverse Beam Search algorithms, that ensures diversity among the beams (possible solutions) further improves the results, when using a suitable objective function. The employed heuristics were combined in two different ways: a) with a linear function, in which each heuristic is manually given and weight; b) with the application of Machine Learning methods, for automatically calculating the weights. More specifically, for method (b), the best results were achieved using k-NN regression and were comparable to the optimal results obtained using method (a), while method (b) has the advantage that it does not require testing different weights."]},{"key":"dc:title","label":"Title","values":["Constrained Text Generation"]}]}],"canonical_facts":{"dc:creator":["Κατσιφαράκης Νικόλαος","Katsifarakis Nikolaos"],"dc:date":["2022"],"dc:description":["Η παραγωγή κειμένου υπό περιορισμούς αποτελεί έναν σχετικά νέο τομέα της Παραγωγής Φυσικής Γλώσσας. Προγενέστερα άρθρα έχουν δείξει πως τα προεκπαιδευμένα Γλωσσικά Μοντέλα (π.χ. GPT-2, BART) από μόνα τους και χωρίς τροποποιήσεις δεν προσφέρουν αρκούντως καλά αποτελέσματα. Πολλές προσεγγίσεις έχουν προταθεί για να πετύχουν καλύτερα αποτελέσματα, χρησιμοποιώντας εξωτερικές πηγές και πόρους, σε συνδυασμό με τροποποιήσεις στα υπάρχοντα Γλωσσικά Μοντέλα, καθώς και στην διαδικασία ρύθμισης τους για το συγκεκριμένο πρόβλημα. Η παρούσα έρευνα επικεντρώνεται στο πρόβλημα της παραγωγής φράσεων που περιέχουν ένα δεδομένο σύνολο λέξεων (concepts). Για αυτόν τον σκοπό, εφαρμόζουμε ευριστικές μεθόδους βαθμολόγησης, επιπλέον της συνάρτησης βαθμολόγησης του γλωσσικού μοντέλου GPT-2, ώστε να καθοδηγήσουμε την παραγωγή της φράσης προς τις προαναφερθείσες λέξεις, με τρόπο φυσικό και νοηματικά ορθό. Πιο συγκεκριμένα, προσθέτουμε επιπλέον βαθμούς στις υποψήφιες λέξεις με την καλύτερη GPT-2 βαθμολογία, π.χ. ως συνάρτηση του PMI τους, και της διανυσματικής τους ομοιότητας με τα εναπομείναντα concepts (για τα οποία υπάρχει ο περιορισμός να συμπεριληφθούν στη τελική πρόταση), καθώς και το κατά πόσο είναι οι ίδιες οι υποψήφιες λέξεις ένα από αυτά. Για όλες τις δοκιμές των συστημάτων που αναπτύχθηκαν, χρησιμοποιήσαμε το ευρέως χρησιμοποιούμενο για αυτό το πρόβλημα CommonGen dataset. Οι δοκιμές/πειράματα έδειξαν πως ο αλγόριθμος αναζήτησης Beam Search με μια κατάλληλη αντικειμενική συνάρτηση που συνδυάζει τις προαναφερθείσες ευριστικές δίνει βελτιωμένα αποτελέσματα σε σχέση με τον Greedy. Μάλιστα, μια συγκεκριμένη εκδοχή του o Diverse Beam Search, που εξασφαλίζει την ποικιλομορφία μεταξύ των beams (πιθανές λύσεις), βελτιώνει περεταίρω τα αποτελέσματα με την κατάλληλη αντικειμενική συνάρτηση. Οι ευριστικές που χρησιμοποιήθηκαν συνδυάστηκαν με δύο διαφορετικούς τρόπους, α)_με μια γραμμική συνάρτηση που σε κάθε ευριστική δίνεται ένα βάρος χειροκίνητα β) με την εφαρμογή μεθόδων Μηχανικής Μάθησης, ώστε να υπολογιστούν αυτόματα τα βάρη. Πιο συγκεκριμένα για το (β) τα καλύτερα αποτελέσματα επιτευχθήκαν με παλινδρόμηση με τη μέθοδο k-NN, τα οποία είναι συγκρίσιμα με τα βέλτιστα που πετύχαμε με την προσέγγιση (α), ενώ η προσέγγιση (β) έχει και ως πλεονέκτημα ότι δεν απαιτεί δοκιμή διαφορετικών βαρών.","Constrained text generation is a relatively new topic in NLG. It has been shown that pretrained Language Models (GPT-2, BART etc.), with no additional modifications or tuning, do not give good results. Many approaches have been introduced to improves results by utilizing external corpora, and by applying task – specific modifications to existing Language Models, as well as their fine – tuning process. This study focuses on the task of producing phrases that contain a give set of words (concepts). For this purpose, we apply a heuristic scoring method, on top of the GPT-2 scoring function, in order to guide the production of the phrase towards said concepts, in a natural and semantically sound way. More specifically, we add bonus scores to the top – scoring (according to GPT-2) candidate words, for example as a function of their PMI and embedding similarity to the remaining concept words (the containment of which, in the produced phrase, is the constraint), as well as a bonus if the candidate word itself is a concept. In order to test the models we developed, we employed the widely used, for this task, CommonGen dataset. The tests showed that the Beam Search algorithm, with a suitable objective function that combines the aforementioned heuristics, outperforms the Greedy search algorithm. Additionally, a variation of the Diverse Beam Search algorithms, that ensures diversity among the beams (possible solutions) further improves the results, when using a suitable objective function. The employed heuristics were combined in two different ways: a) with a linear function, in which each heuristic is manually given and weight; b) with the application of Machine Learning methods, for automatically calculating the weights. More specifically, for method (b), the best results were achieved using k-NN regression and were comparable to the optimal results obtained using method (a), while method (b) has the advantage that it does not require testing different weights."],"dc:identifier":["uoadl:3237832","https://pergamos.lib.uoa.gr/uoa/dl/object/3237832"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Constrained Text Generation"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:19:58Z"}