Abstract
dc:descriptionΗ παραγωγή κειμένου υπό περιορισμούς αποτελεί έναν σχετικά νέο τομέα της Παραγωγής Φυσικής Γλώσσας. Προγενέστερα άρθρα έχουν δείξει πως τα προεκπαιδευμένα Γλωσσικά Μοντέλα (π.χ. GPT-2, BART) από μόνα τους και χωρίς τροποποιήσεις δεν προσφέρουν αρκούντως καλά αποτελέσματα. Πολλές προσεγγίσεις έχουν προταθεί για να πετύχουν καλύτερα αποτελέσματα, χρησιμοποιώντας εξωτερικές πηγές και πόρους, σε συνδυασμό με τροποποιήσεις στα υπάρχοντα Γλωσσικά Μοντέλα, καθώς και στην διαδικασία ρύθμισης τους για το συγκεκριμένο πρόβλημα. Η παρούσα έρευνα επικεντρώνεται στο πρόβλημα της παραγωγής φράσεων που περιέχουν ένα δεδομένο σύνολο λέξεων (concepts). Για αυτόν τον σκοπό, εφαρμόζουμε ευριστικές μεθόδους βαθμολόγησης, επιπλέον της συνάρτησης βαθμολόγησης του γλωσσικού μοντέλου GPT-2, ώστε να καθοδηγήσουμε την παραγωγή της φράσης προς τις προαναφερθείσες λέξεις, με τρόπο φυσικό και νοηματικά ορθό. Πιο συγκεκριμένα, προσθέτουμε επιπλέον βαθμούς στις υποψήφιες λέξεις με την καλύτερη GPT-2 βαθμολογία, π.χ. ως συνάρτηση του PMI τους, και της διανυσματικής τους ομοιότητας με τα εναπομείναντα concepts (για τα οποία υπάρχει ο περιορισμός να συμπεριληφθούν στη τελική πρόταση), καθώς και το κατά πόσο είναι οι ίδιες οι υποψήφιες λέξεις ένα από αυτά. Για όλες τις δοκιμές των συστημάτων που αναπτύχθηκαν, χρησιμοποιήσαμε το ευρέως χρησιμοποιούμενο για αυτό το πρόβλημα CommonGen dataset. Οι δοκιμές/πειράματα έδειξαν πως ο αλγόριθμος αναζήτησης Beam Search με μια κατάλληλη αντικειμενική συνάρτηση που συνδυάζει τις προαναφερθείσες ευριστικές δίνει βελτιωμένα αποτελέσματα σε σχέση με τον Greedy. Μάλιστα, μια συγκεκριμένη εκδοχή του o Diverse Beam Search, που εξασφαλίζει την ποικιλομορφία μεταξύ των beams (πιθανές λύσεις), βελτιώνει περεταίρω τα αποτελέσματα με την κατάλληλη αντικειμενική συνάρτηση. Οι ευριστικές που χρησιμοποιήθηκαν συνδυάστηκαν με δύο διαφορετικούς τρόπους, α)_με μια γραμμική συνάρτηση που σε κάθε ευριστική δίνεται ένα βάρος χειροκίνητα β) με την εφαρμογή μεθόδων Μηχανικής Μάθησης, ώστε να υπολογιστούν αυτόματα τα βάρη. Πιο συγκεκριμένα για το (β) τα καλύτερα αποτελέσματα επιτευχθήκαν με παλινδρόμηση με τη μέθοδο k-NN, τα οποία είναι συγκρίσιμα με τα βέλτιστα που πετύχαμε με την προσέγγιση (α), ενώ η προσέγγιση (β) έχει και ως πλεονέκτημα ότι δεν απαιτεί δοκιμή διαφορετικών βαρών.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Κατσιφαράκης Νικόλαος
- Katsifarakis Nikolaos
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:3237832