National and Kapodistrian University of Athens
Enhancing Intent Classification via Zero-shot and Few-shot ChatGPT Prompting Engineering: Generating training data or directly detecting intents?
Abstract
dc:descriptionΗ εμφάνιση των Μεγάλων Παραγωγικών Γλωσσικών Μοντέλων (Generative Large Language Models, LLMs), όπως η οικογένεια των Προεκπαιδευμένων Παραγωγικών Transformer μοντέλων (Generative Pre-trained Transformer, GPT), έχει δημιουργήσει αρκετές δυνατότητες στην ανάπτυξη έργων Κατανόησης Φυσικής Γλώσσας (Natural Language Understanding, NLU). Μεταξύ άλλων, τα Παραγωγικά LLMs έχουν επιδείξει την ικανότητά τους στην παραγωγή φράσεων χρήστη (user utterances) για συγκεκριμένες προθέσεις (intents), οι οποίες φράσεις μπορούν να αξιοποιηθούν για την εκπαίδευση NLU μοντέλων. Στην πράξη, ωστόσο, έχει παρατηρηθεί ότι, όταν αυτές οι τεχνητά γεννημένες φράσεις χρησιμοποιούνται ως σύνολο εκπαίδευσης, οδηγούν σε μοντέλα μη ανταγωνιστικής απόδοσης. Στην παρούσα διπλωματική εργασία, θα εξετάσουμε τεχνικές για τη βελτίωση της ποιότητας των τεχνητά παραγόμενων φράσεων εκπαίδευσης από το ChatGPT. Θα επικεντρωθούμε σε μεθόδους προτροπής (prompting), μηδενικής (zero-shot) ή περιορισμένης (few-shot) πληροφορίας, οι οποίες παρέχουν πρόσθετο περικείμενο στο LLM, ώστε οι παραγόμενες φράσεις να είναι όσο το δυνατόν εγγύτερα σε ένα πραγματικό σύνολο εκπαίδευσης. Τα παραχθέντα δεδομένα χρησιμοποιούνται, είτε μεμονωμένα είτε σε συνδυασμό με λίγα πραγματικά παραδείγματα, για την εκπαίδευση ενός DistilBERT μοντέλου. Επιπροσθέτως, αξιολογούμε την αποτελεσματικότητα του ChatGPT απευθείας ως ταξινομητή προθέσεων (intent classifier). Τα ευρήματά μας δείχνουν τη σημασία των χειροκίνητα κατασκευασμένων prompts, βασισμένων σε γλωσσολογικές αρχές, και αποδεικνύουν ότι η αξιοποίηση του ChatGPT ως intent classifier κατά τη διάρκεια της εκτέλεσης (runtime) οδηγεί σε υψηλότερη απόδοση συγκριτικά με τη χρήση του στην παραγωγή δεδομένων κατά τη φάση ανάπτυξης.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Μπουζάκη Άλκηστις
- Bouzaki Alkistis
Subjects
dc:subject × 2Rights
- Language dc:language
- Ελληνικά, English, Greek
Identifiers
dc:identifier.*- Identifier
- uoadl:3359481