Back to search

National and Kapodistrian University of Athens

Enhancing Intent Classification via Zero-shot and Few-shot ChatGPT Prompting Engineering: Generating training data or directly detecting intents?

Abstract

dc:description

Η εμφάνιση των Μεγάλων Παραγωγικών Γλωσσικών Μοντέλων (Generative Large Language Models, LLMs), όπως η οικογένεια των Προεκπαιδευμένων Παραγωγικών Transformer μοντέλων (Generative Pre-trained Transformer, GPT), έχει δημιουργήσει αρκετές δυνατότητες στην ανάπτυξη έργων Κατανόησης Φυσικής Γλώσσας (Natural Language Understanding, NLU). Μεταξύ άλλων, τα Παραγωγικά LLMs έχουν επιδείξει την ικανότητά τους στην παραγωγή φράσεων χρήστη (user utterances) για συγκεκριμένες προθέσεις (intents), οι οποίες φράσεις μπορούν να αξιοποιηθούν για την εκπαίδευση NLU μοντέλων. Στην πράξη, ωστόσο, έχει παρατηρηθεί ότι, όταν αυτές οι τεχνητά γεννημένες φράσεις χρησιμοποιούνται ως σύνολο εκπαίδευσης, οδηγούν σε μοντέλα μη ανταγωνιστικής απόδοσης. Στην παρούσα διπλωματική εργασία, θα εξετάσουμε τεχνικές για τη βελτίωση της ποιότητας των τεχνητά παραγόμενων φράσεων εκπαίδευσης από το ChatGPT. Θα επικεντρωθούμε σε μεθόδους προτροπής (prompting), μηδενικής (zero-shot) ή περιορισμένης (few-shot) πληροφορίας, οι οποίες παρέχουν πρόσθετο περικείμενο στο LLM, ώστε οι παραγόμενες φράσεις να είναι όσο το δυνατόν εγγύτερα σε ένα πραγματικό σύνολο εκπαίδευσης. Τα παραχθέντα δεδομένα χρησιμοποιούνται, είτε μεμονωμένα είτε σε συνδυασμό με λίγα πραγματικά παραδείγματα, για την εκπαίδευση ενός DistilBERT μοντέλου. Επιπροσθέτως, αξιολογούμε την αποτελεσματικότητα του ChatGPT απευθείας ως ταξινομητή προθέσεων (intent classifier). Τα ευρήματά μας δείχνουν τη σημασία των χειροκίνητα κατασκευασμένων prompts, βασισμένων σε γλωσσολογικές αρχές, και αποδεικνύουν ότι η αξιοποίηση του ChatGPT ως intent classifier κατά τη διάρκεια της εκτέλεσης (runtime) οδηγεί σε υψηλότερη απόδοση συγκριτικά με τη χρήση του στην παραγωγή δεδομένων κατά τη φάση ανάπτυξης.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Μπουζάκη Άλκηστις
  • Bouzaki Alkistis

Subjects

dc:subject × 2

Rights

Language dc:language
Ελληνικά, English, Greek

Identifiers

dc:identifier.*
Identifier
uoadl:3359481

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Μπουζάκη Άλκηστις; Bouzaki Alkistis. Enhancing Intent Classification via Zero-shot and Few-shot ChatGPT Prompting Engineering: Generating training data or directly detecting intents?. 2023. https://pergamos.lib.uoa.gr/uoa/dl/object/3359481