{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3359481"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3359481","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Enhancing Intent Classification via Zero-shot and Few-shot ChatGPT Prompting Engineering: Generating training data or directly detecting intents?","abstract":"Η εμφάνιση των Μεγάλων Παραγωγικών Γλωσσικών Μοντέλων (Generative Large Language Models, LLMs), όπως η οικογένεια των Προεκπαιδευμένων Παραγωγικών Transformer μοντέλων (Generative Pre-trained Transformer, GPT), έχει δημιουργήσει αρκετές δυνατότητες στην ανάπτυξη έργων Κατανόησης Φυσικής Γλώσσας (Natural Language Understanding, NLU). Μεταξύ άλλων, τα Παραγωγικά LLMs έχουν επιδείξει την ικανότητά τους στην παραγωγή φράσεων χρήστη (user utterances) για συγκεκριμένες προθέσεις (intents), οι οποίες φράσεις μπορούν να αξιοποιηθούν για την εκπαίδευση NLU μοντέλων. Στην πράξη, ωστόσο, έχει παρατηρηθεί ότι, όταν αυτές οι τεχνητά γεννημένες φράσεις χρησιμοποιούνται ως σύνολο εκπαίδευσης, οδηγούν σε μοντέλα μη ανταγωνιστικής απόδοσης. Στην παρούσα διπλωματική εργασία, θα εξετάσουμε τεχνικές για τη βελτίωση της ποιότητας των τεχνητά παραγόμενων φράσεων εκπαίδευσης από το ChatGPT. Θα επικεντρωθούμε σε μεθόδους προτροπής (prompting), μηδενικής (zero-shot) ή περιορισμένης (few-shot) πληροφορίας, οι οποίες παρέχουν πρόσθετο περικείμενο στο LLM, ώστε οι παραγόμενες φράσεις να είναι όσο το δυνατόν εγγύτερα σε ένα πραγματικό σύνολο εκπαίδευσης. Τα παραχθέντα δεδομένα χρησιμοποιούνται, είτε μεμονωμένα είτε σε συνδυασμό με λίγα πραγματικά παραδείγματα, για την εκπαίδευση ενός DistilBERT μοντέλου. Επιπροσθέτως, αξιολογούμε την αποτελεσματικότητα του ChatGPT απευθείας ως ταξινομητή προθέσεων (intent classifier). Τα ευρήματά μας δείχνουν τη σημασία των χειροκίνητα κατασκευασμένων prompts, βασισμένων σε γλωσσολογικές αρχές, και αποδεικνύουν ότι η αξιοποίηση του ChatGPT ως intent classifier κατά τη διάρκεια της εκτέλεσης (runtime) οδηγεί σε υψηλότερη απόδοση συγκριτικά με τη χρήση του στην παραγωγή δεδομένων κατά τη φάση ανάπτυξης.","abstract_html":"Η εμφάνιση των Μεγάλων Παραγωγικών Γλωσσικών Μοντέλων (Generative Large Language Models, LLMs), όπως η οικογένεια των Προεκπαιδευμένων Παραγωγικών Transformer μοντέλων (Generative Pre-trained Transformer, GPT), έχει δημιουργήσει αρκετές δυνατότητες στην ανάπτυξη έργων Κατανόησης Φυσικής Γλώσσας (Natural Language Understanding, NLU). Μεταξύ άλλων, τα Παραγωγικά LLMs έχουν επιδείξει την ικανότητά τους στην παραγωγή φράσεων χρήστη (user utterances) για συγκεκριμένες προθέσεις (intents), οι οποίες φράσεις μπορούν να αξιοποιηθούν για την εκπαίδευση NLU μοντέλων. Στην πράξη, ωστόσο, έχει παρατηρηθεί ότι, όταν αυτές οι τεχνητά γεννημένες φράσεις χρησιμοποιούνται ως σύνολο εκπαίδευσης, οδηγούν σε μοντέλα μη ανταγωνιστικής απόδοσης. Στην παρούσα διπλωματική εργασία, θα εξετάσουμε τεχνικές για τη βελτίωση της ποιότητας των τεχνητά παραγόμενων φράσεων εκπαίδευσης από το ChatGPT. Θα επικεντρωθούμε σε μεθόδους προτροπής (prompting), μηδενικής (zero-shot) ή περιορισμένης (few-shot) πληροφορίας, οι οποίες παρέχουν πρόσθετο περικείμενο στο LLM, ώστε οι παραγόμενες φράσεις να είναι όσο το δυνατόν εγγύτερα σε ένα πραγματικό σύνολο εκπαίδευσης. Τα παραχθέντα δεδομένα χρησιμοποιούνται, είτε μεμονωμένα είτε σε συνδυασμό με λίγα πραγματικά παραδείγματα, για την εκπαίδευση ενός DistilBERT μοντέλου. Επιπροσθέτως, αξιολογούμε την αποτελεσματικότητα του ChatGPT απευθείας ως ταξινομητή προθέσεων (intent classifier). Τα ευρήματά μας δείχνουν τη σημασία των χειροκίνητα κατασκευασμένων prompts, βασισμένων σε γλωσσολογικές αρχές, και αποδεικνύουν ότι η αξιοποίηση του ChatGPT ως intent classifier κατά τη διάρκεια της εκτέλεσης (runtime) οδηγεί σε υψηλότερη απόδοση συγκριτικά με τη χρήση του στην παραγωγή δεδομένων κατά τη φάση ανάπτυξης.","abstract_has_math":false,"creators":["Μπουζάκη Άλκηστις","Bouzaki Alkistis"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2023,"date_issued":"2023","date_published":"2023","updated_at":"2026-11-19T06:23:27Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["Ελληνικά","English","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3359481"],"render_values":[{"text":"uoadl:3359481","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3359481","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3359481","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3359481","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Μπουζάκη Άλκηστις","Bouzaki Alkistis"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2023"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","English","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3359481","https://pergamos.lib.uoa.gr/uoa/dl/object/3359481"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η εμφάνιση των Μεγάλων Παραγωγικών Γλωσσικών Μοντέλων (Generative Large Language Models, LLMs), όπως η οικογένεια των Προεκπαιδευμένων Παραγωγικών Transformer μοντέλων (Generative Pre-trained Transformer, GPT), έχει δημιουργήσει αρκετές δυνατότητες στην ανάπτυξη έργων Κατανόησης Φυσικής Γλώσσας (Natural Language Understanding, NLU). Μεταξύ άλλων, τα Παραγωγικά LLMs έχουν επιδείξει την ικανότητά τους στην παραγωγή φράσεων χρήστη (user utterances) για συγκεκριμένες προθέσεις (intents), οι οποίες φράσεις μπορούν να αξιοποιηθούν για την εκπαίδευση NLU μοντέλων. Στην πράξη, ωστόσο, έχει παρατηρηθεί ότι, όταν αυτές οι τεχνητά γεννημένες φράσεις χρησιμοποιούνται ως σύνολο εκπαίδευσης, οδηγούν σε μοντέλα μη ανταγωνιστικής απόδοσης. Στην παρούσα διπλωματική εργασία, θα εξετάσουμε τεχνικές για τη βελτίωση της ποιότητας των τεχνητά παραγόμενων φράσεων εκπαίδευσης από το ChatGPT. Θα επικεντρωθούμε σε μεθόδους προτροπής (prompting), μηδενικής (zero-shot) ή περιορισμένης (few-shot) πληροφορίας, οι οποίες παρέχουν πρόσθετο περικείμενο στο LLM, ώστε οι παραγόμενες φράσεις να είναι όσο το δυνατόν εγγύτερα σε ένα πραγματικό σύνολο εκπαίδευσης. Τα παραχθέντα δεδομένα χρησιμοποιούνται, είτε μεμονωμένα είτε σε συνδυασμό με λίγα πραγματικά παραδείγματα, για την εκπαίδευση ενός DistilBERT μοντέλου. Επιπροσθέτως, αξιολογούμε την αποτελεσματικότητα του ChatGPT απευθείας ως ταξινομητή προθέσεων (intent classifier). Τα ευρήματά μας δείχνουν τη σημασία των χειροκίνητα κατασκευασμένων prompts, βασισμένων σε γλωσσολογικές αρχές, και αποδεικνύουν ότι η αξιοποίηση του ChatGPT ως intent classifier κατά τη διάρκεια της εκτέλεσης (runtime) οδηγεί σε υψηλότερη απόδοση συγκριτικά με τη χρήση του στην παραγωγή δεδομένων κατά τη φάση ανάπτυξης.","The advent of Generative Large Language Models (LLMs), such as the Generative Pre-trained Transformer (GPT) family of models, has created several potentials in the development phase of Natural Language Understanding (NLU) projects. Among others, Generative LLMs have shown their capacity in generating user utterances for given intents, which can be used for training NLU models. In practice, though, it has been observed that these artificially created utterances yield models of non-competitive performance when used as a training set. In this thesis, we will investigate techniques for improving the quality of the artificially generated training utterances by ChatGPT. We will focus on zero-shot and few-shot prompting methods that provide additional context to the LLM, so that the generated utterances are as close as possible to a real training set. The generated data, either used independently or combined with a few real examples, are employed in training a DistilBERT model. Additionally, we evaluate the effectiveness of ChatGPT as an intent classifier itself. Our findings demonstrate the significance of manually crafted prompts based on linguistic principles and illustrate that employing ChatGPT for intent recognition during runtime yields higher performance compared to its usage in data generation during the development phase."]},{"key":"dc:title","label":"Title","values":["Enhancing Intent Classification via Zero-shot and Few-shot ChatGPT Prompting Engineering: Generating training data or directly detecting intents?"]}]}],"canonical_facts":{"dc:creator":["Μπουζάκη Άλκηστις","Bouzaki Alkistis"],"dc:date":["2023"],"dc:description":["Η εμφάνιση των Μεγάλων Παραγωγικών Γλωσσικών Μοντέλων (Generative Large Language Models, LLMs), όπως η οικογένεια των Προεκπαιδευμένων Παραγωγικών Transformer μοντέλων (Generative Pre-trained Transformer, GPT), έχει δημιουργήσει αρκετές δυνατότητες στην ανάπτυξη έργων Κατανόησης Φυσικής Γλώσσας (Natural Language Understanding, NLU). Μεταξύ άλλων, τα Παραγωγικά LLMs έχουν επιδείξει την ικανότητά τους στην παραγωγή φράσεων χρήστη (user utterances) για συγκεκριμένες προθέσεις (intents), οι οποίες φράσεις μπορούν να αξιοποιηθούν για την εκπαίδευση NLU μοντέλων. Στην πράξη, ωστόσο, έχει παρατηρηθεί ότι, όταν αυτές οι τεχνητά γεννημένες φράσεις χρησιμοποιούνται ως σύνολο εκπαίδευσης, οδηγούν σε μοντέλα μη ανταγωνιστικής απόδοσης. Στην παρούσα διπλωματική εργασία, θα εξετάσουμε τεχνικές για τη βελτίωση της ποιότητας των τεχνητά παραγόμενων φράσεων εκπαίδευσης από το ChatGPT. Θα επικεντρωθούμε σε μεθόδους προτροπής (prompting), μηδενικής (zero-shot) ή περιορισμένης (few-shot) πληροφορίας, οι οποίες παρέχουν πρόσθετο περικείμενο στο LLM, ώστε οι παραγόμενες φράσεις να είναι όσο το δυνατόν εγγύτερα σε ένα πραγματικό σύνολο εκπαίδευσης. Τα παραχθέντα δεδομένα χρησιμοποιούνται, είτε μεμονωμένα είτε σε συνδυασμό με λίγα πραγματικά παραδείγματα, για την εκπαίδευση ενός DistilBERT μοντέλου. Επιπροσθέτως, αξιολογούμε την αποτελεσματικότητα του ChatGPT απευθείας ως ταξινομητή προθέσεων (intent classifier). Τα ευρήματά μας δείχνουν τη σημασία των χειροκίνητα κατασκευασμένων prompts, βασισμένων σε γλωσσολογικές αρχές, και αποδεικνύουν ότι η αξιοποίηση του ChatGPT ως intent classifier κατά τη διάρκεια της εκτέλεσης (runtime) οδηγεί σε υψηλότερη απόδοση συγκριτικά με τη χρήση του στην παραγωγή δεδομένων κατά τη φάση ανάπτυξης.","The advent of Generative Large Language Models (LLMs), such as the Generative Pre-trained Transformer (GPT) family of models, has created several potentials in the development phase of Natural Language Understanding (NLU) projects. Among others, Generative LLMs have shown their capacity in generating user utterances for given intents, which can be used for training NLU models. In practice, though, it has been observed that these artificially created utterances yield models of non-competitive performance when used as a training set. In this thesis, we will investigate techniques for improving the quality of the artificially generated training utterances by ChatGPT. We will focus on zero-shot and few-shot prompting methods that provide additional context to the LLM, so that the generated utterances are as close as possible to a real training set. The generated data, either used independently or combined with a few real examples, are employed in training a DistilBERT model. Additionally, we evaluate the effectiveness of ChatGPT as an intent classifier itself. Our findings demonstrate the significance of manually crafted prompts based on linguistic principles and illustrate that employing ChatGPT for intent recognition during runtime yields higher performance compared to its usage in data generation during the development phase."],"dc:identifier":["uoadl:3359481","https://pergamos.lib.uoa.gr/uoa/dl/object/3359481"],"dc:language":["Ελληνικά","English","Greek"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Enhancing Intent Classification via Zero-shot and Few-shot ChatGPT Prompting Engineering: Generating training data or directly detecting intents?"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:23:27Z"}