National and Kapodistrian University of Athens
Entity Resolution with Small-Scale LLMs: A Study on Prompting Strategies and Hardware Limitations
Abstract
dc:descriptionΗ Διασταύρωση Οντοτήτων είναι μια θεμελιώδης τεχνική στη διαχείριση δεδομένων, η οποία περιλαμβάνει την αναγνώριση και σύνδεση εγγραφών που αναφέρονται στην ίδια οντότητα του πραγματικού κόσμου σε διαφορετικά σύνολα δεδομένων. Παρόλο που τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) παρουσιάζουν υποσχόμενα αποτελέσματα στην αντιμετώπιση σύνθετων εργασιών επεξεργασίας φυσικής γλώσσας, οι σημαντικές υπολογιστικές απαιτήσεις τους συχνά περιορίζουν την πρακτική εφαρμογή τους. Η παρούσα εργασία διερευνά τη χρήση μικρής κλίμακας LLMs, συγκεκριμένα μοντέλων με 7 δισεκατομμύρια παραμέτρους και κβαντοποίηση 4-bit, για εργασίες διασταύρωσης οντοτήτων που μπορούν να εκτελεστούν με περιορισμένους υπολογιστικούς πόρους. Εξετάζουμε διάφορες στρατηγικές προτροπής, συμπεριλαμβανομένων των προτροπών μηδενικών βημάτων, λίγων βημάτων και γενικού ορισμού αντιστοίχισης, με σκοπό να αξιολογήσουμε την αποτελεσματικότητά τους στη βελτίωση της ακρίβειας της διασταύρωσης οντοτήτων. Τα πειράματα διεξάγονται σε δύο σύνολα δεδομένων, Abt-Buy και Walmart-Amazon, τα οποία παρουσιάζουν διαφορετικά επίπεδα πολυπλοκότητας και πρόκλησης στις περιγραφές προϊόντων. Τα ευρήματά μας δείχνουν ότι τα μικρής κλίμακας LLMs μπορούν να εκτελέσουν αποτελεσματικά τη διασταύρωση οντοτήτων, με το μοντέλο Orca2 να ξεπερνά σταθερά τα άλλα σε διαφορετικές στρατηγικές προτροπής και σύνολα δεδομένων. Η μελέτη υπογραμμίζει ότι η προτροπή λίγων βημάτων βελτιώνει σημαντικά την απόδοση σε σύγκριση με τις προσεγγίσεις μηδενικών βημάτων, τονίζοντας τη σημασία των παραδειγμάτων συγκεκριμένων εργασιών και του προσεκτικού σχεδιασμού προτροπών. Εξετάζουμε επίσης, την επίδραση της σειράς των παραδειγμάτων στις προτροπές λίγων βημάτων και διαπιστώνουμε ότι έχει σημαντική επίδραση στην απόδοση του μοντέλου. Επιπλέον, η εργασία έρχεται αντιμέτωπη με το πρόβλημα των περιορισμένων υπολογιστικών πόρων αποδεικνύοντας ότι η αποτελεσματική διασταύρωση οντοτήτων μπορεί να επιτευχθεί με μοντέλα περιορισμένων πόρων, καθιστώντας τις προηγμένες τεχνικές διασταύρωσης οντοτήτων πιο προσιτές για πρακτικές εφαρμογές.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Αρβανίτης Κασινίκος Ιωάννης
- Arvanitis Kasinikos Ioannis
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:3426874