Back to search

National and Kapodistrian University of Athens

Entity Resolution with Small-Scale LLMs: A Study on Prompting Strategies and Hardware Limitations

Abstract

dc:description

Η Διασταύρωση Οντοτήτων είναι μια θεμελιώδης τεχνική στη διαχείριση δεδομένων, η οποία περιλαμβάνει την αναγνώριση και σύνδεση εγγραφών που αναφέρονται στην ίδια οντότητα του πραγματικού κόσμου σε διαφορετικά σύνολα δεδομένων. Παρόλο που τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) παρουσιάζουν υποσχόμενα αποτελέσματα στην αντιμετώπιση σύνθετων εργασιών επεξεργασίας φυσικής γλώσσας, οι σημαντικές υπολογιστικές απαιτήσεις τους συχνά περιορίζουν την πρακτική εφαρμογή τους. Η παρούσα εργασία διερευνά τη χρήση μικρής κλίμακας LLMs, συγκεκριμένα μοντέλων με 7 δισεκατομμύρια παραμέτρους και κβαντοποίηση 4-bit, για εργασίες διασταύρωσης οντοτήτων που μπορούν να εκτελεστούν με περιορισμένους υπολογιστικούς πόρους. Εξετάζουμε διάφορες στρατηγικές προτροπής, συμπεριλαμβανομένων των προτροπών μηδενικών βημάτων, λίγων βημάτων και γενικού ορισμού αντιστοίχισης, με σκοπό να αξιολογήσουμε την αποτελεσματικότητά τους στη βελτίωση της ακρίβειας της διασταύρωσης οντοτήτων. Τα πειράματα διεξάγονται σε δύο σύνολα δεδομένων, Abt-Buy και Walmart-Amazon, τα οποία παρουσιάζουν διαφορετικά επίπεδα πολυπλοκότητας και πρόκλησης στις περιγραφές προϊόντων. Τα ευρήματά μας δείχνουν ότι τα μικρής κλίμακας LLMs μπορούν να εκτελέσουν αποτελεσματικά τη διασταύρωση οντοτήτων, με το μοντέλο Orca2 να ξεπερνά σταθερά τα άλλα σε διαφορετικές στρατηγικές προτροπής και σύνολα δεδομένων. Η μελέτη υπογραμμίζει ότι η προτροπή λίγων βημάτων βελτιώνει σημαντικά την απόδοση σε σύγκριση με τις προσεγγίσεις μηδενικών βημάτων, τονίζοντας τη σημασία των παραδειγμάτων συγκεκριμένων εργασιών και του προσεκτικού σχεδιασμού προτροπών. Εξετάζουμε επίσης, την επίδραση της σειράς των παραδειγμάτων στις προτροπές λίγων βημάτων και διαπιστώνουμε ότι έχει σημαντική επίδραση στην απόδοση του μοντέλου. Επιπλέον, η εργασία έρχεται αντιμέτωπη με το πρόβλημα των περιορισμένων υπολογιστικών πόρων αποδεικνύοντας ότι η αποτελεσματική διασταύρωση οντοτήτων μπορεί να επιτευχθεί με μοντέλα περιορισμένων πόρων, καθιστώντας τις προηγμένες τεχνικές διασταύρωσης οντοτήτων πιο προσιτές για πρακτικές εφαρμογές.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Αρβανίτης Κασινίκος Ιωάννης
  • Arvanitis Kasinikos Ioannis

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:3426874

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Αρβανίτης Κασινίκος Ιωάννης; Arvanitis Kasinikos Ioannis. Entity Resolution with Small-Scale LLMs: A Study on Prompting Strategies and Hardware Limitations. 2024. https://pergamos.lib.uoa.gr/uoa/dl/object/3426874