Back to search

National and Kapodistrian University of Athens

Safety of Large Language Models Against Jailbreaks in Greek: LLM-as-Judge Evaluation Framework

Abstract

dc:description

Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) ενσωµατώνονται όλο και περισσότερο σε διάφορους ευαίσθητους τοµείς, συνεπώς η ασφάλεια τους από jailbreak επιθέσεις παραµένει κρίσιµο ζήτηµα. Γι’αυτό τον λόγο, η παρούσα διπλωµατική εργασία αναπτύσσει ένα πλαίσιο αξιολόγησης και εξετάζει τις ευπάθειες απο τις jailbreak επιθέσεις σε πολυγλωσσικά LLMs, µε έµφαση στην ελληνική γλώσσα, ένα γλωσσικό περιβάλλον χαµηλών πόρων που έχει λάβει περιορισµένη προσοχή στην υπάρχουσα έρευνα. Προκειµένου να ξεπεραστούν οι περιορισµοί της δυαδικής αξιολόγησης, αναπτύχθηκε ένα νέο αυτοµατοποιηµένο πλαίσιο αξιολόγησης βασισµένο στο σχήµα LLM-as-Judge, ενσωµατώνοντας σηµασιολογικά κριτήρια άρνησης, εξειδίκευσης και επιβλαβούς περιεχοµένου. Το σύνολο δεδοµένων StrongReject µεταφράστηκε και προσαρµόστηκε στα ελληνικά, µε την ενσωµάτωση επιθετικών προτύπων jailbreak prompts. Πέντε πολυγλωσσικά LLMs, αποκαλούµενα ως victim models, υποβλήθηκαν σε αυτό το σύνολο δεδοµένων και οι αποκρίσεις τους αξιολογήθηκαν µέσω του GPT-4o, εντός ενός δοµηµένου σχήµατος προτροπής. Στη µελέτη αυτή χρησιµοποιήθηκε ο δείκτης ASR, ο οποίος τροποποιήθηκε µε ένα ορισµένο κατώφλι στα σηµασιολογικά κριτήρια, ώστε να περιοριστεί η υπερεκτίµηση της επιτυχίας των jailbreaks και η υποεκτίµηση της ανθεκτικότητας των µοντέλων, όπως συχνά συµβαίνει µε τη δυαδική αξιολόγηση. Το πλαίσιο αξιολόγησης παρουσίασε ισχυρή συµφωνία µε την ανθρώπινη κρίση, επιτυγχάνοντας συντελεστή συσχέτισης Spearman ρ = 0.973 σε ένα αξιολογηµένο υποσύνολο. Τα αποτελέσµατα µας δείχνουν ότι προτροπές jailbreak που προσοµοιώνουν ρόλους ή εναλλακτικές ταυτότητες (“Opposite Mode” και “Sudo”) ήταν ιδιαίτερα αποτελεσµατικές. Μεταξύ των µοντέλων, τα LLaMA 3.1 και Krikri 8B επέδειξαν τη µεγαλύτερη ανθεκτικότητα, ενώ τα Aya και Gemma φάνηκαν πιο ευάλωτα σε επιθέσεις. Ενδιαφέρον παρουσιάζει η περίπτωση του Meltemi, ενός µοντέλου εκπαιδευµένου κυρίως στα ελληνικά χωρίς ειδική ευθυγράµµιση ασφάλειας, το οποίο εµφάνισε συγκριτικά χαµηλότερη ευαλωτότητα, αναδεικνύοντας τα πιθανά οφέλη της γλωσσικής ευθυγράµµισης. Η εργασία αυτή προσφέρει τόσο µια επεκτάσιµη µεθοδολογική προσέγγιση αξιολόγησης όσο και σηµαντικές εµπειρικές γνώσεις σχετικά µε την ασφάλεια των LLMs σε πολυγλωσσικά περιβάλλοντα.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Τσιαβή Ευανθία
  • Tsiavi Evanthia

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:5303139

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Τσιαβή Ευανθία; Tsiavi Evanthia. Safety of Large Language Models Against Jailbreaks in Greek: LLM-as-Judge Evaluation Framework. 2025. https://pergamos.lib.uoa.gr/uoa/dl/object/5303139