{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5303139"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5303139","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Safety of Large Language Models Against Jailbreaks in Greek: LLM-as-Judge Evaluation Framework","abstract":"Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) ενσωµατώνονται όλο και περισσότερο σε διάφορους ευαίσθητους τοµείς, συνεπώς η ασφάλεια τους από jailbreak επιθέσεις παραµένει κρίσιµο ζήτηµα. Γι’αυτό τον λόγο, η παρούσα διπλωµατική εργασία αναπτύσσει ένα πλαίσιο αξιολόγησης και εξετάζει τις ευπάθειες απο τις jailbreak επιθέσεις σε πολυγλωσσικά LLMs, µε έµφαση στην ελληνική γλώσσα, ένα γλωσσικό περιβάλλον χαµηλών πόρων που έχει λάβει περιορισµένη προσοχή στην υπάρχουσα έρευνα. Προκειµένου να ξεπεραστούν οι περιορισµοί της δυαδικής αξιολόγησης, αναπτύχθηκε ένα νέο αυτοµατοποιηµένο πλαίσιο αξιολόγησης βασισµένο στο σχήµα LLM-as-Judge, ενσωµατώνοντας σηµασιολογικά κριτήρια άρνησης, εξειδίκευσης και επιβλαβούς περιεχοµένου. Το σύνολο δεδοµένων StrongReject µεταφράστηκε και προσαρµόστηκε στα ελληνικά, µε την ενσωµάτωση επιθετικών προτύπων jailbreak prompts. Πέντε πολυγλωσσικά LLMs, αποκαλούµενα ως victim models, υποβλήθηκαν σε αυτό το σύνολο δεδοµένων και οι αποκρίσεις τους αξιολογήθηκαν µέσω του GPT-4o, εντός ενός δοµηµένου σχήµατος προτροπής. Στη µελέτη αυτή χρησιµοποιήθηκε ο δείκτης ASR, ο οποίος τροποποιήθηκε µε ένα ορισµένο κατώφλι στα σηµασιολογικά κριτήρια, ώστε να περιοριστεί η υπερεκτίµηση της επιτυχίας των jailbreaks και η υποεκτίµηση της ανθεκτικότητας των µοντέλων, όπως συχνά συµβαίνει µε τη δυαδική αξιολόγηση. Το πλαίσιο αξιολόγησης παρουσίασε ισχυρή συµφωνία µε την ανθρώπινη κρίση, επιτυγχάνοντας συντελεστή συσχέτισης Spearman ρ = 0.973 σε ένα αξιολογηµένο υποσύνολο. Τα αποτελέσµατα µας δείχνουν ότι προτροπές jailbreak που προσοµοιώνουν ρόλους ή εναλλακτικές ταυτότητες (“Opposite Mode” και “Sudo”) ήταν ιδιαίτερα αποτελεσµατικές. Μεταξύ των µοντέλων, τα LLaMA 3.1 και Krikri 8B επέδειξαν τη µεγαλύτερη ανθεκτικότητα, ενώ τα Aya και Gemma φάνηκαν πιο ευάλωτα σε επιθέσεις. Ενδιαφέρον παρουσιάζει η περίπτωση του Meltemi, ενός µοντέλου εκπαιδευµένου κυρίως στα ελληνικά χωρίς ειδική ευθυγράµµιση ασφάλειας, το οποίο εµφάνισε συγκριτικά χαµηλότερη ευαλωτότητα, αναδεικνύοντας τα πιθανά οφέλη της γλωσσικής ευθυγράµµισης. Η εργασία αυτή προσφέρει τόσο µια επεκτάσιµη µεθοδολογική προσέγγιση αξιολόγησης όσο και σηµαντικές εµπειρικές γνώσεις σχετικά µε την ασφάλεια των LLMs σε πολυγλωσσικά περιβάλλοντα.","abstract_html":"Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) ενσωµατώνονται όλο και περισσότερο σε διάφορους ευαίσθητους τοµείς, συνεπώς η ασφάλεια τους από jailbreak επιθέσεις παραµένει κρίσιµο ζήτηµα. Γι’αυτό τον λόγο, η παρούσα διπλωµατική εργασία αναπτύσσει ένα πλαίσιο αξιολόγησης και εξετάζει τις ευπάθειες απο τις jailbreak επιθέσεις σε πολυγλωσσικά LLMs, µε έµφαση στην ελληνική γλώσσα, ένα γλωσσικό περιβάλλον χαµηλών πόρων που έχει λάβει περιορισµένη προσοχή στην υπάρχουσα έρευνα. Προκειµένου να ξεπεραστούν οι περιορισµοί της δυαδικής αξιολόγησης, αναπτύχθηκε ένα νέο αυτοµατοποιηµένο πλαίσιο αξιολόγησης βασισµένο στο σχήµα LLM-as-Judge, ενσωµατώνοντας σηµασιολογικά κριτήρια άρνησης, εξειδίκευσης και επιβλαβούς περιεχοµένου. Το σύνολο δεδοµένων StrongReject µεταφράστηκε και προσαρµόστηκε στα ελληνικά, µε την ενσωµάτωση επιθετικών προτύπων jailbreak prompts. Πέντε πολυγλωσσικά LLMs, αποκαλούµενα ως victim models, υποβλήθηκαν σε αυτό το σύνολο δεδοµένων και οι αποκρίσεις τους αξιολογήθηκαν µέσω του GPT-4o, εντός ενός δοµηµένου σχήµατος προτροπής. Στη µελέτη αυτή χρησιµοποιήθηκε ο δείκτης ASR, ο οποίος τροποποιήθηκε µε ένα ορισµένο κατώφλι στα σηµασιολογικά κριτήρια, ώστε να περιοριστεί η υπερεκτίµηση της επιτυχίας των jailbreaks και η υποεκτίµηση της ανθεκτικότητας των µοντέλων, όπως συχνά συµβαίνει µε τη δυαδική αξιολόγηση. Το πλαίσιο αξιολόγησης παρουσίασε ισχυρή συµφωνία µε την ανθρώπινη κρίση, επιτυγχάνοντας συντελεστή συσχέτισης Spearman ρ = 0.973 σε ένα αξιολογηµένο υποσύνολο. Τα αποτελέσµατα µας δείχνουν ότι προτροπές jailbreak που προσοµοιώνουν ρόλους ή εναλλακτικές ταυτότητες (“Opposite Mode” και “Sudo”) ήταν ιδιαίτερα αποτελεσµατικές. Μεταξύ των µοντέλων, τα LLaMA 3.1 και Krikri 8B επέδειξαν τη µεγαλύτερη ανθεκτικότητα, ενώ τα Aya και Gemma φάνηκαν πιο ευάλωτα σε επιθέσεις. Ενδιαφέρον παρουσιάζει η περίπτωση του Meltemi, ενός µοντέλου εκπαιδευµένου κυρίως στα ελληνικά χωρίς ειδική ευθυγράµµιση ασφάλειας, το οποίο εµφάνισε συγκριτικά χαµηλότερη ευαλωτότητα, αναδεικνύοντας τα πιθανά οφέλη της γλωσσικής ευθυγράµµισης. Η εργασία αυτή προσφέρει τόσο µια επεκτάσιµη µεθοδολογική προσέγγιση αξιολόγησης όσο και σηµαντικές εµπειρικές γνώσεις σχετικά µε την ασφάλεια των LLMs σε πολυγλωσσικά περιβάλλοντα.","abstract_has_math":false,"creators":["Τσιαβή Ευανθία","Tsiavi Evanthia"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2025,"date_issued":"2025","date_published":"2025","updated_at":"2026-11-19T06:37:35Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5303139"],"render_values":[{"text":"uoadl:5303139","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5303139","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5303139","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5303139","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Τσιαβή Ευανθία","Tsiavi Evanthia"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2025"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5303139","https://pergamos.lib.uoa.gr/uoa/dl/object/5303139"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) ενσωµατώνονται όλο και περισσότερο σε διάφορους ευαίσθητους τοµείς, συνεπώς η ασφάλεια τους από jailbreak επιθέσεις παραµένει κρίσιµο ζήτηµα. Γι’αυτό τον λόγο, η παρούσα διπλωµατική εργασία αναπτύσσει ένα πλαίσιο αξιολόγησης και εξετάζει τις ευπάθειες απο τις jailbreak επιθέσεις σε πολυγλωσσικά LLMs, µε έµφαση στην ελληνική γλώσσα, ένα γλωσσικό περιβάλλον χαµηλών πόρων που έχει λάβει περιορισµένη προσοχή στην υπάρχουσα έρευνα. Προκειµένου να ξεπεραστούν οι περιορισµοί της δυαδικής αξιολόγησης, αναπτύχθηκε ένα νέο αυτοµατοποιηµένο πλαίσιο αξιολόγησης βασισµένο στο σχήµα LLM-as-Judge, ενσωµατώνοντας σηµασιολογικά κριτήρια άρνησης, εξειδίκευσης και επιβλαβούς περιεχοµένου. Το σύνολο δεδοµένων StrongReject µεταφράστηκε και προσαρµόστηκε στα ελληνικά, µε την ενσωµάτωση επιθετικών προτύπων jailbreak prompts. Πέντε πολυγλωσσικά LLMs, αποκαλούµενα ως victim models, υποβλήθηκαν σε αυτό το σύνολο δεδοµένων και οι αποκρίσεις τους αξιολογήθηκαν µέσω του GPT-4o, εντός ενός δοµηµένου σχήµατος προτροπής. Στη µελέτη αυτή χρησιµοποιήθηκε ο δείκτης ASR, ο οποίος τροποποιήθηκε µε ένα ορισµένο κατώφλι στα σηµασιολογικά κριτήρια, ώστε να περιοριστεί η υπερεκτίµηση της επιτυχίας των jailbreaks και η υποεκτίµηση της ανθεκτικότητας των µοντέλων, όπως συχνά συµβαίνει µε τη δυαδική αξιολόγηση. Το πλαίσιο αξιολόγησης παρουσίασε ισχυρή συµφωνία µε την ανθρώπινη κρίση, επιτυγχάνοντας συντελεστή συσχέτισης Spearman ρ = 0.973 σε ένα αξιολογηµένο υποσύνολο. Τα αποτελέσµατα µας δείχνουν ότι προτροπές jailbreak που προσοµοιώνουν ρόλους ή εναλλακτικές ταυτότητες (“Opposite Mode” και “Sudo”) ήταν ιδιαίτερα αποτελεσµατικές. Μεταξύ των µοντέλων, τα LLaMA 3.1 και Krikri 8B επέδειξαν τη µεγαλύτερη ανθεκτικότητα, ενώ τα Aya και Gemma φάνηκαν πιο ευάλωτα σε επιθέσεις. Ενδιαφέρον παρουσιάζει η περίπτωση του Meltemi, ενός µοντέλου εκπαιδευµένου κυρίως στα ελληνικά χωρίς ειδική ευθυγράµµιση ασφάλειας, το οποίο εµφάνισε συγκριτικά χαµηλότερη ευαλωτότητα, αναδεικνύοντας τα πιθανά οφέλη της γλωσσικής ευθυγράµµισης. Η εργασία αυτή προσφέρει τόσο µια επεκτάσιµη µεθοδολογική προσέγγιση αξιολόγησης όσο και σηµαντικές εµπειρικές γνώσεις σχετικά µε την ασφάλεια των LLMs σε πολυγλωσσικά περιβάλλοντα.","Large Language Models become more integrated into sensitive domains, hence their security and safety under adversarial conditions remain a critical concern. To this end, this thesis develops an evaluation framework and investigates the jailbreak vulnerabilities of multilingual LLMs with a focus on the Greek language, a low-resource linguistic setting that has received limited attention in previous research. In order to move beyond binary scoring, a novel automated evaluation framework based on the LLM-as-Judge paradigm was developed, incorporating semantic criteria for refusal, specificity, and harmfulness. The StrongReject benchmark was translated and adapted into Greek, with the integration of adversarial jailbreak prompt templates. Five multilingual LLMs, referred to as victim models, were subjected to this dataset, and their responses were evaluated using GPT-4o within a structured and scalable prompting pipeline. In this study, the ASR metric was used and refined with threshold-based criteria across the semantic dimensions to reduce overestimation of jailbreak success and possible underestimation of model robustness often observed in binary scoring. The evaluation framework demonstrated strong agreement with human judgment, achieving a Spearman correlation of ρ = 0.973 in a manually reviewed subset. Results showed that jailbreak prompts simulating role-playing or alternative identity scenarios (“Opposite Mode” and “Sudo”) were particularly effective. Among the models, LLaMA 3.1 and Krikri 8B displayed the highest robustness, while Aya and Gemma were more susceptible to attacks. Interestingly, Meltemi, a model trained primarily on Greek without targeted safety alignment, exhibited comparatively lower vulnerability, highlighting the potential benefits of linguistic alignment. This work offers both a scalable evaluation approach and important insights into multilingual LLM safety."]},{"key":"dc:title","label":"Title","values":["Safety of Large Language Models Against Jailbreaks in Greek: LLM-as-Judge Evaluation Framework"]}]}],"canonical_facts":{"dc:creator":["Τσιαβή Ευανθία","Tsiavi Evanthia"],"dc:date":["2025"],"dc:description":["Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) ενσωµατώνονται όλο και περισσότερο σε διάφορους ευαίσθητους τοµείς, συνεπώς η ασφάλεια τους από jailbreak επιθέσεις παραµένει κρίσιµο ζήτηµα. Γι’αυτό τον λόγο, η παρούσα διπλωµατική εργασία αναπτύσσει ένα πλαίσιο αξιολόγησης και εξετάζει τις ευπάθειες απο τις jailbreak επιθέσεις σε πολυγλωσσικά LLMs, µε έµφαση στην ελληνική γλώσσα, ένα γλωσσικό περιβάλλον χαµηλών πόρων που έχει λάβει περιορισµένη προσοχή στην υπάρχουσα έρευνα. Προκειµένου να ξεπεραστούν οι περιορισµοί της δυαδικής αξιολόγησης, αναπτύχθηκε ένα νέο αυτοµατοποιηµένο πλαίσιο αξιολόγησης βασισµένο στο σχήµα LLM-as-Judge, ενσωµατώνοντας σηµασιολογικά κριτήρια άρνησης, εξειδίκευσης και επιβλαβούς περιεχοµένου. Το σύνολο δεδοµένων StrongReject µεταφράστηκε και προσαρµόστηκε στα ελληνικά, µε την ενσωµάτωση επιθετικών προτύπων jailbreak prompts. Πέντε πολυγλωσσικά LLMs, αποκαλούµενα ως victim models, υποβλήθηκαν σε αυτό το σύνολο δεδοµένων και οι αποκρίσεις τους αξιολογήθηκαν µέσω του GPT-4o, εντός ενός δοµηµένου σχήµατος προτροπής. Στη µελέτη αυτή χρησιµοποιήθηκε ο δείκτης ASR, ο οποίος τροποποιήθηκε µε ένα ορισµένο κατώφλι στα σηµασιολογικά κριτήρια, ώστε να περιοριστεί η υπερεκτίµηση της επιτυχίας των jailbreaks και η υποεκτίµηση της ανθεκτικότητας των µοντέλων, όπως συχνά συµβαίνει µε τη δυαδική αξιολόγηση. Το πλαίσιο αξιολόγησης παρουσίασε ισχυρή συµφωνία µε την ανθρώπινη κρίση, επιτυγχάνοντας συντελεστή συσχέτισης Spearman ρ = 0.973 σε ένα αξιολογηµένο υποσύνολο. Τα αποτελέσµατα µας δείχνουν ότι προτροπές jailbreak που προσοµοιώνουν ρόλους ή εναλλακτικές ταυτότητες (“Opposite Mode” και “Sudo”) ήταν ιδιαίτερα αποτελεσµατικές. Μεταξύ των µοντέλων, τα LLaMA 3.1 και Krikri 8B επέδειξαν τη µεγαλύτερη ανθεκτικότητα, ενώ τα Aya και Gemma φάνηκαν πιο ευάλωτα σε επιθέσεις. Ενδιαφέρον παρουσιάζει η περίπτωση του Meltemi, ενός µοντέλου εκπαιδευµένου κυρίως στα ελληνικά χωρίς ειδική ευθυγράµµιση ασφάλειας, το οποίο εµφάνισε συγκριτικά χαµηλότερη ευαλωτότητα, αναδεικνύοντας τα πιθανά οφέλη της γλωσσικής ευθυγράµµισης. Η εργασία αυτή προσφέρει τόσο µια επεκτάσιµη µεθοδολογική προσέγγιση αξιολόγησης όσο και σηµαντικές εµπειρικές γνώσεις σχετικά µε την ασφάλεια των LLMs σε πολυγλωσσικά περιβάλλοντα.","Large Language Models become more integrated into sensitive domains, hence their security and safety under adversarial conditions remain a critical concern. To this end, this thesis develops an evaluation framework and investigates the jailbreak vulnerabilities of multilingual LLMs with a focus on the Greek language, a low-resource linguistic setting that has received limited attention in previous research. In order to move beyond binary scoring, a novel automated evaluation framework based on the LLM-as-Judge paradigm was developed, incorporating semantic criteria for refusal, specificity, and harmfulness. The StrongReject benchmark was translated and adapted into Greek, with the integration of adversarial jailbreak prompt templates. Five multilingual LLMs, referred to as victim models, were subjected to this dataset, and their responses were evaluated using GPT-4o within a structured and scalable prompting pipeline. In this study, the ASR metric was used and refined with threshold-based criteria across the semantic dimensions to reduce overestimation of jailbreak success and possible underestimation of model robustness often observed in binary scoring. The evaluation framework demonstrated strong agreement with human judgment, achieving a Spearman correlation of ρ = 0.973 in a manually reviewed subset. Results showed that jailbreak prompts simulating role-playing or alternative identity scenarios (“Opposite Mode” and “Sudo”) were particularly effective. Among the models, LLaMA 3.1 and Krikri 8B displayed the highest robustness, while Aya and Gemma were more susceptible to attacks. Interestingly, Meltemi, a model trained primarily on Greek without targeted safety alignment, exhibited comparatively lower vulnerability, highlighting the potential benefits of linguistic alignment. This work offers both a scalable evaluation approach and important insights into multilingual LLM safety."],"dc:identifier":["uoadl:5303139","https://pergamos.lib.uoa.gr/uoa/dl/object/5303139"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Safety of Large Language Models Against Jailbreaks in Greek: LLM-as-Judge Evaluation Framework"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:37:35Z"}