{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:5450964"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:5450964","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Cross-Field Extraction of Research Artifacts from Scientific Literature: A New Dataset and a Multi-Task Learning Model","abstract":"Τα ερευνητικά τεκμήρια, το λογισμικό και τα σύνολα δεδομένων στα οποία στηρίζεται η επιστημονική εργασία, αναφέρονται κατά κανόνα στο κείμενο των επιστημονικών δημο- σιεύσεων αλλά σπάνια καταγράφονται σε δομημένη, μηχαναγνώσιμη μορφή. Η αυτόματη εξαγωγή τους θα υποστήριζε εργαλεία αναπαραγωγιμότητας, υποδομές δεδομένων FAIR, γράφους επιστημονικής γνώσης και μέτρα ερευνητικής επίδρασης που υπερβαίνουν την απλή καταμέτρηση αναφορών. Ωστόσο, τα υπάρχοντα σύνολα δεδομένων για το συγκε- κριμένο πρόβλημα περιορίζονται σε μεγάλο βαθμό στην πληροφορική, αφήνοντας ανοικτό το ερώτημα κατά πόσον τα μοντέλα που εκπαιδεύονται σε αυτά μεταφέρονται σε άλλους επιστημονικούς κλάδους. Η παρούσα διατριβή πραγματοποιεί δύο ισότιμες συνεισφορές. Πρώτον, παρουσιάζει το CrossRAA, ένα διεπιστημονικό σύνολο δεδομένων αναφοράς 5.072 επισημειωμένων περιπτώσεων αναφοράς σε ερευνητικά τεκμήρια (4.059 εκπαίδευσης / 506 ανάπτυξης / 507 ελέγχου), το οποίο καλύπτει τέσσερα επισημειωμένα επιστημονικά πεδία, πληροφο- ρική, κοινωνικές επιστήμες, βιοϊατρικές επιστήμες και βιολογία, και αξιολογείται ως τρεις ομάδες έπειτα από συνένωση των βιοϊατρικών επιστημών και της βιολογίας σε μία ενιαία ομάδα βιοεπιστημών, καθώς η βιολογία μόνη της συνεισφέρει μόλις 13 περιπτώσεις ελέγ- χου. Κάθε αναφορά φέρει το πλήρες σχήμα επισημείωσης Research Artifact Analysis ανά αναφορά (τύπος, εγκυρότητα, και, εφόσον η αναφορά είναι έγκυρη, όνομα, έκδοση, άδεια χρήσης, URL, ιδιοκτησία και χρήση). Το σύνολο δεδομένων επεκτείνει ένα προγενέστε- ρα δημοσιευμένο σύνολο δεδομένων στον τομέα της πληροφορικής και κατασκευάστηκε μέσω ροής επισημείωσης υποβοηθούμενης από μεγάλα γλωσσικά μοντέλα: δύο μεγά- λα γλωσσικά μοντέλα παρήγαγαν ανεξάρτητες υποψήφιες ετικέτες, διατηρήθηκαν μόνο οι αναφορές για τις οποίες τα δύο μοντέλα συμφώνησαν, και τρεις επισημειωτές, συμπερι- λαμβανομένων των συγγραφέων, επανεξέτασαν και οριστικοποίησαν τις εναπομείνασες ετικέτες. Η αποξένωση (disjointness) των συνόλων αξιολόγησης επιβάλλεται στο επίπεδο του επιλυμένου τεκμηρίου και όχι στο επίπεδο του ζεύγους (ενδεικτικού όρου, τεκμηρίου), καθώς γενικοί ενδεικτικοί όροι όπως «data» και «model» συνδέουν διαφορετικά τεκμήρια σε μία ενιαία συνεκτική συνιστώσα που καλύπτει περίπου το 75% του συνόλου δεδομέ- νων. Δεύτερον, παρουσιάζει έναν εξαγωγέα πολυεργασιακής μάθησης που εκπαιδεύει πλήρως έναν κοινό κωδικοποιητή SciBERT από άκρη σε άκρη και προβλέπει και τις οκτώ ιδιότητες του σχήματος από κοινού, με έναν καταρράκτη εγκυρότητας (validity cascade) που αναγκάζει τις έξι ιδιότητες μεταδεδομένων σε N/A όποτε μια αναφορά κρίνεται μη έγκυρη. Αξιολογούμε το μοντέλο στο σύνολο ελέγχου με αποξένωση σε επίπεδο τεκμηρίου και το συγκρίνουμε με τέσσερα κορυφαία γλωσσικά μοντέλα υπό συνθήκες few-shot. Ο εκπαιδευμένος εξαγωγέας επιτυγχάνει συνδυασμένο F1 0,756 ± 0,004 σε τρεις τυχαίους σπόρους (seeds), με διαβάθμιση μεταξύ πεδίων 5 μονάδων ως προς τις κοινωνικές επι- στήμες και 15,5 μονάδων ως προς τις βιοεπιστήμες, αφού εξαιρεθεί από τον μέσο όρο κάθε ιδιότητα της οποίας η στήριξη (support) ανά πεδίο υπολείπεται ενός κατωφλίου ερμηνευ- σιμότητας. Σε σύγκριση με τα γλωσσικά μοντέλα υπό χαλαρή βαθμολόγηση, ο εξαγωγέας είναι περίπου ισάξιος με το ισχυρότερο μοντέλο στην πληροφορική, αλλά υπερτερεί κατά 13 μονάδες στις κοινωνικές επιστήμες και κατά 7 στις βιοεπιστήμες, ενώ τα ίδια τα τέσσερα γλωσσικά μοντέλα βρίσκονται εντός εύρους τριών μονάδων μεταξύ τους παρά τη δεκατρι- πλάσια διαφορά στο κόστος συμπερασμού. Το σύνολο δεδομένων, ο διαχωρισμός και τα εκπαιδευμένα μοντέλα διατίθενται δημόσια προς υποστήριξη περαιτέρω έρευνας.","abstract_html":"Τα ερευνητικά τεκμήρια, το λογισμικό και τα σύνολα δεδομένων στα οποία στηρίζεται η επιστημονική εργασία, αναφέρονται κατά κανόνα στο κείμενο των επιστημονικών δημο- σιεύσεων αλλά σπάνια καταγράφονται σε δομημένη, μηχαναγνώσιμη μορφή. Η αυτόματη εξαγωγή τους θα υποστήριζε εργαλεία αναπαραγωγιμότητας, υποδομές δεδομένων FAIR, γράφους επιστημονικής γνώσης και μέτρα ερευνητικής επίδρασης που υπερβαίνουν την απλή καταμέτρηση αναφορών. Ωστόσο, τα υπάρχοντα σύνολα δεδομένων για το συγκε- κριμένο πρόβλημα περιορίζονται σε μεγάλο βαθμό στην πληροφορική, αφήνοντας ανοικτό το ερώτημα κατά πόσον τα μοντέλα που εκπαιδεύονται σε αυτά μεταφέρονται σε άλλους επιστημονικούς κλάδους. Η παρούσα διατριβή πραγματοποιεί δύο ισότιμες συνεισφορές. Πρώτον, παρουσιάζει το CrossRAA, ένα διεπιστημονικό σύνολο δεδομένων αναφοράς 5.072 επισημειωμένων περιπτώσεων αναφοράς σε ερευνητικά τεκμήρια (4.059 εκπαίδευσης / 506 ανάπτυξης / 507 ελέγχου), το οποίο καλύπτει τέσσερα επισημειωμένα επιστημονικά πεδία, πληροφο- ρική, κοινωνικές επιστήμες, βιοϊατρικές επιστήμες και βιολογία, και αξιολογείται ως τρεις ομάδες έπειτα από συνένωση των βιοϊατρικών επιστημών και της βιολογίας σε μία ενιαία ομάδα βιοεπιστημών, καθώς η βιολογία μόνη της συνεισφέρει μόλις 13 περιπτώσεις ελέγ- χου. Κάθε αναφορά φέρει το πλήρες σχήμα επισημείωσης Research Artifact Analysis ανά αναφορά (τύπος, εγκυρότητα, και, εφόσον η αναφορά είναι έγκυρη, όνομα, έκδοση, άδεια χρήσης, URL, ιδιοκτησία και χρήση). Το σύνολο δεδομένων επεκτείνει ένα προγενέστε- ρα δημοσιευμένο σύνολο δεδομένων στον τομέα της πληροφορικής και κατασκευάστηκε μέσω ροής επισημείωσης υποβοηθούμενης από μεγάλα γλωσσικά μοντέλα: δύο μεγά- λα γλωσσικά μοντέλα παρήγαγαν ανεξάρτητες υποψήφιες ετικέτες, διατηρήθηκαν μόνο οι αναφορές για τις οποίες τα δύο μοντέλα συμφώνησαν, και τρεις επισημειωτές, συμπερι- λαμβανομένων των συγγραφέων, επανεξέτασαν και οριστικοποίησαν τις εναπομείνασες ετικέτες. Η αποξένωση (disjointness) των συνόλων αξιολόγησης επιβάλλεται στο επίπεδο του επιλυμένου τεκμηρίου και όχι στο επίπεδο του ζεύγους (ενδεικτικού όρου, τεκμηρίου), καθώς γενικοί ενδεικτικοί όροι όπως «data» και «model» συνδέουν διαφορετικά τεκμήρια σε μία ενιαία συνεκτική συνιστώσα που καλύπτει περίπου το 75% του συνόλου δεδομέ- νων. Δεύτερον, παρουσιάζει έναν εξαγωγέα πολυεργασιακής μάθησης που εκπαιδεύει πλήρως έναν κοινό κωδικοποιητή SciBERT από άκρη σε άκρη και προβλέπει και τις οκτώ ιδιότητες του σχήματος από κοινού, με έναν καταρράκτη εγκυρότητας (validity cascade) που αναγκάζει τις έξι ιδιότητες μεταδεδομένων σε N/A όποτε μια αναφορά κρίνεται μη έγκυρη. Αξιολογούμε το μοντέλο στο σύνολο ελέγχου με αποξένωση σε επίπεδο τεκμηρίου και το συγκρίνουμε με τέσσερα κορυφαία γλωσσικά μοντέλα υπό συνθήκες few-shot. Ο εκπαιδευμένος εξαγωγέας επιτυγχάνει συνδυασμένο F1 0,756 ± 0,004 σε τρεις τυχαίους σπόρους (seeds), με διαβάθμιση μεταξύ πεδίων 5 μονάδων ως προς τις κοινωνικές επι- στήμες και 15,5 μονάδων ως προς τις βιοεπιστήμες, αφού εξαιρεθεί από τον μέσο όρο κάθε ιδιότητα της οποίας η στήριξη (support) ανά πεδίο υπολείπεται ενός κατωφλίου ερμηνευ- σιμότητας. Σε σύγκριση με τα γλωσσικά μοντέλα υπό χαλαρή βαθμολόγηση, ο εξαγωγέας είναι περίπου ισάξιος με το ισχυρότερο μοντέλο στην πληροφορική, αλλά υπερτερεί κατά 13 μονάδες στις κοινωνικές επιστήμες και κατά 7 στις βιοεπιστήμες, ενώ τα ίδια τα τέσσερα γλωσσικά μοντέλα βρίσκονται εντός εύρους τριών μονάδων μεταξύ τους παρά τη δεκατρι- πλάσια διαφορά στο κόστος συμπερασμού. Το σύνολο δεδομένων, ο διαχωρισμός και τα εκπαιδευμένα μοντέλα διατίθενται δημόσια προς υποστήριξη περαιτέρω έρευνας.","abstract_has_math":false,"creators":["ΒΟΡΛΟΟΥ ΦΩΤΙΟΣ","VORLOOU FOTIOS"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2026,"date_issued":"2026","date_published":"2026","updated_at":"2026-11-19T05:20:46Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5450964"],"render_values":[{"text":"uoadl:5450964","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5450964","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/5450964","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A5450964","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["ΒΟΡΛΟΟΥ ΦΩΤΙΟΣ","VORLOOU FOTIOS"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2026"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:5450964","https://pergamos.lib.uoa.gr/uoa/dl/object/5450964"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Τα ερευνητικά τεκμήρια, το λογισμικό και τα σύνολα δεδομένων στα οποία στηρίζεται η επιστημονική εργασία, αναφέρονται κατά κανόνα στο κείμενο των επιστημονικών δημο- σιεύσεων αλλά σπάνια καταγράφονται σε δομημένη, μηχαναγνώσιμη μορφή. Η αυτόματη εξαγωγή τους θα υποστήριζε εργαλεία αναπαραγωγιμότητας, υποδομές δεδομένων FAIR, γράφους επιστημονικής γνώσης και μέτρα ερευνητικής επίδρασης που υπερβαίνουν την απλή καταμέτρηση αναφορών. Ωστόσο, τα υπάρχοντα σύνολα δεδομένων για το συγκε- κριμένο πρόβλημα περιορίζονται σε μεγάλο βαθμό στην πληροφορική, αφήνοντας ανοικτό το ερώτημα κατά πόσον τα μοντέλα που εκπαιδεύονται σε αυτά μεταφέρονται σε άλλους επιστημονικούς κλάδους. Η παρούσα διατριβή πραγματοποιεί δύο ισότιμες συνεισφορές. Πρώτον, παρουσιάζει το CrossRAA, ένα διεπιστημονικό σύνολο δεδομένων αναφοράς 5.072 επισημειωμένων περιπτώσεων αναφοράς σε ερευνητικά τεκμήρια (4.059 εκπαίδευσης / 506 ανάπτυξης / 507 ελέγχου), το οποίο καλύπτει τέσσερα επισημειωμένα επιστημονικά πεδία, πληροφο- ρική, κοινωνικές επιστήμες, βιοϊατρικές επιστήμες και βιολογία, και αξιολογείται ως τρεις ομάδες έπειτα από συνένωση των βιοϊατρικών επιστημών και της βιολογίας σε μία ενιαία ομάδα βιοεπιστημών, καθώς η βιολογία μόνη της συνεισφέρει μόλις 13 περιπτώσεις ελέγ- χου. Κάθε αναφορά φέρει το πλήρες σχήμα επισημείωσης Research Artifact Analysis ανά αναφορά (τύπος, εγκυρότητα, και, εφόσον η αναφορά είναι έγκυρη, όνομα, έκδοση, άδεια χρήσης, URL, ιδιοκτησία και χρήση). Το σύνολο δεδομένων επεκτείνει ένα προγενέστε- ρα δημοσιευμένο σύνολο δεδομένων στον τομέα της πληροφορικής και κατασκευάστηκε μέσω ροής επισημείωσης υποβοηθούμενης από μεγάλα γλωσσικά μοντέλα: δύο μεγά- λα γλωσσικά μοντέλα παρήγαγαν ανεξάρτητες υποψήφιες ετικέτες, διατηρήθηκαν μόνο οι αναφορές για τις οποίες τα δύο μοντέλα συμφώνησαν, και τρεις επισημειωτές, συμπερι- λαμβανομένων των συγγραφέων, επανεξέτασαν και οριστικοποίησαν τις εναπομείνασες ετικέτες. Η αποξένωση (disjointness) των συνόλων αξιολόγησης επιβάλλεται στο επίπεδο του επιλυμένου τεκμηρίου και όχι στο επίπεδο του ζεύγους (ενδεικτικού όρου, τεκμηρίου), καθώς γενικοί ενδεικτικοί όροι όπως «data» και «model» συνδέουν διαφορετικά τεκμήρια σε μία ενιαία συνεκτική συνιστώσα που καλύπτει περίπου το 75% του συνόλου δεδομέ- νων. Δεύτερον, παρουσιάζει έναν εξαγωγέα πολυεργασιακής μάθησης που εκπαιδεύει πλήρως έναν κοινό κωδικοποιητή SciBERT από άκρη σε άκρη και προβλέπει και τις οκτώ ιδιότητες του σχήματος από κοινού, με έναν καταρράκτη εγκυρότητας (validity cascade) που αναγκάζει τις έξι ιδιότητες μεταδεδομένων σε N/A όποτε μια αναφορά κρίνεται μη έγκυρη. Αξιολογούμε το μοντέλο στο σύνολο ελέγχου με αποξένωση σε επίπεδο τεκμηρίου και το συγκρίνουμε με τέσσερα κορυφαία γλωσσικά μοντέλα υπό συνθήκες few-shot. Ο εκπαιδευμένος εξαγωγέας επιτυγχάνει συνδυασμένο F1 0,756 ± 0,004 σε τρεις τυχαίους σπόρους (seeds), με διαβάθμιση μεταξύ πεδίων 5 μονάδων ως προς τις κοινωνικές επι- στήμες και 15,5 μονάδων ως προς τις βιοεπιστήμες, αφού εξαιρεθεί από τον μέσο όρο κάθε ιδιότητα της οποίας η στήριξη (support) ανά πεδίο υπολείπεται ενός κατωφλίου ερμηνευ- σιμότητας. Σε σύγκριση με τα γλωσσικά μοντέλα υπό χαλαρή βαθμολόγηση, ο εξαγωγέας είναι περίπου ισάξιος με το ισχυρότερο μοντέλο στην πληροφορική, αλλά υπερτερεί κατά 13 μονάδες στις κοινωνικές επιστήμες και κατά 7 στις βιοεπιστήμες, ενώ τα ίδια τα τέσσερα γλωσσικά μοντέλα βρίσκονται εντός εύρους τριών μονάδων μεταξύ τους παρά τη δεκατρι- πλάσια διαφορά στο κόστος συμπερασμού. Το σύνολο δεδομένων, ο διαχωρισμός και τα εκπαιδευμένα μοντέλα διατίθενται δημόσια προς υποστήριξη περαιτέρω έρευνας.","Research artifacts, the software and datasets that scientific work is built on, are routinely named in the prose of scientific papers but seldom recorded in a structured, machine-readable form. Extracting them automatically would support reproducibility tooling, FAIR-data infrastructure, scientific knowledge graphs, and measures of research impact that go beyond citation counts. Existing resources for this task are, however, largely confined to computer science, leaving open whether models trained on them transfer to other disciplines. This thesis makes two contributions of equal standing. First, we present CrossRAA, a cross-field gold-standard corpus of 5,072 annotated research-artifact-mention instances (4,059 training, 506 development, 507 test) spanning four annotated fields of science, computer science, the social sciences, biomedical science, and biology, evaluated as three groups after merging biomedical science and biology into a single life-sciences group, since biology alone contributes only 13 test instances. Every mention carries the full per-mention Research Artifact Analysis schema (type, validity, and, where the mention is valid, name, version, licence, URL, ownership, and usage). The dataset extends a previously published computer-science resource and was constructed through an LLM-assisted annotation workflow in which two large language models produced independent candidate labels, only the mentions on which they agreed were retained, and three annotators, including the author of this thesis, reviewed and finalised the surviving labels. Evaluation disjointness is enforced at the level of the resolved artifact, not the (trigger, artifact) pair, since generic triggers such as “data” and “model” otherwise chain unrelated artifacts into a single connected component covering roughly three-quarters of the corpus. Second, we present a multi-task extractor that fine-tunes a shared SciBERT encoder end to end and predicts all eight schema properties jointly, with a validity cascade that forces the six metadata properties to N/A whenever a mention is judged invalid. We evaluate the model on the artifact-disjoint test split and compare it against four few-shot frontier large language models. The fine-tuned extractor reaches a combined F1 of 0.756 ± 0.004 over three seeds, with a cross-field gradient of five points to the social sciences and fifteen and a half to the life sciences once every head whose per-field gold support falls below an interpretability threshold is excluded from the mean. Against the language models under relaxed scoring, the extractor is roughly level with the strongest model on computer science but leads by thirteen points on the social sciences and seven on the life sciences, while the four language models themselves fall within a three-point band of each other despite a thirteenfold spread in inference cost.The dataset, the split, and the trained checkpoints are released to support further work."]},{"key":"dc:title","label":"Title","values":["Cross-Field Extraction of Research Artifacts from Scientific Literature: A New Dataset and a Multi-Task Learning Model"]}]}],"canonical_facts":{"dc:creator":["ΒΟΡΛΟΟΥ ΦΩΤΙΟΣ","VORLOOU FOTIOS"],"dc:date":["2026"],"dc:description":["Τα ερευνητικά τεκμήρια, το λογισμικό και τα σύνολα δεδομένων στα οποία στηρίζεται η επιστημονική εργασία, αναφέρονται κατά κανόνα στο κείμενο των επιστημονικών δημο- σιεύσεων αλλά σπάνια καταγράφονται σε δομημένη, μηχαναγνώσιμη μορφή. Η αυτόματη εξαγωγή τους θα υποστήριζε εργαλεία αναπαραγωγιμότητας, υποδομές δεδομένων FAIR, γράφους επιστημονικής γνώσης και μέτρα ερευνητικής επίδρασης που υπερβαίνουν την απλή καταμέτρηση αναφορών. Ωστόσο, τα υπάρχοντα σύνολα δεδομένων για το συγκε- κριμένο πρόβλημα περιορίζονται σε μεγάλο βαθμό στην πληροφορική, αφήνοντας ανοικτό το ερώτημα κατά πόσον τα μοντέλα που εκπαιδεύονται σε αυτά μεταφέρονται σε άλλους επιστημονικούς κλάδους. Η παρούσα διατριβή πραγματοποιεί δύο ισότιμες συνεισφορές. Πρώτον, παρουσιάζει το CrossRAA, ένα διεπιστημονικό σύνολο δεδομένων αναφοράς 5.072 επισημειωμένων περιπτώσεων αναφοράς σε ερευνητικά τεκμήρια (4.059 εκπαίδευσης / 506 ανάπτυξης / 507 ελέγχου), το οποίο καλύπτει τέσσερα επισημειωμένα επιστημονικά πεδία, πληροφο- ρική, κοινωνικές επιστήμες, βιοϊατρικές επιστήμες και βιολογία, και αξιολογείται ως τρεις ομάδες έπειτα από συνένωση των βιοϊατρικών επιστημών και της βιολογίας σε μία ενιαία ομάδα βιοεπιστημών, καθώς η βιολογία μόνη της συνεισφέρει μόλις 13 περιπτώσεις ελέγ- χου. Κάθε αναφορά φέρει το πλήρες σχήμα επισημείωσης Research Artifact Analysis ανά αναφορά (τύπος, εγκυρότητα, και, εφόσον η αναφορά είναι έγκυρη, όνομα, έκδοση, άδεια χρήσης, URL, ιδιοκτησία και χρήση). Το σύνολο δεδομένων επεκτείνει ένα προγενέστε- ρα δημοσιευμένο σύνολο δεδομένων στον τομέα της πληροφορικής και κατασκευάστηκε μέσω ροής επισημείωσης υποβοηθούμενης από μεγάλα γλωσσικά μοντέλα: δύο μεγά- λα γλωσσικά μοντέλα παρήγαγαν ανεξάρτητες υποψήφιες ετικέτες, διατηρήθηκαν μόνο οι αναφορές για τις οποίες τα δύο μοντέλα συμφώνησαν, και τρεις επισημειωτές, συμπερι- λαμβανομένων των συγγραφέων, επανεξέτασαν και οριστικοποίησαν τις εναπομείνασες ετικέτες. Η αποξένωση (disjointness) των συνόλων αξιολόγησης επιβάλλεται στο επίπεδο του επιλυμένου τεκμηρίου και όχι στο επίπεδο του ζεύγους (ενδεικτικού όρου, τεκμηρίου), καθώς γενικοί ενδεικτικοί όροι όπως «data» και «model» συνδέουν διαφορετικά τεκμήρια σε μία ενιαία συνεκτική συνιστώσα που καλύπτει περίπου το 75% του συνόλου δεδομέ- νων. Δεύτερον, παρουσιάζει έναν εξαγωγέα πολυεργασιακής μάθησης που εκπαιδεύει πλήρως έναν κοινό κωδικοποιητή SciBERT από άκρη σε άκρη και προβλέπει και τις οκτώ ιδιότητες του σχήματος από κοινού, με έναν καταρράκτη εγκυρότητας (validity cascade) που αναγκάζει τις έξι ιδιότητες μεταδεδομένων σε N/A όποτε μια αναφορά κρίνεται μη έγκυρη. Αξιολογούμε το μοντέλο στο σύνολο ελέγχου με αποξένωση σε επίπεδο τεκμηρίου και το συγκρίνουμε με τέσσερα κορυφαία γλωσσικά μοντέλα υπό συνθήκες few-shot. Ο εκπαιδευμένος εξαγωγέας επιτυγχάνει συνδυασμένο F1 0,756 ± 0,004 σε τρεις τυχαίους σπόρους (seeds), με διαβάθμιση μεταξύ πεδίων 5 μονάδων ως προς τις κοινωνικές επι- στήμες και 15,5 μονάδων ως προς τις βιοεπιστήμες, αφού εξαιρεθεί από τον μέσο όρο κάθε ιδιότητα της οποίας η στήριξη (support) ανά πεδίο υπολείπεται ενός κατωφλίου ερμηνευ- σιμότητας. Σε σύγκριση με τα γλωσσικά μοντέλα υπό χαλαρή βαθμολόγηση, ο εξαγωγέας είναι περίπου ισάξιος με το ισχυρότερο μοντέλο στην πληροφορική, αλλά υπερτερεί κατά 13 μονάδες στις κοινωνικές επιστήμες και κατά 7 στις βιοεπιστήμες, ενώ τα ίδια τα τέσσερα γλωσσικά μοντέλα βρίσκονται εντός εύρους τριών μονάδων μεταξύ τους παρά τη δεκατρι- πλάσια διαφορά στο κόστος συμπερασμού. Το σύνολο δεδομένων, ο διαχωρισμός και τα εκπαιδευμένα μοντέλα διατίθενται δημόσια προς υποστήριξη περαιτέρω έρευνας.","Research artifacts, the software and datasets that scientific work is built on, are routinely named in the prose of scientific papers but seldom recorded in a structured, machine-readable form. Extracting them automatically would support reproducibility tooling, FAIR-data infrastructure, scientific knowledge graphs, and measures of research impact that go beyond citation counts. Existing resources for this task are, however, largely confined to computer science, leaving open whether models trained on them transfer to other disciplines. This thesis makes two contributions of equal standing. First, we present CrossRAA, a cross-field gold-standard corpus of 5,072 annotated research-artifact-mention instances (4,059 training, 506 development, 507 test) spanning four annotated fields of science, computer science, the social sciences, biomedical science, and biology, evaluated as three groups after merging biomedical science and biology into a single life-sciences group, since biology alone contributes only 13 test instances. Every mention carries the full per-mention Research Artifact Analysis schema (type, validity, and, where the mention is valid, name, version, licence, URL, ownership, and usage). The dataset extends a previously published computer-science resource and was constructed through an LLM-assisted annotation workflow in which two large language models produced independent candidate labels, only the mentions on which they agreed were retained, and three annotators, including the author of this thesis, reviewed and finalised the surviving labels. Evaluation disjointness is enforced at the level of the resolved artifact, not the (trigger, artifact) pair, since generic triggers such as “data” and “model” otherwise chain unrelated artifacts into a single connected component covering roughly three-quarters of the corpus. Second, we present a multi-task extractor that fine-tunes a shared SciBERT encoder end to end and predicts all eight schema properties jointly, with a validity cascade that forces the six metadata properties to N/A whenever a mention is judged invalid. We evaluate the model on the artifact-disjoint test split and compare it against four few-shot frontier large language models. The fine-tuned extractor reaches a combined F1 of 0.756 ± 0.004 over three seeds, with a cross-field gradient of five points to the social sciences and fifteen and a half to the life sciences once every head whose per-field gold support falls below an interpretability threshold is excluded from the mean. Against the language models under relaxed scoring, the extractor is roughly level with the strongest model on computer science but leads by thirteen points on the social sciences and seven on the life sciences, while the four language models themselves fall within a three-point band of each other despite a thirteenfold spread in inference cost.The dataset, the split, and the trained checkpoints are released to support further work."],"dc:identifier":["uoadl:5450964","https://pergamos.lib.uoa.gr/uoa/dl/object/5450964"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Cross-Field Extraction of Research Artifacts from Scientific Literature: A New Dataset and a Multi-Task Learning Model"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:20:46Z"}