Back to search

National and Kapodistrian University of Athens

Cross-Field Extraction of Research Artifacts from Scientific Literature: A New Dataset and a Multi-Task Learning Model

Abstract

dc:description

Τα ερευνητικά τεκμήρια, το λογισμικό και τα σύνολα δεδομένων στα οποία στηρίζεται η επιστημονική εργασία, αναφέρονται κατά κανόνα στο κείμενο των επιστημονικών δημο- σιεύσεων αλλά σπάνια καταγράφονται σε δομημένη, μηχαναγνώσιμη μορφή. Η αυτόματη εξαγωγή τους θα υποστήριζε εργαλεία αναπαραγωγιμότητας, υποδομές δεδομένων FAIR, γράφους επιστημονικής γνώσης και μέτρα ερευνητικής επίδρασης που υπερβαίνουν την απλή καταμέτρηση αναφορών. Ωστόσο, τα υπάρχοντα σύνολα δεδομένων για το συγκε- κριμένο πρόβλημα περιορίζονται σε μεγάλο βαθμό στην πληροφορική, αφήνοντας ανοικτό το ερώτημα κατά πόσον τα μοντέλα που εκπαιδεύονται σε αυτά μεταφέρονται σε άλλους επιστημονικούς κλάδους. Η παρούσα διατριβή πραγματοποιεί δύο ισότιμες συνεισφορές. Πρώτον, παρουσιάζει το CrossRAA, ένα διεπιστημονικό σύνολο δεδομένων αναφοράς 5.072 επισημειωμένων περιπτώσεων αναφοράς σε ερευνητικά τεκμήρια (4.059 εκπαίδευσης / 506 ανάπτυξης / 507 ελέγχου), το οποίο καλύπτει τέσσερα επισημειωμένα επιστημονικά πεδία, πληροφο- ρική, κοινωνικές επιστήμες, βιοϊατρικές επιστήμες και βιολογία, και αξιολογείται ως τρεις ομάδες έπειτα από συνένωση των βιοϊατρικών επιστημών και της βιολογίας σε μία ενιαία ομάδα βιοεπιστημών, καθώς η βιολογία μόνη της συνεισφέρει μόλις 13 περιπτώσεις ελέγ- χου. Κάθε αναφορά φέρει το πλήρες σχήμα επισημείωσης Research Artifact Analysis ανά αναφορά (τύπος, εγκυρότητα, και, εφόσον η αναφορά είναι έγκυρη, όνομα, έκδοση, άδεια χρήσης, URL, ιδιοκτησία και χρήση). Το σύνολο δεδομένων επεκτείνει ένα προγενέστε- ρα δημοσιευμένο σύνολο δεδομένων στον τομέα της πληροφορικής και κατασκευάστηκε μέσω ροής επισημείωσης υποβοηθούμενης από μεγάλα γλωσσικά μοντέλα: δύο μεγά- λα γλωσσικά μοντέλα παρήγαγαν ανεξάρτητες υποψήφιες ετικέτες, διατηρήθηκαν μόνο οι αναφορές για τις οποίες τα δύο μοντέλα συμφώνησαν, και τρεις επισημειωτές, συμπερι- λαμβανομένων των συγγραφέων, επανεξέτασαν και οριστικοποίησαν τις εναπομείνασες ετικέτες. Η αποξένωση (disjointness) των συνόλων αξιολόγησης επιβάλλεται στο επίπεδο του επιλυμένου τεκμηρίου και όχι στο επίπεδο του ζεύγους (ενδεικτικού όρου, τεκμηρίου), καθώς γενικοί ενδεικτικοί όροι όπως «data» και «model» συνδέουν διαφορετικά τεκμήρια σε μία ενιαία συνεκτική συνιστώσα που καλύπτει περίπου το 75% του συνόλου δεδομέ- νων. Δεύτερον, παρουσιάζει έναν εξαγωγέα πολυεργασιακής μάθησης που εκπαιδεύει πλήρως έναν κοινό κωδικοποιητή SciBERT από άκρη σε άκρη και προβλέπει και τις οκτώ ιδιότητες του σχήματος από κοινού, με έναν καταρράκτη εγκυρότητας (validity cascade) που αναγκάζει τις έξι ιδιότητες μεταδεδομένων σε N/A όποτε μια αναφορά κρίνεται μη έγκυρη. Αξιολογούμε το μοντέλο στο σύνολο ελέγχου με αποξένωση σε επίπεδο τεκμηρίου και το συγκρίνουμε με τέσσερα κορυφαία γλωσσικά μοντέλα υπό συνθήκες few-shot. Ο εκπαιδευμένος εξαγωγέας επιτυγχάνει συνδυασμένο F1 0,756 ± 0,004 σε τρεις τυχαίους σπόρους (seeds), με διαβάθμιση μεταξύ πεδίων 5 μονάδων ως προς τις κοινωνικές επι- στήμες και 15,5 μονάδων ως προς τις βιοεπιστήμες, αφού εξαιρεθεί από τον μέσο όρο κάθε ιδιότητα της οποίας η στήριξη (support) ανά πεδίο υπολείπεται ενός κατωφλίου ερμηνευ- σιμότητας. Σε σύγκριση με τα γλωσσικά μοντέλα υπό χαλαρή βαθμολόγηση, ο εξαγωγέας είναι περίπου ισάξιος με το ισχυρότερο μοντέλο στην πληροφορική, αλλά υπερτερεί κατά 13 μονάδες στις κοινωνικές επιστήμες και κατά 7 στις βιοεπιστήμες, ενώ τα ίδια τα τέσσερα γλωσσικά μοντέλα βρίσκονται εντός εύρους τριών μονάδων μεταξύ τους παρά τη δεκατρι- πλάσια διαφορά στο κόστος συμπερασμού. Το σύνολο δεδομένων, ο διαχωρισμός και τα εκπαιδευμένα μοντέλα διατίθενται δημόσια προς υποστήριξη περαιτέρω έρευνας.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • ΒΟΡΛΟΟΥ ΦΩΤΙΟΣ
  • VORLOOU FOTIOS

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:5450964

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

ΒΟΡΛΟΟΥ ΦΩΤΙΟΣ; VORLOOU FOTIOS. Cross-Field Extraction of Research Artifacts from Scientific Literature: A New Dataset and a Multi-Task Learning Model. 2026. https://pergamos.lib.uoa.gr/uoa/dl/object/5450964