Back to search

National and Kapodistrian University of Athens

Management of Scientific Analysis and Simulation workflows over High Performance Computing systems

Abstract

dc:description

Την τελευταία δεκαετία, οι ερευνητικές κοινότητες αναζητούν τρόπους αντιμετώπισης πολύπλοκων επιστημονικών προβλημάτων αξιοποιώντας τη δύναμη των Υπολογιστικών υποδομών Υψηλής Απόδοσης (ΥΥΑ). Πολλές από αυτές τις κοινότητες ανήκουν στον τομέα των Επιστημών Ζωής, από τη βιοπληροφορική και την ιατρική, μέχρι τη νευροεπιστήμη και την έρευνα του εγκεφάλου. Τα περισσότερα σύγχρονα επιστημονικά προβλήματα απαιτούν ισχυρές υπολογιστικές υποδομές που μπορούν να χειριστούν το φορτίο, την πολυπλοκότητα, τη χρονοβόρα εκτέλεση υπολογιστικών εργασιών και τα μεγάλα δεδομένα που παράγονται. Αυτές οι ισχυρές υποδομές αποτελούνται από συστήματα ΥΥΑ με κλιμακωτούς υπολογιστικούς, δικτυακούς πόρους και αποθήκευση που επιτρέπουν την ανάλυση, προσομοίωση και εκτέλεση πολύπλοκων εργασιών. Οι ΥΥΑ προσφέρονται από Ευρωπαϊκές Ερευνητικές Υποδομές σε Ευρωπαίους επιστήμονες και ερευνητές ώστε να συνδράμουν στην Ανοιχτή έρευνα, επιστήμη και καινοτομία. Όλο και περισσότερες ερευνητικές κοινότητες δημιουργούν, διαχειρίζονται και μοιράζονται πολύπλοκες επιστημονικές ροές εργασίας με αυτοματοποιημένο, φιλικό προς το χρήστη τρόπο, ενώ χρησιμοποιούν συστήματα ΥΥΑ για την εκτέλεσή τους. Προχωρώντας προς την Ανοικτή Επιστήμη, η αυτοματοποίηση των επιστημονικών ροών εργασίας δεν είναι αρκετή. Προκειμένου να υπάρχουν αναπαράξιμες επιστημονικές ροές, οι επιστήμονες πρέπει να περιγράφουν ροές εργασίας με μια κοινή και τυπική μορφή. Αυτό προσφέρει χαρακτηριστικά όπως φορητότητα, επεκτασιμότητα και προσβασιμότητα. Επιπλέον, επιτρέπεται η άμεση χρήση μεθόδων και δεδομένων ως έχουν ή ως είσοδος σε άλλες επιστημονικές ροές εργασίας. Στην παρούσα διπλωματική εργασία, εστιάζουμε στην ψηφιακή Ευρωπαϊκή Ερευνητική Υποδομή EBRAINS, που ειδικεύεται στη νευροεπιστήμη του εγκεφάλου, ένα από τα πιο φιλόδοξα και σημαντικά πεδία έρευνας που αποτελεί προτεραιότητα για την Ευρώπη πάνω από μια δεκαετία, προσφέροντας εργαλεία, υπηρεσίες και δεδομένα στους χρήστες της. Η υποκείμενη υπολογιστική υποδομή, το FENIX ICEI, παρέχει μια πληθώρα υπηρεσιών ΥΥΑ, που κυμαίνονται από κλιμακώσιμη και διαδραστική υπολογιστική, έως εικονικές μηχανές και υπηρεσίες αποθήκευσης δεδομένων υψηλής απόδοσης. Μέσα από μια εκτενή έρευνα, καταγράψαμε τεχνολογίες αιχμής συστημάτων ΥΥΑ, επικεντρώνοντας την προσοχή μας στην παρούσα αρχιτεκτονική τους. Επίσης, συγκεντρώσαμε διαφορετικούς τρόπους αναπαράστασης επιστημονικών ροών εργασίας που είναι άρρηκτα συνδεδεμένοι με τα λογισμικά στα οποία εκτελούνται. Τέλος, παρουσιάσαμε τρόπους προτυποποιημένης μοντελοποίησης και εκτέλεσης συγγραφής επιστημονικών ροών εργασιών επικεντρώνοντας το ενδιαφέρον μας σε ερευνητικές κοινότητες γύρω από τις Επιστήμη Ζωής. Στη συνέχεια, αναλύσαμε και αξιολογήσαμε τις ειδικές ανάγκες των χρηστών της υποδομής EBRAINS. Συγκεντρώσαμε τι μπορούν να κάνουν οι χρήστες στην παρούσα χρονική στιγμή, ποιες είναι οι απαιτήσεις τους και πως αυτές μπορούν να ικανοποιηθούν. Η παρούσα διπλωματική εργασία έχει στόχο την δημιουργία ενός πιλοτικού συστήματος διαχείρισης ροής εργασιών για την υποδομή EBRAINS. Η προσέγγισή μας στην διπλωματική εργασία αυτή βασίστηκε σε τέσσερις πυλώνες: • Αρχικά, επιλέξαμε την Common Workflow Language (CWL), ένα ανοικτό πρότυπο για τον ορισμό τόσο των ροών εργασίας, όσο και των EBRAINS εργαλείων. Η CWL προσφέρει φορητότητα και αποσυνδέει την περιγραφή ροών εργασίας από τα περιβάλλοντα εκτέλεσης. Οι χρήστες της EBRAINS υποδομής θα χρησιμοποιούν την CWL για την συγγραφή των επιστημονικών ροών εργασιών και των EBRAINS εργαλείων.• Στη συνέχεια, πακετάραμε (containarised) EBRAINS εργαλεία με τις απαιτούμενες βιβλιοθήκες, εξαρτήσεις και δυαδικά αρχεία. Με τον τρόπο αυτό τα EBRAINS εργαλεία μπορούν να χρησιμοποιηθούν ως βήματα σε ροές εργασιών, ενισχύοντας σημαντικά τη διαλειτουργικότητα και τη φορητότητα. Οι χρήστες της EBRAINS υποδομής θα πακετάρουν με τον ίδιο τρόπο τα δικά τους εργαλεία, ώστε αυτά να μπορούν να χρησιμοποιηθούν από άλλους στη συγγραφή δικών τους επιστημονικών ροών. • Επιπλέον, εγκαταστήσαμε ένα πλήθος διαφορετικών μηχανών για υποβολή και παρακολούθηση ροών δεδομένων στις ΥΥΑ του EBRAINS και επιλέξαμε αυτές που ικανοποιούν με το βέλτιστο τρόπο τις επιστημονικές και τεχνικές απαιτήσεις του EBRAINS. Οι χρήστες της EBRAINS υποδομής θα χρησιμοποιούν τη Διεπαφή Γραμμής Εντολών (ΔΓΕ) για την υποβολή και παρακολούθηση των επιστημονικών ροών εργασίας τους. • Επίσης, προτείναμε να υπάρξει ένα αποθετήριο στην EBRAINS υποδομή ώστε οι επιστήμονες της υποδομής να βρίσκουν και αποθηκεύουν εύκολα τις επιστημονικές ροές δεδομένων. Στα πλαίσια της παρούσας διπλωματικής εργασία σχεδιάσαμε τον τρόπο απεικόνισης ενός τέτοιου αποθετηρίου έχοντας ως βάση την ήδη υπάρχουσα EBRAINS υπηρεσία (Knowledge Graph). Επόμενο βήμα και εκτός της παρούσας διπλωματικής εργασίας θα είναι η ενσωμάτωση του αποθετηρίου με το EBRAINS Knowledge Graph σύμφωνα με τις τεχνικές απαιτήσεις που θα υπάρχουν για ένα ολοκληρωμένο σύστημα διαχείρισης ροών εργασίας. • Τέλος, προτείναμε να δημιουργηθεί ένα γραφικό περιβάλλον διεπαφής χρήστη (ΠΔΧ) στο οποίο οι χρήστες της υποδομής να μπορούν να υποβάλλουν, παρακολουθούν και παραμετροποιούν τις επιστημονικές ροές δεδομένων. Σε αυτή τη διπλωματική σχεδιάσαμε πως θα απεικονίζεται η διεπαφή με τεχνικές υψηλής πιστότητας. Στο μέλλον και εκτός του πλαισίου της παρούσας διπλωματικής, θα πραγματοποιηθεί η υλοποίηση μιας τέτοιας διεπαφής. Οι χρήστες της EBRAINS υποδομής θα χρησιμοποιούν την διεπαφή αυτή αντί της ΔΓΕ για ένα πιο εύχρηστο και φιλικό προς εκείνους περιβάλλον. Η πραγματική εκτέλεση των επιστημονικών ροών γίνεται στην υποκείμενη ΥΥΑ υποδομή FENIX ICEI με εναν διάφανο για τους EBRAINS χρήστες όπως ακριβώς και με τη χρήση της ΔΓΕ.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Καρβουνάρη Σοφία
  • Karvounari Sofia

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:3222606

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Καρβουνάρη Σοφία; Karvounari Sofia. Management of Scientific Analysis and Simulation workflows over High Performance Computing systems. 2022. https://pergamos.lib.uoa.gr/uoa/dl/object/3222606