{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3450619"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3450619","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Dataflow Representation, Model Inspection and Explainability in ML Pipelines","abstract":"Το MLInspect [1] είναι ένα εργαλείο εντοπισμού σφαλμάτων που έχει σχεδιαστεί για αγω- γούς επιστήμης δεδομένων. Εντοπίζει ζητήματα που σχετίζονται με διαρροές δεδομένων, ακούσιους μετασχηματισμούς δεδομένων και αλλαγές διανομής σε αγωγούς ML επιθε- ωρώντας αυτόματα τις ροές δεδομένων τους. Αυτό το εργαλείο δημιουργεί το Directed Acyclic Graph (DAG), το οποίο επιτρέπει στους χρήστες του να εξετάζουν όλα τα στάδια της επεξεργασίας ή της εκπαίδευσης του αγωγού. Μπορεί, επίσης, να παρακολουθήσει τους αγωγούς επιστήμης δεδομένων ακόμη και τη στιγμή που δεν λειτουργούν σωστά, καθώς και να τα επιδιορθώνει. Συγκεκριμένοι κόμβοι του DAG μπορούν να έχουν επιθεω- ρήσεις που συνδέονται με αυτούς, ώστε να μπορούν να εντοπιστούν και να διαγνωστούν τυχόν προβλήματα σε σχετικά τους σημεία. Το τελευταίο μπορεί είτε να προκαθοριστεί είτε να προσαρμοστεί λαμβάνοντας υπόψη τις απαιτήσεις αυτού του είδους αγωγού. Οι χρή- στες μπορούν να ορίσουν προσαρμοσμένες επιθεωρήσεις και να επεκτείνουν το εργαλείο ώστε να ανταποκρίνεται στις συγκεκριμένες απαιτήσεις τους. Αυτό καθιστά το MLInspect ένα ευέλικτο εργαλείο για ένα ευρύ φάσμα εργασιών εντοπισμού σφαλμάτων και παρακο- λούθησης. Η Εξηγήσιμη Τεχνητή Νοημοσύνη (XAI) είναι μια συλλογή μεθόδων και διαδικασιών που επιτρέπουν στους ανθρώπινους χρήστες να κατανοούν και να έχουν εμπιστοσύνη στα α- ποτελέσματα των αλγορίθμων μηχανικής μάθησης. Η XAI βοηθά στην περιγραφή ενός μοντέλου τεχνητής νοημοσύνης, των επιπτώσεών του και των πιθανών προκαταλήψεων, διασφαλίζοντας ακρίβεια, δικαιοσύνη, διαφάνεια και αξιόπιστη λήψη αποφάσεων. Υπάρ- χουν διάφοροι τρόποι ερμηνείας ενός μοντέλου μηχανικής μάθησης. Αυτοί περιλαμβανο- μένουν το LIME, SHAP, Integrated Gradients, ALE, ICE κ.λπ. Ο καθένας έχει τη δυνατό- τητα να δώσει διαφορετικά αποτελέσματα σχετικά με το εν λόγω μοντέλο. Επομένως, θα πρέπει να χρησιμοποιούνται λαμβάνοντας υπόψη τα διαφορετικά στάδια εγκατάστασης που μπορεί να υπάρξουν σε έναν ML αγωγό. Αυτή η διατριβή ενισχύει το MLInspect ενσωματώνοντας χαρακτηριστικά επεξηγηματικό- τητας. Εφαρμόζει μεθόδους όπως LIME, SHAP και άλλες, κάποιοι αναφέρονται και πα- ραπάνω, σε ένα Directed Acyclic Graph (DAG) για οπτικοποίηση. Επιπλέον, διατηρεί εκπαιδευμένα μοντέλα στην DAG, διευκολύνοντας τις μετέπειτα επιθεωρήσεις. Όταν ε- νεργοποιείται, μια νέα επιθεώρηση ανακτά την εικόνα του μοντέλου από το DAG και ε- κτελεί μεθόδους επεξήγησης, αποθηκεύοντας τα αποτελέσματα παράλληλα με τον κόμβο του μοντέλου. Αυτή η δομημένη προσέγγιση επιτρέπει την απρόσκοπτη ενσωμάτωση της επεξήγησης στον εντοπισμό σφαλμάτων, βελτιώνοντας την κατανόηση των μοντέλων μηχανικής μάθησης.","abstract_html":"Το MLInspect [1] είναι ένα εργαλείο εντοπισμού σφαλμάτων που έχει σχεδιαστεί για αγω- γούς επιστήμης δεδομένων. Εντοπίζει ζητήματα που σχετίζονται με διαρροές δεδομένων, ακούσιους μετασχηματισμούς δεδομένων και αλλαγές διανομής σε αγωγούς ML επιθε- ωρώντας αυτόματα τις ροές δεδομένων τους. Αυτό το εργαλείο δημιουργεί το Directed Acyclic Graph (DAG), το οποίο επιτρέπει στους χρήστες του να εξετάζουν όλα τα στάδια της επεξεργασίας ή της εκπαίδευσης του αγωγού. Μπορεί, επίσης, να παρακολουθήσει τους αγωγούς επιστήμης δεδομένων ακόμη και τη στιγμή που δεν λειτουργούν σωστά, καθώς και να τα επιδιορθώνει. Συγκεκριμένοι κόμβοι του DAG μπορούν να έχουν επιθεω- ρήσεις που συνδέονται με αυτούς, ώστε να μπορούν να εντοπιστούν και να διαγνωστούν τυχόν προβλήματα σε σχετικά τους σημεία. Το τελευταίο μπορεί είτε να προκαθοριστεί είτε να προσαρμοστεί λαμβάνοντας υπόψη τις απαιτήσεις αυτού του είδους αγωγού. Οι χρή- στες μπορούν να ορίσουν προσαρμοσμένες επιθεωρήσεις και να επεκτείνουν το εργαλείο ώστε να ανταποκρίνεται στις συγκεκριμένες απαιτήσεις τους. Αυτό καθιστά το MLInspect ένα ευέλικτο εργαλείο για ένα ευρύ φάσμα εργασιών εντοπισμού σφαλμάτων και παρακο- λούθησης. Η Εξηγήσιμη Τεχνητή Νοημοσύνη (XAI) είναι μια συλλογή μεθόδων και διαδικασιών που επιτρέπουν στους ανθρώπινους χρήστες να κατανοούν και να έχουν εμπιστοσύνη στα α- ποτελέσματα των αλγορίθμων μηχανικής μάθησης. Η XAI βοηθά στην περιγραφή ενός μοντέλου τεχνητής νοημοσύνης, των επιπτώσεών του και των πιθανών προκαταλήψεων, διασφαλίζοντας ακρίβεια, δικαιοσύνη, διαφάνεια και αξιόπιστη λήψη αποφάσεων. Υπάρ- χουν διάφοροι τρόποι ερμηνείας ενός μοντέλου μηχανικής μάθησης. Αυτοί περιλαμβανο- μένουν το LIME, SHAP, Integrated Gradients, ALE, ICE κ.λπ. Ο καθένας έχει τη δυνατό- τητα να δώσει διαφορετικά αποτελέσματα σχετικά με το εν λόγω μοντέλο. Επομένως, θα πρέπει να χρησιμοποιούνται λαμβάνοντας υπόψη τα διαφορετικά στάδια εγκατάστασης που μπορεί να υπάρξουν σε έναν ML αγωγό. Αυτή η διατριβή ενισχύει το MLInspect ενσωματώνοντας χαρακτηριστικά επεξηγηματικό- τητας. Εφαρμόζει μεθόδους όπως LIME, SHAP και άλλες, κάποιοι αναφέρονται και πα- ραπάνω, σε ένα Directed Acyclic Graph (DAG) για οπτικοποίηση. Επιπλέον, διατηρεί εκπαιδευμένα μοντέλα στην DAG, διευκολύνοντας τις μετέπειτα επιθεωρήσεις. Όταν ε- νεργοποιείται, μια νέα επιθεώρηση ανακτά την εικόνα του μοντέλου από το DAG και ε- κτελεί μεθόδους επεξήγησης, αποθηκεύοντας τα αποτελέσματα παράλληλα με τον κόμβο του μοντέλου. Αυτή η δομημένη προσέγγιση επιτρέπει την απρόσκοπτη ενσωμάτωση της επεξήγησης στον εντοπισμό σφαλμάτων, βελτιώνοντας την κατανόηση των μοντέλων μηχανικής μάθησης.","abstract_has_math":false,"creators":["Πάτσου Στεφανία","Patsou Stefania"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2025,"date_issued":"2025","date_published":"2025","updated_at":"2026-11-19T06:31:37Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3450619"],"render_values":[{"text":"uoadl:3450619","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3450619","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3450619","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3450619","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Πάτσου Στεφανία","Patsou Stefania"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2025"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3450619","https://pergamos.lib.uoa.gr/uoa/dl/object/3450619"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Το MLInspect [1] είναι ένα εργαλείο εντοπισμού σφαλμάτων που έχει σχεδιαστεί για αγω- γούς επιστήμης δεδομένων. Εντοπίζει ζητήματα που σχετίζονται με διαρροές δεδομένων, ακούσιους μετασχηματισμούς δεδομένων και αλλαγές διανομής σε αγωγούς ML επιθε- ωρώντας αυτόματα τις ροές δεδομένων τους. Αυτό το εργαλείο δημιουργεί το Directed Acyclic Graph (DAG), το οποίο επιτρέπει στους χρήστες του να εξετάζουν όλα τα στάδια της επεξεργασίας ή της εκπαίδευσης του αγωγού. Μπορεί, επίσης, να παρακολουθήσει τους αγωγούς επιστήμης δεδομένων ακόμη και τη στιγμή που δεν λειτουργούν σωστά, καθώς και να τα επιδιορθώνει. Συγκεκριμένοι κόμβοι του DAG μπορούν να έχουν επιθεω- ρήσεις που συνδέονται με αυτούς, ώστε να μπορούν να εντοπιστούν και να διαγνωστούν τυχόν προβλήματα σε σχετικά τους σημεία. Το τελευταίο μπορεί είτε να προκαθοριστεί είτε να προσαρμοστεί λαμβάνοντας υπόψη τις απαιτήσεις αυτού του είδους αγωγού. Οι χρή- στες μπορούν να ορίσουν προσαρμοσμένες επιθεωρήσεις και να επεκτείνουν το εργαλείο ώστε να ανταποκρίνεται στις συγκεκριμένες απαιτήσεις τους. Αυτό καθιστά το MLInspect ένα ευέλικτο εργαλείο για ένα ευρύ φάσμα εργασιών εντοπισμού σφαλμάτων και παρακο- λούθησης. Η Εξηγήσιμη Τεχνητή Νοημοσύνη (XAI) είναι μια συλλογή μεθόδων και διαδικασιών που επιτρέπουν στους ανθρώπινους χρήστες να κατανοούν και να έχουν εμπιστοσύνη στα α- ποτελέσματα των αλγορίθμων μηχανικής μάθησης. Η XAI βοηθά στην περιγραφή ενός μοντέλου τεχνητής νοημοσύνης, των επιπτώσεών του και των πιθανών προκαταλήψεων, διασφαλίζοντας ακρίβεια, δικαιοσύνη, διαφάνεια και αξιόπιστη λήψη αποφάσεων. Υπάρ- χουν διάφοροι τρόποι ερμηνείας ενός μοντέλου μηχανικής μάθησης. Αυτοί περιλαμβανο- μένουν το LIME, SHAP, Integrated Gradients, ALE, ICE κ.λπ. Ο καθένας έχει τη δυνατό- τητα να δώσει διαφορετικά αποτελέσματα σχετικά με το εν λόγω μοντέλο. Επομένως, θα πρέπει να χρησιμοποιούνται λαμβάνοντας υπόψη τα διαφορετικά στάδια εγκατάστασης που μπορεί να υπάρξουν σε έναν ML αγωγό. Αυτή η διατριβή ενισχύει το MLInspect ενσωματώνοντας χαρακτηριστικά επεξηγηματικό- τητας. Εφαρμόζει μεθόδους όπως LIME, SHAP και άλλες, κάποιοι αναφέρονται και πα- ραπάνω, σε ένα Directed Acyclic Graph (DAG) για οπτικοποίηση. Επιπλέον, διατηρεί εκπαιδευμένα μοντέλα στην DAG, διευκολύνοντας τις μετέπειτα επιθεωρήσεις. Όταν ε- νεργοποιείται, μια νέα επιθεώρηση ανακτά την εικόνα του μοντέλου από το DAG και ε- κτελεί μεθόδους επεξήγησης, αποθηκεύοντας τα αποτελέσματα παράλληλα με τον κόμβο του μοντέλου. Αυτή η δομημένη προσέγγιση επιτρέπει την απρόσκοπτη ενσωμάτωση της επεξήγησης στον εντοπισμό σφαλμάτων, βελτιώνοντας την κατανόηση των μοντέλων μηχανικής μάθησης.","MLInspect [1] is a debugging tool designed for data science pipelines. It detects issues related to data leaks, unintended data transformations and distribution shifts in ML pipelines by automatically inspecting their data flows. This tool generates Directed Acyclic Graph (DAG), which allows its users to look through all stages of pipeline processing or training. It can also observe the ML pipelines even at the time when they fail to work properly as well as debug them. Specific nodes of this DAG can have inspections attached to them so that any possible problems can be detected and diagnosed at. The latter can be either predefined or customised considering the requirements of this kind of a pipeline. Users can define custom inspections and extend the tool to meet their specific requirements. This makes MLInspect a versatile tool for a wide range of debugging and monitoring tasks. Explainable AI (XAI) is a collection of methods and processes that allow human users to comprehend and have confidence in the results of machine learning algorithms. XAI helps describe an AI model, its impacts, and potential biases, ensuring accuracy, fairness, transparency, and reliable decision-making. There are several approaches to interpret a machine learning model. These include LIME, SHAP, Integrated Gradients, ALE, ICE etc. Each has potential of giving different outcomes about the model in question. Therefore, they should be employed considering different setup steps that could exist in an ML pipeline. This thesis enhances MLInspect by integrating explainability features. It patches methods like LIME, SHAP and others, some described above, into a Directed Acyclic Graph (DAG) for visualisation. Additionally, it persists trained models in the DAG, facilitating subsequent inspections. When triggered, a new inspection retrieves the model image from the DAG and executes explainability methods, storing results alongside the model node. This structured approach enables seamless integration of explainability into debugging, enhancing understanding of machine learning models."]},{"key":"dc:title","label":"Title","values":["Dataflow Representation, Model Inspection and Explainability in ML Pipelines"]}]}],"canonical_facts":{"dc:creator":["Πάτσου Στεφανία","Patsou Stefania"],"dc:date":["2025"],"dc:description":["Το MLInspect [1] είναι ένα εργαλείο εντοπισμού σφαλμάτων που έχει σχεδιαστεί για αγω- γούς επιστήμης δεδομένων. Εντοπίζει ζητήματα που σχετίζονται με διαρροές δεδομένων, ακούσιους μετασχηματισμούς δεδομένων και αλλαγές διανομής σε αγωγούς ML επιθε- ωρώντας αυτόματα τις ροές δεδομένων τους. Αυτό το εργαλείο δημιουργεί το Directed Acyclic Graph (DAG), το οποίο επιτρέπει στους χρήστες του να εξετάζουν όλα τα στάδια της επεξεργασίας ή της εκπαίδευσης του αγωγού. Μπορεί, επίσης, να παρακολουθήσει τους αγωγούς επιστήμης δεδομένων ακόμη και τη στιγμή που δεν λειτουργούν σωστά, καθώς και να τα επιδιορθώνει. Συγκεκριμένοι κόμβοι του DAG μπορούν να έχουν επιθεω- ρήσεις που συνδέονται με αυτούς, ώστε να μπορούν να εντοπιστούν και να διαγνωστούν τυχόν προβλήματα σε σχετικά τους σημεία. Το τελευταίο μπορεί είτε να προκαθοριστεί είτε να προσαρμοστεί λαμβάνοντας υπόψη τις απαιτήσεις αυτού του είδους αγωγού. Οι χρή- στες μπορούν να ορίσουν προσαρμοσμένες επιθεωρήσεις και να επεκτείνουν το εργαλείο ώστε να ανταποκρίνεται στις συγκεκριμένες απαιτήσεις τους. Αυτό καθιστά το MLInspect ένα ευέλικτο εργαλείο για ένα ευρύ φάσμα εργασιών εντοπισμού σφαλμάτων και παρακο- λούθησης. Η Εξηγήσιμη Τεχνητή Νοημοσύνη (XAI) είναι μια συλλογή μεθόδων και διαδικασιών που επιτρέπουν στους ανθρώπινους χρήστες να κατανοούν και να έχουν εμπιστοσύνη στα α- ποτελέσματα των αλγορίθμων μηχανικής μάθησης. Η XAI βοηθά στην περιγραφή ενός μοντέλου τεχνητής νοημοσύνης, των επιπτώσεών του και των πιθανών προκαταλήψεων, διασφαλίζοντας ακρίβεια, δικαιοσύνη, διαφάνεια και αξιόπιστη λήψη αποφάσεων. Υπάρ- χουν διάφοροι τρόποι ερμηνείας ενός μοντέλου μηχανικής μάθησης. Αυτοί περιλαμβανο- μένουν το LIME, SHAP, Integrated Gradients, ALE, ICE κ.λπ. Ο καθένας έχει τη δυνατό- τητα να δώσει διαφορετικά αποτελέσματα σχετικά με το εν λόγω μοντέλο. Επομένως, θα πρέπει να χρησιμοποιούνται λαμβάνοντας υπόψη τα διαφορετικά στάδια εγκατάστασης που μπορεί να υπάρξουν σε έναν ML αγωγό. Αυτή η διατριβή ενισχύει το MLInspect ενσωματώνοντας χαρακτηριστικά επεξηγηματικό- τητας. Εφαρμόζει μεθόδους όπως LIME, SHAP και άλλες, κάποιοι αναφέρονται και πα- ραπάνω, σε ένα Directed Acyclic Graph (DAG) για οπτικοποίηση. Επιπλέον, διατηρεί εκπαιδευμένα μοντέλα στην DAG, διευκολύνοντας τις μετέπειτα επιθεωρήσεις. Όταν ε- νεργοποιείται, μια νέα επιθεώρηση ανακτά την εικόνα του μοντέλου από το DAG και ε- κτελεί μεθόδους επεξήγησης, αποθηκεύοντας τα αποτελέσματα παράλληλα με τον κόμβο του μοντέλου. Αυτή η δομημένη προσέγγιση επιτρέπει την απρόσκοπτη ενσωμάτωση της επεξήγησης στον εντοπισμό σφαλμάτων, βελτιώνοντας την κατανόηση των μοντέλων μηχανικής μάθησης.","MLInspect [1] is a debugging tool designed for data science pipelines. It detects issues related to data leaks, unintended data transformations and distribution shifts in ML pipelines by automatically inspecting their data flows. This tool generates Directed Acyclic Graph (DAG), which allows its users to look through all stages of pipeline processing or training. It can also observe the ML pipelines even at the time when they fail to work properly as well as debug them. Specific nodes of this DAG can have inspections attached to them so that any possible problems can be detected and diagnosed at. The latter can be either predefined or customised considering the requirements of this kind of a pipeline. Users can define custom inspections and extend the tool to meet their specific requirements. This makes MLInspect a versatile tool for a wide range of debugging and monitoring tasks. Explainable AI (XAI) is a collection of methods and processes that allow human users to comprehend and have confidence in the results of machine learning algorithms. XAI helps describe an AI model, its impacts, and potential biases, ensuring accuracy, fairness, transparency, and reliable decision-making. There are several approaches to interpret a machine learning model. These include LIME, SHAP, Integrated Gradients, ALE, ICE etc. Each has potential of giving different outcomes about the model in question. Therefore, they should be employed considering different setup steps that could exist in an ML pipeline. This thesis enhances MLInspect by integrating explainability features. It patches methods like LIME, SHAP and others, some described above, into a Directed Acyclic Graph (DAG) for visualisation. Additionally, it persists trained models in the DAG, facilitating subsequent inspections. When triggered, a new inspection retrieves the model image from the DAG and executes explainability methods, storing results alongside the model node. This structured approach enables seamless integration of explainability into debugging, enhancing understanding of machine learning models."],"dc:identifier":["uoadl:3450619","https://pergamos.lib.uoa.gr/uoa/dl/object/3450619"],"dc:language":["English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Dataflow Representation, Model Inspection and Explainability in ML Pipelines"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:31:37Z"}