National and Kapodistrian University of Athens
Dataflow Representation, Model Inspection and Explainability in ML Pipelines
Abstract
dc:descriptionΤο MLInspect [1] είναι ένα εργαλείο εντοπισμού σφαλμάτων που έχει σχεδιαστεί για αγω- γούς επιστήμης δεδομένων. Εντοπίζει ζητήματα που σχετίζονται με διαρροές δεδομένων, ακούσιους μετασχηματισμούς δεδομένων και αλλαγές διανομής σε αγωγούς ML επιθε- ωρώντας αυτόματα τις ροές δεδομένων τους. Αυτό το εργαλείο δημιουργεί το Directed Acyclic Graph (DAG), το οποίο επιτρέπει στους χρήστες του να εξετάζουν όλα τα στάδια της επεξεργασίας ή της εκπαίδευσης του αγωγού. Μπορεί, επίσης, να παρακολουθήσει τους αγωγούς επιστήμης δεδομένων ακόμη και τη στιγμή που δεν λειτουργούν σωστά, καθώς και να τα επιδιορθώνει. Συγκεκριμένοι κόμβοι του DAG μπορούν να έχουν επιθεω- ρήσεις που συνδέονται με αυτούς, ώστε να μπορούν να εντοπιστούν και να διαγνωστούν τυχόν προβλήματα σε σχετικά τους σημεία. Το τελευταίο μπορεί είτε να προκαθοριστεί είτε να προσαρμοστεί λαμβάνοντας υπόψη τις απαιτήσεις αυτού του είδους αγωγού. Οι χρή- στες μπορούν να ορίσουν προσαρμοσμένες επιθεωρήσεις και να επεκτείνουν το εργαλείο ώστε να ανταποκρίνεται στις συγκεκριμένες απαιτήσεις τους. Αυτό καθιστά το MLInspect ένα ευέλικτο εργαλείο για ένα ευρύ φάσμα εργασιών εντοπισμού σφαλμάτων και παρακο- λούθησης. Η Εξηγήσιμη Τεχνητή Νοημοσύνη (XAI) είναι μια συλλογή μεθόδων και διαδικασιών που επιτρέπουν στους ανθρώπινους χρήστες να κατανοούν και να έχουν εμπιστοσύνη στα α- ποτελέσματα των αλγορίθμων μηχανικής μάθησης. Η XAI βοηθά στην περιγραφή ενός μοντέλου τεχνητής νοημοσύνης, των επιπτώσεών του και των πιθανών προκαταλήψεων, διασφαλίζοντας ακρίβεια, δικαιοσύνη, διαφάνεια και αξιόπιστη λήψη αποφάσεων. Υπάρ- χουν διάφοροι τρόποι ερμηνείας ενός μοντέλου μηχανικής μάθησης. Αυτοί περιλαμβανο- μένουν το LIME, SHAP, Integrated Gradients, ALE, ICE κ.λπ. Ο καθένας έχει τη δυνατό- τητα να δώσει διαφορετικά αποτελέσματα σχετικά με το εν λόγω μοντέλο. Επομένως, θα πρέπει να χρησιμοποιούνται λαμβάνοντας υπόψη τα διαφορετικά στάδια εγκατάστασης που μπορεί να υπάρξουν σε έναν ML αγωγό. Αυτή η διατριβή ενισχύει το MLInspect ενσωματώνοντας χαρακτηριστικά επεξηγηματικό- τητας. Εφαρμόζει μεθόδους όπως LIME, SHAP και άλλες, κάποιοι αναφέρονται και πα- ραπάνω, σε ένα Directed Acyclic Graph (DAG) για οπτικοποίηση. Επιπλέον, διατηρεί εκπαιδευμένα μοντέλα στην DAG, διευκολύνοντας τις μετέπειτα επιθεωρήσεις. Όταν ε- νεργοποιείται, μια νέα επιθεώρηση ανακτά την εικόνα του μοντέλου από το DAG και ε- κτελεί μεθόδους επεξήγησης, αποθηκεύοντας τα αποτελέσματα παράλληλα με τον κόμβο του μοντέλου. Αυτή η δομημένη προσέγγιση επιτρέπει την απρόσκοπτη ενσωμάτωση της επεξήγησης στον εντοπισμό σφαλμάτων, βελτιώνοντας την κατανόηση των μοντέλων μηχανικής μάθησης.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Πάτσου Στεφανία
- Patsou Stefania
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:3450619