National and Kapodistrian University of Athens
Υπότιτλοι Εικόνων βάσει Ανάκτησης και Ανίχνευση Διορθωτικών Ενεργειών για Πολυτροπικές Αναφορές Ασφάλειας
Abstract
dc:descriptionΣτην σύγχρονη βιομηχανική εποχή, ο γρήγορος εντοπισμός πιθανών κινδύνων σε δια- δικασίες και ροές εργασιών αποτελεί ένα κρίσιμο πρώτο βήμα για τη διασφάλιση ενός ασφαλούς εργασιακού περιβάλλοντος, τόσο για τους εργαζόμενους όσο και για την τήρηση προτύπων υψηλής ποιότητας και απόδοσης. Εξίσου σημαντική είναι η αναγνώριση βιώσιμων λύσεων για τα ζητήματα αυτά, επιτρέποντας στους ειδικούς να τα ιεραρχούν,να τα αναλύουν και να τα αντιμετωπίζουν αποτελεσματικά, διασφαλίζοντας ότι δεν διαταράσσουν την παραγωγή. Στην παρούσα εργασία επιχειρούμε να αντιμετωπίσουμε αυτό το πρόβλημα, με γνώμονα την ανάπτυξη ενός ολοκληρωμένου συστήματος που λαμβάνει εικόνες ως είσοδο, αναζητά πιθανούς περιγραφικούς υπότιτλους για τους κινδύνους ή προβλήματα που απεικονίζονται σε αυτές και ύστερα επεξεργάζεται αυτές τις περιγραφές για να προτείνει πιθανές λύσεις σε προβλήματα ή κινδύνους. Για να το επιτύχουμε αυτό, βασιζόμαστε σε προ-εκπαιδευμένες πολυτροπικές αρχιτεκτονικές Transformer (multimodal models) και πειραματιζόμαστε με πρόσθετες τροποποιήσεις, προκειμένου να κατασκευάσουμε διανυσματικές αναπαραστάσεις (embeddings) τόσο για τις εικόνες όσο και για τους πιθανούς υποτίτλους και στη συνέχεια να βρούμε τους καλύτερους δυνατούς υποτίτλους για κάθε εικόνα. Εκπαιδεύουμε και εκτιμούμε τις επιδόσεις του μοντέλου σε ένα προσαρμοσμένο σύνολο δεδομένων και επιπλέον επεκτείνουμε το σύνολο δεδομένων μέσω διαφόρων τεχνικών επαύξησης (image-caption augmentations). Κατόπιν, οι παραγόμενοι υπότιτλοι εισάγονται σε μεγάλα γλωσσικά μοντέλα (large language models) και δείχνουμε με τη βοήθεια διαφόρων τεχνικών μηχανικής προτροπής (prompt engineering) ότι είναι δυνατόν να προταθούν αξιόλογες πιθανές λύσεις τις οποίες ο μηχανικός μπορεί να εξετάσει περαιτέρω κατά την αντιμετώπιση των εν λόγω ζητημάτων.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Κώτσης Ευστάθιος
- Kotsis Efstathios
Subjects
dc:subject × 2Rights
- Language dc:language
- Ελληνικά, Greek, English
Identifiers
dc:identifier.*- Identifier
- uoadl:3457025