{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3457025"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3457025","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Υπότιτλοι Εικόνων βάσει Ανάκτησης και Ανίχνευση Διορθωτικών Ενεργειών για Πολυτροπικές Αναφορές Ασφάλειας","abstract":"Στην σύγχρονη βιομηχανική εποχή, ο γρήγορος εντοπισμός πιθανών κινδύνων σε δια- δικασίες και ροές εργασιών αποτελεί ένα κρίσιμο πρώτο βήμα για τη διασφάλιση ενός ασφαλούς εργασιακού περιβάλλοντος, τόσο για τους εργαζόμενους όσο και για την τήρηση προτύπων υψηλής ποιότητας και απόδοσης. Εξίσου σημαντική είναι η αναγνώριση βιώσιμων λύσεων για τα ζητήματα αυτά, επιτρέποντας στους ειδικούς να τα ιεραρχούν,να τα αναλύουν και να τα αντιμετωπίζουν αποτελεσματικά, διασφαλίζοντας ότι δεν διαταράσσουν την παραγωγή. Στην παρούσα εργασία επιχειρούμε να αντιμετωπίσουμε αυτό το πρόβλημα, με γνώμονα την ανάπτυξη ενός ολοκληρωμένου συστήματος που λαμβάνει εικόνες ως είσοδο, αναζητά πιθανούς περιγραφικούς υπότιτλους για τους κινδύνους ή προβλήματα που απεικονίζονται σε αυτές και ύστερα επεξεργάζεται αυτές τις περιγραφές για να προτείνει πιθανές λύσεις σε προβλήματα ή κινδύνους. Για να το επιτύχουμε αυτό, βασιζόμαστε σε προ-εκπαιδευμένες πολυτροπικές αρχιτεκτονικές Transformer (multimodal models) και πειραματιζόμαστε με πρόσθετες τροποποιήσεις, προκειμένου να κατασκευάσουμε διανυσματικές αναπαραστάσεις (embeddings) τόσο για τις εικόνες όσο και για τους πιθανούς υποτίτλους και στη συνέχεια να βρούμε τους καλύτερους δυνατούς υποτίτλους για κάθε εικόνα. Εκπαιδεύουμε και εκτιμούμε τις επιδόσεις του μοντέλου σε ένα προσαρμοσμένο σύνολο δεδομένων και επιπλέον επεκτείνουμε το σύνολο δεδομένων μέσω διαφόρων τεχνικών επαύξησης (image-caption augmentations). Κατόπιν, οι παραγόμενοι υπότιτλοι εισάγονται σε μεγάλα γλωσσικά μοντέλα (large language models) και δείχνουμε με τη βοήθεια διαφόρων τεχνικών μηχανικής προτροπής (prompt engineering) ότι είναι δυνατόν να προταθούν αξιόλογες πιθανές λύσεις τις οποίες ο μηχανικός μπορεί να εξετάσει περαιτέρω κατά την αντιμετώπιση των εν λόγω ζητημάτων.","abstract_html":"Στην σύγχρονη βιομηχανική εποχή, ο γρήγορος εντοπισμός πιθανών κινδύνων σε δια- δικασίες και ροές εργασιών αποτελεί ένα κρίσιμο πρώτο βήμα για τη διασφάλιση ενός ασφαλούς εργασιακού περιβάλλοντος, τόσο για τους εργαζόμενους όσο και για την τήρηση προτύπων υψηλής ποιότητας και απόδοσης. Εξίσου σημαντική είναι η αναγνώριση βιώσιμων λύσεων για τα ζητήματα αυτά, επιτρέποντας στους ειδικούς να τα ιεραρχούν,να τα αναλύουν και να τα αντιμετωπίζουν αποτελεσματικά, διασφαλίζοντας ότι δεν διαταράσσουν την παραγωγή. Στην παρούσα εργασία επιχειρούμε να αντιμετωπίσουμε αυτό το πρόβλημα, με γνώμονα την ανάπτυξη ενός ολοκληρωμένου συστήματος που λαμβάνει εικόνες ως είσοδο, αναζητά πιθανούς περιγραφικούς υπότιτλους για τους κινδύνους ή προβλήματα που απεικονίζονται σε αυτές και ύστερα επεξεργάζεται αυτές τις περιγραφές για να προτείνει πιθανές λύσεις σε προβλήματα ή κινδύνους. Για να το επιτύχουμε αυτό, βασιζόμαστε σε προ-εκπαιδευμένες πολυτροπικές αρχιτεκτονικές Transformer (multimodal models) και πειραματιζόμαστε με πρόσθετες τροποποιήσεις, προκειμένου να κατασκευάσουμε διανυσματικές αναπαραστάσεις (embeddings) τόσο για τις εικόνες όσο και για τους πιθανούς υποτίτλους και στη συνέχεια να βρούμε τους καλύτερους δυνατούς υποτίτλους για κάθε εικόνα. Εκπαιδεύουμε και εκτιμούμε τις επιδόσεις του μοντέλου σε ένα προσαρμοσμένο σύνολο δεδομένων και επιπλέον επεκτείνουμε το σύνολο δεδομένων μέσω διαφόρων τεχνικών επαύξησης (image-caption augmentations). Κατόπιν, οι παραγόμενοι υπότιτλοι εισάγονται σε μεγάλα γλωσσικά μοντέλα (large language models) και δείχνουμε με τη βοήθεια διαφόρων τεχνικών μηχανικής προτροπής (prompt engineering) ότι είναι δυνατόν να προταθούν αξιόλογες πιθανές λύσεις τις οποίες ο μηχανικός μπορεί να εξετάσει περαιτέρω κατά την αντιμετώπιση των εν λόγω ζητημάτων.","abstract_has_math":false,"creators":["Κώτσης Ευστάθιος","Kotsis Efstathios"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2025,"date_issued":"2025","date_published":"2025","updated_at":"2026-11-19T06:31:42Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["Ελληνικά","Greek","English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3457025"],"render_values":[{"text":"uoadl:3457025","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3457025","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3457025","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3457025","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Κώτσης Ευστάθιος","Kotsis Efstathios"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2025"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","Greek","English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3457025","https://pergamos.lib.uoa.gr/uoa/dl/object/3457025"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Στην σύγχρονη βιομηχανική εποχή, ο γρήγορος εντοπισμός πιθανών κινδύνων σε δια- δικασίες και ροές εργασιών αποτελεί ένα κρίσιμο πρώτο βήμα για τη διασφάλιση ενός ασφαλούς εργασιακού περιβάλλοντος, τόσο για τους εργαζόμενους όσο και για την τήρηση προτύπων υψηλής ποιότητας και απόδοσης. Εξίσου σημαντική είναι η αναγνώριση βιώσιμων λύσεων για τα ζητήματα αυτά, επιτρέποντας στους ειδικούς να τα ιεραρχούν,να τα αναλύουν και να τα αντιμετωπίζουν αποτελεσματικά, διασφαλίζοντας ότι δεν διαταράσσουν την παραγωγή. Στην παρούσα εργασία επιχειρούμε να αντιμετωπίσουμε αυτό το πρόβλημα, με γνώμονα την ανάπτυξη ενός ολοκληρωμένου συστήματος που λαμβάνει εικόνες ως είσοδο, αναζητά πιθανούς περιγραφικούς υπότιτλους για τους κινδύνους ή προβλήματα που απεικονίζονται σε αυτές και ύστερα επεξεργάζεται αυτές τις περιγραφές για να προτείνει πιθανές λύσεις σε προβλήματα ή κινδύνους. Για να το επιτύχουμε αυτό, βασιζόμαστε σε προ-εκπαιδευμένες πολυτροπικές αρχιτεκτονικές Transformer (multimodal models) και πειραματιζόμαστε με πρόσθετες τροποποιήσεις, προκειμένου να κατασκευάσουμε διανυσματικές αναπαραστάσεις (embeddings) τόσο για τις εικόνες όσο και για τους πιθανούς υποτίτλους και στη συνέχεια να βρούμε τους καλύτερους δυνατούς υποτίτλους για κάθε εικόνα. Εκπαιδεύουμε και εκτιμούμε τις επιδόσεις του μοντέλου σε ένα προσαρμοσμένο σύνολο δεδομένων και επιπλέον επεκτείνουμε το σύνολο δεδομένων μέσω διαφόρων τεχνικών επαύξησης (image-caption augmentations). Κατόπιν, οι παραγόμενοι υπότιτλοι εισάγονται σε μεγάλα γλωσσικά μοντέλα (large language models) και δείχνουμε με τη βοήθεια διαφόρων τεχνικών μηχανικής προτροπής (prompt engineering) ότι είναι δυνατόν να προταθούν αξιόλογες πιθανές λύσεις τις οποίες ο μηχανικός μπορεί να εξετάσει περαιτέρω κατά την αντιμετώπιση των εν λόγω ζητημάτων.","In today’s industrial environment, the ability to quickly identify potential hazards in pro- cesses and workflows is a crucial first step in ensuring a safe working environment for employees and upholding high-quality standards. Equally important is the capacity to propose viable solutions for these issues, enabling experts to analyze, prioritize, and ad- dress them effectively, ensuring they do not disrupt production. In this work, we attempt to tackle this problem, with the task of developing a pipeline that takes images as input, searches for possible descriptive captions and subsequently processes those captions to propose potential solutions to problems or hazards appearing in the captions. To achieve this, we employ and finetune pretrained Transformer architectures and experiment with additional modifications, in order to construct embeddings for both the images and potential captions and then find the best possible captions for each image. We train the model and illustrate the performance on a custom dataset and additionally extend the dataset through various augmentation techniques. The generated captions are then input into large language models and we show through the help of various prompting techniques that it is possible to produce potential real world solutions’ suggestions that the engineer can review when tackling those issues."]},{"key":"dc:title","label":"Title","values":["Υπότιτλοι Εικόνων βάσει Ανάκτησης και Ανίχνευση Διορθωτικών Ενεργειών για Πολυτροπικές Αναφορές Ασφάλειας"]}]}],"canonical_facts":{"dc:creator":["Κώτσης Ευστάθιος","Kotsis Efstathios"],"dc:date":["2025"],"dc:description":["Στην σύγχρονη βιομηχανική εποχή, ο γρήγορος εντοπισμός πιθανών κινδύνων σε δια- δικασίες και ροές εργασιών αποτελεί ένα κρίσιμο πρώτο βήμα για τη διασφάλιση ενός ασφαλούς εργασιακού περιβάλλοντος, τόσο για τους εργαζόμενους όσο και για την τήρηση προτύπων υψηλής ποιότητας και απόδοσης. Εξίσου σημαντική είναι η αναγνώριση βιώσιμων λύσεων για τα ζητήματα αυτά, επιτρέποντας στους ειδικούς να τα ιεραρχούν,να τα αναλύουν και να τα αντιμετωπίζουν αποτελεσματικά, διασφαλίζοντας ότι δεν διαταράσσουν την παραγωγή. Στην παρούσα εργασία επιχειρούμε να αντιμετωπίσουμε αυτό το πρόβλημα, με γνώμονα την ανάπτυξη ενός ολοκληρωμένου συστήματος που λαμβάνει εικόνες ως είσοδο, αναζητά πιθανούς περιγραφικούς υπότιτλους για τους κινδύνους ή προβλήματα που απεικονίζονται σε αυτές και ύστερα επεξεργάζεται αυτές τις περιγραφές για να προτείνει πιθανές λύσεις σε προβλήματα ή κινδύνους. Για να το επιτύχουμε αυτό, βασιζόμαστε σε προ-εκπαιδευμένες πολυτροπικές αρχιτεκτονικές Transformer (multimodal models) και πειραματιζόμαστε με πρόσθετες τροποποιήσεις, προκειμένου να κατασκευάσουμε διανυσματικές αναπαραστάσεις (embeddings) τόσο για τις εικόνες όσο και για τους πιθανούς υποτίτλους και στη συνέχεια να βρούμε τους καλύτερους δυνατούς υποτίτλους για κάθε εικόνα. Εκπαιδεύουμε και εκτιμούμε τις επιδόσεις του μοντέλου σε ένα προσαρμοσμένο σύνολο δεδομένων και επιπλέον επεκτείνουμε το σύνολο δεδομένων μέσω διαφόρων τεχνικών επαύξησης (image-caption augmentations). Κατόπιν, οι παραγόμενοι υπότιτλοι εισάγονται σε μεγάλα γλωσσικά μοντέλα (large language models) και δείχνουμε με τη βοήθεια διαφόρων τεχνικών μηχανικής προτροπής (prompt engineering) ότι είναι δυνατόν να προταθούν αξιόλογες πιθανές λύσεις τις οποίες ο μηχανικός μπορεί να εξετάσει περαιτέρω κατά την αντιμετώπιση των εν λόγω ζητημάτων.","In today’s industrial environment, the ability to quickly identify potential hazards in pro- cesses and workflows is a crucial first step in ensuring a safe working environment for employees and upholding high-quality standards. Equally important is the capacity to propose viable solutions for these issues, enabling experts to analyze, prioritize, and ad- dress them effectively, ensuring they do not disrupt production. In this work, we attempt to tackle this problem, with the task of developing a pipeline that takes images as input, searches for possible descriptive captions and subsequently processes those captions to propose potential solutions to problems or hazards appearing in the captions. To achieve this, we employ and finetune pretrained Transformer architectures and experiment with additional modifications, in order to construct embeddings for both the images and potential captions and then find the best possible captions for each image. We train the model and illustrate the performance on a custom dataset and additionally extend the dataset through various augmentation techniques. The generated captions are then input into large language models and we show through the help of various prompting techniques that it is possible to produce potential real world solutions’ suggestions that the engineer can review when tackling those issues."],"dc:identifier":["uoadl:3457025","https://pergamos.lib.uoa.gr/uoa/dl/object/3457025"],"dc:language":["Ελληνικά","Greek","English"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Υπότιτλοι Εικόνων βάσει Ανάκτησης και Ανίχνευση Διορθωτικών Ενεργειών για Πολυτροπικές Αναφορές Ασφάλειας"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:31:42Z"}