National and Kapodistrian University of Athens
Handwritten Optical Character Recognition
Abstract
dc:descriptionΗ παρούσα διπλωματική επικεντρώνεται στην αναγνώριση παλαιών ελληνικών χειρόγρα- φων εγγράφων, τα οποία είναι γραμμένα με πεζά και κεφαλαία γράμματα. Αν και τα κεί- μενα είναι γραμμένο με το ελληνικό πολυτονικό σύστημα γραφής, οι προβλέψεις γίνονται σε επίπεδο γραμμάτων χωρίς τόνους και πνεύματα. Όλες οι σελίδες προέρχονται από τα πρακτικά του Γενικού Συμβουλίου της Τράπεζας της Ελλάδος, από μια συλλογή χειρό- γραφων κοινοβουλευτικών ερωτήσεων από το ιστορικό αρχείο (1974-1977) της Βουλής των Ελλήνων και από μια ελληνική χειρόγραφη μετάφραση του Μάκμπεθ του Σαίξπηρ από το 1842 και χωρίζονται σε εικόνες γραμμών κειμένου. Κάθε εικόνα αντιστοιχεί σε ένα αρχείο κειμένου με το πραγματικό περιέχομενο. Χρησιμοποιούμε τέσσερα διαφορε- τικά μοντέλα. Αρχικά, χρησιμοποιούμε το Calamari OCR, το οποίο είναι ένα εργαλείο ανοικτού κώδικα για την αναγνώριση γραμμών κειμένου. Ακολουθεί την αρχιτεκτονική κωδικοποιητή αποκωδικοποιητή με μοντέλα CNN και αμφίδρομου LSTM αντίστοιχα και χρησιμοποιεί τη συνάρτηση απωλειών CTC κατά την εκπαίδευση, δεδομένου ότι το σύ- νολο δεδομένων δεν είναι ευθυγραμμισμένο. Επιπλέον, οι χρήστες έχουν τη δυνατότητα να εφαρμόζουν επαυξήσεις στο σύνολο δεδομένων και να επιτρέπουν τη χρήση GPU για ταχύτερη εκπαίδευση. Για να δοκιμαστεί το εκπαιδευμένο μοντέλο σε καινούργιες εικόνες γραμμών, απαιτείται τουλάχιστον ένα μοντέλο για προβλέψεις. Χρησιμοποιούμε το προ- επιλεγμένο δίκτυο με ένα αμφίδρομο LSTM στον αποκωδικοποιητή και ένα μεγαλύτερο δίκτυο με τρία αμφίδρομα επίπεδα LSTM. Επιπλέον, υλοποιούμε δύο μοντέλα βασισμένα σε transformers (TrOCR) με προ-εκπαιδευμένους transformers εικόνας στον κωδικοποι- ητή και αμφίδρομα επίπεδα LSTM στον αποκωδικοποιητή. Χρησιμοποιούμε μια μεγάλη έκδοση του κωδικοποιητή με περισσότερες παραμέτρους και τρία αμφίδρομα στρώματα LSTM στον αποκωδικοποιητή, καθώς και μια μικρή έκδοση του κωδικοποιητή με λιγότερες παραμέτρους και έναν αμφίδρομο αποκωδικοποιητή LSTM. Για να αυξήσουμε την ακρίβεια του μοντέλου εφαρμόζουμε ορισμένες δημοφιλείς τεχνικές επαύξησης. Οι εικόνες εισόδου αλλάζουν μέγεθος σε 384 × 384 και στη συνέχεια χωρίζο- νται σε ακολουθίες από 16 × 16 patches πριν προωθηθούν στους transformers εικόνας. Ως τυπικό μοντέλο transformers εφαρμόζεται ο μηχανισμός shelf-attention. Επιπλέον, χρησιμοποιούμε τη συνάρτηση απωλειών CTC για την εκπαίδευση. Εκπαιδεύουμε και τα δύο μοντέλα στα ίδια σύνολα δεδομένων. Κατά την εξαγωγή προβλέψεων χρησιμοποιού- με τις μεθόδους αποκωδικοποίησης greedy search, beam search και beam search με γλωσσικό μοντέλο n-gram, κρατώντας τον beam search ως τον πιο ακριβή αλγόριθμο α- ποκωδικοποίησης. Επιπλέον, αναλύουμε την προτεινόμενη λύση μας για τον διαγωνισμό αναγνώρισης βραζιλιάνικων εκθέσεων του ICDAR 2024. Υπάρχουν 3 διαφορετικά προ- βλήματα ανάλογα με τις εικόνες εισόδου. Για τα 3 προβλήματα δίνονται εικόνες γραμμών κειμένου, παράγραφοι και ολόκληρες σελίδες αντίστοιχα. Η προσέγγισή μας συνδυάζει το μοντέλο YOLOv5 για την ανίχνευση γραμμών κειμένου (για τα προβλήματα 2 και 3) και το Calamari OCR για την αναγνώριση γραμμών κειμένου. Κρίσιμο βήμα είναι η Contrast Limited Adaptive Histogram Equalization (CLAHE) που εφαρμόζουμε στις εικόνες, αυξά- νοντας την αντίθεση μεταξύ κειμένου και φόντου. Αυτό είναι ευεργετικό για τη φάση της αναγνώρισης γραμμής κειμένου. Το σύνολο δεδομένων είναι εξαιρετικά δύσκολο με αρ- κετές ειδικές περιπτώσεις, επειδή είναι γραμμένο από διαφορετικούς συγγραφείς και πε- ριέχει θορύβους, δυσανάγνωστες λέξεις, κείμενα με υπεργραφή και διαγραμμένα κείμενα. Επιπλέον, παρουσιάζουμε τα αποτελέσματά μας όσον αφορά τις μετρικές Character Error Rate (CER) και Word Error Rate (WER). Τέλος, συγκρίνουμε ένα δημοφιλές μοντέλο βασι- σμένο στο CNN όπως το Calamari OCR με ένα προ-εκπαιδευμένο μοντέλο βασισμένο σε transformers χρησιμοποιώντας τις μετρικές Character Error Rate (CER), Word Error Rate (WER), recall, F1 score, precision και Mathews Correlation Coefficient (MCC). Καταλή- γουμε στο συμπέρασμα ότι ένα προ-εκπαιδευμένο μοντέλο που βασίζεται σε transformers υπερτερεί έναντι ενός μοντέλου που βασίζεται σε CNN όπως το Calamari OCR όσον αφο- ρά την ακρίβεια στην αναγνώριση χαρακτήρων, αλλά το Calamari OCR έχει μεγαλύτερη ακρίβεια στην αναγνώριση λέξεων.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Βόσσος Χαράλαμπος
- Vossos Charalampos
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:3413049