{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:3246046"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:3246046","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Reinforcement Learning for Rogue-like Games","abstract":"Η Τεχνητή Νοημοσύνη artificial intelligence (AI) είναι ένα σημαντικό μέρος της τέταρτης βιομηχανικής επανάστασης και υπόσχεται να αλλάξει δραματικά τη ζωή μας, αναλαμβάνοντας κουραστικές ή επικίνδυνες εργασίες για εμάς. Ωστόσο, πρέπει να γίνει ακόμα πολλή δουλειά. Μια αποτελεσματική οντότητα τεχνητής νοημοσύνης που θα εκτελέσει δύσκολες εργασίες, που μόνο ένας άνθρωπος μπορεί, είναι ακόμα μακριά. Έτσι, καταβάλλονται συνεχείς προσπάθειες για τη δημιουργία επιτυχημένων οντοτήτων AI. Σε αυτή τη διαδικασία τα βιντεοπαιχνίδια είναι ένα σημαντικό πεδίο δοκιμών, είναι εργασίες που περιλαμβάνουν εκμάθηση και συλλογισμό για έννοιες σε πολλαπλά επίπεδα αφαίρεσης, έναν τομέα στον οποίο η τεχνητή νοημοσύνη υστερεί σε σχέση με την ανθρώπινη. Για το λόγο αυτό, οι αλγόριθμοι τεχνητής νοημοσύνης που καταφέρνουν να παίξουν ένα παιχνίδι σε ανθρώπινο επίπεδο θεωρούνται επιτυχία και ένα βήμα μπροστά για τον κλάδο. Μεταξύ των τομέων της τεχνητής νοημοσύνης, η Ενισχυτική Μάθηση Reinforcement Learning (RL) χρησιμοποιείται συχνότερα για την εκπαίδευση ενός υπολογιστή, που συνήθως ονομάζεται πράκτορας (agent), στο πώς να παίζει βιντεοπαιχνίδια. Αυτή η κατηγορία AI είναι πιο στοχευμένη από τις άλλες, συγκεκριμένα η RL βασίζεται στην αλληλεπίδραση με ένα αβέβαιο περιβάλλον για την επίτευξη ενός τελικού στόχου, μια συμπεριφορά που ταιριάζει με αυτή ενός ανθρώπου που προσπαθεί να παίξει ένα παιχνίδι. Τα τελευταία χρόνια, ένας πράκτορας που εκπαιδεύτηκε με αλγόριθμους RL χρησιμοποιώντας βαθιά νευρωνικά δίκτυα, deep neural networks (DNN), για την προσέγγιση των συναρτήσεων που χρησιμοποιεί, μπόρεσε να παίξει σε ικανοποιητικό βαθμό σχετικά απλά παιχνίδια της κονσόλας ATARI2600 [1], ανοίγοντας το δρόμο για τους πράκτορες AI έτσι ώστε να καταφέρουν να παίξουν ακόμα πιο περίπλοκα παιχνίδια. Στην παρούσα εργασία, ένα rogue-like παιχνίδι δημιουργείται για να χρησιμεύσει ως βάση δοκιμών για έναν αλγόριθμο RL που συνδυάζει πρόσφατες προηγμένες τεχνικές, όπως η ασύγχρονη εκπαίδευση με χρήση πολυεπεξεργαστή, συνελικτικά νευρωνικά δίκτυα, convolutional neural networks (CNN), και δίκτυα μακράς βραχύχρονης μνήμης long short-term Memory (LSTM). Επίσης έγινε χρήση και κάποιον μοναδικών τεχνικών. Οι τεχνικές αφορούν στην χρήση των γραπτών μνημάτων του παιχνιδιού και της καταγραφής της κατάστασης του ήρωα του παιχνιδιού ως εισόδους στα DNNs. Οι τεχνικές αυτές επιλέχθηκαν λόγο της σημασίας που έχουν αυτές οι πληροφορίες για έναν άνθρωπο που προσπαθεί να παίξει το παιχνίδι της διπλωματικής. O τύπος παιχνιδιού rogue-like επιλέγεται λόγω της δυσκολίας του, που οφείλεται στην έλλειψη ντετερμινισμού (κάθε σετ παιχνιδιού δημιουργείται τυχαία), στην ανάγκη χρήσης χρονικά εκτεταμένων στρατηγικών και στην μερική αναπαράσταση της κατάστασης του στον παίκτη. Στο πρώτο κεφάλαιο της διπλωματικής εργασίας, θα γίνει μια σύντομη αναφορά στα rogue-like παιχνίδια και συγκεκριμένα σε αυτό που χρησιμοποιείται στην εργασία, ενώ ακολουθεί μια εισαγωγή στο RL και μια σύντομη περιγραφή των DNNs, δίνοντας έμφαση στα δίκτυα που χρησιμοποιούνται στη διπλωματική. Στο δεύτερο κεφάλαιο, θα παρουσιαστεί η υλοποίηση του αλγορίθμου RL που χρησιμοποιείται, συμπεριλαμβανομένης της αρχιτεκτονικής του δικτύου. Θα δοθεί περαιτέρω μια συλλογιστική ως προς το ποιες τεχνικές χρησιμοποιούνται για την αντιμετώπιση των προκλήσεων ενός rogue-like παιχνιδιού. Στο τρίτο κεφάλαιο, θα παρουσιαστούν και θα αξιολογηθούν τα αποτελέσματα της εκπαίδευσης ενός πράκτορα χρησιμοποιώντας τις τεχνικές που περιγράφονται στο δεύτερο κεφάλαιο. Το τελευταίο κεφάλαιο περιλαμβάνει τα συμπεράσματα που προκύπτουν από τη διπλωματική εργασία και μερικές νεότερες τεχνικές που φαίνονται πολλά υποσχόμενες και μπορούν να βοηθήσουν στη βελτίωση της απόδοσης των μελλοντικών πρακτόρων RL στο παιχνίδι της διπλωματικής.","abstract_html":"Η Τεχνητή Νοημοσύνη artificial intelligence (AI) είναι ένα σημαντικό μέρος της τέταρτης βιομηχανικής επανάστασης και υπόσχεται να αλλάξει δραματικά τη ζωή μας, αναλαμβάνοντας κουραστικές ή επικίνδυνες εργασίες για εμάς. Ωστόσο, πρέπει να γίνει ακόμα πολλή δουλειά. Μια αποτελεσματική οντότητα τεχνητής νοημοσύνης που θα εκτελέσει δύσκολες εργασίες, που μόνο ένας άνθρωπος μπορεί, είναι ακόμα μακριά. Έτσι, καταβάλλονται συνεχείς προσπάθειες για τη δημιουργία επιτυχημένων οντοτήτων AI. Σε αυτή τη διαδικασία τα βιντεοπαιχνίδια είναι ένα σημαντικό πεδίο δοκιμών, είναι εργασίες που περιλαμβάνουν εκμάθηση και συλλογισμό για έννοιες σε πολλαπλά επίπεδα αφαίρεσης, έναν τομέα στον οποίο η τεχνητή νοημοσύνη υστερεί σε σχέση με την ανθρώπινη. Για το λόγο αυτό, οι αλγόριθμοι τεχνητής νοημοσύνης που καταφέρνουν να παίξουν ένα παιχνίδι σε ανθρώπινο επίπεδο θεωρούνται επιτυχία και ένα βήμα μπροστά για τον κλάδο. Μεταξύ των τομέων της τεχνητής νοημοσύνης, η Ενισχυτική Μάθηση Reinforcement Learning (RL) χρησιμοποιείται συχνότερα για την εκπαίδευση ενός υπολογιστή, που συνήθως ονομάζεται πράκτορας (agent), στο πώς να παίζει βιντεοπαιχνίδια. Αυτή η κατηγορία AI είναι πιο στοχευμένη από τις άλλες, συγκεκριμένα η RL βασίζεται στην αλληλεπίδραση με ένα αβέβαιο περιβάλλον για την επίτευξη ενός τελικού στόχου, μια συμπεριφορά που ταιριάζει με αυτή ενός ανθρώπου που προσπαθεί να παίξει ένα παιχνίδι. Τα τελευταία χρόνια, ένας πράκτορας που εκπαιδεύτηκε με αλγόριθμους RL χρησιμοποιώντας βαθιά νευρωνικά δίκτυα, deep neural networks (DNN), για την προσέγγιση των συναρτήσεων που χρησιμοποιεί, μπόρεσε να παίξει σε ικανοποιητικό βαθμό σχετικά απλά παιχνίδια της κονσόλας ATARI2600 [1], ανοίγοντας το δρόμο για τους πράκτορες AI έτσι ώστε να καταφέρουν να παίξουν ακόμα πιο περίπλοκα παιχνίδια. Στην παρούσα εργασία, ένα rogue-like παιχνίδι δημιουργείται για να χρησιμεύσει ως βάση δοκιμών για έναν αλγόριθμο RL που συνδυάζει πρόσφατες προηγμένες τεχνικές, όπως η ασύγχρονη εκπαίδευση με χρήση πολυεπεξεργαστή, συνελικτικά νευρωνικά δίκτυα, convolutional neural networks (CNN), και δίκτυα μακράς βραχύχρονης μνήμης long short-term Memory (LSTM). Επίσης έγινε χρήση και κάποιον μοναδικών τεχνικών. Οι τεχνικές αφορούν στην χρήση των γραπτών μνημάτων του παιχνιδιού και της καταγραφής της κατάστασης του ήρωα του παιχνιδιού ως εισόδους στα DNNs. Οι τεχνικές αυτές επιλέχθηκαν λόγο της σημασίας που έχουν αυτές οι πληροφορίες για έναν άνθρωπο που προσπαθεί να παίξει το παιχνίδι της διπλωματικής. O τύπος παιχνιδιού rogue-like επιλέγεται λόγω της δυσκολίας του, που οφείλεται στην έλλειψη ντετερμινισμού (κάθε σετ παιχνιδιού δημιουργείται τυχαία), στην ανάγκη χρήσης χρονικά εκτεταμένων στρατηγικών και στην μερική αναπαράσταση της κατάστασης του στον παίκτη. Στο πρώτο κεφάλαιο της διπλωματικής εργασίας, θα γίνει μια σύντομη αναφορά στα rogue-like παιχνίδια και συγκεκριμένα σε αυτό που χρησιμοποιείται στην εργασία, ενώ ακολουθεί μια εισαγωγή στο RL και μια σύντομη περιγραφή των DNNs, δίνοντας έμφαση στα δίκτυα που χρησιμοποιούνται στη διπλωματική. Στο δεύτερο κεφάλαιο, θα παρουσιαστεί η υλοποίηση του αλγορίθμου RL που χρησιμοποιείται, συμπεριλαμβανομένης της αρχιτεκτονικής του δικτύου. Θα δοθεί περαιτέρω μια συλλογιστική ως προς το ποιες τεχνικές χρησιμοποιούνται για την αντιμετώπιση των προκλήσεων ενός rogue-like παιχνιδιού. Στο τρίτο κεφάλαιο, θα παρουσιαστούν και θα αξιολογηθούν τα αποτελέσματα της εκπαίδευσης ενός πράκτορα χρησιμοποιώντας τις τεχνικές που περιγράφονται στο δεύτερο κεφάλαιο. Το τελευταίο κεφάλαιο περιλαμβάνει τα συμπεράσματα που προκύπτουν από τη διπλωματική εργασία και μερικές νεότερες τεχνικές που φαίνονται πολλά υποσχόμενες και μπορούν να βοηθήσουν στη βελτίωση της απόδοσης των μελλοντικών πρακτόρων RL στο παιχνίδι της διπλωματικής.","abstract_has_math":false,"creators":["Σιμάκος Ηλίας","Simakos Ilias"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2022,"date_issued":"2022","date_published":"2022","updated_at":"2026-11-19T06:20:13Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3246046"],"render_values":[{"text":"uoadl:3246046","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3246046","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/3246046","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A3246046","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Σιμάκος Ηλίας","Simakos Ilias"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2022"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:3246046","https://pergamos.lib.uoa.gr/uoa/dl/object/3246046"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η Τεχνητή Νοημοσύνη artificial intelligence (AI) είναι ένα σημαντικό μέρος της τέταρτης βιομηχανικής επανάστασης και υπόσχεται να αλλάξει δραματικά τη ζωή μας, αναλαμβάνοντας κουραστικές ή επικίνδυνες εργασίες για εμάς. Ωστόσο, πρέπει να γίνει ακόμα πολλή δουλειά. Μια αποτελεσματική οντότητα τεχνητής νοημοσύνης που θα εκτελέσει δύσκολες εργασίες, που μόνο ένας άνθρωπος μπορεί, είναι ακόμα μακριά. Έτσι, καταβάλλονται συνεχείς προσπάθειες για τη δημιουργία επιτυχημένων οντοτήτων AI. Σε αυτή τη διαδικασία τα βιντεοπαιχνίδια είναι ένα σημαντικό πεδίο δοκιμών, είναι εργασίες που περιλαμβάνουν εκμάθηση και συλλογισμό για έννοιες σε πολλαπλά επίπεδα αφαίρεσης, έναν τομέα στον οποίο η τεχνητή νοημοσύνη υστερεί σε σχέση με την ανθρώπινη. Για το λόγο αυτό, οι αλγόριθμοι τεχνητής νοημοσύνης που καταφέρνουν να παίξουν ένα παιχνίδι σε ανθρώπινο επίπεδο θεωρούνται επιτυχία και ένα βήμα μπροστά για τον κλάδο. Μεταξύ των τομέων της τεχνητής νοημοσύνης, η Ενισχυτική Μάθηση Reinforcement Learning (RL) χρησιμοποιείται συχνότερα για την εκπαίδευση ενός υπολογιστή, που συνήθως ονομάζεται πράκτορας (agent), στο πώς να παίζει βιντεοπαιχνίδια. Αυτή η κατηγορία AI είναι πιο στοχευμένη από τις άλλες, συγκεκριμένα η RL βασίζεται στην αλληλεπίδραση με ένα αβέβαιο περιβάλλον για την επίτευξη ενός τελικού στόχου, μια συμπεριφορά που ταιριάζει με αυτή ενός ανθρώπου που προσπαθεί να παίξει ένα παιχνίδι. Τα τελευταία χρόνια, ένας πράκτορας που εκπαιδεύτηκε με αλγόριθμους RL χρησιμοποιώντας βαθιά νευρωνικά δίκτυα, deep neural networks (DNN), για την προσέγγιση των συναρτήσεων που χρησιμοποιεί, μπόρεσε να παίξει σε ικανοποιητικό βαθμό σχετικά απλά παιχνίδια της κονσόλας ATARI2600 [1], ανοίγοντας το δρόμο για τους πράκτορες AI έτσι ώστε να καταφέρουν να παίξουν ακόμα πιο περίπλοκα παιχνίδια. Στην παρούσα εργασία, ένα rogue-like παιχνίδι δημιουργείται για να χρησιμεύσει ως βάση δοκιμών για έναν αλγόριθμο RL που συνδυάζει πρόσφατες προηγμένες τεχνικές, όπως η ασύγχρονη εκπαίδευση με χρήση πολυεπεξεργαστή, συνελικτικά νευρωνικά δίκτυα, convolutional neural networks (CNN), και δίκτυα μακράς βραχύχρονης μνήμης long short-term Memory (LSTM). Επίσης έγινε χρήση και κάποιον μοναδικών τεχνικών. Οι τεχνικές αφορούν στην χρήση των γραπτών μνημάτων του παιχνιδιού και της καταγραφής της κατάστασης του ήρωα του παιχνιδιού ως εισόδους στα DNNs. Οι τεχνικές αυτές επιλέχθηκαν λόγο της σημασίας που έχουν αυτές οι πληροφορίες για έναν άνθρωπο που προσπαθεί να παίξει το παιχνίδι της διπλωματικής. O τύπος παιχνιδιού rogue-like επιλέγεται λόγω της δυσκολίας του, που οφείλεται στην έλλειψη ντετερμινισμού (κάθε σετ παιχνιδιού δημιουργείται τυχαία), στην ανάγκη χρήσης χρονικά εκτεταμένων στρατηγικών και στην μερική αναπαράσταση της κατάστασης του στον παίκτη. Στο πρώτο κεφάλαιο της διπλωματικής εργασίας, θα γίνει μια σύντομη αναφορά στα rogue-like παιχνίδια και συγκεκριμένα σε αυτό που χρησιμοποιείται στην εργασία, ενώ ακολουθεί μια εισαγωγή στο RL και μια σύντομη περιγραφή των DNNs, δίνοντας έμφαση στα δίκτυα που χρησιμοποιούνται στη διπλωματική. Στο δεύτερο κεφάλαιο, θα παρουσιαστεί η υλοποίηση του αλγορίθμου RL που χρησιμοποιείται, συμπεριλαμβανομένης της αρχιτεκτονικής του δικτύου. Θα δοθεί περαιτέρω μια συλλογιστική ως προς το ποιες τεχνικές χρησιμοποιούνται για την αντιμετώπιση των προκλήσεων ενός rogue-like παιχνιδιού. Στο τρίτο κεφάλαιο, θα παρουσιαστούν και θα αξιολογηθούν τα αποτελέσματα της εκπαίδευσης ενός πράκτορα χρησιμοποιώντας τις τεχνικές που περιγράφονται στο δεύτερο κεφάλαιο. Το τελευταίο κεφάλαιο περιλαμβάνει τα συμπεράσματα που προκύπτουν από τη διπλωματική εργασία και μερικές νεότερες τεχνικές που φαίνονται πολλά υποσχόμενες και μπορούν να βοηθήσουν στη βελτίωση της απόδοσης των μελλοντικών πρακτόρων RL στο παιχνίδι της διπλωματικής.","Artificial Intelligence (AI) is an important part of the fourth industrial revolution, and it promises to dramatically change our lives by taking over tedious or dangerous tasks for us. Although, a lot of work still needs to be done. An effective artificial intelligence entity that will perform difficult tasks, which only a human can, is still far away. Thus, continuous efforts are being made to create successful AI entities. In this process, video games are an important testing ground, since they are tasks that involve learning and reasoning about concepts over multiple levels of abstraction, an area in which artificial intelligence lags behind human intelligence. For this reason, AI algorithms that manage to play a game at a human level are considered a success and a step forward in the industry. Among the fields of artificial intelligence, Reinforcement Learning (RL) is most often used to train a computer, usually called an agent, how to play video games. This category of AI is more goal directed than the others, specifically, the RL is based on interacting with an uncertain environment and achieving a final goal, a behavior that matches a human trying to play a game. In recent years, an agent trained with RL algorithms using deep neural networks (DNN) to approximate functions, was able to play relatively simple ATARI2600 games at a human level [1] paving the way for AI agents to master more complex games. In this thesis, a Rogue-like game is created to serve as a testbed for an RL algorithm that combines recent advanced techniques such as, asynchronous training using multiprocessors, convolutional neural networks (CNNs), and long-short-term memory (LSTM) networks. Also, some unique techniques were used. The techniques are the use of the game hero status information and the game text messages as inputs to the DNNs. This choice was made because of the importance of this information to a human playing the game. The Rogue-like type of game is chosen because of its difficulty stemming from their lack of determinism (each game set is randomly generated), the need for time-extended strategies, and the partial representation of their state to the player. The first chapter of the thesis will introduce the rogue-like games and specifically the one used in the thesis, followed by an introduction to RL and a brief description of DNNs, emphasizing the networks used in the thesis. The second chapter will present the implementation of the RL algorithm used including the network architecture. A reasoning will be further given as to what techniques are used to address the challenges of a rogue-like game. In the third chapter, the results of the training of an agent using the techniques, described in chapter two, will be presented and evaluated. The final chapter will include the conclusions drawn from the thesis and some newer techniques that look promising and can help improve the performance of future RL agents in the thesis game."]},{"key":"dc:title","label":"Title","values":["Reinforcement Learning for Rogue-like Games"]}]}],"canonical_facts":{"dc:creator":["Σιμάκος Ηλίας","Simakos Ilias"],"dc:date":["2022"],"dc:description":["Η Τεχνητή Νοημοσύνη artificial intelligence (AI) είναι ένα σημαντικό μέρος της τέταρτης βιομηχανικής επανάστασης και υπόσχεται να αλλάξει δραματικά τη ζωή μας, αναλαμβάνοντας κουραστικές ή επικίνδυνες εργασίες για εμάς. Ωστόσο, πρέπει να γίνει ακόμα πολλή δουλειά. Μια αποτελεσματική οντότητα τεχνητής νοημοσύνης που θα εκτελέσει δύσκολες εργασίες, που μόνο ένας άνθρωπος μπορεί, είναι ακόμα μακριά. Έτσι, καταβάλλονται συνεχείς προσπάθειες για τη δημιουργία επιτυχημένων οντοτήτων AI. Σε αυτή τη διαδικασία τα βιντεοπαιχνίδια είναι ένα σημαντικό πεδίο δοκιμών, είναι εργασίες που περιλαμβάνουν εκμάθηση και συλλογισμό για έννοιες σε πολλαπλά επίπεδα αφαίρεσης, έναν τομέα στον οποίο η τεχνητή νοημοσύνη υστερεί σε σχέση με την ανθρώπινη. Για το λόγο αυτό, οι αλγόριθμοι τεχνητής νοημοσύνης που καταφέρνουν να παίξουν ένα παιχνίδι σε ανθρώπινο επίπεδο θεωρούνται επιτυχία και ένα βήμα μπροστά για τον κλάδο. Μεταξύ των τομέων της τεχνητής νοημοσύνης, η Ενισχυτική Μάθηση Reinforcement Learning (RL) χρησιμοποιείται συχνότερα για την εκπαίδευση ενός υπολογιστή, που συνήθως ονομάζεται πράκτορας (agent), στο πώς να παίζει βιντεοπαιχνίδια. Αυτή η κατηγορία AI είναι πιο στοχευμένη από τις άλλες, συγκεκριμένα η RL βασίζεται στην αλληλεπίδραση με ένα αβέβαιο περιβάλλον για την επίτευξη ενός τελικού στόχου, μια συμπεριφορά που ταιριάζει με αυτή ενός ανθρώπου που προσπαθεί να παίξει ένα παιχνίδι. Τα τελευταία χρόνια, ένας πράκτορας που εκπαιδεύτηκε με αλγόριθμους RL χρησιμοποιώντας βαθιά νευρωνικά δίκτυα, deep neural networks (DNN), για την προσέγγιση των συναρτήσεων που χρησιμοποιεί, μπόρεσε να παίξει σε ικανοποιητικό βαθμό σχετικά απλά παιχνίδια της κονσόλας ATARI2600 [1], ανοίγοντας το δρόμο για τους πράκτορες AI έτσι ώστε να καταφέρουν να παίξουν ακόμα πιο περίπλοκα παιχνίδια. Στην παρούσα εργασία, ένα rogue-like παιχνίδι δημιουργείται για να χρησιμεύσει ως βάση δοκιμών για έναν αλγόριθμο RL που συνδυάζει πρόσφατες προηγμένες τεχνικές, όπως η ασύγχρονη εκπαίδευση με χρήση πολυεπεξεργαστή, συνελικτικά νευρωνικά δίκτυα, convolutional neural networks (CNN), και δίκτυα μακράς βραχύχρονης μνήμης long short-term Memory (LSTM). Επίσης έγινε χρήση και κάποιον μοναδικών τεχνικών. Οι τεχνικές αφορούν στην χρήση των γραπτών μνημάτων του παιχνιδιού και της καταγραφής της κατάστασης του ήρωα του παιχνιδιού ως εισόδους στα DNNs. Οι τεχνικές αυτές επιλέχθηκαν λόγο της σημασίας που έχουν αυτές οι πληροφορίες για έναν άνθρωπο που προσπαθεί να παίξει το παιχνίδι της διπλωματικής. O τύπος παιχνιδιού rogue-like επιλέγεται λόγω της δυσκολίας του, που οφείλεται στην έλλειψη ντετερμινισμού (κάθε σετ παιχνιδιού δημιουργείται τυχαία), στην ανάγκη χρήσης χρονικά εκτεταμένων στρατηγικών και στην μερική αναπαράσταση της κατάστασης του στον παίκτη. Στο πρώτο κεφάλαιο της διπλωματικής εργασίας, θα γίνει μια σύντομη αναφορά στα rogue-like παιχνίδια και συγκεκριμένα σε αυτό που χρησιμοποιείται στην εργασία, ενώ ακολουθεί μια εισαγωγή στο RL και μια σύντομη περιγραφή των DNNs, δίνοντας έμφαση στα δίκτυα που χρησιμοποιούνται στη διπλωματική. Στο δεύτερο κεφάλαιο, θα παρουσιαστεί η υλοποίηση του αλγορίθμου RL που χρησιμοποιείται, συμπεριλαμβανομένης της αρχιτεκτονικής του δικτύου. Θα δοθεί περαιτέρω μια συλλογιστική ως προς το ποιες τεχνικές χρησιμοποιούνται για την αντιμετώπιση των προκλήσεων ενός rogue-like παιχνιδιού. Στο τρίτο κεφάλαιο, θα παρουσιαστούν και θα αξιολογηθούν τα αποτελέσματα της εκπαίδευσης ενός πράκτορα χρησιμοποιώντας τις τεχνικές που περιγράφονται στο δεύτερο κεφάλαιο. Το τελευταίο κεφάλαιο περιλαμβάνει τα συμπεράσματα που προκύπτουν από τη διπλωματική εργασία και μερικές νεότερες τεχνικές που φαίνονται πολλά υποσχόμενες και μπορούν να βοηθήσουν στη βελτίωση της απόδοσης των μελλοντικών πρακτόρων RL στο παιχνίδι της διπλωματικής.","Artificial Intelligence (AI) is an important part of the fourth industrial revolution, and it promises to dramatically change our lives by taking over tedious or dangerous tasks for us. Although, a lot of work still needs to be done. An effective artificial intelligence entity that will perform difficult tasks, which only a human can, is still far away. Thus, continuous efforts are being made to create successful AI entities. In this process, video games are an important testing ground, since they are tasks that involve learning and reasoning about concepts over multiple levels of abstraction, an area in which artificial intelligence lags behind human intelligence. For this reason, AI algorithms that manage to play a game at a human level are considered a success and a step forward in the industry. Among the fields of artificial intelligence, Reinforcement Learning (RL) is most often used to train a computer, usually called an agent, how to play video games. This category of AI is more goal directed than the others, specifically, the RL is based on interacting with an uncertain environment and achieving a final goal, a behavior that matches a human trying to play a game. In recent years, an agent trained with RL algorithms using deep neural networks (DNN) to approximate functions, was able to play relatively simple ATARI2600 games at a human level [1] paving the way for AI agents to master more complex games. In this thesis, a Rogue-like game is created to serve as a testbed for an RL algorithm that combines recent advanced techniques such as, asynchronous training using multiprocessors, convolutional neural networks (CNNs), and long-short-term memory (LSTM) networks. Also, some unique techniques were used. The techniques are the use of the game hero status information and the game text messages as inputs to the DNNs. This choice was made because of the importance of this information to a human playing the game. The Rogue-like type of game is chosen because of its difficulty stemming from their lack of determinism (each game set is randomly generated), the need for time-extended strategies, and the partial representation of their state to the player. The first chapter of the thesis will introduce the rogue-like games and specifically the one used in the thesis, followed by an introduction to RL and a brief description of DNNs, emphasizing the networks used in the thesis. The second chapter will present the implementation of the RL algorithm used including the network architecture. A reasoning will be further given as to what techniques are used to address the challenges of a rogue-like game. In the third chapter, the results of the training of an agent using the techniques, described in chapter two, will be presented and evaluated. The final chapter will include the conclusions drawn from the thesis and some newer techniques that look promising and can help improve the performance of future RL agents in the thesis game."],"dc:identifier":["uoadl:3246046","https://pergamos.lib.uoa.gr/uoa/dl/object/3246046"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Reinforcement Learning for Rogue-like Games"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T06:20:13Z"}