{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:2928827"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:2928827","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Development of a Tower Defense game with Reinforcement Learning Agents.","abstract":"Σκοπός της εργασίας είναι η ανάπτυξη ενός παιχνιδιού Υπεράσπισης Πύργου (Tower Defense) με στοιχεία υπολογιστικής νοημοσύνης. Υλοποιήθηκε μια από τις τεχνικές Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning), πιο συγκεκριμένα η Α2C (Advantage Actor-Critic) για να εφοδιάσει τον αντίπαλο (πράκτορα-agent) με στοιχεία τεχνητής νοημοσύνης βοηθώντας τον στην επίτευξη του τελικού στόχου με την αποφυγή των εμποδίων και κινδύνων. Η εκπαίδευση του αντιπάλου διεξάγεται κατά την διάρκεια του παιχνιδιού. Η μέθοδος A2C εξαιτίας της συνιστώσας Actor-Critic επωφελείται συνδυάζοντας τα χαρακτηριστικά των μεθόδων που βασίζονται στην τιμή της συνάρτησης Q (Q-learning algorithms) και των μεθόδων που βασίζονται στην αναζήτηση της καλύτερης πολιτικής (Policy Search methods). Η χρήση νευρωνικού δικτύου επιτρέπει τον χειρισμό προβλημάτων μεγάλων διαστάσεων εξαιτίας της μείωσης των διαστάσεων που προσφέρει. Η βασική αρχή της εκμάθησης με τεχνικές Ενισχυτικής Μάθησης πηγάζει από την Ψυχολογία συμπεριφοράς και είναι μια γενική μέθοδος που βασίζεται στην αρχή της δοκιμής-και-λάθους. Ο πράκτορας εκπαιδεύεται από μόνος του λαμβάνοντας μηνύματα αμοιβής/τιμωρίας ως απόκριση στις ενέργειές του από το περιβάλλον στο οποίο ο ίδιος δρα. Η ανάπτυξη του παιχνιδιού χρησίμευσε ως ένα μέσον για την μελέτη και βαθύτερη κατανόηση θεμάτων της βαθιάς ενισχυτικής εκμάθησης. Στην αρχή της εργασίας συζητούνται γενικότερα θέματα Μηχανικής Μάθησης (Machine Learning) και κατόπιν αυτά των Νευρωνικών Δικτύων όπως είναι τα βασικά χαρακτηριστικά, αρχιτεκτονικές και μέθοδοι εκπαίδευσης. Στην συνέχεια αναλύεται το πεδίο της ενισχυτικής μάθησης, όπως είναι οι θεμελιώδεις αρχές, ορισμοί και μεθοδολογικές προσεγγίσεις και τέλος η δραστική βελτίωση που επιτεύχθηκε με την ενσωμάτωση νευρωνικών που οδήγησε στις μεθόδους της βαθιάς ενισχυτικής εκμάθησης. Ως εργαλεία ανάπτυξης του παιχνιδιού επιλέχθηκαν η γλώσσα Python και συμπληρωματικά τα TensorFlow, Keras και Pygame. Ο συνδυασμός τους ήταν απολύτως επιτυχής για την ανάπτυξη του κώδικα και τα απαραίτητα τρεξίματα για δοκιμή και αξιολόγηση της επίδοσης των αλγορίθμων και ρύθμιση των παραμέτρων. Στο τέλος της εργασίας προτείνονται διάφορες βελτιώσεις των τμημάτων που αφορούν στην επαύξηση της νοημοσύνης των παραγόντων του παιχνιδιού.","abstract_html":"Σκοπός της εργασίας είναι η ανάπτυξη ενός παιχνιδιού Υπεράσπισης Πύργου (Tower Defense) με στοιχεία υπολογιστικής νοημοσύνης. Υλοποιήθηκε μια από τις τεχνικές Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning), πιο συγκεκριμένα η Α2C (Advantage Actor-Critic) για να εφοδιάσει τον αντίπαλο (πράκτορα-agent) με στοιχεία τεχνητής νοημοσύνης βοηθώντας τον στην επίτευξη του τελικού στόχου με την αποφυγή των εμποδίων και κινδύνων. Η εκπαίδευση του αντιπάλου διεξάγεται κατά την διάρκεια του παιχνιδιού. Η μέθοδος A2C εξαιτίας της συνιστώσας Actor-Critic επωφελείται συνδυάζοντας τα χαρακτηριστικά των μεθόδων που βασίζονται στην τιμή της συνάρτησης Q (Q-learning algorithms) και των μεθόδων που βασίζονται στην αναζήτηση της καλύτερης πολιτικής (Policy Search methods). Η χρήση νευρωνικού δικτύου επιτρέπει τον χειρισμό προβλημάτων μεγάλων διαστάσεων εξαιτίας της μείωσης των διαστάσεων που προσφέρει. Η βασική αρχή της εκμάθησης με τεχνικές Ενισχυτικής Μάθησης πηγάζει από την Ψυχολογία συμπεριφοράς και είναι μια γενική μέθοδος που βασίζεται στην αρχή της δοκιμής-και-λάθους. Ο πράκτορας εκπαιδεύεται από μόνος του λαμβάνοντας μηνύματα αμοιβής/τιμωρίας ως απόκριση στις ενέργειές του από το περιβάλλον στο οποίο ο ίδιος δρα. Η ανάπτυξη του παιχνιδιού χρησίμευσε ως ένα μέσον για την μελέτη και βαθύτερη κατανόηση θεμάτων της βαθιάς ενισχυτικής εκμάθησης. Στην αρχή της εργασίας συζητούνται γενικότερα θέματα Μηχανικής Μάθησης (Machine Learning) και κατόπιν αυτά των Νευρωνικών Δικτύων όπως είναι τα βασικά χαρακτηριστικά, αρχιτεκτονικές και μέθοδοι εκπαίδευσης. Στην συνέχεια αναλύεται το πεδίο της ενισχυτικής μάθησης, όπως είναι οι θεμελιώδεις αρχές, ορισμοί και μεθοδολογικές προσεγγίσεις και τέλος η δραστική βελτίωση που επιτεύχθηκε με την ενσωμάτωση νευρωνικών που οδήγησε στις μεθόδους της βαθιάς ενισχυτικής εκμάθησης. Ως εργαλεία ανάπτυξης του παιχνιδιού επιλέχθηκαν η γλώσσα Python και συμπληρωματικά τα TensorFlow, Keras και Pygame. Ο συνδυασμός τους ήταν απολύτως επιτυχής για την ανάπτυξη του κώδικα και τα απαραίτητα τρεξίματα για δοκιμή και αξιολόγηση της επίδοσης των αλγορίθμων και ρύθμιση των παραμέτρων. Στο τέλος της εργασίας προτείνονται διάφορες βελτιώσεις των τμημάτων που αφορούν στην επαύξηση της νοημοσύνης των παραγόντων του παιχνιδιού.","abstract_has_math":false,"creators":["Μανωλάκη Μαρία","Manolaki Maria"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2020,"date_issued":"2020","date_published":"2020","updated_at":"2026-11-19T05:41:29Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2928827"],"render_values":[{"text":"uoadl:2928827","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2928827","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/2928827","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A2928827","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Μανωλάκη Μαρία","Manolaki Maria"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2020"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:2928827","https://pergamos.lib.uoa.gr/uoa/dl/object/2928827"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Σκοπός της εργασίας είναι η ανάπτυξη ενός παιχνιδιού Υπεράσπισης Πύργου (Tower Defense) με στοιχεία υπολογιστικής νοημοσύνης. Υλοποιήθηκε μια από τις τεχνικές Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning), πιο συγκεκριμένα η Α2C (Advantage Actor-Critic) για να εφοδιάσει τον αντίπαλο (πράκτορα-agent) με στοιχεία τεχνητής νοημοσύνης βοηθώντας τον στην επίτευξη του τελικού στόχου με την αποφυγή των εμποδίων και κινδύνων. Η εκπαίδευση του αντιπάλου διεξάγεται κατά την διάρκεια του παιχνιδιού. Η μέθοδος A2C εξαιτίας της συνιστώσας Actor-Critic επωφελείται συνδυάζοντας τα χαρακτηριστικά των μεθόδων που βασίζονται στην τιμή της συνάρτησης Q (Q-learning algorithms) και των μεθόδων που βασίζονται στην αναζήτηση της καλύτερης πολιτικής (Policy Search methods). Η χρήση νευρωνικού δικτύου επιτρέπει τον χειρισμό προβλημάτων μεγάλων διαστάσεων εξαιτίας της μείωσης των διαστάσεων που προσφέρει. Η βασική αρχή της εκμάθησης με τεχνικές Ενισχυτικής Μάθησης πηγάζει από την Ψυχολογία συμπεριφοράς και είναι μια γενική μέθοδος που βασίζεται στην αρχή της δοκιμής-και-λάθους. Ο πράκτορας εκπαιδεύεται από μόνος του λαμβάνοντας μηνύματα αμοιβής/τιμωρίας ως απόκριση στις ενέργειές του από το περιβάλλον στο οποίο ο ίδιος δρα. Η ανάπτυξη του παιχνιδιού χρησίμευσε ως ένα μέσον για την μελέτη και βαθύτερη κατανόηση θεμάτων της βαθιάς ενισχυτικής εκμάθησης. Στην αρχή της εργασίας συζητούνται γενικότερα θέματα Μηχανικής Μάθησης (Machine Learning) και κατόπιν αυτά των Νευρωνικών Δικτύων όπως είναι τα βασικά χαρακτηριστικά, αρχιτεκτονικές και μέθοδοι εκπαίδευσης. Στην συνέχεια αναλύεται το πεδίο της ενισχυτικής μάθησης, όπως είναι οι θεμελιώδεις αρχές, ορισμοί και μεθοδολογικές προσεγγίσεις και τέλος η δραστική βελτίωση που επιτεύχθηκε με την ενσωμάτωση νευρωνικών που οδήγησε στις μεθόδους της βαθιάς ενισχυτικής εκμάθησης. Ως εργαλεία ανάπτυξης του παιχνιδιού επιλέχθηκαν η γλώσσα Python και συμπληρωματικά τα TensorFlow, Keras και Pygame. Ο συνδυασμός τους ήταν απολύτως επιτυχής για την ανάπτυξη του κώδικα και τα απαραίτητα τρεξίματα για δοκιμή και αξιολόγηση της επίδοσης των αλγορίθμων και ρύθμιση των παραμέτρων. Στο τέλος της εργασίας προτείνονται διάφορες βελτιώσεις των τμημάτων που αφορούν στην επαύξηση της νοημοσύνης των παραγόντων του παιχνιδιού.","Summary The aim of this Master Thesis is to develop a Tower Defense game and to equip it with computational intelligence. A Deep Reinforcement Learning technique, more specifically the Advantage Actor-Critic (A2C), is implemented and tuned in order to provide the enemy with intelligence assisting him to reach the final goal by avoiding the obstacles. The enemy is trained online. The A2C method, due to its actor-critic part, benefits from the characteristics of both policy search and Q value methods, while the use of a deep neural network permits the handling of large action spaces by reducing the dimension of the problem. The reinforcement learning is a trial-and-error general method letting the agent to learn via the rewards he is receiving from the environment in response to his actions. By enriching the game with an artificial intelligence component, it is becoming more interesting for the player. In addition, the game served as a means to study and deepen our knowledge further in the field of deep reinforcement learning. Chapter 2 is discussing aspects and principles of Machine Learning. Chapter 3 covers the topic of Neural Networks by presenting their basic components, characteristics, learning/training methods and the most important architectures. The subject of reinforcement learning is discussed in chapter 4. The fundamental terms, definitions and principles are addressed in the beginning of the chapter, then the basic reinforcement learning algorithms are briefly presented. Deep reinforcement learning and two relevant algorithms are covered at the end of the chapter. Chapter 5 deals with the game, more specifically with the design, development, implementation and the reinforcement learning component. The approach followed and the design characteristics, the tools that were employed for the development and the issue of tuning the training parameters are presented in detail. The chapter ends with a presentation and discussion of the results obtained after running the game. The thesis is finishing with the Conclusions, whereas the full code that has been developed is presented in the Appendix."]},{"key":"dc:title","label":"Title","values":["Development of a Tower Defense game with Reinforcement Learning Agents."]}]}],"canonical_facts":{"dc:creator":["Μανωλάκη Μαρία","Manolaki Maria"],"dc:date":["2020"],"dc:description":["Σκοπός της εργασίας είναι η ανάπτυξη ενός παιχνιδιού Υπεράσπισης Πύργου (Tower Defense) με στοιχεία υπολογιστικής νοημοσύνης. Υλοποιήθηκε μια από τις τεχνικές Βαθιάς Ενισχυτικής Μάθησης (Deep Reinforcement Learning), πιο συγκεκριμένα η Α2C (Advantage Actor-Critic) για να εφοδιάσει τον αντίπαλο (πράκτορα-agent) με στοιχεία τεχνητής νοημοσύνης βοηθώντας τον στην επίτευξη του τελικού στόχου με την αποφυγή των εμποδίων και κινδύνων. Η εκπαίδευση του αντιπάλου διεξάγεται κατά την διάρκεια του παιχνιδιού. Η μέθοδος A2C εξαιτίας της συνιστώσας Actor-Critic επωφελείται συνδυάζοντας τα χαρακτηριστικά των μεθόδων που βασίζονται στην τιμή της συνάρτησης Q (Q-learning algorithms) και των μεθόδων που βασίζονται στην αναζήτηση της καλύτερης πολιτικής (Policy Search methods). Η χρήση νευρωνικού δικτύου επιτρέπει τον χειρισμό προβλημάτων μεγάλων διαστάσεων εξαιτίας της μείωσης των διαστάσεων που προσφέρει. Η βασική αρχή της εκμάθησης με τεχνικές Ενισχυτικής Μάθησης πηγάζει από την Ψυχολογία συμπεριφοράς και είναι μια γενική μέθοδος που βασίζεται στην αρχή της δοκιμής-και-λάθους. Ο πράκτορας εκπαιδεύεται από μόνος του λαμβάνοντας μηνύματα αμοιβής/τιμωρίας ως απόκριση στις ενέργειές του από το περιβάλλον στο οποίο ο ίδιος δρα. Η ανάπτυξη του παιχνιδιού χρησίμευσε ως ένα μέσον για την μελέτη και βαθύτερη κατανόηση θεμάτων της βαθιάς ενισχυτικής εκμάθησης. Στην αρχή της εργασίας συζητούνται γενικότερα θέματα Μηχανικής Μάθησης (Machine Learning) και κατόπιν αυτά των Νευρωνικών Δικτύων όπως είναι τα βασικά χαρακτηριστικά, αρχιτεκτονικές και μέθοδοι εκπαίδευσης. Στην συνέχεια αναλύεται το πεδίο της ενισχυτικής μάθησης, όπως είναι οι θεμελιώδεις αρχές, ορισμοί και μεθοδολογικές προσεγγίσεις και τέλος η δραστική βελτίωση που επιτεύχθηκε με την ενσωμάτωση νευρωνικών που οδήγησε στις μεθόδους της βαθιάς ενισχυτικής εκμάθησης. Ως εργαλεία ανάπτυξης του παιχνιδιού επιλέχθηκαν η γλώσσα Python και συμπληρωματικά τα TensorFlow, Keras και Pygame. Ο συνδυασμός τους ήταν απολύτως επιτυχής για την ανάπτυξη του κώδικα και τα απαραίτητα τρεξίματα για δοκιμή και αξιολόγηση της επίδοσης των αλγορίθμων και ρύθμιση των παραμέτρων. Στο τέλος της εργασίας προτείνονται διάφορες βελτιώσεις των τμημάτων που αφορούν στην επαύξηση της νοημοσύνης των παραγόντων του παιχνιδιού.","Summary The aim of this Master Thesis is to develop a Tower Defense game and to equip it with computational intelligence. A Deep Reinforcement Learning technique, more specifically the Advantage Actor-Critic (A2C), is implemented and tuned in order to provide the enemy with intelligence assisting him to reach the final goal by avoiding the obstacles. The enemy is trained online. The A2C method, due to its actor-critic part, benefits from the characteristics of both policy search and Q value methods, while the use of a deep neural network permits the handling of large action spaces by reducing the dimension of the problem. The reinforcement learning is a trial-and-error general method letting the agent to learn via the rewards he is receiving from the environment in response to his actions. By enriching the game with an artificial intelligence component, it is becoming more interesting for the player. In addition, the game served as a means to study and deepen our knowledge further in the field of deep reinforcement learning. Chapter 2 is discussing aspects and principles of Machine Learning. Chapter 3 covers the topic of Neural Networks by presenting their basic components, characteristics, learning/training methods and the most important architectures. The subject of reinforcement learning is discussed in chapter 4. The fundamental terms, definitions and principles are addressed in the beginning of the chapter, then the basic reinforcement learning algorithms are briefly presented. Deep reinforcement learning and two relevant algorithms are covered at the end of the chapter. Chapter 5 deals with the game, more specifically with the design, development, implementation and the reinforcement learning component. The approach followed and the design characteristics, the tools that were employed for the development and the issue of tuning the training parameters are presented in detail. The chapter ends with a presentation and discussion of the results obtained after running the game. The thesis is finishing with the Conclusions, whereas the full code that has been developed is presented in the Appendix."],"dc:identifier":["uoadl:2928827","https://pergamos.lib.uoa.gr/uoa/dl/object/2928827"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Development of a Tower Defense game with Reinforcement Learning Agents."],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:41:29Z"}