Back to search

National and Kapodistrian University of Athens

Reinforcement Learning for Rogue-like Games

Abstract

dc:description

Η Τεχνητή Νοημοσύνη artificial intelligence (AI) είναι ένα σημαντικό μέρος της τέταρτης βιομηχανικής επανάστασης και υπόσχεται να αλλάξει δραματικά τη ζωή μας, αναλαμβάνοντας κουραστικές ή επικίνδυνες εργασίες για εμάς. Ωστόσο, πρέπει να γίνει ακόμα πολλή δουλειά. Μια αποτελεσματική οντότητα τεχνητής νοημοσύνης που θα εκτελέσει δύσκολες εργασίες, που μόνο ένας άνθρωπος μπορεί, είναι ακόμα μακριά. Έτσι, καταβάλλονται συνεχείς προσπάθειες για τη δημιουργία επιτυχημένων οντοτήτων AI. Σε αυτή τη διαδικασία τα βιντεοπαιχνίδια είναι ένα σημαντικό πεδίο δοκιμών, είναι εργασίες που περιλαμβάνουν εκμάθηση και συλλογισμό για έννοιες σε πολλαπλά επίπεδα αφαίρεσης, έναν τομέα στον οποίο η τεχνητή νοημοσύνη υστερεί σε σχέση με την ανθρώπινη. Για το λόγο αυτό, οι αλγόριθμοι τεχνητής νοημοσύνης που καταφέρνουν να παίξουν ένα παιχνίδι σε ανθρώπινο επίπεδο θεωρούνται επιτυχία και ένα βήμα μπροστά για τον κλάδο. Μεταξύ των τομέων της τεχνητής νοημοσύνης, η Ενισχυτική Μάθηση Reinforcement Learning (RL) χρησιμοποιείται συχνότερα για την εκπαίδευση ενός υπολογιστή, που συνήθως ονομάζεται πράκτορας (agent), στο πώς να παίζει βιντεοπαιχνίδια. Αυτή η κατηγορία AI είναι πιο στοχευμένη από τις άλλες, συγκεκριμένα η RL βασίζεται στην αλληλεπίδραση με ένα αβέβαιο περιβάλλον για την επίτευξη ενός τελικού στόχου, μια συμπεριφορά που ταιριάζει με αυτή ενός ανθρώπου που προσπαθεί να παίξει ένα παιχνίδι. Τα τελευταία χρόνια, ένας πράκτορας που εκπαιδεύτηκε με αλγόριθμους RL χρησιμοποιώντας βαθιά νευρωνικά δίκτυα, deep neural networks (DNN), για την προσέγγιση των συναρτήσεων που χρησιμοποιεί, μπόρεσε να παίξει σε ικανοποιητικό βαθμό σχετικά απλά παιχνίδια της κονσόλας ATARI2600 [1], ανοίγοντας το δρόμο για τους πράκτορες AI έτσι ώστε να καταφέρουν να παίξουν ακόμα πιο περίπλοκα παιχνίδια. Στην παρούσα εργασία, ένα rogue-like παιχνίδι δημιουργείται για να χρησιμεύσει ως βάση δοκιμών για έναν αλγόριθμο RL που συνδυάζει πρόσφατες προηγμένες τεχνικές, όπως η ασύγχρονη εκπαίδευση με χρήση πολυεπεξεργαστή, συνελικτικά νευρωνικά δίκτυα, convolutional neural networks (CNN), και δίκτυα μακράς βραχύχρονης μνήμης long short-term Memory (LSTM). Επίσης έγινε χρήση και κάποιον μοναδικών τεχνικών. Οι τεχνικές αφορούν στην χρήση των γραπτών μνημάτων του παιχνιδιού και της καταγραφής της κατάστασης του ήρωα του παιχνιδιού ως εισόδους στα DNNs. Οι τεχνικές αυτές επιλέχθηκαν λόγο της σημασίας που έχουν αυτές οι πληροφορίες για έναν άνθρωπο που προσπαθεί να παίξει το παιχνίδι της διπλωματικής. O τύπος παιχνιδιού rogue-like επιλέγεται λόγω της δυσκολίας του, που οφείλεται στην έλλειψη ντετερμινισμού (κάθε σετ παιχνιδιού δημιουργείται τυχαία), στην ανάγκη χρήσης χρονικά εκτεταμένων στρατηγικών και στην μερική αναπαράσταση της κατάστασης του στον παίκτη. Στο πρώτο κεφάλαιο της διπλωματικής εργασίας, θα γίνει μια σύντομη αναφορά στα rogue-like παιχνίδια και συγκεκριμένα σε αυτό που χρησιμοποιείται στην εργασία, ενώ ακολουθεί μια εισαγωγή στο RL και μια σύντομη περιγραφή των DNNs, δίνοντας έμφαση στα δίκτυα που χρησιμοποιούνται στη διπλωματική. Στο δεύτερο κεφάλαιο, θα παρουσιαστεί η υλοποίηση του αλγορίθμου RL που χρησιμοποιείται, συμπεριλαμβανομένης της αρχιτεκτονικής του δικτύου. Θα δοθεί περαιτέρω μια συλλογιστική ως προς το ποιες τεχνικές χρησιμοποιούνται για την αντιμετώπιση των προκλήσεων ενός rogue-like παιχνιδιού. Στο τρίτο κεφάλαιο, θα παρουσιαστούν και θα αξιολογηθούν τα αποτελέσματα της εκπαίδευσης ενός πράκτορα χρησιμοποιώντας τις τεχνικές που περιγράφονται στο δεύτερο κεφάλαιο. Το τελευταίο κεφάλαιο περιλαμβάνει τα συμπεράσματα που προκύπτουν από τη διπλωματική εργασία και μερικές νεότερες τεχνικές που φαίνονται πολλά υποσχόμενες και μπορούν να βοηθήσουν στη βελτίωση της απόδοσης των μελλοντικών πρακτόρων RL στο παιχνίδι της διπλωματικής.

Author and committee

dc:creator, dc:contributor.*
Authors dc:creator
  • Σιμάκος Ηλίας
  • Simakos Ilias

Subjects

dc:subject × 2

Rights

Language dc:language
English

Identifiers

dc:identifier.*
Identifier
uoadl:3246046

Chain of custody

source
Harvested from
National and Kapodistrian University of Athens
Base URL
pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
citation

Σιμάκος Ηλίας; Simakos Ilias. Reinforcement Learning for Rogue-like Games. 2022. https://pergamos.lib.uoa.gr/uoa/dl/object/3246046