National and Kapodistrian University of Athens
Application of machine learning algorithms for intrusion detection in the cybersecurity domain: a comparative study on the CSE-CIC-IDS2018 dataset
Abstract
dc:descriptionΗ παρούσα διπλωματική εργασία εξετάζει την εφαρμογή κλασικών αλγορίθμων μηχανικής μάθησης για την ανίχνευση εισβολών σε δίκτυα υπολογιστών, χρησιμοποιώντας το σύνολο δεδομένων CSE CIC IDS2018, το οποίο αποτελεί μια σύγχρονη βάση η οποία αποτυπώνει ρεαλιστική κίνηση δεδομένων σε δίκτυα υπολογιστών και καλύπτει ένα ευρύ φάσμα σύγχρονων κυβερνοεπιθέσεων. Η εργασία εμπνεύστηκε από τρία επαναλαμβανόμενα ζητήματα που αναδεικνύονται στη σύγχρονη βιβλιογραφία: τη μη ρεαλιστική διόγκωση επιδόσεων λόγω υπεραισιόδοξων πρωτοκόλλων αξιολόγησης, την έντονη ανισορροπία κλάσεων μεταξύ φυσιολογικής και κακόβουλης κίνησης σε δίκτυα, και τη χαμηλή ικανότητα γενίκευσης μεταξύ διαφορετικών συνόλων δεδομένων και διαφορετικών ημερών σε πραγματικά περιβάλλοντα. Βασιζόμενη σε αυτά τα ευρήματα, η διπλωματική σχεδιάζει ένα πειραματικό πλαίσιο που δίνει έμφαση σε ρεαλιστικές συνθήκες αξιολόγησης, προσεκτική επιλογή σημείων λειτουργίας/αξιολόγησης και τεχνικές προεπεξεργασίας που μπορούν να αναπαραχθούν εύκολα. Η προτεινόμενη μέθοδος ανάλυσης περιλαμβάνει καθαρισμό δεδομένων και συγκεκριμένες τεχνικές προεπεξεργασίας, καθώς και ένα κατάλληλο πλαίσιο επιλογής χαρακτηριστικών, το οποίο καταλήγει σε αναπαράσταση 25 στοιχείων δικτυακής κίνησης δεδομένων. Για την αντιμετώπιση της ανισορροπίας κλάσεων, η μελέτη χρησιμοποιεί στρατηγικές δειγματοληψίας και στάθμισης και εστιάζει στην αξιολόγηση των μοντέλων υπό ρεαλιστικούς περιορισμούς ψευδών συναγερμών (FAR≤1%), αντί χρήσης τεχνητά ισορροπημένων συνόλων εκπαίδευσης αλγορίθμων. Τέσσερις βασικοί αλγόριθμοι εξετάζονται: k Nearest Neighbors, Decision Tree, Random Forest και XGBoost, οι οποίοι πλαισιώνονται από επιπλέον μοντέλα όπως Logistic Regression, Support Vector Machines, Extra Trees, AdaBoost και LightGBM, ενώ χρησιμοποιούνται δυο (2) τρόποι αξιολόγησης. Ένα μικτό σχήμα (τυχαία διάσπαση σε όλες τις ημέρες), που αντικατοπτρίζει τη συνήθη πρακτική στη βιβλιογραφία, ενώ το έτερο σχήμα (LODO) αξιολογεί τη δυνατότητα γενίκευσης των μοντέλων, αφήνοντας ολόκληρες ημέρες εντελώς εκτός του υποσυνόλου εκπαίδευσης και ρύθμισης υπερπαρα-μέτρων. Τα μοντέλα συγκρίνονται με χρήση διάφορων μετρικών και ενός ειδικά προσαρμοσμένου κατωφλίου στην ανίχνευση εισβολών, τα οποίο περιλαμβάνουν: ρυθμό εμφάνισης ψευδών συναγερμών, ρυθμό χαμένων επιθέσεων, F1 score για την κλάση επίθεσης και τον Συντελεστή Συσχέτισης του Matthews. Ιδιαίτερη έμφαση δίνεται σε σημεία λειτουργίας που διατηρούν τον ρυθμό ψευδών συναγερμών στο 1% ή χαμηλότερα. Πέραν της δυαδικής ανίχνευσης, ενσωματώνεται ένας ταξινομητής δεύτερου σταδίου που συγκεκριμενοποιεί τις κατηγορίες επιθέσεων μέσω διαφόρων μετρικών. Τα πειραματικά αποτελέσματα δείχνουν ότι οι αλγόριθμοι Random Forest και XGBoost επιτυγχάνουν καλύτερη ισορροπία μεταξύ απόδοσης ανίχνευσης και ανθεκτικότητας υπό αυστηρούς στόχους ψευδών συναγερμών (1% ή χαμηλότερα), υπερέχοντας των απλούστερων μοντέλων, τόσο στο μικτό, όσο και στο έτερο (γενικευμένο) σχήμα (LODO). Υπό το μικτό σχήμα (MIXED), και τα τέσσερα μοντέλα συγκλίνουν σε παρόμοια αποτελέσματα ανίχνευσης, ενώ υπό συνθήκες LODO, παρατηρείται ένα σταθερό μοτίβο δύο παραγόντων, στο οποίο η ταξινόμηση κατηγοριοποίησης εμφανίζεται ως το κύριο πρόβλημα στις ημέρες DDoS/DoS, ενώ στις ημέρες Infiltration ο περιοριστικός παράγοντας είναι αποκλειστικά η δυαδική ανίχνευση. Ωστόσο, όλα τα μοντέλα εμφανίζουν δυσκολία στη γενίκευση μεταξύ των δύο (2) σχημάτων, (MIXED και LODO), επιβεβαιώνοντας ότι η ημερήσια μεταβλητότητα παραμένει ένα σημαντικό ζήτημα. Η διπλωματική καταλήγει στο ότι η επιλογή σχεδιασμού των μεθόδων διαχωρισμού ημερών/δεδομένων, η επιλογή συγκεκριμένων επιχειρησιακών σημείων λειτουργίας και η αξιολόγηση σε χρονική βάση είναι στοιχεία εξίσου σημαντικά με την ίδια την επιλογή του αλγορίθμου μηχανικής μάθησης. Επιπλέον, προτείνει κατευθύνσεις για μελλοντική έρευνα, συμπεριλαμβανομένων της αξιολόγησης μεταξύ διαφορετικών συνόλων δεδομένων, της ενσωμάτωσης μοντέλων βαθιάς μάθησης / νευρωνικών δικτύων και θεμάτων προσανατολισμένων σε πραγματικά επιχειρησιακά περιβάλλοντα. Ο κώδικας Python που αναπτύχθηκε στο πλαίσιο της παρούσας διπλωματικής εργασίας έχει υλοποιηθεί εξ ολοκλήρου από την αρχή και είναι ελεύθερα προσβάσιμος στο ακόλουθο αποθετήριο GitHub: https://github.com/iraklislf/ML_IDS2018
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- ΛΕΦΑΣ ΗΡΑΚΛΗΣ
- LEFAS IRAKLIS
Subjects
dc:subject × 2Rights
- Language dc:language
- English
Identifiers
dc:identifier.*- Identifier
- uoadl:5451498