National and Kapodistrian University of Athens
Comparison of Different Clustering Algorithms for Diagnosing Memory-Related Performance Issues Using a Distributed Computing System
Abstract
dc:descriptionΑποτυχίες δημοφιλών συστημάτων μεγάλων τεχνολογικών κολοσσών καθιστούν την εφαρμογή των δοκιμών φορτίου (load tests) απαραίτητη για τον έλεγχο των συστημάτων λογισμικού. Παρόλα αυτά, η διάγνωση των προβλημάτων που σχετίζονται με την μνήμη αποτελεί μια σημαντική πρόκληση για τους προγραμματιστές. Για την αντιμετώπιση τους, εφαρμόζονται συχνά αυτοματοποιημένες τεχνικές ανάλυσης οι οποίες όμως απαιτούν σημαντική χειροκίνητη προσπάθεια και υψηλό βαθμό γνώσης του συστήματος. Μια λύση στο πρόβλημα αυτό, αποτελεί η χρήση τεχνικών της μηχανικής μάθησης (machine learning) με σκοπό την διάγνωση της υπάρχουσας ανώμαλης συμπεριφοράς του συστήματος. Οι Mark D. Syer et al. προτείνουν μια νέα αυτοματοποιημένη προσέγγιση συνδυάζοντας τους μετρητές απόδοσης (performance counters) και τα αρχεία εκτέλεσης (execution logs) εφαρμόζοντας την ιεραρχική ομαδοποίηση (hierarchical clustering) για την συσταδοποίηση των δεδομένων. Η ομαδοποίηση αυτή όμως, αποτυγχάνει σε περιπτώσεις μεγάλων δεδομένων (big data) καθώς παρουσιάζει μεγάλη πολυπλοκότητα. Εμείς, εφαρμόζουμε μια διαφορετική προσέγγιση του αλγορίθμου του Syer εκμεταλλευόμενοι το πλεονέκτημα του παραλληλισμού των ποικίλων διεργασιών που μας παρέχει το Spark framework. Βασιζόμενοι σε μια προηγούμενη εταιρική υλοποίηση του αλγόριθμου, στη φάση της συσταδοποίησης, εφαρμόζουμε τον k-means αλγόριθμο, αντί της ιεραρχικής, ώστε να αξιολογήσουμε τη συμπεριφορά των δυο αλγορίθμων για μεγάλα δεδομένα αλλά και αλγοριθμικά ως κομμάτι της προσέγγισης του Syer. Για την αξιολόγηση χρησιμοποιούμε συνθετικά δεδομένα από ένα πρόγραμμα υλοποίησης της Software Competitiveness International αλλά και πραγματικά δεδομένα από την εφαρμογή του Apache Tomcat έχοντας εισάγει ένα memory spike. Όσον αφορά τα αποτελέσματα, η προσέγγιση μας ανιχνεύει με ικανοποιητική ακρίβεια memory spikes ή συστάδες οι οποίες τα περιέχουν. Τέλος, σε περιπτώσεις μεγάλων σετ δεδομένων, τα αποτελέσματα που προκύπτουν, καθιστούν τον k-means αλγόριθμο καλύτερο ως προς τον χρόνο εκτέλεσης και την απόδοση σε σχέση με την ιεραρχική ομαδοποίηση.
Author and committee
dc:creator, dc:contributor.*- Authors dc:creator
-
- Πουλακάκης Στυλιανός
- Poulakakis Stylianos
Subjects
dc:subject × 2Rights
- Language dc:language
- Ελληνικά, Greek
Identifiers
dc:identifier.*- Identifier
- uoadl:1337687