{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:1337687"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:1337687","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Comparison of Different Clustering Algorithms for Diagnosing Memory-Related Performance Issues Using a Distributed Computing System","abstract":"Αποτυχίες δημοφιλών συστημάτων μεγάλων τεχνολογικών κολοσσών καθιστούν την εφαρμογή των δοκιμών φορτίου (load tests) απαραίτητη για τον έλεγχο των συστημάτων λογισμικού. Παρόλα αυτά, η διάγνωση των προβλημάτων που σχετίζονται με την μνήμη αποτελεί μια σημαντική πρόκληση για τους προγραμματιστές. Για την αντιμετώπιση τους, εφαρμόζονται συχνά αυτοματοποιημένες τεχνικές ανάλυσης οι οποίες όμως απαιτούν σημαντική χειροκίνητη προσπάθεια και υψηλό βαθμό γνώσης του συστήματος. Μια λύση στο πρόβλημα αυτό, αποτελεί η χρήση τεχνικών της μηχανικής μάθησης (machine learning) με σκοπό την διάγνωση της υπάρχουσας ανώμαλης συμπεριφοράς του συστήματος. Οι Mark D. Syer et al. προτείνουν μια νέα αυτοματοποιημένη προσέγγιση συνδυάζοντας τους μετρητές απόδοσης (performance counters) και τα αρχεία εκτέλεσης (execution logs) εφαρμόζοντας την ιεραρχική ομαδοποίηση (hierarchical clustering) για την συσταδοποίηση των δεδομένων. Η ομαδοποίηση αυτή όμως, αποτυγχάνει σε περιπτώσεις μεγάλων δεδομένων (big data) καθώς παρουσιάζει μεγάλη πολυπλοκότητα. Εμείς, εφαρμόζουμε μια διαφορετική προσέγγιση του αλγορίθμου του Syer εκμεταλλευόμενοι το πλεονέκτημα του παραλληλισμού των ποικίλων διεργασιών που μας παρέχει το Spark framework. Βασιζόμενοι σε μια προηγούμενη εταιρική υλοποίηση του αλγόριθμου, στη φάση της συσταδοποίησης, εφαρμόζουμε τον k-means αλγόριθμο, αντί της ιεραρχικής, ώστε να αξιολογήσουμε τη συμπεριφορά των δυο αλγορίθμων για μεγάλα δεδομένα αλλά και αλγοριθμικά ως κομμάτι της προσέγγισης του Syer. Για την αξιολόγηση χρησιμοποιούμε συνθετικά δεδομένα από ένα πρόγραμμα υλοποίησης της Software Competitiveness International αλλά και πραγματικά δεδομένα από την εφαρμογή του Apache Tomcat έχοντας εισάγει ένα memory spike. Όσον αφορά τα αποτελέσματα, η προσέγγιση μας ανιχνεύει με ικανοποιητική ακρίβεια memory spikes ή συστάδες οι οποίες τα περιέχουν. Τέλος, σε περιπτώσεις μεγάλων σετ δεδομένων, τα αποτελέσματα που προκύπτουν, καθιστούν τον k-means αλγόριθμο καλύτερο ως προς τον χρόνο εκτέλεσης και την απόδοση σε σχέση με την ιεραρχική ομαδοποίηση.","abstract_html":"Αποτυχίες δημοφιλών συστημάτων μεγάλων τεχνολογικών κολοσσών καθιστούν την εφαρμογή των δοκιμών φορτίου (load tests) απαραίτητη για τον έλεγχο των συστημάτων λογισμικού. Παρόλα αυτά, η διάγνωση των προβλημάτων που σχετίζονται με την μνήμη αποτελεί μια σημαντική πρόκληση για τους προγραμματιστές. Για την αντιμετώπιση τους, εφαρμόζονται συχνά αυτοματοποιημένες τεχνικές ανάλυσης οι οποίες όμως απαιτούν σημαντική χειροκίνητη προσπάθεια και υψηλό βαθμό γνώσης του συστήματος. Μια λύση στο πρόβλημα αυτό, αποτελεί η χρήση τεχνικών της μηχανικής μάθησης (machine learning) με σκοπό την διάγνωση της υπάρχουσας ανώμαλης συμπεριφοράς του συστήματος. Οι Mark D. Syer et al. προτείνουν μια νέα αυτοματοποιημένη προσέγγιση συνδυάζοντας τους μετρητές απόδοσης (performance counters) και τα αρχεία εκτέλεσης (execution logs) εφαρμόζοντας την ιεραρχική ομαδοποίηση (hierarchical clustering) για την συσταδοποίηση των δεδομένων. Η ομαδοποίηση αυτή όμως, αποτυγχάνει σε περιπτώσεις μεγάλων δεδομένων (big data) καθώς παρουσιάζει μεγάλη πολυπλοκότητα. Εμείς, εφαρμόζουμε μια διαφορετική προσέγγιση του αλγορίθμου του Syer εκμεταλλευόμενοι το πλεονέκτημα του παραλληλισμού των ποικίλων διεργασιών που μας παρέχει το Spark framework. Βασιζόμενοι σε μια προηγούμενη εταιρική υλοποίηση του αλγόριθμου, στη φάση της συσταδοποίησης, εφαρμόζουμε τον k-means αλγόριθμο, αντί της ιεραρχικής, ώστε να αξιολογήσουμε τη συμπεριφορά των δυο αλγορίθμων για μεγάλα δεδομένα αλλά και αλγοριθμικά ως κομμάτι της προσέγγισης του Syer. Για την αξιολόγηση χρησιμοποιούμε συνθετικά δεδομένα από ένα πρόγραμμα υλοποίησης της Software Competitiveness International αλλά και πραγματικά δεδομένα από την εφαρμογή του Apache Tomcat έχοντας εισάγει ένα memory spike. Όσον αφορά τα αποτελέσματα, η προσέγγιση μας ανιχνεύει με ικανοποιητική ακρίβεια memory spikes ή συστάδες οι οποίες τα περιέχουν. Τέλος, σε περιπτώσεις μεγάλων σετ δεδομένων, τα αποτελέσματα που προκύπτουν, καθιστούν τον k-means αλγόριθμο καλύτερο ως προς τον χρόνο εκτέλεσης και την απόδοση σε σχέση με την ιεραρχική ομαδοποίηση.","abstract_has_math":false,"creators":["Πουλακάκης Στυλιανός","Poulakakis Stylianos"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2017,"date_issued":"2017","date_published":"2017","updated_at":"2026-11-19T05:27:49Z","subjects":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"languages":["Ελληνικά","Greek"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:1337687"],"render_values":[{"text":"uoadl:1337687","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/1337687","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/1337687","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A1337687","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Πουλακάκης Στυλιανός","Poulakakis Stylianos"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2017"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Τεχνολογία – Πληροφορική","Technology - Computer science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["Ελληνικά","Greek"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:1337687","https://pergamos.lib.uoa.gr/uoa/dl/object/1337687"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Αποτυχίες δημοφιλών συστημάτων μεγάλων τεχνολογικών κολοσσών καθιστούν την εφαρμογή των δοκιμών φορτίου (load tests) απαραίτητη για τον έλεγχο των συστημάτων λογισμικού. Παρόλα αυτά, η διάγνωση των προβλημάτων που σχετίζονται με την μνήμη αποτελεί μια σημαντική πρόκληση για τους προγραμματιστές. Για την αντιμετώπιση τους, εφαρμόζονται συχνά αυτοματοποιημένες τεχνικές ανάλυσης οι οποίες όμως απαιτούν σημαντική χειροκίνητη προσπάθεια και υψηλό βαθμό γνώσης του συστήματος. Μια λύση στο πρόβλημα αυτό, αποτελεί η χρήση τεχνικών της μηχανικής μάθησης (machine learning) με σκοπό την διάγνωση της υπάρχουσας ανώμαλης συμπεριφοράς του συστήματος. Οι Mark D. Syer et al. προτείνουν μια νέα αυτοματοποιημένη προσέγγιση συνδυάζοντας τους μετρητές απόδοσης (performance counters) και τα αρχεία εκτέλεσης (execution logs) εφαρμόζοντας την ιεραρχική ομαδοποίηση (hierarchical clustering) για την συσταδοποίηση των δεδομένων. Η ομαδοποίηση αυτή όμως, αποτυγχάνει σε περιπτώσεις μεγάλων δεδομένων (big data) καθώς παρουσιάζει μεγάλη πολυπλοκότητα. Εμείς, εφαρμόζουμε μια διαφορετική προσέγγιση του αλγορίθμου του Syer εκμεταλλευόμενοι το πλεονέκτημα του παραλληλισμού των ποικίλων διεργασιών που μας παρέχει το Spark framework. Βασιζόμενοι σε μια προηγούμενη εταιρική υλοποίηση του αλγόριθμου, στη φάση της συσταδοποίησης, εφαρμόζουμε τον k-means αλγόριθμο, αντί της ιεραρχικής, ώστε να αξιολογήσουμε τη συμπεριφορά των δυο αλγορίθμων για μεγάλα δεδομένα αλλά και αλγοριθμικά ως κομμάτι της προσέγγισης του Syer. Για την αξιολόγηση χρησιμοποιούμε συνθετικά δεδομένα από ένα πρόγραμμα υλοποίησης της Software Competitiveness International αλλά και πραγματικά δεδομένα από την εφαρμογή του Apache Tomcat έχοντας εισάγει ένα memory spike. Όσον αφορά τα αποτελέσματα, η προσέγγιση μας ανιχνεύει με ικανοποιητική ακρίβεια memory spikes ή συστάδες οι οποίες τα περιέχουν. Τέλος, σε περιπτώσεις μεγάλων σετ δεδομένων, τα αποτελέσματα που προκύπτουν, καθιστούν τον k-means αλγόριθμο καλύτερο ως προς τον χρόνο εκτέλεσης και την απόδοση σε σχέση με την ιεραρχική ομαδοποίηση.","Failures in popular systems of technological giants illustrate load testing is a necessary procedure for the quality of software systems. However, the diagnosis of memory-related issues is a major challenge for developers. To address them, they often apply automated analysis techniques which require considerable manual effort and a high degree of system knowledge. One solution to this problem is the application of machine learning techniques to diagnose the existing abnormal system behavior. Mark D. Syer et al. propose a new automated approach combining performance counters and executing files by applying hierarchical clustering for clustering data. This grouping, however, fails in the case of large data sets as it generates greater complexity. We apply a different approach to the algorithm of Syer by using the Spark framework which offers parallelism of processes. Based on a previous corporate implementation of the algorithm, we apply the k-means algorithm in the clustering phase instead of the hierarchical clustering. This is done in order to evaluate the behavior of the two algorithms for large data sets and validate the k-means algorithm as part of the overall Syer approach. Our case studies use performance counters and execution logs from two systems. For the evaluation, we use synthetic data from one program created by Software Competitiveness International and actual data from the implementation of Apache Tomcat with an injection of a memory spike. Our approach identifies memory spikes corresponding to log lines with a high degree of precision. The approach detects a fairly accurate number of individual memory spikes or the clusters containing them. Finally, in the case of large data sets, the k-means algorithm performs better in terms of execution time and performance than hierarchical clustering."]},{"key":"dc:title","label":"Title","values":["Comparison of Different Clustering Algorithms for Diagnosing Memory-Related Performance Issues Using a Distributed Computing System"]}]}],"canonical_facts":{"dc:creator":["Πουλακάκης Στυλιανός","Poulakakis Stylianos"],"dc:date":["2017"],"dc:description":["Αποτυχίες δημοφιλών συστημάτων μεγάλων τεχνολογικών κολοσσών καθιστούν την εφαρμογή των δοκιμών φορτίου (load tests) απαραίτητη για τον έλεγχο των συστημάτων λογισμικού. Παρόλα αυτά, η διάγνωση των προβλημάτων που σχετίζονται με την μνήμη αποτελεί μια σημαντική πρόκληση για τους προγραμματιστές. Για την αντιμετώπιση τους, εφαρμόζονται συχνά αυτοματοποιημένες τεχνικές ανάλυσης οι οποίες όμως απαιτούν σημαντική χειροκίνητη προσπάθεια και υψηλό βαθμό γνώσης του συστήματος. Μια λύση στο πρόβλημα αυτό, αποτελεί η χρήση τεχνικών της μηχανικής μάθησης (machine learning) με σκοπό την διάγνωση της υπάρχουσας ανώμαλης συμπεριφοράς του συστήματος. Οι Mark D. Syer et al. προτείνουν μια νέα αυτοματοποιημένη προσέγγιση συνδυάζοντας τους μετρητές απόδοσης (performance counters) και τα αρχεία εκτέλεσης (execution logs) εφαρμόζοντας την ιεραρχική ομαδοποίηση (hierarchical clustering) για την συσταδοποίηση των δεδομένων. Η ομαδοποίηση αυτή όμως, αποτυγχάνει σε περιπτώσεις μεγάλων δεδομένων (big data) καθώς παρουσιάζει μεγάλη πολυπλοκότητα. Εμείς, εφαρμόζουμε μια διαφορετική προσέγγιση του αλγορίθμου του Syer εκμεταλλευόμενοι το πλεονέκτημα του παραλληλισμού των ποικίλων διεργασιών που μας παρέχει το Spark framework. Βασιζόμενοι σε μια προηγούμενη εταιρική υλοποίηση του αλγόριθμου, στη φάση της συσταδοποίησης, εφαρμόζουμε τον k-means αλγόριθμο, αντί της ιεραρχικής, ώστε να αξιολογήσουμε τη συμπεριφορά των δυο αλγορίθμων για μεγάλα δεδομένα αλλά και αλγοριθμικά ως κομμάτι της προσέγγισης του Syer. Για την αξιολόγηση χρησιμοποιούμε συνθετικά δεδομένα από ένα πρόγραμμα υλοποίησης της Software Competitiveness International αλλά και πραγματικά δεδομένα από την εφαρμογή του Apache Tomcat έχοντας εισάγει ένα memory spike. Όσον αφορά τα αποτελέσματα, η προσέγγιση μας ανιχνεύει με ικανοποιητική ακρίβεια memory spikes ή συστάδες οι οποίες τα περιέχουν. Τέλος, σε περιπτώσεις μεγάλων σετ δεδομένων, τα αποτελέσματα που προκύπτουν, καθιστούν τον k-means αλγόριθμο καλύτερο ως προς τον χρόνο εκτέλεσης και την απόδοση σε σχέση με την ιεραρχική ομαδοποίηση.","Failures in popular systems of technological giants illustrate load testing is a necessary procedure for the quality of software systems. However, the diagnosis of memory-related issues is a major challenge for developers. To address them, they often apply automated analysis techniques which require considerable manual effort and a high degree of system knowledge. One solution to this problem is the application of machine learning techniques to diagnose the existing abnormal system behavior. Mark D. Syer et al. propose a new automated approach combining performance counters and executing files by applying hierarchical clustering for clustering data. This grouping, however, fails in the case of large data sets as it generates greater complexity. We apply a different approach to the algorithm of Syer by using the Spark framework which offers parallelism of processes. Based on a previous corporate implementation of the algorithm, we apply the k-means algorithm in the clustering phase instead of the hierarchical clustering. This is done in order to evaluate the behavior of the two algorithms for large data sets and validate the k-means algorithm as part of the overall Syer approach. Our case studies use performance counters and execution logs from two systems. For the evaluation, we use synthetic data from one program created by Software Competitiveness International and actual data from the implementation of Apache Tomcat with an injection of a memory spike. Our approach identifies memory spikes corresponding to log lines with a high degree of precision. The approach detects a fairly accurate number of individual memory spikes or the clusters containing them. Finally, in the case of large data sets, the k-means algorithm performs better in terms of execution time and performance than hierarchical clustering."],"dc:identifier":["uoadl:1337687","https://pergamos.lib.uoa.gr/uoa/dl/object/1337687"],"dc:language":["Ελληνικά","Greek"],"dc:subject":["Τεχνολογία – Πληροφορική","Technology - Computer science"],"dc:title":["Comparison of Different Clustering Algorithms for Diagnosing Memory-Related Performance Issues Using a Distributed Computing System"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:27:49Z"}