{"id":{"repo_id":"athens","oai_identifier":"oai:lib.uoa.gr:uoadl:1936145"},"canonical_url":"https://search.ndltd.org/etd/athens/oai:lib.uoa.gr:uoadl:1936145","repository":{"repo_id":"athens","name":"National and Kapodistrian University of Athens","base_url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh"},"display":{"title":"Ordinary and Bayesian LASSO for Regression Models","abstract":"Η παρούσα διπλωματική εργασία πραγματεύεται τις ιδιότητες του Κλασσικού και Μπεϋζιανού LASSO σε Μοντέλα Παλινδρόμησης. Ο Τελεστής Απόλυτης Συρρίκνωσης και Επιλογής (LASSO), είναι μία μέθοδος που συρρικνώνει τους συντελεστές ενός μοντέλου και ταυτόχρονα επιλέγει τις σημαντικές επεξηγητικές μεταβλητές ανάμεσα σε ένα σύνολο από πολλές μεταβλητές. Στο πλαίσιο του κανονικού γραμμικού μοντέλου, η μέθοδος βασίζεται σε αλγορίθμους κυρτού προγραμματισμού υπό τον περιορισμό (ποινή) της νόρμας, που πραγματοποιεί επιλογή μεταβλητών μέσω της συρρίκνωσης των μη στατιστικά σημαντικών μεταβλητών ακριβώς στο μηδέν. Στο πλαίσιο του COX μοντέλου, η μέθοδος βασίζεται στην μεγιστοποίηση της πιθανοφάνειας του μοντέλου, και πάλι υπό τον περιορισμό (ποινή) της νόρμας που έχει το ίδιο αποτέλεσμα όπως στην περίπτωση της γραμμικής παλινδρόμησης. Στο Μπεϋζιανό πλαίσιο, παίρνουμε τους εκτιμητές LASSO ως την κορυφή της εκ των υστέρων κατανομής κατά Μπέυς, όταν επιλέξουμε ως εκ των προτέρων κατανομή για τις μεταβλητές τη Διπλή-Εκθετική, ανεξάρτητα για κάθε μεταβλητή. Το LASSO προτάθηκε από τον Robert Tibshirani (1996) και αναπτύχθηκε περαιτέρω από τους Efron et al. (2004), οι οποίοι πρότειναν τον αλγόριθμο LARS ως επαρκή αλγόριθμο για τον υπολογισμό του LASSO. Το LASSO για το COX μοντέλο προτάθηκε από τον Tibshirani (1997) και η λύση του προκύπτει από μία παραλλαγή του αλγορίθμου Newton-Raphson. Για το Μπεϋζιανό LASSO στην κανονική γραμμική παλινδρόμηση, ο Tibshirani (1996) πρότεινε μια εκ των προτέρων κατανομή που είναι ανάλογη του λογαρίθμου της πυκνότητας της Διπλής-Εκθετικής κατανομής, και στη συνέχεια προτάθηκαν πολλά μοντέλα, από τους Park και Casella (2008), Ντζούφρας και Λύκου (2012) και πολλούς άλλους, καθώς το Μπεϋζιανό LASSO αποτελεί ένα ενεργό τομέα της Μπεϋζιανής Στατιστικής. Στο κεφάλαιο 1 περιγράφεται το πολλαπλό γραμμικό μοντέλο, οι μέθοδοι ελαχίστων τετραγώνων και μέγιστης πιθανοφάνειας, καθώς και μέθοδοι ελέγχου καλής προσαρμογής και επιλογής μεταβλητών. Στην συνέχεια περιγράφουμε τη μέθοδο LASSO για το γραμμικό μοντέλο (κεφάλαιο 2) και το μοντέλο COX (κεφάλαιο 3). Στο κεφάλαιο 4, παραθέτουμε τις αρχές της Μπεϋζιανής Θεωρίας και των αλγορίθμων MCMC, ενώ στο κεφάλαιο 5 το Μπεϋζιανό LASSO στο πλαίσιο του γραμμικού μοντέλου. Τέλος, στα κεφάλαια 6 και 7, παρουσιάζουμε και αναλύουμε τα αποτελέσματα των εφαρμογών των μεθόδων που παρουσιάστηκαν στα προηγούμενα κεφάλαια σε προσομοιωμένα (κεφάλαιο 6) και πραγματικά (κεφάλαιο 7) δεδομένα.","abstract_html":"Η παρούσα διπλωματική εργασία πραγματεύεται τις ιδιότητες του Κλασσικού και Μπεϋζιανού LASSO σε Μοντέλα Παλινδρόμησης. Ο Τελεστής Απόλυτης Συρρίκνωσης και Επιλογής (LASSO), είναι μία μέθοδος που συρρικνώνει τους συντελεστές ενός μοντέλου και ταυτόχρονα επιλέγει τις σημαντικές επεξηγητικές μεταβλητές ανάμεσα σε ένα σύνολο από πολλές μεταβλητές. Στο πλαίσιο του κανονικού γραμμικού μοντέλου, η μέθοδος βασίζεται σε αλγορίθμους κυρτού προγραμματισμού υπό τον περιορισμό (ποινή) της νόρμας, που πραγματοποιεί επιλογή μεταβλητών μέσω της συρρίκνωσης των μη στατιστικά σημαντικών μεταβλητών ακριβώς στο μηδέν. Στο πλαίσιο του COX μοντέλου, η μέθοδος βασίζεται στην μεγιστοποίηση της πιθανοφάνειας του μοντέλου, και πάλι υπό τον περιορισμό (ποινή) της νόρμας που έχει το ίδιο αποτέλεσμα όπως στην περίπτωση της γραμμικής παλινδρόμησης. Στο Μπεϋζιανό πλαίσιο, παίρνουμε τους εκτιμητές LASSO ως την κορυφή της εκ των υστέρων κατανομής κατά Μπέυς, όταν επιλέξουμε ως εκ των προτέρων κατανομή για τις μεταβλητές τη Διπλή-Εκθετική, ανεξάρτητα για κάθε μεταβλητή. Το LASSO προτάθηκε από τον Robert Tibshirani (1996) και αναπτύχθηκε περαιτέρω από τους Efron et al. (2004), οι οποίοι πρότειναν τον αλγόριθμο LARS ως επαρκή αλγόριθμο για τον υπολογισμό του LASSO. Το LASSO για το COX μοντέλο προτάθηκε από τον Tibshirani (1997) και η λύση του προκύπτει από μία παραλλαγή του αλγορίθμου Newton-Raphson. Για το Μπεϋζιανό LASSO στην κανονική γραμμική παλινδρόμηση, ο Tibshirani (1996) πρότεινε μια εκ των προτέρων κατανομή που είναι ανάλογη του λογαρίθμου της πυκνότητας της Διπλής-Εκθετικής κατανομής, και στη συνέχεια προτάθηκαν πολλά μοντέλα, από τους Park και Casella (2008), Ντζούφρας και Λύκου (2012) και πολλούς άλλους, καθώς το Μπεϋζιανό LASSO αποτελεί ένα ενεργό τομέα της Μπεϋζιανής Στατιστικής. Στο κεφάλαιο 1 περιγράφεται το πολλαπλό γραμμικό μοντέλο, οι μέθοδοι ελαχίστων τετραγώνων και μέγιστης πιθανοφάνειας, καθώς και μέθοδοι ελέγχου καλής προσαρμογής και επιλογής μεταβλητών. Στην συνέχεια περιγράφουμε τη μέθοδο LASSO για το γραμμικό μοντέλο (κεφάλαιο 2) και το μοντέλο COX (κεφάλαιο 3). Στο κεφάλαιο 4, παραθέτουμε τις αρχές της Μπεϋζιανής Θεωρίας και των αλγορίθμων MCMC, ενώ στο κεφάλαιο 5 το Μπεϋζιανό LASSO στο πλαίσιο του γραμμικού μοντέλου. Τέλος, στα κεφάλαια 6 και 7, παρουσιάζουμε και αναλύουμε τα αποτελέσματα των εφαρμογών των μεθόδων που παρουσιάστηκαν στα προηγούμενα κεφάλαια σε προσομοιωμένα (κεφάλαιο 6) και πραγματικά (κεφάλαιο 7) δεδομένα.","abstract_has_math":false,"creators":["Μαρκουλιδάκης Ανδρέας","Markoulidakis Andreas"],"institution":null,"degree_name":null,"degree_level":null,"degree_discipline":null,"degree_department":null,"school":null,"contributors":[],"advisors":[],"committee_chairs":[],"committee_members":[],"year":2017,"date_issued":"2017","date_published":"2017","updated_at":"2026-11-19T05:29:42Z","subjects":["Θετικές Επιστήμες","Science"],"languages":["English"],"rights":[],"rights_urls":[],"identifier_entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:1936145"],"render_values":[{"text":"uoadl:1936145","href":null,"code":true}]}],"person_identifier_entries":[]},"links":{"outbound_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/1936145","outbound_label":"Repository record","outbound_source":"dc:identifier","record_url":"https://pergamos.lib.uoa.gr/uoa/dl/object/1936145","record_label":"Repository record","record_kind":"record","record_source":"dc:identifier","download_url":null,"download_label":null,"download_source":null,"access_status":null,"embargo_until":null,"access_note":null},"source_record":{"url":"https://pergamos.lib.uoa.gr/uoa/dl/frontend/oaipmh?verb=GetRecord&metadataPrefix=oai_dc&identifier=oai%3Alib.uoa.gr%3Auoadl%3A1936145","prefix":"oai_dc"},"metadata_groups":[{"id":"people","label":"People","entries":[{"key":"dc:creator","label":"Author","values":["Μαρκουλιδάκης Ανδρέας","Markoulidakis Andreas"]}]},{"id":"academic_context","label":"Academic Context","entries":[{"key":"dc:date","label":"Dc Date","values":["2017"]},{"key":"dc:type","label":"Dc Type","values":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]}]},{"id":"subjects_keywords","label":"Subjects and Keywords","entries":[{"key":"dc:subject","label":"Dc Subject","values":["Θετικές Επιστήμες","Science"]}]},{"id":"language_rights","label":"Language and Rights","entries":[{"key":"dc:language","label":"Dc Language","values":["English"]}]},{"id":"identifiers","label":"Identifiers","entries":[{"key":"dc:identifier","label":"Identifier","values":["uoadl:1936145","https://pergamos.lib.uoa.gr/uoa/dl/object/1936145"]}]},{"id":"additional","label":"Additional Metadata","entries":[{"key":"dc:description","label":"Description","values":["Η παρούσα διπλωματική εργασία πραγματεύεται τις ιδιότητες του Κλασσικού και Μπεϋζιανού LASSO σε Μοντέλα Παλινδρόμησης. Ο Τελεστής Απόλυτης Συρρίκνωσης και Επιλογής (LASSO), είναι μία μέθοδος που συρρικνώνει τους συντελεστές ενός μοντέλου και ταυτόχρονα επιλέγει τις σημαντικές επεξηγητικές μεταβλητές ανάμεσα σε ένα σύνολο από πολλές μεταβλητές. Στο πλαίσιο του κανονικού γραμμικού μοντέλου, η μέθοδος βασίζεται σε αλγορίθμους κυρτού προγραμματισμού υπό τον περιορισμό (ποινή) της νόρμας, που πραγματοποιεί επιλογή μεταβλητών μέσω της συρρίκνωσης των μη στατιστικά σημαντικών μεταβλητών ακριβώς στο μηδέν. Στο πλαίσιο του COX μοντέλου, η μέθοδος βασίζεται στην μεγιστοποίηση της πιθανοφάνειας του μοντέλου, και πάλι υπό τον περιορισμό (ποινή) της νόρμας που έχει το ίδιο αποτέλεσμα όπως στην περίπτωση της γραμμικής παλινδρόμησης. Στο Μπεϋζιανό πλαίσιο, παίρνουμε τους εκτιμητές LASSO ως την κορυφή της εκ των υστέρων κατανομής κατά Μπέυς, όταν επιλέξουμε ως εκ των προτέρων κατανομή για τις μεταβλητές τη Διπλή-Εκθετική, ανεξάρτητα για κάθε μεταβλητή. Το LASSO προτάθηκε από τον Robert Tibshirani (1996) και αναπτύχθηκε περαιτέρω από τους Efron et al. (2004), οι οποίοι πρότειναν τον αλγόριθμο LARS ως επαρκή αλγόριθμο για τον υπολογισμό του LASSO. Το LASSO για το COX μοντέλο προτάθηκε από τον Tibshirani (1997) και η λύση του προκύπτει από μία παραλλαγή του αλγορίθμου Newton-Raphson. Για το Μπεϋζιανό LASSO στην κανονική γραμμική παλινδρόμηση, ο Tibshirani (1996) πρότεινε μια εκ των προτέρων κατανομή που είναι ανάλογη του λογαρίθμου της πυκνότητας της Διπλής-Εκθετικής κατανομής, και στη συνέχεια προτάθηκαν πολλά μοντέλα, από τους Park και Casella (2008), Ντζούφρας και Λύκου (2012) και πολλούς άλλους, καθώς το Μπεϋζιανό LASSO αποτελεί ένα ενεργό τομέα της Μπεϋζιανής Στατιστικής. Στο κεφάλαιο 1 περιγράφεται το πολλαπλό γραμμικό μοντέλο, οι μέθοδοι ελαχίστων τετραγώνων και μέγιστης πιθανοφάνειας, καθώς και μέθοδοι ελέγχου καλής προσαρμογής και επιλογής μεταβλητών. Στην συνέχεια περιγράφουμε τη μέθοδο LASSO για το γραμμικό μοντέλο (κεφάλαιο 2) και το μοντέλο COX (κεφάλαιο 3). Στο κεφάλαιο 4, παραθέτουμε τις αρχές της Μπεϋζιανής Θεωρίας και των αλγορίθμων MCMC, ενώ στο κεφάλαιο 5 το Μπεϋζιανό LASSO στο πλαίσιο του γραμμικού μοντέλου. Τέλος, στα κεφάλαια 6 και 7, παρουσιάζουμε και αναλύουμε τα αποτελέσματα των εφαρμογών των μεθόδων που παρουσιάστηκαν στα προηγούμενα κεφάλαια σε προσομοιωμένα (κεφάλαιο 6) και πραγματικά (κεφάλαιο 7) δεδομένα.","This dissertation is concerned with the properties of Ordinary and Bayesian LASSO in Regression Models. The Least Absolute Shrinkage and Selection Operator (LASSO) is a method that performs concurrently shrinking of the coefficients of a model and selects important predictors among a large set of covariates. In the context of normal linear regression, it relies on con- vex programming algorithms including a penalty which performs selection through shrinking exactly to zero the coefficients of unimportant covari- ates. In the context of COX models, it relies on maximizing the models’ likelihood including again a penalty with the same effect as in the case of linear regression. In the framework of Bayesian Inference, we can de- rive the LASSO estimate as the Bayes posterior mode under independent double-expotential priors for the regressors. The LASSO was originally introduced by Robert Tibshirani (1996) and was further developed by Efron et al. (2004), who proposed the LARS, an efficient algorithm to compute the entire LASSO path. Ordinary LASSO for COX models was proposed by Tibshirani (1997) and its solution was obtained by a modification of the Newton-Raphson Algorithm. For the Bayesian LASSO in normal linear regression, Tibshirani (1996) proposed a prior proportional to minus the log-density of the double expotential dis- tribution, and then a plethora of model structures have been proposed, by Park and Casella (2008), Ntzoufras and Lykou (2012) and many others, since Bayesian LASSO is an active field in Bayesian statistics."]},{"key":"dc:title","label":"Title","values":["Ordinary and Bayesian LASSO for Regression Models"]}]}],"canonical_facts":{"dc:creator":["Μαρκουλιδάκης Ανδρέας","Markoulidakis Andreas"],"dc:date":["2017"],"dc:description":["Η παρούσα διπλωματική εργασία πραγματεύεται τις ιδιότητες του Κλασσικού και Μπεϋζιανού LASSO σε Μοντέλα Παλινδρόμησης. Ο Τελεστής Απόλυτης Συρρίκνωσης και Επιλογής (LASSO), είναι μία μέθοδος που συρρικνώνει τους συντελεστές ενός μοντέλου και ταυτόχρονα επιλέγει τις σημαντικές επεξηγητικές μεταβλητές ανάμεσα σε ένα σύνολο από πολλές μεταβλητές. Στο πλαίσιο του κανονικού γραμμικού μοντέλου, η μέθοδος βασίζεται σε αλγορίθμους κυρτού προγραμματισμού υπό τον περιορισμό (ποινή) της νόρμας, που πραγματοποιεί επιλογή μεταβλητών μέσω της συρρίκνωσης των μη στατιστικά σημαντικών μεταβλητών ακριβώς στο μηδέν. Στο πλαίσιο του COX μοντέλου, η μέθοδος βασίζεται στην μεγιστοποίηση της πιθανοφάνειας του μοντέλου, και πάλι υπό τον περιορισμό (ποινή) της νόρμας που έχει το ίδιο αποτέλεσμα όπως στην περίπτωση της γραμμικής παλινδρόμησης. Στο Μπεϋζιανό πλαίσιο, παίρνουμε τους εκτιμητές LASSO ως την κορυφή της εκ των υστέρων κατανομής κατά Μπέυς, όταν επιλέξουμε ως εκ των προτέρων κατανομή για τις μεταβλητές τη Διπλή-Εκθετική, ανεξάρτητα για κάθε μεταβλητή. Το LASSO προτάθηκε από τον Robert Tibshirani (1996) και αναπτύχθηκε περαιτέρω από τους Efron et al. (2004), οι οποίοι πρότειναν τον αλγόριθμο LARS ως επαρκή αλγόριθμο για τον υπολογισμό του LASSO. Το LASSO για το COX μοντέλο προτάθηκε από τον Tibshirani (1997) και η λύση του προκύπτει από μία παραλλαγή του αλγορίθμου Newton-Raphson. Για το Μπεϋζιανό LASSO στην κανονική γραμμική παλινδρόμηση, ο Tibshirani (1996) πρότεινε μια εκ των προτέρων κατανομή που είναι ανάλογη του λογαρίθμου της πυκνότητας της Διπλής-Εκθετικής κατανομής, και στη συνέχεια προτάθηκαν πολλά μοντέλα, από τους Park και Casella (2008), Ντζούφρας και Λύκου (2012) και πολλούς άλλους, καθώς το Μπεϋζιανό LASSO αποτελεί ένα ενεργό τομέα της Μπεϋζιανής Στατιστικής. Στο κεφάλαιο 1 περιγράφεται το πολλαπλό γραμμικό μοντέλο, οι μέθοδοι ελαχίστων τετραγώνων και μέγιστης πιθανοφάνειας, καθώς και μέθοδοι ελέγχου καλής προσαρμογής και επιλογής μεταβλητών. Στην συνέχεια περιγράφουμε τη μέθοδο LASSO για το γραμμικό μοντέλο (κεφάλαιο 2) και το μοντέλο COX (κεφάλαιο 3). Στο κεφάλαιο 4, παραθέτουμε τις αρχές της Μπεϋζιανής Θεωρίας και των αλγορίθμων MCMC, ενώ στο κεφάλαιο 5 το Μπεϋζιανό LASSO στο πλαίσιο του γραμμικού μοντέλου. Τέλος, στα κεφάλαια 6 και 7, παρουσιάζουμε και αναλύουμε τα αποτελέσματα των εφαρμογών των μεθόδων που παρουσιάστηκαν στα προηγούμενα κεφάλαια σε προσομοιωμένα (κεφάλαιο 6) και πραγματικά (κεφάλαιο 7) δεδομένα.","This dissertation is concerned with the properties of Ordinary and Bayesian LASSO in Regression Models. The Least Absolute Shrinkage and Selection Operator (LASSO) is a method that performs concurrently shrinking of the coefficients of a model and selects important predictors among a large set of covariates. In the context of normal linear regression, it relies on con- vex programming algorithms including a penalty which performs selection through shrinking exactly to zero the coefficients of unimportant covari- ates. In the context of COX models, it relies on maximizing the models’ likelihood including again a penalty with the same effect as in the case of linear regression. In the framework of Bayesian Inference, we can de- rive the LASSO estimate as the Bayes posterior mode under independent double-expotential priors for the regressors. The LASSO was originally introduced by Robert Tibshirani (1996) and was further developed by Efron et al. (2004), who proposed the LARS, an efficient algorithm to compute the entire LASSO path. Ordinary LASSO for COX models was proposed by Tibshirani (1997) and its solution was obtained by a modification of the Newton-Raphson Algorithm. For the Bayesian LASSO in normal linear regression, Tibshirani (1996) proposed a prior proportional to minus the log-density of the double expotential dis- tribution, and then a plethora of model structures have been proposed, by Park and Casella (2008), Ntzoufras and Lykou (2012) and many others, since Bayesian LASSO is an active field in Bayesian statistics."],"dc:identifier":["uoadl:1936145","https://pergamos.lib.uoa.gr/uoa/dl/object/1936145"],"dc:language":["English"],"dc:subject":["Θετικές Επιστήμες","Science"],"dc:title":["Ordinary and Bayesian LASSO for Regression Models"],"dc:type":["born_digital_postgraduate_thesis","Διπλωματική Εργασία","Postgraduate Thesis"]},"updated_at":"2026-11-19T05:29:42Z"}