Algorithms that learn sets of rules describing a concept from its examples have been widely studied in machine learning and have been applied to problems in medicine, molecular biology, planning and linguistics. Many of these algorithms used a separate-and-conquer strategy, repeatedly searching for rules that explain different parts of the example set. When examples are scarce, however, it is difficult for these algorithms to evaluate the relative quality of two or more rules which fit the examples equally well. This dissertation proposes, implements and examines a general technique for modifying rule evaluation in order to improve learning performance in these situations. This approach, called Description-based Evaluation Function Transfer (DEFT), adjusts the way rules are evaluated on a target concept by taking into account the performance of similar rules on a related support task that is supplied by a domain expert. Central to this approach is a novel theory of task similarity that is defined in terms of syntactic properties of rules, called descriptions, which define what it means for rules to be similar. Each description is associated with a prior distribution over classification probabilities derived from the support examples and a rule's evaluation on a target task is combined with the relevant prior using Bayes' rule. Given some natural conditions regarding the similarity of the target and support task, it is shown that modifying rule evaluation in this way is guaranteed to improve estimates of the true classification probabilities. Algorithms to efficiently implement Deft are described, analysed and used to measure the effect these improvements have on the quality of induced theories. Empirical studies of this implementation were carried out on two artificial and two real-world domains. The results show that the inductive transfer of evaluation bias based on rule similarity is an effective and practical way to improve learning when training examples are limited.

Real-world learning tasks present a range of issues for learning systems. Learning tasks can be complex and the training data noisy. When operating as part of a larger system, there may be limitations on available memory and computational resources. Learners may also be required to provide results from a stream. This thesis investigates the problem of incremental, relational learning from imperfect data with constrained time and memory resources. The learning process involves incremental update of a theory when an example is presented that contradicts the theory. Contradictions occur if there is an incorrect theory or noisy data. The learner cannot discriminate between the two possibilities, so both are considered and the better possibility used. Additionally, all changes to the theory must have support from multiple examples. These two principles allow learning from imperfect data. The Minimum Description Length principle is used for selection between possible worlds and determining appropriate levels of additional justification. A new encoding scheme allows the use of MDL within the framework of Inductive Logic Programming. Examples must be stored to provide additional justification for revisions without violating resource requirements. A new algorithm determines when to discard examples, minimising total usage while ensuring sufficient storage for justifications. Searching for revisions is the most computationally expensive part of the process, yet not all searches are successful. Another new algorithm uses a notion of theory stability as a guide to occasionally disallow entire searches to reduce overall time. The approach has been implemented as a learner called NILE. Empirical tests include two challenging domains where this type of learner acts as one component of a larger task. The first of these involves recognition of behavior activation conditions in another agent as part of an opponent modeling task. The second, more challenging task is learning to identify objects in visual images by recognising relationships between image features. These experiments highlight NILE'S strengths and limitations as well as providing new n domains for future work in ILP.

Thesis (Ph. D.)--George Mason University, 2007. / Title from PDF t.p. (viewed Jan. 18, 2008). Thesis directors: Paul Amman, Duminda Wijesekera. Submitted in partial fulfillment of the requirements for the degree of Doctor of Philosophy in Information Technology. Vita: p. 198. Includes bibliographical references (p. 189-197). Also available in print.

Thesis (Ph.D.) -- University of Western Sydney, 2008. / A thesis submitted for the degree of Doctor of Philosophy to the University of Western Sydney, College of Health and Science, School of Computing and Mathematics. Includes bibliography.

Thesis (Ph. D.)--College of Computing, Georgia Institute of Technology, 2005. Directed by Yannis Smaragdakis. / Spencer Rugaber, Committee Member ; Olin Shivers, Committee Member ; Mary Jean Harrold, Committee Member ; Yannis Smaragdakis, Committee Chair ; Philip Wadler, Committee Member. Includes bibliographical references.

Thesis (Ph.D.) - Carleton University, 2007. / Includes bibliographical references (p. 220-226). Also available in electronic format on the Internet.

Thesis (Ph. D.)--Albert-Ludwigs-Universität Freiburg im Breisgau, 2006. / Includes bibliographical references (p. 201-221) and index.

Thesis (Ph. D.)--University of Texas at Austin, 2007. / Vita. Includes bibliographical references.

Thesis (Ph.D.)--Albert-Ludwigs-Universität Freiburg im Breisgau, 2006. / DatabaseEbrary. EAN: 9781586036744. Includes bibliographical references (p. 201-221) and index.

Η παρούσα εργασία έχει ως στόχο να παρουσιάσει έναν παράλληλο αλγόριθμο Εξόρυξης δεδομένων που μπορεί να εφαρμοστεί σε μεγάλες βάσεις δεδομένων με χρήση Επαγωγικού Λογικού Προγραμματισμού. Η κεντρική υπόθεση αυτής της εργασίας είναι πως είναι απαραίτητο αλλά και δυνατό να υιοθετηθούν παράλληλοι αλγόριθμοι στη διαδικασία της Εξόρυξης δεδομένων. Αποδεικνύεται ότι ο παραλληλισμός μπορεί να εφαρμοστεί αποδοτικά στον Επαγωγικό Λογικό Προγραμματισμό (Inductive Logic Programming - ILP). Η ολοκληρωμένη αναπαράσταση της γνώσης και η εξαιρετική ενσωμάτωση της υποκείμενης γνώσης του ILP αποδεικνύεται πολύ σημαντική μεταξύ των αλγορίθμων Εξόρυξης δεδομένων. Το Κεφάλαιο 1 αποτελεί μια εισαγωγή στην εξόρυξη δεδομένων. Παρουσιάζονται οι βασικές εργασίες που λαμβάνουν χώρα κατά την εξόρυξη δεδομένων καθώς και μερικοί από τους συνηθισμένους αλγορίθμους εξόρυξης δεδομένων. Στη συνέχεια, γίνεται μια εισαγωγή στη σχεσιακή εξόρυξη δεδομένων και δίνονται τα βασικά χαρακτηριστικά αλγορίθμων σχεσιακής εξόρυξης δεδομένων. Το Κεφάλαιο 2 αυτής της διπλωματικής εργασίας παρουσιάζει τη θεωρία του Eπαγωγικού Λογικού Προγραμματισμού (ΕΠΛ - ILP), μερικές δημοφιλείς μεθόδους ILP καθώς και τον τρόπο με τον οποίο εφαρμόζεται ο ILP για να επιλύσει προβλήματα που συναντώνται σε συστήματα βάσεων δεδομένων Παρουσιάζεται αναλυτικά μια συγκεκριμένη προσέγγιση στον ILP – η Mode Directed Inverse Entailment [60], καθώς αποτελεί τη βάση για την παράλληλη έκδοση της Progol που θα παρουσιαστεί σε επόμενο κεφάλαιο. Το Κεφάλαιο 3 είναι αφιερωμένο στην παρουσίαση διαφόρων συστημάτων ILP και την εφαρμογή τους στην Εξόρυξη δεδομένων. Στη συνέχεια του κεφαλαίου παρουσιάζεται ένας σειριακός αλγόριθμος ILP Εξόρυξης δεδομένων και η ανάλυση κόστους του. Γίνεται μια εισαγωγή στο Bulk Synchronous Parallelism (BSP) [46]. Το Κεφάλαιο 4, είναι μια σύνοψη της παράλληλης Επαγωγικής Λογικής. Στην αρχή αναφέρονται οι βασικές αρχές του παράλληλου επαγωγικού μοντέλου και στη συνέχεια ακολουθεί μια λεπτομερής περιγραφή. Εμφανίζονται τα προβλήματα μιας τέτοιας προσέγγισης και παρουσιάζεται μια ανάλυση κόστους. Τμήμα του Κεφαλαίου 4 είναι αφιερωμένο σε έναν παράλληλο αλγόριθμο ILP που χρησιμοποιεί το μοντέλο BSP. Για να υποστηριχθεί ο παράλληλος αλγόριθμος του Κεφαλαίου 4, το Κεφάλαιο 5 παρουσιάζει μερικά βασικά χαρακτηριστικά ενός παράλληλου συστήματος ILP – της παράλληλης Progol. Το σύστημα αυτό δημιουργήθηκε με βάση το μοντέλο BSP και βασίζεται στην Progol που υλοποιήθηκε (σε γλώσσα C) από το Muggleton. Παρέχονται πολλά παραδείγματα και επεξηγείται το φαινόμενο της υπεργραμμικής επιτάχυνσης (super-linear speedup). Στο Κεφάλαιο 6 έχουν συμπεριληφθεί τα αποτελέσματα των δοκιμών του αλγορίθμου του Κεφαλαίου 4 σε τρεις διαφορετικές περιπτώσεις προβλημάτων, στην ταξινόμηση των ζώων, στην εκμάθηση των κανόνων του σκάκι και στο πρόβλημα τερματισμού σε μια παρτίδα σκάκι. Το Κεφάλαιο 7 συνοψίζει τα αποτελέσματα της μεταπτυχιακής εργασίας. / -