Machine learning methods have been used very successfully for quite some time to recognize patterns, model correlations and generate hypotheses. However, the possibilities for weighing and evaluating the resulting models and hypotheses, and the search for alternatives and contradictions are still predominantly reserved for humans.
For this purpose, the novel concept of constructivist machine learning (conML) formalizes limitations of model validity and employs constructivist learning theory to enable doubting of new and existing models with the possibility of integrating, discarding, combining, and abstracting knowledge.
The present work identifies issues that impede the systems capability to abstract knowledge from generated models for tasks that lie in the domain of procedural knowledge, and proposes and implements identified solutions. To this end, the conML framework has been reimplemented in the Julia programming language and subsequently been extended.
Using a synthetic dataset of impedance spectra of modeled epithelia that has previously been analyzed with an existing implementation of conML, existing and new implementations are tested for consistency and proposed algorithmic changes are evaluated with respect to changes in model generation and abstraction ability when exploring unknown data.
Recommendations for specific settings and suggestions for further research are derived from the results. In terms of performance, flexibility and extensibility, the new implementation of conML in Julia provides a good starting point for further research and application of the system.:Contents
Abstract . . . . . III
Zusammenfassung . . . . . IV
Danksagung . . . . . V
Selbstständigkeitserklärung . . . . . V
1. Introduction
1.1. Research Questions . . . . . 2
2. Related Work
2.1. Hybrid AI Systems . . . . . 5
2.2. Constructivist Machine Learning (conML) . . . . . 6
2.3. Implemented Methods . . . . . 9
2.3.1. Unsupervised Machine Learning . . . . . 9
2.3.2. Supervised Machine Learning . . . . . 11
2.3.3. Supervised Feature Selection . . . . . 13
2.3.4. Unsupervised Feature Selection . . . . . 17
3. Methods and Implementation
3.1. Notable Algorithmic Changes . . . . . 19
3.1.1. Rescaling of Target Values . . . . . 19
3.1.2. ExtendedWinner Selection . . . . . 21
3.2. Package Structure . . . . . 23
3.3. Interfaces and Implementation of Specific Methods . . . . . 29
3.4. Datasets . . . . . 41
4. Results
4.1. Validation Against the conML Prototype . . . . . 43
4.2. Change in Abstraction Capability . . . . . 49
4.2.1. Influence of Target Scaling . . . . . 49
4.2.2. Influence of the Parameter kappa_p . . . . . 55
4.2.3. Influence of the Winner Selection Procedure . . . . . 61
5. Discussion
5.1. Reproduction Results . . . . . 67
5.2. Rescaling of Constructed Targets . . . . . 69
5.3. kappa_p and the Selection of Winner Models . . . . . 71
6. Conclusions
6.1. Contributions of this Work . . . . . 77
6.2. Future Work . . . . . 78
A. Julia Language Reference . . . . . 81
B. Additional Code Listings . . . . . 91
C. Available Parameters . . . . . 99
C.1. Block Processing . . . . . 105
D. Configurations Reference . . . . . 107
D.1. Unsupervised Methods . . . . . 107
D.2. Supervised Methods . . . . . 108
D.3. Feature Selection . . . . . 109
D.4. Winner Selection . . . . . 110
D.5. General Settings . . . . . 110
E. Supplemental Figures . . . . . 113
E.1. Replacing MAPE with RMSE for Z-Transform Target Scaling . . . . . 113
E.2. Combining Target Rescaling, Winner Selection and High kappa_p . . . . . 119
Bibliography . . . . . 123
List of Figures . . . . . 129
List of Listings . . . . . 133
List of Tables . . . . . 135 / Maschinelle Lernverfahren werden seit geraumer Zeit sehr erfolgreich zum Erkennen von Mustern, Abbilden von Zusammenhängen und Generieren von Hypothesen eingesetzt. Die Möglichkeiten zum Abwägen und Bewerten der entstandenen Modelle und Hypothesen, und die Suche nach Alternativen und Widersprüchen sind jedoch noch überwiegend dem Menschen vorbehalten.
Das neuartige Konzept des konstruktivistischen maschinellen Lernens (conML) formalisiert dazu die Grenzen der Gültigkeit von Modellen und ermöglicht mittels konstruktivistischer Lerntheorie ein Zweifeln über neue und bestehende Modelle mit der Möglichkeit zum Integrieren, Verwerfen, Kombinieren und Abstrahieren von Wissen.
Die vorliegende Arbeit identifiziert Probleme, die die Abstraktionsfähigkeit des Systems bei Aufgabenstellungen in der Prozeduralen Wissensdomäne einschränken, bietet Lösungsvorschläge und beschreibt deren Umsetzung. Das algorithmische Framework conML ist dazu in der Programmiersprache Julia reimplementiert und anschließend erweitert worden.
Anhand eines synthetischen Datensatzes von Impedanzspektren modellierter Epithelien, der bereits mit einem Prototypen des conML Systems analysiert worden ist, werden bestehende und neue Implementierung auf Konsistenz geprüft und die vorgeschlagenen algorithmischen Änderungen im Hinblick auf Veränderungen beim Erzeugen von Modellen und der Abstraktionsfähigkeit bei der Exploration unbekannter Daten untersucht.
Aus den Ergebnissen werden Empfehlungen zu konkreten Einstellungen sowie Vorschläge für weitere Untersuchungen abgeleitet. Die neue Implementierung von conML in Julia bietet im Hinblick auf Performanz, Flexibilität und Erweiterbarkeit einen guten Ausgangspunkt für weitere Forschung und Anwendung des Systems.:Contents
Abstract . . . . . III
Zusammenfassung . . . . . IV
Danksagung . . . . . V
Selbstständigkeitserklärung . . . . . V
1. Introduction
1.1. Research Questions . . . . . 2
2. Related Work
2.1. Hybrid AI Systems . . . . . 5
2.2. Constructivist Machine Learning (conML) . . . . . 6
2.3. Implemented Methods . . . . . 9
2.3.1. Unsupervised Machine Learning . . . . . 9
2.3.2. Supervised Machine Learning . . . . . 11
2.3.3. Supervised Feature Selection . . . . . 13
2.3.4. Unsupervised Feature Selection . . . . . 17
3. Methods and Implementation
3.1. Notable Algorithmic Changes . . . . . 19
3.1.1. Rescaling of Target Values . . . . . 19
3.1.2. ExtendedWinner Selection . . . . . 21
3.2. Package Structure . . . . . 23
3.3. Interfaces and Implementation of Specific Methods . . . . . 29
3.4. Datasets . . . . . 41
4. Results
4.1. Validation Against the conML Prototype . . . . . 43
4.2. Change in Abstraction Capability . . . . . 49
4.2.1. Influence of Target Scaling . . . . . 49
4.2.2. Influence of the Parameter kappa_p . . . . . 55
4.2.3. Influence of the Winner Selection Procedure . . . . . 61
5. Discussion
5.1. Reproduction Results . . . . . 67
5.2. Rescaling of Constructed Targets . . . . . 69
5.3. kappa_p and the Selection of Winner Models . . . . . 71
6. Conclusions
6.1. Contributions of this Work . . . . . 77
6.2. Future Work . . . . . 78
A. Julia Language Reference . . . . . 81
B. Additional Code Listings . . . . . 91
C. Available Parameters . . . . . 99
C.1. Block Processing . . . . . 105
D. Configurations Reference . . . . . 107
D.1. Unsupervised Methods . . . . . 107
D.2. Supervised Methods . . . . . 108
D.3. Feature Selection . . . . . 109
D.4. Winner Selection . . . . . 110
D.5. General Settings . . . . . 110
E. Supplemental Figures . . . . . 113
E.1. Replacing MAPE with RMSE for Z-Transform Target Scaling . . . . . 113
E.2. Combining Target Rescaling, Winner Selection and High kappa_p . . . . . 119
Bibliography . . . . . 123
List of Figures . . . . . 129
List of Listings . . . . . 133
List of Tables . . . . . 135
| Identifer | oai:union.ndltd.org:DRESDEN/oai:qucosa:de:qucosa:78591 |
| Date | 24 March 2022 |
| Creators | Große, Florian Peter |
| Contributors | Schmid, Thomas, Bogdan, Martin, Universität Leipzig |
| Source Sets | Hochschulschriftenserver (HSSS) der SLUB Dresden |
| Language | English |
| Detected Language | English |
| Type | info:eu-repo/semantics/publishedVersion, doc-type:masterThesis, info:eu-repo/semantics/masterThesis, doc-type:Text |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0171 seconds