Return to search

Interpretable Approximation of High-Dimensional Data based on the ANOVA Decomposition

The thesis is dedicated to the approximation of high-dimensional functions from scattered data nodes. Many methods in this area lack the property of interpretability in the context of explainable artificial intelligence. The idea is to address this shortcoming by proposing a new method that is intrinsically designed around interpretability. The multivariate analysis of variance (ANOVA) decomposition is the main tool to achieve this purpose. We study the connection between the ANOVA decomposition and orthonormal bases to obtain a powerful basis representation. Moreover, we focus on functions that are mostly explained by low-order interactions to circumvent the curse of dimensionality in its exponential form. Through the connection with grouped index sets, we can propose a least-squares approximation idea via iterative LSQR. Here, the proposed grouped transformations provide fast algorithms for multiplication with the appearing matrices. Through global sensitivity indices we are then able to analyze the approximation which can be used in improving it further. The method is also well-suited for the approximation of real data sets where the sparsity-of-effects principle ensures a low-dimensional structure. We demonstrate the applicability of the method in multiple numerical experiments with real and synthetic data.:1 Introduction
2 The Classical ANOVA Decomposition
3 Fast Multiplication with Grouped Transformations
4 High-Dimensional Explainable ANOVA Approximation
5 Numerical Experiments with Synthetic Data
6 Numerical Experiments with Real Data
7 Conclusion
Bibliography / Die Arbeit widmet sich der Approximation von hoch-dimensionalen Funktionen aus verstreuten Datenpunkten. In diesem Bereich leiden vielen Methoden darunter, dass sie nicht interpretierbar sind, was insbesondere im Kontext von Explainable Artificial Intelligence von großer Wichtigkeit ist. Um dieses Problem zu adressieren, schlagen wir eine neue Methode vor, die um das Konzept von Interpretierbarkeit entwickelt ist. Unser wichtigstes Werkzeug dazu ist die Analysis of Variance (ANOVA) Zerlegung. Wir betrachten insbesondere die Verbindung der ANOVA Zerlegung zu orthonormalen Basen und erhalten eine wichtige Reihendarstellung. Zusätzlich fokussieren wir uns auf Funktionen, die hauptsächlich durch niedrig-dimensionale Variableninteraktionen erklärt werden. Dies hilft uns, den Fluch der Dimensionen in seiner exponentiellen Form zu überwinden. Über die Verbindung zu Grouped Index Sets schlagen wir dann eine kleinste Quadrate Approximation mit dem iterativen LSQR Algorithmus vor. Dabei liefern die vorgeschlagenen Grouped Transformations eine schnelle Multiplikation mit den entsprechenden Matrizen. Unter Zuhilfenahme von globalen Sensitvitätsindizes können wir die Approximation analysieren und weiter verbessern. Die Methode ist zudem gut dafür geeignet, reale Datensätze zu approximieren, wobei das sparsity-of-effects Prinzip sicherstellt, dass wir mit niedrigdimensionalen Strukturen arbeiten. Wir demonstrieren die Anwendbarkeit der Methode in verschiedenen numerischen Experimenten mit realen und synthetischen Daten.:1 Introduction
2 The Classical ANOVA Decomposition
3 Fast Multiplication with Grouped Transformations
4 High-Dimensional Explainable ANOVA Approximation
5 Numerical Experiments with Synthetic Data
6 Numerical Experiments with Real Data
7 Conclusion
Bibliography

Identiferoai:union.ndltd.org:DRESDEN/oai:qucosa:de:qucosa:79141
Date08 July 2022
CreatorsSchmischke, Michael
ContributorsPotts, Daniel, Gnewuch, Michael, Steinwart, Ingo, Potts, Daniel, Technische Universität Chemnitz
PublisherUniversitätsverlag Chemnitz
Source SetsHochschulschriftenserver (HSSS) der SLUB Dresden
LanguageEnglish
Detected LanguageEnglish
Typeinfo:eu-repo/semantics/publishedVersion, doc-type:doctoralThesis, info:eu-repo/semantics/doctoralThesis, doc-type:Text
Rightsinfo:eu-repo/semantics/openAccess

Page generated in 0.002 seconds