Learning a model for the relationship between the attributes and the annotated labels of data examples serves two purposes. Firstly, it enables the prediction of the label for examples without annotation. Secondly, the parameters of the model can provide useful insights into the structure of the data. If the data has an inherent partitioned structure, it is natural to mirror this structure in the model. Such mixture models predict by combining the individual predictions generated by the mixture components which correspond to the partitions in the data. Often the partitioned structure is latent, and has to be inferred when learning the mixture model. Directly evaluating the accuracy of the inferred partition structure is, in many cases, impossible because the ground truth cannot be obtained for comparison. However it can be assessed indirectly by measuring the prediction accuracy of the mixture model that arises from it. This thesis addresses the interplay between the improvement of predictive accuracy by uncovering latent cluster structure in data, and further addresses the validation of the estimated structure by measuring the accuracy of the resulting predictive model. In the application of filtering unsolicited emails, the emails in the training set are latently clustered into advertisement campaigns. Uncovering this latent structure allows filtering of future emails with very low false positive rates. In order to model the cluster structure, a Bayesian clustering model for dependent binary features is developed in this thesis. Knowing the clustering of emails into campaigns can also aid in uncovering which emails have been sent on behalf of the same network of captured hosts, so-called botnets. This association of emails to networks is another layer of latent clustering. Uncovering this latent structure allows service providers to further increase the accuracy of email filtering and to effectively defend against distributed denial-of-service attacks. To this end, a discriminative clustering model is derived in this thesis that is based on the graph of observed emails. The partitionings inferred using this model are evaluated through their capacity to predict the campaigns of new emails. Furthermore, when classifying the content of emails, statistical information about the sending server can be valuable. Learning a model that is able to make use of it requires training data that includes server statistics. In order to also use training data where the server statistics are missing, a model that is a mixture over potentially all substitutions thereof is developed. Another application is to predict the navigation behavior of the users of a website. Here, there is no a priori partitioning of the users into clusters, but to understand different usage scenarios and design different layouts for them, imposing a partitioning is necessary. The presented approach simultaneously optimizes the discriminative as well as the predictive power of the clusters. Each model is evaluated on real-world data and compared to baseline methods. The results show that explicitly modeling the assumptions about the latent cluster structure leads to improved predictions compared to the baselines. It is beneficial to incorporate a small number of hyperparameters that can be tuned to yield the best predictions in cases where the prediction accuracy can not be optimized directly. / Das Lernen eines Modells für den Zusammenhang zwischen den Eingabeattributen und annotierten Zielattributen von Dateninstanzen dient zwei Zwecken. Einerseits ermöglicht es die Vorhersage des Zielattributs für Instanzen ohne Annotation. Andererseits können die Parameter des Modells nützliche Einsichten in die Struktur der Daten liefern. Wenn die Daten eine inhärente Partitionsstruktur besitzen, ist es natürlich, diese Struktur im Modell widerzuspiegeln. Solche Mischmodelle generieren Vorhersagen, indem sie die individuellen Vorhersagen der Mischkomponenten, welche mit den Partitionen der Daten korrespondieren, kombinieren. Oft ist die Partitionsstruktur latent und muss beim Lernen des Mischmodells mitinferiert werden. Eine direkte Evaluierung der Genauigkeit der inferierten Partitionsstruktur ist in vielen Fällen unmöglich, weil keine wahren Referenzdaten zum Vergleich herangezogen werden können. Jedoch kann man sie indirekt einschätzen, indem man die Vorhersagegenauigkeit des darauf basierenden Mischmodells misst. Diese Arbeit beschäftigt sich mit dem Zusammenspiel zwischen der Verbesserung der Vorhersagegenauigkeit durch das Aufdecken latenter Partitionierungen in Daten, und der Bewertung der geschätzen Struktur durch das Messen der Genauigkeit des resultierenden Vorhersagemodells. Bei der Anwendung des Filterns unerwünschter E-Mails sind die E-Mails in der Trainingsmende latent in Werbekampagnen partitioniert. Das Aufdecken dieser latenten Struktur erlaubt das Filtern zukünftiger E-Mails mit sehr niedrigen Falsch-Positiv-Raten. In dieser Arbeit wird ein Bayes'sches Partitionierunsmodell entwickelt, um diese Partitionierungsstruktur zu modellieren. Das Wissen über die Partitionierung von E-Mails in Kampagnen hilft auch dabei herauszufinden, welche E-Mails auf Veranlassen des selben Netzes von infiltrierten Rechnern, sogenannten Botnetzen, verschickt wurden. Dies ist eine weitere Schicht latenter Partitionierung. Diese latente Struktur aufzudecken erlaubt es, die Genauigkeit von E-Mail-Filtern zu erhöhen und sich effektiv gegen verteilte Denial-of-Service-Angriffe zu verteidigen. Zu diesem Zweck wird in dieser Arbeit ein diskriminatives Partitionierungsmodell hergeleitet, welches auf dem Graphen der beobachteten E-Mails basiert. Die mit diesem Modell inferierten Partitionierungen werden via ihrer Leistungsfähigkeit bei der Vorhersage der Kampagnen neuer E-Mails evaluiert. Weiterhin kann bei der Klassifikation des Inhalts einer E-Mail statistische Information über den sendenden Server wertvoll sein. Ein Modell zu lernen das diese Informationen nutzen kann erfordert Trainingsdaten, die Serverstatistiken enthalten. Um zusätzlich Trainingsdaten benutzen zu können, bei denen die Serverstatistiken fehlen, wird ein Modell entwickelt, das eine Mischung über potentiell alle Einsetzungen davon ist. Eine weitere Anwendung ist die Vorhersage des Navigationsverhaltens von Benutzern einer Webseite. Hier gibt es nicht a priori eine Partitionierung der Benutzer. Jedoch ist es notwendig, eine Partitionierung zu erzeugen, um verschiedene Nutzungsszenarien zu verstehen und verschiedene Layouts dafür zu entwerfen. Der vorgestellte Ansatz optimiert gleichzeitig die Fähigkeiten des Modells, sowohl die beste Partition zu bestimmen als auch mittels dieser Partition Vorhersagen über das Verhalten zu generieren. Jedes Modell wird auf realen Daten evaluiert und mit Referenzmethoden verglichen. Die Ergebnisse zeigen, dass das explizite Modellieren der Annahmen über die latente Partitionierungsstruktur zu verbesserten Vorhersagen führt. In den Fällen bei denen die Vorhersagegenauigkeit nicht direkt optimiert werden kann, erweist sich die Hinzunahme einer kleinen Anzahl von übergeordneten, direkt einstellbaren Parametern als nützlich.

Diese Dissertation stellt drei sich ergänzende Fortschritte in der statistischen Modellierung multivariater Daten vor und behandelt Herausforderungen im Bereich des modellbasierten Clusterings für hochdimensionale Daten, der Analyse longitudinaler Daten sowie der multivariaten Verteilungsregression. Der erste Forschungszweig konzentriert sich auf tiefe Gaußsche Mischmodelle, eine leistungsfähige Erweiterung herkömmlicher Gaußscher Mischmodelle. Wir erforschen Bayessche Inferenz mit Sparsamkeitsprioris zur Regularisierung der Schätzung tiefer Mischmodelle und stellen ein innovatives tiefes Mischmodell von Faktormodellen vor, das in der Lage ist, hochdimensionale Probleme zu bewältigen. Der zweite Forschungsstrang erweitert tiefe Mischmodelle von Clustering zu Regression. Unter Verwendung des tiefen Mischmodells von Faktormodellen als Prior für Zufallseffekte stellen wir einen innovativen Ansatz vor: tiefe Mischmodelle von linearen gemischten Modellen, der lineare gemischte Modelle so erweitert, dass er den Komplexitäten longitudinaler Daten mit vielen Beobachtungen pro Subjekt und komplexen zeitlichen Trends gerecht wird. Dieser Forschungszweig überwindet Beschränkungen gegenwärtiger Modelle und präsentiert eine anpassungsfähige Lösung für hochdimensionale Szenarien. Der dritte Forschungszweig setzt sich mit der Herausforderung auseinander, wahrhaft multivariate Verteilungen im Kontext von Generalisierten Additiven Modellen für Ort, Skala und Form zu modellieren. Wir präsentieren einen innovativen Ansatz, der Copula-Regression nutzt, um die Abhängigkeitsstruktur mittels einer Gauß-Copula zu modellieren. Dies ermöglicht die gemeinsame Modellierung hochdimensionaler Vektoren mit flexiblen marginalen Verteilungen. Hier erleichtert bayessche Inferenz die effiziente Schätzung des stark parametrisierten Modells und führt zu einem äußerst flexiblen Ansatz im Vergleich zu bestehenden Modellen. / This thesis introduces three complementary advancements in statistical modeling for multivariate data, addressing challenges in model-based clustering for high-dimensional data, longitudinal data analysis, and multivariate distributional regression. The first research strand focuses on deep Gaussian mixture models, a powerful extension of ordinary Gaussian mixture models. We explore the application of Bayesian inference with sparsity priors to regularize the estimation of deep mixtures, presenting a novel Bayesian deep mixtures of factor analyzers model capable of handling high-dimensional problems. The inclusion of sparsity-inducing priors in the model contributes to improved clustering results. A scalable natural gradient variational inference algorithm is developed to enhance computational efficiency. The second research strand extends deep mixture models from clustering towards regression. Leveraging the deep mixtures of factor analyzers model as a prior for random effects, we introduce a novel framework, deep mixtures of linear mixed models that extends mixtures of linear mixed models to accommodate the complexities of longitudinal data with many observations per subject and intricate temporal trends. We describe an efficient variational inference approach. This research addresses the limitations of current models and provides a flexible solution for high-dimensional settings. The third research strand tackles the challenge of modeling truly multivariate distributions in the context of Generalized Additive Models for Location, Scale, and Shape. We propose a novel approach utilizing copula regression to model the dependence structure through a Gaussian copula, allowing for joint modeling of high-dimensional response vectors with flexible marginal distributions. Here, Bayesian inference facilitates efficient estimation of the highly parameterized model, introducing a highly flexible and complementary approach to existing models.

Messinstrumente stellen in der wissenschaftlichen Forschung ein wesentliches Element zur Erkenntnisgewinnung dar. Das Besondere an Messinstrumenten im Large-scale Assessment in der Bildungsforschung ist, dass diese normalerweise für jede Studie neu konstruiert werden und dass die Testteilnehmer verschiedene Versionen des Tests bekommen. Hierbei ergeben sich potentielle Gefahren für die Akkuratheit und Validität der Messung. Um solche Gefahren zu minimieren, sollten (a) die Ursachen für Verzerrungen der Messung und (b) mögliche Strategien zur Optimierung der Messinstrumente eruiert werden. Deshalb wird in der vorliegenden Dissertation spezifischen Fragestellungen im Rahmen dieser beiden Forschungsanliegen nachgegangen. / Measurement instruments are essential elements in the acquisition of knowledge in scientific research. Special features of measurement instruments in large-scale assessments of student achievement are their frequent reconstruction and the usage of different test versions. Here, threats for the accuracy and validity of the measurement may emerge. To minimize such threats, (a) sources for potential bias of measurement and (b) strategies to optimize measuring instruments should be explored. Therefore, the present dissertation investigates several specific topics within these two research areas.