In this paper we propose an unsupervised voting-merging scheme that is capable of clustering data sets, and also of finding the number of clusters existing in them. The voting part of the algorithm allows us to combine several runs of clustering algorithms resulting in a common partition. This helps us to overcome instabilities of the clustering algorithms and to improve the ability to find structures in a data set. Moreover, we develop a strategy to understand, analyze and interpret these results. In the second part of the scheme, a merging procedure starts on the clusters resulting by voting, in order to find the number of clusters in the data set. / Series: Working Papers SFB "Adaptive Information Systems and Modelling in Economics and Management Science"

In this paper we present a fuzzy voting scheme for cluster algorithms. This fuzzy voting method allows us to combine several runs of cluster algorithms resulting in a common fuzzy partition. This helps us to overcome instabilities of the cluster algorithms and results in a better clustering. / Series: Report Series SFB "Adaptive Information Systems and Modelling in Economics and Management Science"

Malicious Software (malware) attacks across the internet are increasing at an alarming rate. Cyber-attacks have become increasingly more sophisticated and targeted. These targeted attacks are aimed at compromising networks, stealing personal financial information and removing sensitive data or disrupting operations. Current malware detection approaches work well for previously known signatures. However, malware developers utilize techniques to mutate and change software properties (signatures) to avoid and evade detection. Polymorphic malware is practically undetectable with signature-based defensive technologies. Today’s effective detection rate for polymorphic malware detection ranges from 68.75% to 81.25%. New techniques are needed to improve malware detection rates. Improved detection of polymorphic malware can only be accomplished by extracting features beyond the signature realm. Targeted detection for polymorphic malware must rely upon extracting key features and characteristics for advanced analysis. Traditionally, malware researchers have relied on limited dimensional features such as behavior (dynamic) or source/execution code analysis (static). This study’s focus was to extract and evaluate a limited set of multidimensional topological data in order to improve detection for polymorphic malware. This study used multidimensional analysis (file properties, static and dynamic analysis) with machine learning algorithms to improve malware detection. This research demonstrated improved polymorphic malware detection can be achieved with machine learning. This study conducted a number of experiments using a standard experimental testing protocol. This study utilized three advanced algorithms (Metabagging (MB), Instance Based k-Means (IBk) and Deep Learning Multi-Layer Perceptron) with a limited set of multidimensional data. Experimental results delivered detection results above 99.43%. In addition, the experiments delivered near zero false positives. The study’s approach was based on single case experimental design, a well-accepted protocol for progressive testing. The study constructed a prototype to automate feature extraction, assemble files for analysis, and analyze results through multiple clustering algorithms. The study performed an evaluation of large malware sample datasets to understand effectiveness across a wide range of malware. The study developed an integrated framework which automated feature extraction for multidimensional analysis. The feature extraction framework consisted of four modules: 1) a pre-process module that extracts and generates topological features based on static analysis of machine code and file characteristics, 2) a behavioral analysis module that extracts behavioral characteristics based on file execution (dynamic analysis), 3) an input file construction and submission module, and 4) a machine learning module that employs various advanced algorithms. As with most studies, careful attention was paid to false positive and false negative rates which reduce their overall detection accuracy and effectiveness. This study provided a novel approach to expand the malware body of knowledge and improve the detection for polymorphic malware targeting Microsoft operating systems.

O objetivo principal deste trabalho é o de investigar relações entre mapeamentos de modelos de spin em modelos de percolação e a existência de algoritmos de cluster capazes de simular de forma eficiente o modelo. Apresentamos um mapeamento do modelo de Blume-Capel em um modelo de percolação que permite reobter um algoritmo proposto anteriormente por nós através de uma prova de balanço detalhado, o que abre a possibilidade de descrevermos todo o diagrama de fases do modelo em termos de propriedades dos clusters formados. Isto é particularmente interessante, já que o modelo possui um ponto tricrítico, nunca antes analisado em termos de propriedades de percolação. Encontramos também um mapeamento para o modelo de Ashkin-Teller, e através dos algoritmos de cluster resultantes investigamos a possibilidade de existência de uma fase de Baxter Assimétrica. Analisamos também questões relacionadas ao comportamento de tamanho finito de sistemas que apresentam transições de fase de primeira ordem assimétricas. Finalmente, o algoritmo de cluster desenvolvido para o modelo de Blume-CapeI é também generalizado: de forma a podermos aplicá-lo ao estudo do modelo de Blume-Emery-Griffiths. / The main goal of this work is to investigate relations between mappings of spin models into percolation models and the possibility of devising an efficient cluster algorithm to simulate the model. We present a mapping of the Blume-Capel model into a percolation model that results in a cluster algorithm proposed previously by us through a detailed balance proof, enabling us to describe the whole phase-diagram in terms of cluster properties. This is particularly appealing, since the model has a tricritical point, a feature not yet analysed in terms of percolation properties. We present also a mapping for the Ashkin-Teller model, and using the obtained cluster algorithms we analyse the possibility of existence of the Asymmetric Baxter phase. We also address questions related to the finite-size behavior of systems in asymmetric first-order phase transitions. Finally, the cluster algorithm developed for the Blume-Capel model is generalized to the study of the Blume-Emery-Griffiths model.

O objetivo principal deste trabalho é o de investigar relações entre mapeamentos de modelos de spin em modelos de percolação e a existência de algoritmos de cluster capazes de simular de forma eficiente o modelo. Apresentamos um mapeamento do modelo de Blume-Capel em um modelo de percolação que permite reobter um algoritmo proposto anteriormente por nós através de uma prova de balanço detalhado, o que abre a possibilidade de descrevermos todo o diagrama de fases do modelo em termos de propriedades dos clusters formados. Isto é particularmente interessante, já que o modelo possui um ponto tricrítico, nunca antes analisado em termos de propriedades de percolação. Encontramos também um mapeamento para o modelo de Ashkin-Teller, e através dos algoritmos de cluster resultantes investigamos a possibilidade de existência de uma fase de Baxter Assimétrica. Analisamos também questões relacionadas ao comportamento de tamanho finito de sistemas que apresentam transições de fase de primeira ordem assimétricas. Finalmente, o algoritmo de cluster desenvolvido para o modelo de Blume-CapeI é também generalizado: de forma a podermos aplicá-lo ao estudo do modelo de Blume-Emery-Griffiths. / The main goal of this work is to investigate relations between mappings of spin models into percolation models and the possibility of devising an efficient cluster algorithm to simulate the model. We present a mapping of the Blume-Capel model into a percolation model that results in a cluster algorithm proposed previously by us through a detailed balance proof, enabling us to describe the whole phase-diagram in terms of cluster properties. This is particularly appealing, since the model has a tricritical point, a feature not yet analysed in terms of percolation properties. We present also a mapping for the Ashkin-Teller model, and using the obtained cluster algorithms we analyse the possibility of existence of the Asymmetric Baxter phase. We also address questions related to the finite-size behavior of systems in asymmetric first-order phase transitions. Finally, the cluster algorithm developed for the Blume-Capel model is generalized to the study of the Blume-Emery-Griffiths model.

Frustrated magnets realize exotic forms of quantum matter beyond conventional order. Due to a lack of controlled and unbiased methods to study frustration in three dimensions, many questions remain unanswered. While most established numerical techniques have limited applicability, approaches based on cluster expansions are promising alternatives. By design, they do not suffer from dimensionality or frustration and generate reliable insights into the thermodynamic limit without any restriction in the parameter space. This thesis makes significant methodological progress in controlled numerical approaches tailored to study frustration in three dimensions. It covers (i) an automatic detection algorithm for symmetries in generic clusters, (ii) a general approach to the numerical linked cluster algorithm to study finite - and zero - temperature properties, and (iii) an expansion method based on the linked cluster theorem to obtain a suitable dressing for valence-bond crystals. In particular, we study one of the archetypal problems of frustrated magnetism in three dimensions: the pyrochlore Heisenberg antiferromagnet. For the first time, we are able to unbiasedly resolve its thermodynamic quantities to a temperature far beyond the scale on which the Schottky anomaly occurs. The broad applicability of the numerical linked cluster algorithm allows for the systematic investigation of different spin-liquid candidate materials such as the Cerium-based pyrochlores Ce₂Zr₂O₇ and Ce₂Sn₂O₇. Despite a similar chemical composition, the algorithm finds fundamental differences in their quantum mechanical nature by constraining their microscopic exchange parameters. Zero temperature properties are even less accessible: Neither the nature of the ground state nor an estimate of its energy are known for the pyrochlore antiferromagnet. Large-scale density matrix renormalization group calculations pushed to three dimensions provide the first reliable estimate of its ground-state energy and yield robust evidence for a spontaneous inversion symmetry breaking manifesting itself as an energy density difference on the tetrahedral sublattice. The symmetry-breaking tendency of the model is further observed in the presence of an external magnetic field where similar calculations suggest a stable 1/2-magnetization plateau. Continuing the investigation of low-energy states, we propose a new family - exponentially numerous in the linear system size - of valence-bond crystals as potential ground states. Understanding the stability of the previously overlooked family of states suggests a remarkable change of perspective on frustration with a focus on unfrustrated motifs. In sum, these discoveries present significant progress towards resolving long-standing questions regarding the nature of the ground state of the quantum pyrochlore S=1/2 antiferromagnet. / Frustrierte Magnete realisieren exotische Formen von Quantenmaterie, welche gewöhnliche Ordnungen übersteigen. Viele etablierte numerische Methoden versagen bei Frustration in drei Dimensionen, da sie entweder nicht anwendbar sind, unkontrolliert sind oder bestimmte Zustände vorziehen. Clusteralgorithmen bilden eine vielversprechende Alternative. Sie erfahren keine Einschränkung durch die Dimensionalität oder die Frustration des Problems und erlauben daher zuverlässige Einblicke in den thermodynamischen Limes. Diese Arbeit präsentiert methodische Fortschritte von kontrollierbaren Ansätzen, welche auf frustrierte Systeme in drei Dimensionen zugeschnitten sind. Sie beinhaltet (i) die Entwicklung eines Algorithmus zur automatischen Detektion räumlicher Symmetrien für allgemeine Cluster, (ii) einen allgemeinen Zugang zum 'numerical linked cluster algorithm'', um Eigenschaften bei endlicher Temperatur und dem absoluten Nullpunkt zu studieren und (iii) einen Clusteralgorithmus zur Optimierung des Zustands eines 'valence-bond' Kristalls. Die methodischen Fortschritte dieser Arbeit tragen zur Lösung eines archetypischen Problems von frustriertem Magnetismus in drei Dimensionen bei: dem Pyrochlor Heisenberg Antiferromagnet. Sie erlauben zuverlässige Einblicke in die Thermodynamik bis hin zu nicht-trivialen Temperaturen weit unter der Schottky-Anomalie. Die weiten Anwendungsmöglichkeiten des Clusteralgorithmus macht die systematische Untersuchung von Spinflüssigkeitskandidaten, wie die auf Cer basierenden Pyrochlore Ce₂Zr₂O₇ und Ce₂Sn₂O₇, möglich. Trotz einer ähnlichen chemischen Komposition, findet der Algorithmus fundamentale Unterschiede in ihrer quantenmechanischen Struktur. Frustration in drei Dimensionen ist am absoluten Nullpunkt ähnlich unzugänglich wie bei endlicher Temperatur und weder der Grundzustand, noch Schätzungen der Grundzustandsenergie des Pyrochlor Antiferromagneten sind bekannt. Groß angelegte Dichtematrixrenomierungsgruppenrechnungen in drei Dimensionen ermöglichen erstmals eine verlässliche Schätzung der Energie und finden eine spontan gebrochene Inversionssymmetrie, welche durch einen Unterschied in der Energiedichte auf dem tetraedrischen Untergitter ausgedrückt ist. Die Tendenz, die Symmetrie des Systems zu brechen, ist auch in der Präsenz eines externen magnetischen Feldes zu beobachten. Rechnungen deuten die Stabilität des 1/2-Magnetisierungsplateaus an. Einen signifikanten Beitrag zum Verständnis des Heisenberg-Models auf dem Pyrochlor wird durch eine Familie von potentiellen Grundzuständen geleistet, welche als harte Hexagone im Gitter visualisiert werden können. Ihre Anzahl skaliert exponentiell in der linearen Systemgröße und ihre niedrige Energie eröffnet eine neue Sichtweise auf frustrierte Magnete, welche den Fokus auf unfrustrierte Geometrien lenkt. Im Widerspruch zu der prominenten Spinflüssigkeitsannahme deuten die Ergebnisse dieser Arbeit auf Ordnung im Pyrochlor Antiferromagneten hin.

Die zweiphasige Stichprobe zur Stratifizierung ist ein effizientes Inventurverfahren, das seine Praxistauglichkeit in verschiedenen Waldinventuren unter Beweis stellen konnte. Dennoch sind weitere Effizienzsteigerungen wünschenswert. In der vorliegenden Arbeit werden verschiedene Ansätze die Effektivität dieses Verfahrens zu steigern separat vorgestellt, in Fallstudien mit Daten der Niedersächsischen Betriebsinventur getestet und diskutiert. Der erste Ansatz (Kapitel 2) beschäftigt sich mit der Anwendung der zweiphasigen Stichprobe zur Stratifizierung in Wiederholungsinventuren. In einem Zusammengesetzten Schätzer werden Daten eines aktuellen mit Simulationsergebnissen des vorhergehenden Inventurdurchgangs kombiniert. Dabei kann der Stichprobenumfang der aktuellen Inventur verringert werden, während die Daten aller Inventurpunkte des vorherigen Durchgangs für Simulationen genutzt werden. Zwar kann ein solcher Schätzer konstruiert werden, jedoch lässt die Fallstudie darauf schließen, dass keine, oder zumindest keine ausreichende, Effizienzsteigerung erzielt werden kann. Erklärt werden kann dies durch die großen Unterschiede zwischen den aktuellen Inventurergebnissen aus den reduzierten Inventuren und den prognostizierten Volumina aus den Simulationen. Eine Erhöhung der Effizienz dieses Verfahrens könnte nur durch Weiterentwicklungen der Waldwachstumsmodelle möglich werden. In Wiederholungsinventuren kann jedoch eine höhere Effizienzsteigerung mit einem dreiphasigen Verfahren erreicht werden, das die zweiphasige Stichprobe mit der zwei\-phasigen Regressionsstichprobe kombiniert (Kapitel 3). Mittelwert- und Varianzschätzer, die auf dem sogenannten infinite population approach in der ersten Phase beruhen, werden präsentiert. Genutzt werden dabei die Korrelationen zwischen den aktuellen Inventurergebnissen und den Wachstumssimulationen auf der Basis des vorherigen Inventurdurchgangs. Statt der Simulationsergebnisse können auch einfach die Ergebnisse des vorherigen Inventurdurchgangs zur Berechnung der Korrelationen genutzt werden. Allerdings führt die Nutzung der Simulationsergebnisse als Regressor in den meisten Fällen zu besseren Ergebnissen. Bei verringertem Stichprobenumfang der Folgeinventur und damit einhergehendem Präzisionsverlust, ist die Effizienz des dreiphasigen Verfahrens höher als die des klassischen zweiphasigen Verfahrens. Die Nutzung der Vorinventur in Form eines stratenweisen Regressionsschätzers hat sich damit als erfolgreich und gegenüber dem zusammengesetzten Schätzer als deutlich überlegen gezeigt. Als weiterer Ansatz wird die Erweiterung der zweisphasigen Stichprobe zur Stratifizierung um eine geclusterte Unterstichprobe zu einem dreiphasigen Design vorgestellt (Kapitel 4). Sowohl für den Ratio-to-Size- als auch für den unverzerrten Ansatz werden entsprechende Mittelwert- und Varianzschätzer präsentiert. Verglichen mit dem zweiphasigen Verfahren, führt dieses dreiphasige Design in der Fallstudie zu keiner Effizienzsteigerung. Gründe hierfür können in der vergleichsweise kleinen Größe der Forstämter und der hohen Stichprobendichte der Niedersächsischen Betriebsinventur gesehen werden. Sinnvolle Anwendungen dieses Verfahrens sind aber möglicherweise unter anderen Erschließungsbedingungen in Großgebieten denkbar. In einer weiteren Fallstudie wird versucht existierende Probepunkte in Clustern von homogener Größe zusammenzufassen (Kapitel 5). Eine solche Zusammenfassung soll der Optimierung der Wegzeiten bei der Aufnahme von Inventurpunkten dienen. Dazu werden sieben verschiedene Methoden getestet und deren Ergebnisse miteinander verglichen. Durch einen Vergleich mit optimierten Richtwert-Lösungen wird zudem die Qualität dieser Lösungen evaluiert. Es zeigt sich, dass drei Algorithmen des Vehicle Routing Problems gut dazu geeignet sind, Cluster von homogener Größe zu erstellen. Nicht empfohlen werden kann dagegen die Verwendung von drei anderen Cluster-Algorithmen, sowie die Nutzung von Bewirtschaftungseinheiten als Cluster, da diese Methoden zu Clustern von sehr heterogener Größe führen.