Als Grundlage vieler statistischer Verfahren wird der Prozess der Entstehung von Daten modelliert, um dann weitere Schätz- und Testverfahren anzuwenden. Diese Arbeit befasst sich mit der Frage, wie diese Spezifikation für parametrische Modelle selbst getestet werden kann. In Erweiterung bestehender Verfahren werden Tests mit festem Kern eingeführt und ihre asymptotischen Eigenschaften werden analysiert. Es wird gezeigt, dass die Bestimmung der kritischen Werte mit mehreren Stichprobenwiederholungsverfahren möglich ist. Von diesen ist eine neue Monte-Carlo-Approximation besonders wichtig, da sie die Komplexität der Berechnung deutlich verringern kann. Ein bedingter Kleinste-Quadrate-Schätzer für nichtlineare parametrische Modelle wird definiert und seine wesentlichen asymptotischen Eigenschaften werden hergeleitet. Sämtliche Versionen der Tests und alle neuen Konzepte wurden in Simulationsstudien untersucht, deren wichtigste Resultate präsentiert werden. Die praktische Anwendbarkeit der Testverfahren wird an einem Datensatz zur Produktwahl dargelegt, der mit multinomialen Logit-Modellen analysiert werden soll. / The data generating process often is modeled as a basis for many subsequent statistical estimation and testing procedures. In this work the question is studied, how this specification of parametric models itself can be tested. In generalization of existing methods, tests with fixed kernel are introduced and their asymptotics are analyzed. It is shown that the determination of critical values is possible using several resampling procedures. Of these a new Monte-Carlo-approximation is of special importance, since it can reduce the complexity of calculation substantially. A conditional least squares estimator for nonlinear models is defined and its essential asymptotic properties are derived. All versions of the tests and all new concepts were studied in simulation studies and the most important results are presented. The applicability of the tests is demonstrated with a dataset on product choice that is to be analyzed with multinomial logit models.

No description available.

Mit dem Einsatz von Künstlicher Intelligenz (KI) für den IT-Betrieb suggeriert AIOps (”Artificial Intelligence for IT Operations”) einen vielversprechenden Ansatz zur Überwachung, Optimierung und Automatisierung komplexer betrieblicher Prozesse in IT-Organisationen. AIOps-Plattformen nutzen statistische Methoden, maschinelles Lernen (ML) und andere fortschrittliche Analysetechnologien, um sich abzeichnende Probleme zu erkennen und diese proaktiv und automatisiert zu beheben. Forschungsbeiträge zu AIOps sind verstreut und unorganisiert. Deshalb gestaltet sich die Entdeckung und der Vergleich von bereits entwickelten AIOps-Modellen als nicht praktikabel. Das Ziel der vorliegenden Arbeit liegt darin, Hauptmerkmale, Gemeinsamkeiten und Unterschiede verschiedener Modelle aufzuzeigen und einen Ansatz für die Validierung dieser Modelle aufzustellen. Zu diesem Zweck wird ein systematisches Literaturreview durchgeführt und die Möglichkeiten zur Validierung von AIOps-Modellen anhand einer Einzelfallstudie, insbesondere aus Gesichtspunkten des IT-Service-Managements (ITSM), näher beleuchtet. Somit verschat die vorliegende Arbeit einen Literaturüberblick zu implementierten AIOps-Modellen und stellt einen Ansatz zur Validierung, die auf drei Ebenen erfolgt, vor. Es stellt sich heraus, dass insbesondere Kennzahlen aus dem Problem-Management für die Validierung des proaktiven Vorgehens von AIOps geeignet sind.:1. Einleitung 2. Theoretische Grundlagen 2.1. Künstliche Intelligenz 2.2. Maschinelles Lernen 2.3. Datenaufbereitung 2.4. Zeitreihendaten 2.5. DevOps 2.6. Anomalien 2.7. IT-Service-Management 2.8. Automatisierung in der IT 3. Künstliche Intelligenz für den IT-Betrieb 3.1. Definition von AIOps 3.2. Relevanz von AIOps 3.3. Ziele von AIOps 3.4. Komponenten und Anwendungsfälle von AIOps 3.5. Verwandte Forschungsarbeiten 4. Methodik 4.1. Systematische Übersichtsarbeit 4.1.1. Planung 4.1.2. Formulierung 4.1.3. Suche und Auswahl 4.2. Fallstudie 5. Ergebnisse der Literaturübersicht 5.1. Statistische Auswertung der Ergebnisse 5.2. Verschiedene Ansätze von AIOps-Modellen 5.3. Interpretation und Zusammenfassung der Ergebnisse 6. Validierung und Bewertung von AIOps-Modellen 6.1. Hintergrund 6.2. Ein motivierendes Beispiel 6.3. Ein neuer Ansatz zur Validierung von AIOps-Modellen 6.4. Demonstratives Beispiel 6.5. Ausblick 7. Limitationen 8. Zusammenfassung und Fazit A. Anhang

Diese Arbeit gliedert sich in das Gebiet der manipulativen Modelle im Kontext der Mathematik ein. Derartige Modelle schaffen Lernvorteile durch die Vergegenständlichung abstrakter Sachverhalte und beinhalten mitunter zusätzliche Prozesse zur Unterstützung der Lösung mathematischer Problemstellungen. Aufbauend auf den bisher existierenden Modellen, wurde ein neues manipulatives Modell zur Manipulation und Lösung mathematischer Gleichungen entwickelt und evaluiert. Ein Forschungsziel bestand darin, dass das Modell durch eine höhere Modellmächtigkeit als seine Vorgängermodelle und eine intuitive Gestensteuerung den analogen Gleichungslösungsprozess weitestgehend nachbilden kann. Des Weiteren sollte das Modell in beliebige Webumgebungen integrierbar sein und umfangreiche Konfigurationsmöglichkeiten bieten. Zudem wurde angestrebt, dass Probleminstanzen innerhalb des Modells schneller und mit einer geringeren Fehleranfälligkeit als beim analogen Vorgehen gelöst werden können. Die Forschungsziele konnten durch die Entwicklung des Modells als JavaScript-Framework in Verbindung mit dem Einsatz praktikabler Programmbibliotheken und der Implementierung prozessunterstützender Algorithmen erreicht werden. Weiterentwicklungen des Modells, beispielsweise Vorteile für wenig erfahrene und fortgeschrittene Lernende betreffend, sind denkbar. Darüber hinaus sollten sich zukünftige Forschungen auf die kontinuierliche Verbesserung der Modellmächtigkeit und Gestensteuerung derartiger Modelle konzentrieren, um die Vorzüge der Digitalisierung des Gleichungslösungsprozesses nutzen zu können.:1 Einleitung 1.1 Motivation und Problemstellung 1.2 Methodik und Zielstellung 1.3 Aufbau der Arbeit 2 Grundbegriffe 2.1 Manipulatoren und manipulative Modelle 2.2 Gamification 2.3 Framework 3 Manipulative Modelle in der Mathematik 3.1 Hintergrund 3.2 Prinzipien und Vorgehensweisen zur Modellerstellung 3.3 Existierende Modelle 3.3.1 Bewertungsmatrix 3.3.2 Algebra-Kachel-Modell 3.3.3 EquationGuide 3.3.4 Maphi 3.4 Auswertung 4 Entwicklung und Evaluierung eines manipulativen Modells zur Gleichungsmanipulation 4.1 Zieldefinition 4.2 Anforderungsanalyse 4.2.1 Webbasiertes Framework 4.2.2 Gleichungsmanipulation und -lösung mittels Gestensteuerung 4.2.3 Generierung von Umformungsschritten 4.2.4 Lernstufen durch Modi 4.2.5 Modellmächtigkeit 4.2.6 Preview 4.2.7 Gleichungsvalidierung 4.2.8 Lösungsindikation 4.2.9 Protokollierung 4.3 Entwurf 4.3.1 Entwicklersicht 4.3.2 Benutzersicht 4.4 Implementierung 4.4.1 Webbasiertes Framework 4.4.2 Gleichungsmanipulation und -lösung mittels Gestensteuerung 4.4.3 Tokenisierung mathematischer Ausdrücke 4.4.4 Generierung von Umformungsschritten 4.4.5 Unterstützender und freier Modus 4.4.6 Simplifizierung 4.4.7 Darstellung von Brüchen 4.4.8 Preview 4.4.9 Gleichungsvalidierung 4.4.10 Lösungsindikation 4.4.11 Protokollierung 4.5 Evaluierung 4.5.1 Integration in eine Webapplikation 4.5.2 Integration in ein Jupyter Notebook 4.5.3 Einordnung 5 Fazit und Ausblick

Diese Arbeit leistet einen Beitrag zur Modellierung und Regelung nichtlinearer dynamischer Systeme mit Hilfe von Takagi-Sugeno Fuzzy-Systemen. Zielsetzung ist es, zur Modellierung von nichtlinearen dynamischen Systemen fuzzy-verknüpfte, lokal gültige lineare Modelle einzusetzen, deren Systemverhalten lokal dem der nichtlinearen Systeme entspricht. Ein Schwerpunkt der Arbeit liegt auf der Ableitung einer geeigneten Partition des Eingangsgrößenbereichs, d.h. auf der Ableitung optimaler Klassen, bestehend aus Gültigkeitsbereichen und lokalen Modellen, die sich durch geringe Redundanz auszeichnen. Dazu wird ein adaptives Verfahren hergeleitet, das die Anpassung der Gültigkeitsbereiche durch die Bewertung der Ähnlichkeit zwischen den lokalen Modellen und dem zu approximierenden Referenzsystem durchführt. Die Leistungsfähigkeit des Verfahrens wird anhand der Simulation und der Regelung des Antriebsstrangs einer Windkraftanlage mit Überlagerungsgetriebe demonstriert. Hierzu wird für die nichtlineare Abhängigkeit des Rotormoments eine Modellstruktur abgeleitet, die zur Modellierung mit lokalen linearen Modellen verwendet werden kann. Zur Regelung wird auf das Prinzip der LQI-Zustandsregler zurückgegriffen, wobei der Einfluss der Windgeschwindigkeit mit dem Prinzip der Störgrößenaufschaltung reguliert wird. Um dies realisieren zu können, werden die Werte der nicht exakt messbaren Windgeschwindigkeit durch einen Störgrößenbeobachter bereitgestellt, der ebenfalls auf dem Prinzip der lokalen linearen Modelle basiert.

Die Impuls-Antwort-Analyse – auch Schockanalyse genannt – stellt eine wichtige Möglichkeit der vertiefenden Analyse von vektorautoregressiven (VAR) Modellen dar. Bei der Schätzung der Impuls-Antwort-Folgen müssen die Zeitreiheneigenschaften der zugrundeliegenden Daten berücksichtigt werden. Weisen die Zeitreihen stochastische Trends auf und sind die Zeitreihen kointegriert, kann die Impuls-Antwort-Analyse auf der Basis eines kointegrierenden VAR-Modells (VECM) erfolgen. Pesaran und Shin (1998) entwickelten die verallgemeinerten (Generalized) Impuls-Antwort-Funktionen, um den Mangel der fehlenden Eindeutigkeit der orthogonalen Schockanalyse zu umgehen. Am Beispiel der Variablen einer Konsumfunktion für Deutschland werden die auf der Grundlage eines Vektor-Fehlerkorrekturmodells berechneten verallgemeinerten Impuls-Antwort-Folgen den orthogonalen gegenübergestellt.

Vor dem Hintergrund der Zunahme von Übergewicht, Adipositas und daraus resultierender gesundheitlicher Gefährdungen wie Herz-Kreislauferkrankungen und Stoffwechselerkrankungen, zum Beispiel durch mangelndes Ernährungswissen, wird seit längerem über eine einfache erweiterte Lebensmittelkennzeichnung diskutiert. Bisher sind erweiterte Kennzeichnungsmodelle auf Lebensmittelverpackungen zu finden. Eingangs wird das Modell „Kennzeichnung unter Verwendung der GDA“ dargestellt, welches der Verband der europäischen Lebensmittelindustrie (CIAA) für eine vereinfachte Nährwertkennzeichnung für verpackte Lebensmittel entwickelt hat. Die erweiterten Nährwertangaben werden mit dem Modell „1 plus 4“ als Schwerpunkt des nationalen Aktionsplans in Deutschland zur Prävention von Fehlernährung, Bewegungsmangel, Übergewicht und damit zusammenhängende Krankheiten als „Leitfaden für erweiterte Nährwertinformationen auf Lebensmittelverpackungen“ durch das Bundesministerium für Ernährung, Landwirtschaft und Verbraucherschutz (BMELV) veröffentlicht. Das Modell „Ampelsystem“ wurde von der britischen Lebensmittelbehörde Food Standard Agency (FSA) entwickelt, mit dem Ziel, dem Verbraucher verständliche Informationen zu geben. Ein positiver Nebeneffekt der Ampel ist es, die Lebensmittelhersteller zu motivieren, die Inhaltsstoffe und die Zusammensetzung ihrer Produkte zu prüfen. Die Verkaufszahlen britischer Unternehmen zeigen, dass die Verbraucher ihren Lebensmitteleinkauf auf das System ausrichten. Abschließend wird das schwedische „Keyhole-Modell“ dargestellt. In diesem werden die Lebensmittel für den Verbraucher anhand der Kategorien „gesund“ oder „weniger gesund“ hervorgehoben. Die zentrale staatliche Behörde für Ernährung und Trinkwasser (NFA) führte das „grüne Schlüsselloch“ ein. Das „Keyhole-Modell“ soll zur gesunden Ernährung beitragen. Zusammenfassen lässt sich konstatieren, dass keines der dargestellten Modelle mehrheitlich akzeptiert wird. Zwar verfolgen alle Modelle das gleiche Ziel, die Sensibilisierung der Verbraucher als Hilfestellung für die Auswahl gesunder Lebensmittel, aber die Ansätze der Modelle sind verschiedenartig. Die Entscheidung für ein europäisches einheitliches Modell steht noch aus. / Regarding the increase of overweight, obesity and resultant health hazards such as cardiovascular diseases and metabolic diseases, for example by lack of nutrition knowledge, simple advanced food labelling has been discussed for some time. So far, advanced identification models can be found on food packaging. At first, the model identification using the GDA is shown, which has been developed by the Association of European food industry (CIAA) for a simplified nutrition labelling for packaged foods. The expanded nutrition information are published with "one plus four" model as the focus of the national plan of action in Germany on the prevention of malnutrition, physical inactivity, obesity and related diseases as a "Guide for expanded nutrition information on food packaging" by the Federal Ministry of Food, Agriculture and Consumer Protection (BMELV). The "traffic light system“ model has been developed by the British Food Administration Food Standard Agency (FSA) to give consumers clear information. A positive side effect of the traffic light system is to motivate food manufacturers to check the ingredients and the composition of their products. The sales of British companies show that consumers adjust their food shopping to the system. Finally, the Swedish "keyhole" model is shown. In this, the food is categorised for the consumer as "healthy" or "less healthy". The central government agency for food and drinking water (NFA) introduced the "green keyhole”. The "keyhole” model is to contribute to a healthy nutrition. Summarizing it can be stated that none of the models presented is accepted by majority. Although all the models follow the same objective, the promotion of consumer awareness as an aid for the selection of healthy food, but the approaches of the different models are different. The decision for a European standard model is still pending.

Ausgehend vom klassischen linearen Modell werden Regressionsmethoden für Datenstrukturen dargestellt, bei denen die Standardannahmen (Unabhängigkeit, normalverteilte Fehler und konstante Varianz) nicht erfüllt sind. Läßt man die Responsevariable aus einer Exponentialfamilie zu, so erhält man die Klasse generalisierter linearer Modelle (GLM) . Dies erlaubt, den Erwartungswert von verschiedensten stetigen und diskreten Responsevariablen (z .B. Anteile, Häufigkeiten, etc.) über eine fixe Kovariatenstruktur zu modellieren. Hebt man zusatzlich die Notwendigkeit auf, eine Verteilung aus Exponentialfamilien spezifizieren zu müssen, erhält man Quasi-Likelihood Modelle, bei denen nur mehr eine Beziehung zwischen Erwartungswert und Varianz festgelegt werden muß. Die Berücksichtigung einer Korrelationsstruktur führt zu verallgemeinerten Schätzgleichungen, d.h. es können auch Longitudinaldaten ohne besondere Verteilungsannahmen analysiert werden. Ziel der Arbeit ist es, diese Methoden und ihre statistischen Eigenschaften vorzustellen und anhand eines Beispiels (Überdispersion bei wiederholt gemessenen binomialen Anteilen) ihre Bedeutung in der biometrischen Praxis zu illustrieren. (Autorenref.) / Series: Forschungsberichte / Institut für Statistik

A model's response for a given input pattern depends on the seen patterns in the training data. The larger the amount of training data, the more likely edge cases are covered during training. However, the more complex input patterns are, the larger the model has to be. For very simple use cases, a relatively small model can achieve very high test accuracy in a matter of minutes. On the other hand, a large model has to be trained for multiple days. The actual time to develop a model of that size can be considered to be even greater since often many different architecture types and hyper-parameter configurations have to be tried. An extreme case for a large model is the recently released GPT-3 model. This model consists of 175 billion parameters and was trained using 45 terabytes of text data. The model was trained to generate text and is able to write news articles and source code based only on a rough description. However, a model like this is only creatable for researchers with access to special hardware or immense amounts of data. Thus, it is desirable to find less resource-intensive training approaches to enable other researchers to create well performing models. This thesis investigates the use of pre-trained models. If a model has been trained on one dataset and is then trained on another similar data, it faster learns to adjust to similar patterns than a model that has not yet seen any of the task's pattern. Thus, the learned lessons from one training are transferred to another task. During pre-training, the model is trained to solve a specific task like predicting the next word in a sequence or first encoding an input image before decoding it. Such models contain an encoder and a decoder part. When transferring that model to another task, parts of the model's layers will be removed. As a result, having to discard fewer weights results in faster training since less time has to be spent on training parts of a model that are only needed to solve an auxiliary task. Throughout this thesis, the concept of siamese architectures will be discussed since when using that architecture, no parameters have to be discarded when transferring a model trained with that approach onto another task. Thus, the siamese pre-training approach positively impacts the need for resources like time and energy use and drives the development of new models in the direction of Green AI. The models trained with this approach will be evaluated by comparing them to models trained with other pre-training approaches as well as large existing models. It will be shown that the models trained for the tasks in this thesis perform as good as externally pre-trained models, given the right choice of data and training targets: It will be shown that the number and type of training targets during pre-training impacts a model's performance on transfer learning tasks. The use cases presented in this thesis cover different data from different domains to show that the siamese training approach is widely applicable. Consequently, researchers are motivated to create their own pre-trained models for data domains, for which there are no existing pre-trained models. / Die Vorhersage eines Models hängt davon ab, welche Muster in den während des Trainings benutzen Daten vorhanden sind. Je größer die Menge an Trainingsdaten ist, desto wahrscheinlicher ist es, dass Grenzfälle in den Daten vorkommen. Je größer jedoch die Anzahl der zu lernenden Mustern ist, desto größer muss jedoch das Modell sein. Für einfache Anwendungsfälle ist es möglich ein kleines Modell in wenigen Minuten zu trainieren um bereits gute Ergebnisse auf Testdaten zu erhalten. Für komplexe Anwendungsfälle kann ein dementsprechend großes Modell jedoch bis zu mehrere Tage benötigen um ausreichend gut zu sein. Ein Extremfall für ein großes Modell ist das kürzlich veröffentlichte Modell mit dem Namen GPT-3, welches aus 175 Milliarden Parametern besteht und mit Trainingsdaten in der Größenordnung von 45 Terabyte trainiert wurde. Das Modell wurde trainiert Text zu generieren und ist in der Lage Nachrichtenartikel zu generieren, basierend auf einer groben Ausgangsbeschreibung. Solch ein Modell können nur solche Forscher entwickeln, die Zugang zu entsprechender Hardware und Datenmengen haben. Es demnach von Interesse Trainingsvorgehen dahingehend zu verbessern, dass auch mit wenig vorhandenen Ressourcen Modelle für komplexe Anwendungsfälle trainiert werden können. Diese Arbeit beschäfigt sich mit dem Vortrainieren von neuronalen Netzen. Wenn ein neuronales Netz auf einem Datensatz trainiert wurde und dann auf einem zweiten Datensatz weiter trainiert wird, lernt es die Merkmale des zweiten Datensatzes schneller, da es nicht von Grund auf Muster lernen muss sondern auf bereits gelerntes zurückgreifen kann. Man spricht dann davon, dass das Wissen transferiert wird. Während des Vortrainierens bekommt ein Modell häufig eine Aufgabe wie zum Beispiel, im Fall von Bilddaten, die Trainingsdaten erst zu komprimieren und dann wieder herzustellen. Bei Textdaten könnte ein Modell vortrainiert werden, indem es einen Satz als Eingabe erhält und dann den nächsten Satz aus dem Quelldokument vorhersagen muss. Solche Modelle bestehen dementsprechend aus einem Encoder und einem Decoder. Der Nachteil bei diesem Vorgehen ist, dass der Decoder lediglich für das Vortrainieren benötigt wird und für den späteren Anwendungsfall nur der Encoder benötigt wird. Zentraler Bestandteil in dieser Arbeit ist deswegen das Untersuchen der Vorteile und Nachteile der siamesische Modellarchitektur. Diese Architektur besteht lediglich aus einem Encoder, was dazu führt, dass das Vortrainieren kostengünstiger ist, da weniger Gewichte trainiert werden müssen. Der wesentliche wissenschaftliche Beitrag liegt darin, dass die siamische Architektur ausführlich verglichen wird mit vergleichbaren Ansätzen. Dabei werden bestimmte Nachteile gefunden, wie zum Beispiel dass die Auswahl einer Ähnlichkeitsfunktion oder das Zusammenstellen der Trainingsdaten große Auswirkung auf das Modelltraining haben. Es wird erarbeitet, welche Ähnlichkeitsfunktion in welchen Kontexten empfohlen wird sowie wie andere Nachteile der siamischen Architektur durch die Anpassung der Trainingsziele ausgeglichen werden können. Die entsprechenden Experimente werden dabei auf Daten aus unterschiedlichen Domänen ausgeführt um zu zeigen, dass der entsprechende Ansatz universell anwendbar ist. Die Ergebnisse aus konkreten Anwendungsfällen zeigen außerdem, dass die innerhalb dieser Arbeit entwickelten Modelle ähnlich gut abschneiden wie extern verfügbare Modelle, welche mit großem Ressourcenaufwand trainiert worden sind. Dies zeigt, dass mit Bedacht erarbeitete Architekturen die benötigten Ressourcen verringern können.

Diese Arbeit leistet einen Beitrag zur Modellierung und Regelung nichtlinearer dynamischer Systeme mit Hilfe von Takagi-Sugeno Fuzzy-Systemen. Zielsetzung ist es, zur Modellierung von nichtlinearen dynamischen Systemen fuzzy-verknüpfte, lokal gültige lineare Modelle einzusetzen, deren Systemverhalten lokal dem der nichtlinearen Systeme entspricht. Ein Schwerpunkt der Arbeit liegt auf der Ableitung einer geeigneten Partition des Eingangsgrößenbereichs, d.h. auf der Ableitung optimaler Klassen, bestehend aus Gültigkeitsbereichen und lokalen Modellen, die sich durch geringe Redundanz auszeichnen. Dazu wird ein adaptives Verfahren hergeleitet, das die Anpassung der Gültigkeitsbereiche durch die Bewertung der Ähnlichkeit zwischen den lokalen Modellen und dem zu approximierenden Referenzsystem durchführt. Die Leistungsfähigkeit des Verfahrens wird anhand der Simulation und der Regelung des Antriebsstrangs einer Windkraftanlage mit Überlagerungsgetriebe demonstriert. Hierzu wird für die nichtlineare Abhängigkeit des Rotormoments eine Modellstruktur abgeleitet, die zur Modellierung mit lokalen linearen Modellen verwendet werden kann. Zur Regelung wird auf das Prinzip der LQI-Zustandsregler zurückgegriffen, wobei der Einfluss der Windgeschwindigkeit mit dem Prinzip der Störgrößenaufschaltung reguliert wird. Um dies realisieren zu können, werden die Werte der nicht exakt messbaren Windgeschwindigkeit durch einen Störgrößenbeobachter bereitgestellt, der ebenfalls auf dem Prinzip der lokalen linearen Modelle basiert.