Holz ist ein vielseitig einsetzbarer nachwachsender Rohstoff. Neben seinem wirtschaftlichen Nutzen ist er für den Erhalt des Klimas unersetzlich. Eine sortenreine Sortierung für die Weiterverarbeitung von Altholz spielt für einen ressourcenschonenden Umgang eine wichtige Rolle. Um das Potenzial eines neuronalen Netzwerks basierend auf Messdaten der bildgebenden Fluoreszenzabklingzeitmessung für die Altholzsortierung aufzuzeigen, wurden zwei unterschiedliche Klassifikationsansätze auf Basis der Programmiersprache Python gewählt. Die Ergebnisse zeigen, dass die bildbasierte Klassifizierung der Holzart mit einer Genauigkeit von 47,36 % noch ausbaufähig ist. Eine datenbasierte Klassifizierung der Holzart mit einer Identifikationsgenauigkeit von 98,28 % ist dagegen vielversprechend.

Deep Learning (DL) models are trained on a downstream task by feeding (potentially preprocessed) input data through a trainable Neural Network (NN) and updating its parameters to minimize the loss function between the predicted and the desired output. While this general framework has mainly remained unchanged over the years, the architectures of the trainable models have greatly evolved. Even though it is undoubtedly important to choose the right architecture, we argue that it is also beneficial to develop methods that address other components of the training process. We hypothesize that utilizing domain knowledge can be helpful to improve DL models in terms of performance and/or efficiency. Such model-agnostic methods can be applied to any existing or future architecture. Furthermore, the black box nature of DL models motivates the development of techniques to understand their inner workings. Considering the rapid advancement of DL architectures, it is again crucial to develop model-agnostic methods. In this thesis, we explore six principles that incorporate domain knowledge to understand or improve models. They are applied either on the input or output side of the trainable model. Each principle is applied to at least two DL tasks, leading to task-specific implementations. To understand DL models, we propose to use Generated Input Data coming from a controllable generation process requiring knowledge about the data properties. This way, we can understand the model’s behavior by analyzing how it changes when one specific high-level input feature changes in the generated data. On the output side, Gradient-Based Attribution methods create a gradient at the end of the NN and then propagate it back to the input, indicating which low-level input features have a large influence on the model’s prediction. The resulting input features can be interpreted by humans using domain knowledge. To improve the trainable model in terms of downstream performance, data and compute efficiency, or robustness to unwanted features, we explore principles that each address one of the training components besides the trainable model. Input Masking and Augmentation directly modifies the training input data, integrating knowledge about the data and its impact on the model’s output. We also explore the use of Feature Extraction using Pretrained Multimodal Models which can be seen as a beneficial preprocessing step to extract useful features. When no training data is available for the downstream task, using such features and domain knowledge expressed in other modalities can result in a Zero-Shot Learning (ZSL) setting, completely eliminating the trainable model. The Weak Label Generation principle produces new desired outputs using knowledge about the labels, giving either a good pretraining or even exclusive training dataset to solve the downstream task. Finally, improving and choosing the right Loss Function is another principle we explore in this thesis. Here, we enrich existing loss functions with knowledge about label interactions or utilize and combine multiple task-specific loss functions in a multitask setting. We apply the principles to classification, regression, and representation tasks as well as to image and text modalities. We propose, apply, and evaluate existing and novel methods to understand and improve the model. Overall, this thesis introduces and evaluates methods that complement the development and choice of DL model architectures. / Deep-Learning-Modelle (DL-Modelle) werden trainiert, indem potenziell vorverarbeitete Eingangsdaten durch ein trainierbares Neuronales Netz (NN) geleitet und dessen Parameter aktualisiert werden, um die Verlustfunktion zwischen der Vorhersage und der gewünschten Ausgabe zu minimieren. Während sich dieser allgemeine Ablauf kaum geändert hat, haben sich die verwendeten NN-Architekturen erheblich weiterentwickelt. Auch wenn die Wahl der Architektur für die Aufgabe zweifellos wichtig ist, schlagen wir in dieser Arbeit vor, Methoden für andere Komponenten des Trainingsprozesses zu entwickeln. Wir vermuten, dass die Verwendung von Domänenwissen hilfreich bei der Verbesserung von DL-Modellen bezüglich ihrer Leistung und/oder Effizienz sein kann. Solche modellagnostischen Methoden sind dann bei jeder bestehenden oder zukünftigen NN-Architektur anwendbar. Die Black-Box-Natur von DL-Modellen motiviert zudem die Entwicklung von Methoden, die zum Verständnis der Funktionsweise dieser Modelle beitragen. Angesichts der schnellen Architektur-Entwicklung ist es wichtig, modellagnostische Methoden zu entwickeln. In dieser Arbeit untersuchen wir sechs Prinzipien, die Domänenwissen verwenden, um Modelle zu verstehen oder zu verbessern. Sie werden auf Trainingskomponenten im Eingang oder Ausgang des Modells angewendet. Jedes Prinzip wird dann auf mindestens zwei DL-Aufgaben angewandt, was zu aufgabenspezifischen Implementierungen führt. Um DL-Modelle zu verstehen, verwenden wir kontrolliert generierte Eingangsdaten, was Wissen über die Dateneigenschaften benötigt. So können wir das Verhalten des Modells verstehen, indem wir die Ausgabeänderung bei der Änderung von abstrahierten Eingabefeatures beobachten. Wir untersuchen zudem gradienten-basierte Attribution-Methoden, die am Ausgang des NN einen Gradienten anlegen und zur Eingabe zurückführen. Eingabefeatures mit großem Einfluss auf die Modellvorhersage können so identifiziert und von Menschen mit Domänenwissen interpretiert werden. Um Modelle zu verbessern (in Bezug auf die Ergebnisgüte, Daten- und Recheneffizienz oder Robustheit gegenüber ungewollten Eingaben), untersuchen wir Prinzipien, die jeweils eine Trainingskomponente neben dem trainierbaren Modell betreffen. Das Maskieren und Augmentieren von Eingangsdaten modifiziert direkt die Trainingsdaten und integriert dabei Wissen über ihren Einfluss auf die Modellausgabe. Die Verwendung von vortrainierten multimodalen Modellen zur Featureextraktion kann als ein Vorverarbeitungsschritt angesehen werden. Bei fehlenden Trainingsdaten können die Features und Domänenwissen in anderen Modalitäten als Zero-Shot Setting das trainierbare Modell gänzlich eliminieren. Das Weak-Label-Generierungs-Prinzip erzeugt neue gewünschte Ausgaben anhand von Wissen über die Labels, was zu einem Pretrainings- oder exklusiven Trainigsdatensatz führt. Schließlich ist die Verbesserung und Auswahl der Verlustfunktion ein weiteres untersuchtes Prinzip. Hier reichern wir bestehende Verlustfunktionen mit Wissen über Label-Interaktionen an oder kombinieren mehrere aufgabenspezifische Verlustfunktionen als Multi-Task-Ansatz. Wir wenden die Prinzipien auf Klassifikations-, Regressions- und Repräsentationsaufgaben sowie Bild- und Textmodalitäten an. Wir stellen bestehende und neue Methoden vor, wenden sie an und evaluieren sie für das Verstehen und Verbessern von DL-Modellen, was die Entwicklung und Auswahl von DL-Modellarchitekturen ergänzt.

Zugl.: Hamburg, Techn. Univ., Diss., 2008

Zugl.: München, University der Bundeswehr, Diss., 2009.

Zugl.: Düsseldorf, Universiẗat, Diss.

Techn. Hochsch., Diss., 2005--Aachen.

Jede Übertragung von Elektroenergie ist mit Verlusten verbunden, wobei diese Verlustenergie in Wärme umgewandelt wird. Knapper werdende Ressourcen, steigende Energiepreise und nicht zuletzt der Marktdruck auf Energieversorger und Netzbetreiber durch die Liberalisierung des Strommarktes zwingen zum verantwortungsvollen Umgang mit Elektroenergie und damit zur Reduzierung der Verluste. Um das zu erreichen, ist zunächst die möglichst genaue Kenntnis über die Höhe der Verluste erforderlich. Stromhandel, Berechnung der Netznutzungsentgelte, Kraftwerksmanagement und Netzplanung sind weitere Bereiche, die das Wissen um die Höhe der Netzverluste erfordern. / Transmission and distribution of electric energy causes losses. This losses are changed into heat energy. Decreasing resources, increasing prices and pressure on distributor and provider because of the liberalisation of the energy market enforce responsible handling of electric energy and reducing losses. To achieve this aim it is necessary to know the level of this losses. For energy-trading, calculation of fees for network access, power station management and planning of networks this knowledge is essential as well.

Gescannte und vektorisierte technische Zeichnungen werden automatisch unter Nutzung eines Netzes von Modellen in eine hochwertige Datenstruktur migriert. Die Modelle beschreiben die Inhalte der Zeichnungen hierarchisch und deklarativ. Modelle für einzelne Bestandteile der Zeichnungen können paarweise unabhängig entwickelt werden. Dadurch werden auch sehr komplexe Zeichnungsklassen wie Elektroleitungsnetze oder Gebäudepläne zugänglich. Die Modelle verwendet der neue, sogenannte Y-Algorithmus: Hypothesen über die Deutung lokaler Zeichnungsinhalte werden hierarchisch generiert. Treten bei der Nutzung konkurrierender Modelle Konflikte auf, werden diese protokolliert. Mittels des Konfliktbegriffes können konsistente Interpretationen einer kompletten Zeichnung abstrakt definiert und während der Analyse einer konkreten Zeichnung bestimmt werden. Ein wahrscheinlichkeitsbasiertes Gütemaß bewertet jede dieser alternativen, globalen Interpretationen. Das Suchen einer bzgl. dieses Maßes optimalen Interpretation ist ein NP-hartes Problem. Ein Branch and Bound-Algorithmus stellt die adäquate Lösung dar.

In der vorliegenden Dissertation wurden Neurone untersucht, die von einer speziellen Form der extrazellulären Matrix, dem perineuronalen Netz (PN), umgeben sind. Neurone mit einem PN zeichnen sich durch eine geringe Vulnerabilität bei neurodegenerativen Erkrankungen aus. Da das PN mit hoher Affinität Eisen bindet, war zu klären, ob das PN den Eisenhaushalt der Neurone beeinflusst und diese mit einer protektiven Eigenschaft gegenüber Eisen-induzierten oxidativen Stress ausstattet. Es wurde die Eisenkonzentration und der Gehalt an Eisentransport- und Eisenspeicherproteinen von Neuronen mit PN und Neuronen ohne PN in der Ratte untersucht. Dabei kamen quantitative Methoden wie die ortsaufgelöste Ionenstrahlmikroskopie und die Objektträger-basierte Laser Scanning Zytometrie sowie Western Blot Analysen und quantitative Real-Time-PCR zum Einsatz. Die Untersuchungen zeigen, dass Neurone, die mit einem PN umgeben sind, eine höhere Konzentration an Eisen sowie Eisentransport- und Eisenspeicherproteinen besitzen als Neurone ohne ein PN. Das PN könnte so den Eisenhaushalt der Neurone beeinflussen und diese mit einer protektiven Eigenschaft gegenüber Eisen-induziertem oxidativen Stress ausstatten.

Die vorliegende Arbeit untersucht das Potenzial von neuronalen Netzen (NN) zur Prognose von makroökonomischen Zeitreihen und vergleicht es mit jenem von linearen Modellen. Im Zentrum steht das autoregressive Neuronale- Netz-Modell (ARNN), das als nicht-lineare Generalisierung des konventionellen autoregressiven Modells (AR) gesehen werden kann, wobei der nicht-lineare Teil durch ein neuronales Netz vom Feedforward-Typ implementiert wird. Die besonderen Aspekte makroökonomischer Zeitreihen, denen durch die Anpassung und Weiterentwicklung sowohl des linearen als auch des NN-Instrumentariums Rechnung getragen werden soll, sind insbesondere die hohe Stochastizität, die geringe Länge, nicht-stationäres Verhalten und Saisonalität sowie der Umstand, dass das Vorhandensein von Nicht-linearität a priori nicht klar ist. Für die Entwicklung und Evaluierung der Methoden werden neben einer simulierten Zeitreihe mit bekannten nicht-linearen Eigenschaften als realweltliche Zeitreihen die österreichische Arbeitslosenrate und der österreichische Industrieproduktionsindex herangezogen (beide mit monatlichen Beobachtungen, saisonal unbereinigt). Im ersten, auf die Einleitung folgenden, Hauptkapitel der Arbeit werden die Grundlagen der linearen univariaten Zeitreihenanalyse rekapituliert und das lineare Instrumentarium auf die beiden Beispielzeitreihen angewandt. Besonderes Augenmerk wird auf die Frage der Herbeiführung der Stationarität durch Bildung der konventionellen, der saisonalen Differenzen oder durch Kombination beider Differenzenfilter gelegt. Hierzu werden Unit-Root-Tests und weitere Methoden angewandt. Zu den verwendeten linearen Modellen gehört neben dem AR-Modell auch das autoregressive Moving-Average-Modell (ARMA). Diese werden zusätzlich um einen Modellteil für deterministische Saisonalität ergänzt. Die auf den beiden Beispielzeitreihen geschätzten Modelle weisen eine relativ hohe Modellordnung sowie auch bei sparsamer Modellspezifikation relativ viele Koeffizienten auf. Das zweite Hauptkapitel behandelt verschiedene theoretische Aspekte und Typen der Nicht-Linearität in Zeitreihen und führt eine Folge von Hypothesentests auf Nicht-Linearität ein. Die Durchführung dieser Tests empfiehlt sich, um den möglichen Gewinn durch den Einsatz von neuronalen Netzen vorab abschätzen zu können. Die Ergebnisse der Nicht-Linearitätstests auf den beiden makroökonomischen Zeitreihen belegen das Vorhandensein von nicht-linearer Struktur des additiven Typs, der von ARNN-Modellen vorhergesagt werden kann. Doch ist bei der Interpretation dieses Ergebnisses Vorsicht geboten, da nicht-lineare Strukturen multiplikativen Typs, verbliebene lineare Strukturen und mögliche Strukturbrüche das Ergebnis dieser Test verfälschen können. Im dritten Hauptkapitel werden das ARNN-Modell und Methoden für seine Schätzung und Spezifikation vorgestellt und weiterentwickelt. Die Modellspezifikation sieht einen Modellteil für deterministische Saisonalität vor, schließt einen linearen Modellteil mit ein und erlaubt sparsame Spezifikation der Koeffizienten. Die Generalisierungsfähigkeit des ARNN-Modells (Vermeidung des Overfitting-Problems) wird durch vier verschiedene Modellierungsansätze angestrebt: statistisch-parametrischer Ansatz unter Anwendung von Hypothesentests und Pruning, klassischer Ansatz mit Early-Stopping, Ansatz mit Regularisierung und Bayesianischer Evidenzansatz. Zu jedem dieser Ansätze werden verschiedene Erweiterungen und verbesserte Heuristiken beigetragen, die im Hinblick auf das Anwendungsgebiet hilfreich sind. Die Vor- und Nachteile der Ansätze werden sowohl theoretisch als auch anhand von Anwendungen auf den simulierten und den realweltlichen makroökonomischen Zeitreihen diskutiert. Das vierte Hauptkapitel ist einer systematisch angelegten Prognose- und Evaluierungsanordnung gewidmet, in der auf einem Evaluierungsset, das zuvor noch nicht für die Methodenentwicklung und Modellschätzung verwendet worden ist, die Prognosegüte der linearen und NN-Methoden getestet wird. Hierzu wird die ARNN-Modellspezifikation für Mehr-Schritt-Prognosen erweitert, wobei sowohl simulativ-iterierte als auch direkte Mehr-Schritt-Prognosen ermöglicht werden. Angesichts der großen Anzahl von Prognosezeitreihen, die für verschieden differenzierte Zeitreihen, unterschiedliche Modellierungsansätze und Prognosehorizonte erstellt werden, ist die Auswertung nicht eindeutig. Es kann weder für die österreichische Arbeitslosenrate noch für den Industrieproduktionsindex anhand des MSFE (mean square forecasting error) eine klare Überlegenheit der ARNN-Modelle gegenüber AR- und ARMA-Modellen feststellt werden. Bei Durchführung des Diebold-Mariano-Test auf einer Auswahl von a priori bevorzugten Modellierungsstrategien ergibt sich nur in wenigen Fällen eine statistisch signifikant unterschiedliche Prognosegüte. Die Ergebnisse der Arbeit lassen den Schluss zu, dass ARNN-Modelle prinzipiell gut zur Prognose von makroökonomischen Zeitreihen einsetzbar sind, jedoch im Falle von ungenügend vorhandener nicht-linearer Struktur in den Zeitreihen verschiedene Probleme wie mehrfache lokale Minima und numerische Instabilität der Verfahren dem Praktiker im Vergleich zu linearen Modellen zusätzliche Aufmerksamkeit abverlangen. Fast alle Methoden und Modelle, die in der Arbeit zur Anwendung kommen, werden in der mathematischen Programmiersprache R implementiert und in Form von zwei R-Programmpaketen (seasonal und NNUTS) zusammengestellt, deren Dokumentation als Anhang in die Arbeit aufgenommen wurde.