Der Bulbus olfactorius (OB) spielt eine wichtige Rolle in der Wahrnehmung von Gerüchen. Das OB-Volumen korreliert mit der Riechfunktion und ist daher ein Biomarker für mehrere neurodegenerative Erkrankungen sowie für Riechstörungen. In mehreren Studien wurde gezeigt, dass eine Abnahme des OB-Volumens mit einer Abnahme der Geruchsempfindlichkeit einhergeht und umgekehrt. Dies bedeutet, dass die Messung des OB-Volumens für verschiedene Diagnose- und Forschungszwecke von großem Interesse ist. Bisher wurden diese Messungen manuell durchgeführt, was mit einem Zeitaufwand von 15-20 Minuten pro Probanden eine sehr langwierige Methode ist, die außerdem zu erheblichen Messungenauigkeiten führt. Dies erschwert die Verarbeitung großer Datensätze sowie den Vergleich verschiedener Studien. Um dieses Problem zu lösen, haben wir einen vollautomatisierten, auf Deep-Learning basierten Algorithmus zur Segmentierung des OB sowie zur Messung dessen Volumens entwickelt und ein einsatzbereites Tool zur Anwendung veröffentlicht. Des Weiteren wurde eine Studie an Patienten mit Mild Cognitive Impairment (MCI) durchgeführt, um den Effekt von Riechtraining auf funktionale und morphologische Veränderungen des OB und des Hippocampus zu untersuchen. Methoden: Wir haben unseren Algorithmus auf vier Datensätzen trainiert und getestet, die jeweils aus T1-gewichteten MRT-Aufnahmen des gesamten Gehirns sowie hochaufgelösten T2-gewichteten Aufnahmen der vorderen Schädelbasis und den entsprechenden klinischen Informationen über das Riechvermögen der Probanden bestehen. Ein Datensatz enthielt Patienten mit gesicherter Anosmie oder Hyposmie (N = 79). Die anderen drei Datensätze enthielten gesunde Probanden (N = 91). Um die Grundwahrheit für die OB-Segmentierung und die Volumenmessung zu erhalten, wurden die Datensätze von zwei erfahrenen wissenschaftlichen Mitarbeitern unabhängig voneinander nach einem einheitlichen Protokoll manuell segmentiert. Verglichen mit dem gesamten Gehirn nimmt der OB ein sehr kleines Volumen ein. Jedes Bild hat daher viel mehr Voxel, die dem Hintergrund angehören als solche, die zum OB gehören. Somit sind die Daten sehr unausgewogen, was eine Herausforderung für die automatische Lokalisierung des OB darstellt. Um dieses Problem zu lösen, haben wir zunächst die manuellen Segmentierungen mit dem Template des Montreal Neurological Institute (MNI) registriert und den Massenschwerpunkt (Center of Gravity, COG) ermittelt. Im Preprocessing übertragen wir die COG-Koordinaten aus dem MNI-Raum in den individuellen Raum der jeweiligen MR-Aufnahme und konstruieren eine Bounding Box um den OB. Anschließend selektieren wir den in der Bounding Box enthaltenen Bildanteil, in welchem dann der OB durch das 3D-U-Net-Modell segmentiert wird. Bei dem Modell handelt es sich um ein neuronales Netz, welches für die 3D-Bildsegmentierung entwickelt wurde und sich im Bereich der medizinischen Bildverarbeitung bewährt hat. Der Algorithmus gibt anschließend die binären Segmentierungsmasken und eine Datei mit den Volumina für den linken und rechten OB heraus. Im Rahmen der Studie an MCI-Patienten wurden 37 Patienten randomisiert in Verum- und Placebo-Gruppe eingeteilt. Das Riechtraining wurde zweimal täglich über einen Zeitraum von vier Monaten durchgeführt. Olfaktorische und kognitive Testungen sowie MRT-Bildgebung wurden zu Anfang und Ende der viermonatigen Studie durchgeführt. Ergebnisse : Zum Trainieren des neuronalen Netzes haben wir den Datensatz in einen Trainings- (60%; N = 191), einen Validierungs- (20%; N = 64) und einen Testdatensatz (20%; N = 64) aufgeteilt. Auf zuvor ungesehenen Daten (d. h. auf dem Testdatensatz) wurde ein mittlerer Dice-Koeffizient (DC) von 0,77 ± 0,05 erreicht, was dem zwischen den beiden manuellen Segmentierungen ermittelten DC von 0,79 ± 0,08 für dieselbe Kohorte sehr nahe kommt. Darüber hinaus wurden die von unserem Algorithmus erzeugten Segmentierungen von einem unabhängigen verblindeten Bewerter manuell auf einer standardisierten Skala evaluiert und erreichten eine vergleichbare Punktzahl von 5,95 ± 0,87 im Vergleich zu einer Bewertungszahl von 6,23 ± 0,87 für die erste und 5,92 ± 0,81 für die zweite Segmentierung. Diese Evaluierungsergebnisse zeigen, dass unser Algorithmus mit drei bis vier Minuten pro Probanden eine schnelle und zuverlässige automatische Segmentierung des OB ermöglicht, die der Genauigkeit der derzeitigen Goldstandard-Methode entspricht. In der Studie mit MCI-Patienten wurde nach Durchführung des viermonatigen Riechtrainings eine Zunahme der Riechfähigkeit sowie der kortikalen Schichtdicke des Hippocampus beidseits beobachtet. Sowohl in der Verum-Gruppe als auch in der Placebo-Gruppe konnte keine signifikante Zunahme des OB-Volumens festgestellt werden. Diskussion: Der von uns vorgeschlagene Algorithmus kann sowohl bei gesunden Probanden als auch bei Patienten mit diagnostizierten Riechstörungen eingesetzt werden und ist daher von hoher klinischer Relevanz. Er ermöglicht die schnelle Verarbeitung großer Datensätze und die Durchführung vergleichender Studien zur Entwicklung des OB-Volumens im Laufe der Zeit, da er zuverlässigere Ergebnisse liefert als die manuellen Annotationsmethoden. In der Studie an MCI-Patienten war das Riechtraining mit einer Zunahme der kortikalen Schichtdicke des Hippocampus assoziiert, nicht jedoch mit einer Zunahme des OB- oder Hippocampus-Volumens. Ein Grund hierfür könnte die Tendenz des OB-Volumens sein, in MCI-Patienten abzunehmen. Somit könnte das stabile OB-Volumen nach Riechtraining bereits als positiver Effekt gewertet werden. Andererseits könnte das unveränderte OB-Volumen auch auf die methodisch bedingten manuellen Messfehler zurückgeführt werden. Um das Problem der ungenauen manuellen Messungen zu lösen, haben wir ein auf Python basierendes, sofort einsetzbares Tool entwickelt, das Segmentierungsmasken sowie Messungen des linken und rechten OB-Volumens liefert. Es kann sowohl über eine Befehlszeilenschnittstelle als auch über eine grafische Benutzeroberfläche verwendet werden. Für die Segmentierung des OB werden T1-gewichtete MRT-Aufnahmen des gesamten Gehirns sowie hochaufgelöste T2-gewichtete Aufnahmen der vorderen Schädelbasis verwendet.

Sekundärrohstoffe und darauf aufbauende Rohstoffkreisläufe erlangen, bedingt durch die Endlichkeit der Primärrohstoffe, steigende Preise und eine zunehmende Umweltbelastung durch fehlendes Recycling, eine immer stärkere Bedeutung in der nationalen und globalen Wirtschaft ein. Darüber hinaus wird die Notwendigkeit geschlossener Rohstoffkreisläufe auch politisch und gesellschaftlich durch die Forderung eines nachhaltigen Wirtschaftens abgebildet. Nicht zuletzt für die Einhaltung der Klimaschutzziele sind geschlossene Roh-stoffkreisläufe von entscheidender Bedeutung. Neben Metallen sind insbesondere Kunststoffe Materialien, die in eine ökonomische Wiederverwertung eingebracht werden können und sollten. Eine Vielzahl technischer Kunststoffe bestehen jedoch aus einem Materialmix verschiedener Kunststoffe und Additive und liegen somit als Komposite oder Hybridbauteile vor. Oftmals enthalten diese Kunststoffe einen Rußanteil zur Schwarzfärbung. Jedoch können gerade schwarze Kunststoffe kaum mittels klassischer optischer Methoden hinreichend genau klassifiziert werden. Trotz des hohen Materialwertes solcher technischen Kunststoffe sind diese daher derzeit nur teilweise oder gar nicht ökonomisch wiederverwertbar. Hauptgrund dafür ist, dass eine zuverlässig arbeitende Sensortechnologie zur Sortierung unterschiedlichster, aber insbesondere schwarzer Kunststoffmischungen nicht verfügbar ist. Das Ziel dieses Promotionsvorhabens ist daher die Entwicklung und Evaluierung einer schnellen und zuverlässigen Erkennungstechnologie für die Klassifizierung schwarzer Kunststoffgemische mit hoher Genauigkeit (bis zu 99,9 %) und einem hohen Durchsatz. Die Basis dafür bildet die bildgebende Laser-Fluoreszenzspektroskopie in Kombination mit künstlicher Intelligenz. Insbesondere soll die zu entwickelnde Technologie die Sortierung kleiner Partikel ermöglichen, wie sie beispielsweise bei der Zerkleinerung von Kompositbauteilen anfallen. Die Entwicklung der Methode zur Klassifizierung schwarzer Kunststoffe erfolgte anhand von zwölf Kunststoffklassen und wurde in drei Schritten durchgeführt. Zuerst wurden die Kunststoffe mit einer Reihe klassischer Spektroskopieverfahren untersucht. Einsatz der Raman-Spektroskopie deutete sich bereits an, dass die Kunststoffe teilweise eine Fluoreszenz aufweisen. Weitere Messungen der Fluoreszenz in Abhängigkeit der Anregungswellenlänge bestätigten dieses Verhalten und zeigten, dass für Anregungswellenlängen zwischen rund 500 nm und 600 nm die stärkste Fluoreszenz erhalten wird. Im nächsten Schritt wurde ein Labordemonstrator entwickelt und evaluiert, um die grundlegende Machbarkeit der Methode nachzuweisen. Der Labord-emonstrator arbeitet mit einer Hyperspektralkamera für den sichtbaren und nahinfraroten Spektralbereich, einer zeilenförmigen Laseranregung und einer zusätzlichen nahinfrarot Beleuchtung. Die Nahinfrarotbeleuchtung ermöglicht dabei eine bessere Erkennung der Position und Form der Kunststoffpartikel, insbesondere wenn diese kein oder nur ein schwaches Fluoreszenzsignal aufweisen. Für die Versuche wurden zwei Laser mit einer Wellenlänge von 532 nm und 450 nm eingesetzt. Das entwickelte System wurde kalibriert und charakterisiert und anschließend wurden Messungen von schwarzen Kunststoffpartikeln aus 12 Kunststoffklassen durchgeführt und die erhaltenen Daten wurden für Klassifikationsversuche eingesetzt. Bei diesen Klassifikationsexperimenten wurde die Gesamtgenauigkeit bei der Klassifikation aller zwölf Kunststoffklassen betrachtet und es erfolgte die Untersuchung unterschiedlicher Klassifikationsalgorithmen, unterschiedlicher Arten der Datenvorverarbeitung, sowie einer automatischen Optimierung der Hyperparameter der Klassifikationsalgorithmen. Die gleichzeitige Klassifikation aller 12 Kunststoffklassen ist im späteren Einsatz nicht relevant, da meist nur zwei bis drei Kunststoffarten gleichzeitig erkannt und sortiert werden müssen. Die durchgeführten Versuche dienten daher hauptsächlich dem grundsätzlichen Nachweis der Leistungsfähigkeit der Methode und dem Vergleich der unterschiedlichen Methoden des maschinellen Lernens und der Datenvorverarbeitung. Bei den betrachteten Klassifikationsalgorithmen handelt es sich um die Diskriminanzanalyse (DA), die k-Nächste-Nachbarn-Klassifikation (kNN), Ensembles von Entscheidungsbäumen (ENSEMBLE), Support Vector Machines (SVM) und Convolutional Neural Networks (CNN). Die Optimierung der Hyperparameter erfolgte durch zwei Verfahren: Random Search und Bayesian Optimization Algorithm. Es zeigte sich, dass die besten Klassifikationsgenauigkeiten für den CNN-, gefolgt von ENSEMBLE- und SVM-Algorithmus, erzielt werden können. Die höchste erhaltene Genauigkeit lag für den 450 nm Laser mit 93,5 % über der des 532 nm Lasers mit 87,9 %. Um eine realistische Einschätzung der Klassifikationsgenauigkeit für die im Anwendungsfall auftretenden Mischungen aus zwei bis drei Kunststoffklassen zu erhalten, wurden auch 41 Kunststoffmischungen hinsichtlich ihrer Klassifizierbarkeit untersucht. Bei diesen 41 Mischungen handelt es sich um industriell relevante Kombinationen der zwölf betrachteten Kunststoffklassen. Für nahezu alle der industriell relevanten Kunststoffmischungen konnte die Klassifikationsgenauigkeit von > 99,9 % erreicht werden. Aufbauend auf diesen Erkenntnissen wurde daher im dritten Schritt der vorliegenden Arbeit das Sensorsystem für einen industrienahen Demonstrator für die Sortierung schwarzer Kunststoffpartikel unter anwendungsnahen Bedingungen entwickelt, aufgebaut und evaluiert. Der entwickelte industrienahe Demonstrator wurde kalibriert und charakterisiert und anschließend wurden erneut Messungen der schwarzen Kunststoffpartikel durchgeführt. Mit den erhaltenen Daten wurden anschließend erneut Klassifikationsmodelle trainiert, optimiert und validiert. Die Ergebnisse der Klassifikationsversuche zeigen, dass die erhaltenen Genauigkeiten für das Demonstratorsystem geringer als für den Labordemonstrator ausfallen. Trotzdem konnte mit den besten Messparametern für fünf Mischungen, welche mit derzeitigen Methoden nicht sortierbar sind, eine sehr gute Klassifikationsgenauigkeit von > 99 % erreicht werden. Insgesamt sind die mit dem entwickelten industrienahen Demonstratorsystem erhaltenen Ergebnisse sehr vielversprechend. Für viele industriell relevante Kunststoffmischungen konnte bereits eine ausreichend hohe Klassifikationsgenauigkeit demonstriert werden. Es ist abzusehen, dass der entwickelte industrielle Demonstrator, mit nur wenigen, aber sehr effektiven Hardwaremodifikationen, auch für die Sortierung vieler weiterer Kunststoffmischungen eingesetzt werden kann. Es wurde also erfolgreich ein System zur Erkennung und Klassifizierung schwarzer Kunststoffpartikel entwickelt, welches ein ökonomisch sinnvolles Recycling dieser Kunststoffe ermöglicht und damit signifikant zum Aufbau einer nachhaltigen Kreislaufwirtschaft beitragen kann.:Inhaltsverzeichnis Inhaltsverzeichnis I Abbildungsverzeichnis V Tabellenverzeichnis XIII Abkürzungsverzeichnis XX Symbolverzeichnis XXIII 1 Einleitung 1 2 Theoretische Grundlagen 5 2.1 Stand der Technik des Kunststoffrecyclings 5 2.2 Kunststoffe 14 2.2.1 Eingesetzte Kunststoffe 15 2.2.2 Zusatzstoffe für Kunststoffe 17 2.2.3 Ökologische und Ökonomische Aspekte des Recyclings von Kunststoffen 18 2.3 Optische Spektroskopie 22 2.3.1 Grundlagen der Spektroskopie 22 2.3.2 Methoden der optische Spektroskopie 28 2.3.3 Hyperspektrale Bildgebung 30 2.3.4 Grundlagen zur Charakterisierung eines (Laser-)HSI Systems 32 2.4 Multivariate Datenanalyse 38 2.4.1 Datenvorverarbeitung, Datenreduktion und Explorative Datenanalyse 39 2.4.2 Klassifikationsalgorithmen 47 2.4.3 Hyperparameteroptimierung 61 2.4.4 Validierung von Klassifikationsverfahren 64 3 Experimentelle Durchführung 73 3.1 Untersuchte Kunststoffe 73 3.1.1 Eingesetzte Kunststoffgranulate 73 3.1.2 Kunststoffmischungen 74 3.2 Hardwarekonfiguration der entwickelten Laser-HSI-Systeme 76 3.2.1 Hardwarekonfiguration des Laser-HSI-Laborsystems 76 3.2.2 Hardwarekonfiguration des Laser-HSI-Demonstratorsystems 78 3.3 Eingesetzte Software und Computer-Hardware 80 3.3.1 imanto®Pro 80 3.3.2 Matlab® 81 3.3.3 Eingesetzte Computer-Hardware 81 3.4 Durchgeführte Messung mit den Laser-HSI-Systemen 82 3.4.1 Messung der schwarzen Kunststoffe mit dem Laser-HSI-Laborsystem 82 3.4.2 Messung der schwarzen Kunststoffe mit dem Laser-HSI-Demonstratorsystem 83 3.4.3 Verfügbarkeit der Daten 83 3.5 Spektroskopische Charakterisierung der Kunststoffproben 84 3.5.1 Fluoreszenz-Spektroskopie 84 3.5.2 Raman-Spektroskopie 84 3.5.3 Laser-HSI 85 4 Ergebnisse und Diskussion 88 4.1 Das Laser-HSI-Laborsystem 89 4.1.1 Anregungseinheit 89 4.1.2 System zur Strahlaufweitung 91 4.1.3 Detektionseinheit 94 4.1.4 Charakterisierung und Kalibrierung des bildgebenden Spektrometers 95 4.1.5 NIR-Beleuchtung 102 4.2 Laser-HSI-Demonstratorsystem zur Klassifikation schwarzer Kunststoffe 103 4.2.1 Anforderungen an das Demonstratorsystem 103 4.2.2 Aufbau des Sensormoduls des Demonstratorsystems 106 4.2.3 Kalibrierung und Charakterisierung des Sensormoduls des Demonstratorsystems 107 4.3 Spektroskopische Charakterisierung der schwarzen Kunststoffe 110 4.3.1 Fluoreszenz- und Raman-spektroskopische Untersuchungen der Kunststoffpartikel 111 4.3.2 Untersuchungen schwarzer Kunststoffpartikel mit dem Laser-HSI-Laborsystem 118 4.4 Klassifikations- und Optimierungsexperimente mit dem Laser-HSI-Laborsystem 124 4.4.1 Datenvorverarbeitung und Beschreibung der Daten 125 4.4.2 Explorative Datenanalyse 128 4.4.3 Untersuchungen zur Klassifikation der schwarzen Kunststoffe mit dem Laser-HSI-Laborsystem 135 4.4.4 Klassifikationsexperimente mittels klassischer Machine Learning-Verfahren 136 4.4.5 Hyperparameteroptimierung für die klassischen Machine Learning Verfahren 149 4.4.6 Untersuchung der Klassifikation durch Deep Learning Verfahren 157 4.4.7 Hyperparameteroptimierung für die Deep Learning-Verfahren 171 4.4.8 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle 175 4.4.9 Übertragung der Ergebnisse auf die Klassifikation der industriell relevanten Kunststoffmischungen 177 4.4.10 Zusammenfassung 185 4.5 Untersuchungen zur Klassifikation der schwarzen Kunststoffe mit dem Demonstratorsystem 186 4.5.1 Beschreibung der Messungen mit dem Demonstratorsystem 186 4.5.2 Datenvorverarbeitung 190 4.5.3 Explorative Datenanalyse 193 4.5.4 Klassifikation der Kunststoffmischungen 198 4.5.5 Möglichkeiten für die Verbesserung der Klassifikationsgenauigkeit des Demonstratorsystems 210 5 Zusammenfassung und Ausblick 212 6 Literaturverzeichnis 219 7 Anhang I 7.1 Parameter der Raman-Messung der Kunststoffe I 7.2 Anregungs-Emissions-Matrices der schwarzen Kunststoffe II 7.3 Laser-HSI-Messungen IV 7.4 Modellparameter und Modellhyperprameter XII 7.5 Anderson-Darling-Test auf Normalverteilung XIX 7.5.1 Einfluss der Anzahl der verwendeten Hauptkomponenten XIX 7.5.2 Einfluss verschiedener Datenvorverarbeitungsmethoden XIX 7.5.3 Einfluss der Formparameter XXI 7.5.4 Durchführung der Hyperparameteroptimierung für das klassische Machine Learning XXI 7.5.5 Einfluss der Bildvorverarbeitung XXII 7.5.6 Einfluss der CNN-Topologie XXIII 7.5.7 Einfluss der Daten-Augmentierung XXIV 7.5.8 Durchführung der Hyperparameteroiptimierung für die Deep Learning-Verfahren XXIV 7.5.9 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle XXV 7.6 Brown-Forsythe-Test auf Homoskedastizität XXV 7.6.1 Einfluss der Anzahl der verwendeten Hauptkomponenten XXV 7.6.2 Einfluss verschiedener Datenvorverarbeitungsmethoden XXV 7.6.3 Einfluss der Formparameter XXVI 7.6.4 Durchführung der Hyperparameteroptimierung für das klassische Machine Learning XXVI 7.6.5 Einfluss der Bildvorverarbeitung XXVII 7.6.6 Einfluss der CNN-Topologie XXVII 7.6.7 Einfluss der Daten-Augmentierung XXVII 7.6.8 Durchführung der Hyperparameteroptimierung für die Deep Learning-Verfahren XXVII 7.6.9 Vergleich und Diskussion der erhaltenen Klassifikationsmodelle XXVIII 7.7 Ergebnisse der Klassifikationsversuche mit den Daten des industrienahen Demonstrators XXVIII

Ce mémoire de thèse de doctorat présente, discute et propose des outils de fouille automatique de mégadonnées dans un contexte de classification supervisée musical.L'application principale concerne la classification automatique des thèmes musicaux afin de générer des listes de lecture thématiques.Le premier chapitre introduit les différents contextes et concepts autour des mégadonnées musicales et de leur consommation.Le deuxième chapitre s'attelle à la description des bases de données musicales existantes dans le cadre d'expériences académiques d'analyse audio.Ce chapitre introduit notamment les problématiques concernant la variété et les proportions inégales des thèmes contenus dans une base, qui demeurent complexes à prendre en compte dans une classification supervisée.Le troisième chapitre explique l'importance de l'extraction et du développement de caractéristiques audio et musicales pertinentes afin de mieux décrire le contenu des éléments contenus dans ces bases de données.Ce chapitre explique plusieurs phénomènes psychoacoustiques et utilise des techniques de traitement du signal sonore afin de calculer des caractéristiques audio.De nouvelles méthodes d'agrégation de caractéristiques audio locales sont proposées afin d'améliorer la classification des morceaux.Le quatrième chapitre décrit l'utilisation des caractéristiques musicales extraites afin de trier les morceaux par thèmes et donc de permettre les recommandations musicales et la génération automatique de listes de lecture thématiques homogènes.Cette partie implique l'utilisation d'algorithmes d'apprentissage automatique afin de réaliser des tâches de classification musicale.Les contributions de ce mémoire sont résumées dans le cinquième chapitre qui propose également des perspectives de recherche dans l'apprentissage automatique et l'extraction de caractéristiques audio multi-échelles. / This doctoral dissertation presents, discusses and proposes tools for the automatic information retrieval in big musical databases.The main application is the supervised classification of musical themes to generate thematic playlists.The first chapter introduces the different contexts and concepts around big musical databases and their consumption.The second chapter focuses on the description of existing music databases as part of academic experiments in audio analysis.This chapter notably introduces issues concerning the variety and unequal proportions of the themes contained in a database, which remain complex to take into account in supervised classification.The third chapter explains the importance of extracting and developing relevant audio features in order to better describe the content of music tracks in these databases.This chapter explains several psychoacoustic phenomena and uses sound signal processing techniques to compute audio features.New methods of aggregating local audio features are proposed to improve song classification.The fourth chapter describes the use of the extracted audio features in order to sort the songs by themes and thus to allow the musical recommendations and the automatic generation of homogeneous thematic playlists.This part involves the use of machine learning algorithms to perform music classification tasks.The contributions of this dissertation are summarized in the fifth chapter which also proposes research perspectives in machine learning and extraction of multi-scale audio features.

No description available.

While current approaches to digital image processing within the context of machine learning and deep learning are motivated by biological processes within the human brain, they are, however, also limited due to the current state of the art of input and output devices as well as the algorithms that are concerned with the processing of their data. In order to generate digital images from real-world scenes, the utilized digital images' underlying lattice formats are predominantly based on rectangular or square structures. Yet, the human visual perception system suggests an alternative approach that manifests itself within the sensory cells of the human eye in the form of hexagonal arrangements. As previous research demonstrates that hexagonal arrangements can provide different benefits to image processing systems in general, this contribution is concerned with the synthesis of both worlds in the form of the biologically inspired hexagonal deep learning for hexagonal image processing. This contribution is therefore concerned with the design, the implementation, and the evaluation of hexagonal solutions to currently developed approaches in the form of hexagonal deep neural networks. For this purpose, the respectively realized hexagonal functionality had to be built from the ground up as hexagonal counterparts to otherwise conventional square lattice format based image processing and deep learning based systems. Furthermore, hexagonal equivalents for artificial neural network based operations, layers, as well as models and architectures had to be realized. This also encompasses the related evaluation metrics for hexagonal lattice format based representations of digital images and their conventional counterparts in comparison. Therefore, the developed hexagonal image processing and deep learning framework Hexnet functions as a first general application-oriented open science framework for hexagonal image processing within the context of machine learning. To enable the evaluation of hexagonal approaches, a set of different application areas and use cases within conventional and hexagonal image processing – astronomical, medical, and industrial image processing – are provided that allow an assessment of hexagonal deep neural networks in terms of their classification capabilities as well as their general performance. The obtained and presented results demonstrate the possible benefits of hexagonal deep neural networks and their hexagonal representations for image processing systems. It is shown that hexagonal deep neural networks can result in increased classification capabilities given different basic geometric shapes and contours, which in turn partially translate into their real-world applications. This is indicated by a relative improvement in F1-score for the proposed hexagonal and square models, ranging from 1.00 (industrial image processing) to 1.03 (geometric primitives) with single classes even reaching a relative improvement of over 1.05. However, possible disadvantages are also given by the increased complexity of hexagonal algorithms. This is evident by the present potential in regard to runtime optimizations that have yet to be realized for certain hexagonal operations in comparison to their currently deployed square equivalents.:1 Introduction and Motivation 2 Fundamentals and Methods 3 Implementation 4 Test Results, Evaluation, and Discussion 5 Conclusion and Outlook

While historically digital heritage libraries were first powered in image mode, they quickly took advantage of OCR technology to index printed collections and consequently improve the scope and performance of the information retrieval services offered to users. But the access to iconographic resources has not progressed in the same way, and the latter remain in the shadows: manual incomplete and heterogeneous indexation, data silos by iconographic genre. Today, however, it would be possible to make better use of these resources, especially by exploiting the enormous volumes of OCR produced during the last two decades, and thus valorize these engravings, drawings, photographs, maps, etc. for their own value but also as an attractive entry point into the collections, supporting discovery and serenpidity from document to document and collection to collection. This article presents an ETL (extract-transform-load) approach to this need, that aims to: Identify and extract iconography wherever it may be found, in image collections but also in printed materials (dailies, magazines, monographies); Transform, harmonize and enrich the image descriptive metadata (in particular with machine learning classification tools); Load it all into a web app dedicated to image retrieval. The approach is pragmatically dual, since it involves leveraging existing digital resources and (virtually) on-the-shelf technologies. / Si historiquement, les bibliothèques numériques patrimoniales furent d’abord alimentées par des images, elles profitèrent rapidement de la technologie OCR pour indexer les collections imprimées afin d’améliorer périmètre et performance du service de recherche d’information offert aux utilisateurs. Mais l’accès aux ressources iconographiques n’a pas connu les mêmes progrès et ces dernières demeurent dans l’ombre : indexation manuelle lacunaire, hétérogène et non viable à grande échelle ; silos documentaires par genre iconographique ; recherche par le contenu (CBIR, content-based image retrieval) encore peu opérationnelle sur les collections patrimoniales. Aujourd’hui, il serait pourtant possible de mieux valoriser ces ressources, en particulier en exploitant les énormes volumes d’OCR produits durant les deux dernières décennies (tant comme descripteur textuel que pour l’identification automatique des illustrations imprimées). Et ainsi mettre en valeur ces gravures, dessins, photographies, cartes, etc. pour leur valeur propre mais aussi comme point d’entrée dans les collections, en favorisant découverte et rebond de document en document, de collection à collection. Cet article décrit une approche ETL (extract-transform-load) appliquée aux images d’une bibliothèque numérique à vocation encyclopédique : identifier et extraire l’iconographie partout où elle se trouve (dans les collections image mais aussi dans les imprimés : presse, revue, monographie) ; transformer, harmoniser et enrichir ses métadonnées descriptives grâce à des techniques d’apprentissage machine – machine learning – pour la classification et l’indexation automatiques ; charger ces données dans une application web dédiée à la recherche iconographique (ou dans d’autres services de la bibliothèque). Approche qualifiée de pragmatique à double titre, puisqu’il s’agit de valoriser des ressources numériques existantes et de mettre à profit des technologies (quasiment) mâtures.

No description available.