In diesem Bericht wurden die Arbeiten und Ergebnisse dargestellt, die am FORWISS im Rahmen des Verbundprojekts AENEAS im Zeitraum vom 1.10.1995 bis zum 31.12.1999 erzielt wurden. Die Forschungsziele des Vorhabens wurden durch eine industrielle Anwendung im Bereich der Stahlverarbeitung motiviert und konzentrierten sich im Wesentlichen auf die folgenden Punkte: • Modellierung von nichtlinearen und zeitvarianten Prozessen, die analytisch nicht fassbar sind und nur durch Messdaten repräsentiert werden. • Modellierung von Größen, die nicht direkt messbar sind, aber auf nichtlineare Weise von anderen, messbaren Größen abhängen. • Kombination von analytischen bzw. statistischen Modellen und Neuronalen Netzen, um die jeweiligen Vorteile der Verfahren zu vereinen. Als Ergebnis des Vorhabens wurden eine Reihe neuer Ansätze zum kontinuierlichen Lernen entwickelt, darunter eine neuartige, lebenslang adaptive Netzarchitektur mit entscheidenden Vorteilen im Bereich des kontinuierlichen Lernens im Vergleich zu allen bisher bekannten Verfahren. Zum zweiten Punkt wurde eine Theorie der Analyse iterierter Prozesse entwickelt, die auf das mathematische Problem der Lösung von Funktionswurzeln führte. Für nichtlineare Systeme gibt es keine analytischen Lösungsmöglichkeiten, daher wurden erstmals Neuronale Netze zur Lösung dieses Problems verwendet. Die Ergebnisse aller grundlagenorientierten Arbeiten flossen in die Lösung eines industriellen Anwendungsproblems ein, bei der End- und Zwischenprofile warmgewalzter Stahlbänder modelliert und prognostiziert werden sollten. Dieser Prozess ist charakterisiert durch Nichtlinearität, Zeitvarianz („Tagesform“ der Anlage) und durch die nicht direkte Messbarkeit der Zwischenprofile, die sich als inverse Iteration (Funktionswurzel) aus dem Endprofil ergeben. Dieses Problem konnte auf elegante Weise durch eine Verknüpfung von analytischen und neuronalen Ansätzen gelöst werden. Neben dem unmittelbaren Wert der Ergebnisse bei der Lösung der beispielhaften Anwendung lassen sich die entwickelten Verfahren zum kontinuierlichen Lernen und zur Analyse iterierter Prozesse auf eine Vielzahl anderer Problemstellungen verallgemeinern und stellen eine gute Basis für weitere Forschungsarbeiten dar.

With the advent of the Semantic Web and Semantic Technologies, ontologies have become one of the most prominent paradigms for knowledge representation and reasoning. The popular ontology language OWL, based on description logics, became a W3C recommendation in 2004 and a standard for modelling ontologies on the Web. In the meantime, many studies and applications using OWL have been reported in research and industrial environments, many of which go beyond Internet usage and employ the power of ontological modelling in other fields such as biology, medicine, software engineering, knowledge management, and cognitive systems. However, recent progress in the field faces a lack of well-structured ontologies with large amounts of instance data due to the fact that engineering such ontologies requires a considerable investment of resources. Nowadays, knowledge bases often provide large volumes of data without sophisticated schemata. Hence, methods for automated schema acquisition and maintenance are sought. Schema acquisition is closely related to solving typical classification problems in machine learning, e.g. the detection of chemical compounds causing cancer. In this work, we investigate both, the underlying machine learning techniques and their application to knowledge acquisition in the Semantic Web. In order to leverage machine-learning approaches for solving these tasks, it is required to develop methods and tools for learning concepts in description logics or, equivalently, class expressions in OWL. In this thesis, it is shown that methods from Inductive Logic Programming (ILP) are applicable to learning in description logic knowledge bases. The results provide foundations for the semi-automatic creation and maintenance of OWL ontologies, in particular in cases when extensional information (i.e. facts, instance data) is abundantly available, while corresponding intensional information (schema) is missing or not expressive enough to allow powerful reasoning over the ontology in a useful way. Such situations often occur when extracting knowledge from different sources, e.g. databases, or in collaborative knowledge engineering scenarios, e.g. using semantic wikis. It can be argued that being able to learn OWL class expressions is a step towards enriching OWL knowledge bases in order to enable powerful reasoning, consistency checking, and improved querying possibilities. In particular, plugins for OWL ontology editors based on learning methods are developed and evaluated in this work. The developed algorithms are not restricted to ontology engineering and can handle other learning problems. Indeed, they lend themselves to generic use in machine learning in the same way as ILP systems do. The main difference, however, is the employed knowledge representation paradigm: ILP traditionally uses logic programs for knowledge representation, whereas this work rests on description logics and OWL. This difference is crucial when considering Semantic Web applications as target use cases, as such applications hinge centrally on the chosen knowledge representation format for knowledge interchange and integration. The work in this thesis can be understood as a broadening of the scope of research and applications of ILP methods. This goal is particularly important since the number of OWL-based systems is already increasing rapidly and can be expected to grow further in the future. The thesis starts by establishing the necessary theoretical basis and continues with the specification of algorithms. It also contains their evaluation and, finally, presents a number of application scenarios. The research contributions of this work are threefold: The first contribution is a complete analysis of desirable properties of refinement operators in description logics. Refinement operators are used to traverse the target search space and are, therefore, a crucial element in many learning algorithms. Their properties (completeness, weak completeness, properness, redundancy, infinity, minimality) indicate whether a refinement operator is suitable for being employed in a learning algorithm. The key research question is which of those properties can be combined. It is shown that there is no ideal, i.e. complete, proper, and finite, refinement operator for expressive description logics, which indicates that learning in description logics is a challenging machine learning task. A number of other new results for different property combinations are also proven. The need for these investigations has already been expressed in several articles prior to this PhD work. The theoretical limitations, which were shown as a result of these investigations, provide clear criteria for the design of refinement operators. In the analysis, as few assumptions as possible were made regarding the used description language. The second contribution is the development of two refinement operators. The first operator supports a wide range of concept constructors and it is shown that it is complete and can be extended to a proper operator. It is the most expressive operator designed for a description language so far. The second operator uses the light-weight language EL and is weakly complete, proper, and finite. It is straightforward to extend it to an ideal operator, if required. It is the first published ideal refinement operator in description logics. While the two operators differ a lot in their technical details, they both use background knowledge efficiently. The third contribution is the actual learning algorithms using the introduced operators. New redundancy elimination and infinity-handling techniques are introduced in these algorithms. According to the evaluation, the algorithms produce very readable solutions, while their accuracy is competitive with the state-of-the-art in machine learning. Several optimisations for achieving scalability of the introduced algorithms are described, including a knowledge base fragment selection approach, a dedicated reasoning procedure, and a stochastic coverage computation approach. The research contributions are evaluated on benchmark problems and in use cases. Standard statistical measurements such as cross validation and significance tests show that the approaches are very competitive. Furthermore, the ontology engineering case study provides evidence that the described algorithms can solve the target problems in practice. A major outcome of the doctoral work is the DL-Learner framework. It provides the source code for all algorithms and examples as open-source and has been incorporated in other projects.

In diesem Bericht wurden die Arbeiten und Ergebnisse dargestellt, die am FORWISS im Rahmen des Verbundprojekts AENEAS im Zeitraum vom 1.10.1995 bis zum 31.12.1999 erzielt wurden. Die Forschungsziele des Vorhabens wurden durch eine industrielle Anwendung im Bereich der Stahlverarbeitung motiviert und konzentrierten sich im Wesentlichen auf die folgenden Punkte: • Modellierung von nichtlinearen und zeitvarianten Prozessen, die analytisch nicht fassbar sind und nur durch Messdaten repräsentiert werden. • Modellierung von Größen, die nicht direkt messbar sind, aber auf nichtlineare Weise von anderen, messbaren Größen abhängen. • Kombination von analytischen bzw. statistischen Modellen und Neuronalen Netzen, um die jeweiligen Vorteile der Verfahren zu vereinen. Als Ergebnis des Vorhabens wurden eine Reihe neuer Ansätze zum kontinuierlichen Lernen entwickelt, darunter eine neuartige, lebenslang adaptive Netzarchitektur mit entscheidenden Vorteilen im Bereich des kontinuierlichen Lernens im Vergleich zu allen bisher bekannten Verfahren. Zum zweiten Punkt wurde eine Theorie der Analyse iterierter Prozesse entwickelt, die auf das mathematische Problem der Lösung von Funktionswurzeln führte. Für nichtlineare Systeme gibt es keine analytischen Lösungsmöglichkeiten, daher wurden erstmals Neuronale Netze zur Lösung dieses Problems verwendet. Die Ergebnisse aller grundlagenorientierten Arbeiten flossen in die Lösung eines industriellen Anwendungsproblems ein, bei der End- und Zwischenprofile warmgewalzter Stahlbänder modelliert und prognostiziert werden sollten. Dieser Prozess ist charakterisiert durch Nichtlinearität, Zeitvarianz („Tagesform“ der Anlage) und durch die nicht direkte Messbarkeit der Zwischenprofile, die sich als inverse Iteration (Funktionswurzel) aus dem Endprofil ergeben. Dieses Problem konnte auf elegante Weise durch eine Verknüpfung von analytischen und neuronalen Ansätzen gelöst werden. Neben dem unmittelbaren Wert der Ergebnisse bei der Lösung der beispielhaften Anwendung lassen sich die entwickelten Verfahren zum kontinuierlichen Lernen und zur Analyse iterierter Prozesse auf eine Vielzahl anderer Problemstellungen verallgemeinern und stellen eine gute Basis für weitere Forschungsarbeiten dar.

Die Entwicklung von Bilderkennungssystemen ist ein hochkomplexer Prozess, der derzeit fast ausschließlich von Experten mit entsprechenden Fachkenntnissen bewältigt werden kann. Bilderkennungssysteme haben durch die allgegenwärtige Verfügbarkeit an Bilddaten und ihren kostenneutralen Einsatz das Potential, eine wichtige Rolle in der digitalisierten Gesellschaft zu spielen. Jedoch ist ihr Einsatz effektiv durch den nicht vorhandenen Zugang zu entsprechenden Entwicklungswerkzeugen limitiert. Diese Arbeit verfolgt das Ziel, ein Software-Framework bereitzustellen, das von Anwendern ohne Fachkenntnisse genutzt werden kann. Hierfür werden die einzelnen Schritte des Entwicklungsprozesses betrachtet und an diese Zielgruppe adaptiert. Im Detail bedeutet dies für das in dieser Arbeit präsentierte Software-Framework FOREST (Flexible Object Recognition System), dass - der Entwicklungsprozess größtmöglich automatisiert abläuft, - nicht automatisierbare Komponenten vereinfacht werden - und eine intuitive Benutzungsoberfläche bereitgestellt wird, die keine Einarbeitungszeit und Fachkenntnisse erfordert. Im Gegensatz zu existierenden Entwicklungswerkzeugen ist das Ziel von FOREST nicht die Entwicklung eines speziellen Bilderkennungssystems, sondern die Adaption an die vom Anwender intendierte Erkennungsaufgabe. Allein durch die Auswahl einer Bilddatenquelle und der Annotation der Bilder lernt FOREST einen Klassifikator, der die Erkennungsaufgabe löst. Das resultierende Bilderkennungssystem wird auch als aufgabenspezifisches Bilderkennungssystem bezeichnet, da es speziell auf die gestellte Erkennungsaufgabe trainiert wurde. Beispielsweise kann eine Webcam genutzt werden, um geöffnete Fenster zu detektieren und so Wetterschäden oder einen Einbruch zu vermeiden. Die Bereitstellung eines Entwicklungswerkzeugs für Anwender ohne Fachkenntnisse wird durch die automatische Bildverarbeitung mit einer großen Menge an Operatoren für die Merkmalsdetektion und die Merkmalsextraktion realisiert. Die Auswahl diskriminativer Merkmalsdeskriptoren für die Klassifikation aus dem Merkmalsdatensatz wird während des Trainingsprozesses durch einen Boosting-Klassifikator geleistet. Die modulare und erweiterbare Struktur des Frameworks ist entscheidend für den langfristig erfolgreichen Einsatz des Systems. FOREST stellt spezifizierte Schnittstellen für den Zugriff auf das System durch Benutzungsschnittstellen und die Erweiterung der Erkennungsfunktionalität bereit. Die Komponenten des Systems können zentral bereitgestellt werden und erlauben so die Nutzung ohne eine lokale Installation durch den Anwender. Die Definition der Erkennungsaufgabe findet durch die Annotation der Bilder, also der Zuweisung einer Kategorie zu jedem Bild, statt. Die Annotation ist ein sehr aufwändiger Prozess, da sie manuell durchgeführt werden muss. Die Qualität der Trainingsdaten und die Qualität der Annotationen, also die Korrektheit, haben direkten Einfluss auf die Ergebnisse des resultierenden Bilderkennungssystems. Der Annotationsaufwand wird mit Hilfe eines semi-automatischen Prozesses reduziert, indem Bilder ihrer Ähnlichkeit nach vorsortiert und in einer optimierten Benutzungsoberfläche dargestellt werden. Die Annotation ganzer Cluster in einem Zug ermöglicht eine effiziente Annotation des Datensatzes. Die Vorsortierung stellt aufgrund der unbekannten Natur der Bilder eine große Schwierigkeit dar, die durch die Integration verschiedener Bildmerkmale in einen Bag-of-Features (BoF) Histogramm-Merkmalsvektor gelöst werden kann. Die Vorsortierung der Bilder kann während des Annotationsprozesses weiter verbessert werden, indem partiell verfügbare Annotationen in einem semi-überwachten Lernprozess eingesetzt werden. Anhand partieller Annotationen wird die Gewichtung der Bildmerkmale so angepasst, dass die Ähnlichkeit innerhalb einer Kategorie erhöht wird. Zusätzlich erlaubt die Identifikation diskriminativer Bildmerkmale eine Visualisierung relevanter Bildregionen, die Anwendern als Qualitätsmaß für die neu berechnete Vorsortierung der Bilder dienen kann. Die Benutzungsschnittstellen sind auf eine visuelle Informationsdarstellung ausgelegt. FOREST erlaubt Laien-Anwendern die Entwicklung aufgabenspezifischer Bilderkennungssysteme in einem einfach gehaltenen Entwicklungsprozess, der notwendige Interaktionen auf ein Minimum beschränkt. Dennoch ist FOREST für Experten-Anwender nutzbar. Neue Operatoren können leicht in das System integriert und effizient evaluiert werden. Die Ergebnisse aufgabenspezifischer Erkennungssysteme, die mit FOREST entwickelt wurden, sind mit den Ergebnissen spezialisierter Systeme vergleichbar. Die detaillierte Analyse der Klassifikation zeigt zudem, dass trotz der Annotation ganzer Bilder mit einer Kategorie relevante Objektstrukturen erkannt und automatisiert für die Erkennung herangezogen werden. Der Entwicklungsaufwand für die Erstellung eines aufgabenspezifischen Bilderkennungssystems ist nicht mit der gemeinhin bekannten Entwicklung von Bilderkennungssystemen vergleichbar, da das System keine Programmierkenntnisse, kein Fachwissen und keine Eigenentwicklung erwartet. FOREST bietet daher für fachfremde Anwender ein Entwicklungswerkzeug und ermöglicht die Entwicklung von Bilderkennungssystemen für alltägliche Aufgaben. Damit legt FOREST den Grundstein für einen breiten Einsatz von Bilderkennungsanwendungen im Alltag.

With the advent of the Semantic Web and Semantic Technologies, ontologies have become one of the most prominent paradigms for knowledge representation and reasoning. The popular ontology language OWL, based on description logics, became a W3C recommendation in 2004 and a standard for modelling ontologies on the Web. In the meantime, many studies and applications using OWL have been reported in research and industrial environments, many of which go beyond Internet usage and employ the power of ontological modelling in other fields such as biology, medicine, software engineering, knowledge management, and cognitive systems. However, recent progress in the field faces a lack of well-structured ontologies with large amounts of instance data due to the fact that engineering such ontologies requires a considerable investment of resources. Nowadays, knowledge bases often provide large volumes of data without sophisticated schemata. Hence, methods for automated schema acquisition and maintenance are sought. Schema acquisition is closely related to solving typical classification problems in machine learning, e.g. the detection of chemical compounds causing cancer. In this work, we investigate both, the underlying machine learning techniques and their application to knowledge acquisition in the Semantic Web. In order to leverage machine-learning approaches for solving these tasks, it is required to develop methods and tools for learning concepts in description logics or, equivalently, class expressions in OWL. In this thesis, it is shown that methods from Inductive Logic Programming (ILP) are applicable to learning in description logic knowledge bases. The results provide foundations for the semi-automatic creation and maintenance of OWL ontologies, in particular in cases when extensional information (i.e. facts, instance data) is abundantly available, while corresponding intensional information (schema) is missing or not expressive enough to allow powerful reasoning over the ontology in a useful way. Such situations often occur when extracting knowledge from different sources, e.g. databases, or in collaborative knowledge engineering scenarios, e.g. using semantic wikis. It can be argued that being able to learn OWL class expressions is a step towards enriching OWL knowledge bases in order to enable powerful reasoning, consistency checking, and improved querying possibilities. In particular, plugins for OWL ontology editors based on learning methods are developed and evaluated in this work. The developed algorithms are not restricted to ontology engineering and can handle other learning problems. Indeed, they lend themselves to generic use in machine learning in the same way as ILP systems do. The main difference, however, is the employed knowledge representation paradigm: ILP traditionally uses logic programs for knowledge representation, whereas this work rests on description logics and OWL. This difference is crucial when considering Semantic Web applications as target use cases, as such applications hinge centrally on the chosen knowledge representation format for knowledge interchange and integration. The work in this thesis can be understood as a broadening of the scope of research and applications of ILP methods. This goal is particularly important since the number of OWL-based systems is already increasing rapidly and can be expected to grow further in the future. The thesis starts by establishing the necessary theoretical basis and continues with the specification of algorithms. It also contains their evaluation and, finally, presents a number of application scenarios. The research contributions of this work are threefold: The first contribution is a complete analysis of desirable properties of refinement operators in description logics. Refinement operators are used to traverse the target search space and are, therefore, a crucial element in many learning algorithms. Their properties (completeness, weak completeness, properness, redundancy, infinity, minimality) indicate whether a refinement operator is suitable for being employed in a learning algorithm. The key research question is which of those properties can be combined. It is shown that there is no ideal, i.e. complete, proper, and finite, refinement operator for expressive description logics, which indicates that learning in description logics is a challenging machine learning task. A number of other new results for different property combinations are also proven. The need for these investigations has already been expressed in several articles prior to this PhD work. The theoretical limitations, which were shown as a result of these investigations, provide clear criteria for the design of refinement operators. In the analysis, as few assumptions as possible were made regarding the used description language. The second contribution is the development of two refinement operators. The first operator supports a wide range of concept constructors and it is shown that it is complete and can be extended to a proper operator. It is the most expressive operator designed for a description language so far. The second operator uses the light-weight language EL and is weakly complete, proper, and finite. It is straightforward to extend it to an ideal operator, if required. It is the first published ideal refinement operator in description logics. While the two operators differ a lot in their technical details, they both use background knowledge efficiently. The third contribution is the actual learning algorithms using the introduced operators. New redundancy elimination and infinity-handling techniques are introduced in these algorithms. According to the evaluation, the algorithms produce very readable solutions, while their accuracy is competitive with the state-of-the-art in machine learning. Several optimisations for achieving scalability of the introduced algorithms are described, including a knowledge base fragment selection approach, a dedicated reasoning procedure, and a stochastic coverage computation approach. The research contributions are evaluated on benchmark problems and in use cases. Standard statistical measurements such as cross validation and significance tests show that the approaches are very competitive. Furthermore, the ontology engineering case study provides evidence that the described algorithms can solve the target problems in practice. A major outcome of the doctoral work is the DL-Learner framework. It provides the source code for all algorithms and examples as open-source and has been incorporated in other projects.