In the human visual system, one of the most prominent functions of the extensive feedback from the higher brain areas within and outside of the visual cortex is attentional modulation. The feedback helps the brain to concentrate its resources on visual features that are relevant for recognition, i. e. it iteratively selects certain aspects of the visual scene for refined processing by the lower areas until the inference process in the higher areas converges to a single hypothesis about this scene. In order to minimize a number of required selection-refinement iterations, one has to find a short sequence of maximally informative portions of the visual input. Since the feedback is not static, the selection process is adapted to a scene that should be recognized. To find a scene-specific subset of informative features, the adaptive selection process on every iteration utilizes results of previous processing in order to reduce the remaining uncertainty about the visual scene. This phenomenon inspired us to develop a computational algorithm solving a visual classification task that would incorporate such principle, adaptive feature selection. It is especially interesting because usually feature selection methods are not adaptive as they define a unique set of informative features for a task and use them for classifying all objects. However, an adaptive algorithm selects features that are the most informative for the particular input. Thus, the selection process should be driven by statistics of the environment concerning the current task and the object to be classified. Applied to a classification task, our adaptive feature selection algorithm favors features that maximally reduce the current class uncertainty, which is iteratively updated with values of the previously selected features that are observed on the testing sample. In information-theoretical terms, the selection criterion is the mutual information of a class variable and a feature-candidate conditioned on the already selected features, which take values observed on the current testing sample. Then, the main question investigated in this thesis is whether the proposed adaptive way of selecting features is advantageous over the conventional feature selection and in which situations. Further, we studied whether the proposed adaptive information-theoretical selection scheme, which is a computationally complex algorithm, is utilized by humans while they perform a visual classification task. For this, we constructed a psychophysical experiment where people had to select image parts that as they think are relevant for classification of these images. We present the analysis of behavioral data where we investigate whether human strategies of task-dependent selective attention can be explained by a simple ranker based on the mutual information, a more complex feature selection algorithm based on the conventional static mutual information and the proposed here adaptive feature selector that mimics a mechanism of the iterative hypothesis refinement. Hereby, the main contribution of this work is the adaptive feature selection criterion based on the conditional mutual information. Also it is shown that such adaptive selection strategy is indeed used by people while performing visual classification.

Die vorliegende Arbeit befaßt sich mit instationären, uni- oder multivariaten Zeitreihen, die bei der Beobachtung komplexer nichtlinearer dynamischer Systeme entstehen und sich der Modellierung durch ein globales Modell entziehen. In vielen natürlichen oder gesellschaftlichen Prozessen kann man jedoch wiederkehrende Phänomene beobachten, die von deren Rhythmen beeinflußt sind; ebenso lassen sich in technischen Prozessen beispielsweise aufgrund einer bedarfsorientierten Steuerung wiederholte, aber nicht periodische Verhaltensweisen ausmachen. Für solche Systeme und Zeitreihen wird deshalb vorgeschlagen, eine partielle Modellierung durch mehrere lokale Modelle vorzunehmen, die wiederkehrende Phänomene in Form zeitlich begrenzter Muster beschreiben. Um den Unwägbarkeiten dieser und sich anschließender Aufgabenstellungen Rechnung zu tragen, werden in dieser Arbeit durchgehend unscharfe Ansätze zur Modellierung von Mustern und ihrer Weiterverarbeitung gewählt und ausgearbeitet. Die Aufgabenstellung der Erkennung von Mustern in fortlaufenden Zeitreihen wird dahingehend verallgemeinert, daß unvollständige, sich noch in Entwicklung befindliche Musterinstanzen erkannt werden können. Basierend auf ebendieser frühzeitigen Erkennung kann der Verlauf der Zeitreihe -- und damit das weitere Systemverhalten -- lokal prognostiziert werden. Auf Besonderheiten und Schwierigkeiten, die sich aus der neuartigen Aufgabe der Online-Erkennung von Mustern ergeben, wird jeweils vermittels geeigneter Beispiele eingegangen, ebenso die praktische Verwendbarkeit des musterbasierten Vorhersageprinzips anhand realer Daten dokumentiert. / This dissertation focuses on non-stationary multivariate time series stemming from the observation of complex nonlinear dynamical systems. While one global model for such systems and time series may not always be feasible, we may observe recurring phenomena (patterns) in some of these time series. These phenomena might, for example, be caused by the rhythms of natural or societal processes, or a demand-oriented control of technical processes. For such systems and time series a partial modelling by means of multiple local models is being proposed. To cope with the intrinsic uncertainties of this task, fuzzy methods and models are being used throughout this work. Means are introduced for modelling and recognition of patterns in multivariate time series. Based on a novel method for the early recognition of incomplete patterns in streaming time series, a short-time prediction becomes feasible. Peculiarities and intrinsic difficulties of an online recognition of incomplete patterns are being discussed with the help of suitable examples. The usability of the pattern-based prediction approach is being demonstrated by means of real-world data.

Die vorliegende Arbeit beschäftigt sich mit einem datengetriebenen Verfahren zur Graphem-Phonem-Konvertierung für ein Sprachsynthesesystem. Die Aufgabe besteht darin, die Aussprache für beliebige Wörter zu bestimmen, auch für solche Wörter, die nicht im Lexikon des Systems enthalten sind. Die Architektur an sich ist sprachenunabhängig, von der Sprache abhängig sind lediglich die Wissensquellen, die zur Laufzeit des Systems geladen werden. Die Erstellung von Wissensquellen für weitere Sprachen soll weitgehend automatisch und ohne Einsatz von Expertenwissen möglich sein. Expertenwissen kann verwendet werden, um die Ergebnisse zu verbessern, darf aber keine Voraussetzung sein. Für die Bestimmung der Transkription werden zwei neuronale Netze verwendet. Das erste Netz generiert aus der Buchstabenfolge des Wortes die zu realisierenden Laute einschließlich der Silbengrenzen, und das zweite bestimmt im Anschluß daran die Position der Wortbetonung. Diese Trennung hat den Vorteil, daß man für die Bestimmung des Wortakzentes das Wissen über die gesamte Lautfolge einbeziehen kann. Andere Verfahren, die die Transkription in einem Schritt bestimmen, haben das Problem, bereits zu Beginn des Wortes über den Akzent entscheiden zu müssen, obwohl die Aussprache des Wortes noch gar nicht feststeht. Zudem bietet die Trennung die Möglichkeit, zwei speziell auf die Anforderung zugeschnittene Netze zu trainieren. Die Besonderheit der hier verwendeten neuronalen Netze ist die Einführung einer Skalierungsschicht zwischen der eigentlichen Eingabe und der versteckten Schicht. Eingabe und Skalierungsschicht werden über eine Diagonalmatrix verbunden, wobei auf die Gewichte dieser Verbindung ein Weight Decay (Gewichtezerfall) angewendet wird. Damit erreicht man eine Bewertung der Eingabeinformation während des Trainings. Eingabeknoten mit einem großen Informationsgehalt werden verstärkt, während weniger interessante Knoten abgeschwächt werden. Das kann sogar soweit gehen, daß einzelne Knoten vollständig abgetrennt werden. Der Zweck dieser Verbindung ist, den Einfluß des Rauschens in den Trainingsdaten zu reduzieren. Durch das Ausblenden der unwichtigen Eingabewerte ist das Netz besser in der Lage, sich auf die wichtigen Daten zu konzentrieren. Das beschleunigt das Training und verbessert die erzielten Ergebnisse. In Verbindung mit einem schrittweisen Ausdünnen der Gewichte (Pruning) werden zudem störende oder unwichtige Verbindungen innerhalb der Netzwerkarchitektur gelöscht. Damit wird die Generalisierungsfähigkeit noch einmal erhöht. Die Aufbereitung der Lexika zur Generierung der Trainingsmuster für die neuronalen Netze wird ebenfalls automatisch durchgeführt. Dafür wird mit Hilfe der dynamischen Zeitanpassung (DTW) der optimale Pfad in einer Ebene gesucht, die auf der einen Koordinate durch die Buchstaben des Wortes und auf der anderen Koordinate durch die Lautfolge aufgespannt wird. Somit erhält man eine Zuordnung der Laute zu den Buchstaben. Aus diesen Zuordnungen werden die Muster für das Training der Netze generiert. Um die Transkriptionsergebnisse weiter zu verbessern, wurde ein hybrides Verfahren unter Verwendung der Lexika und der Netze entwickelt. Unbekannte Wörter werden zuerst in Bestandteile aus dem Lexikon zerlegt und die Lautfolgen dieser Teilwörter zur Gesamttranskription zusammengesetzt. Dabei werden Lücken zwischen den Teilwörtern durch die neuronalen Netze aufgefüllt. Dies ist allerdings nicht ohne weiteres möglich, da es zu Fehlern an den Schnittstellen zwischen den Teiltranskriptionen kommen kann. Dieses Problem wird mit Hilfe des Lexikons gelöst, das für die Generierung der Trainingsmuster aufbereitet wurde. Hier ist eine eindeutige Zuordnung der Laute zu den sie generierenden Buchstaben enthalten. Somit können die Laute an den Schnittstellen neu bewertet und Transkriptionsfehler vermieden werden. Die Verlagsausgabe dieser Dissertation erschien 2005 im w.e.b.-Universitätsverlag Dresden (ISBN 3-937672-76-1). / The topic of this thesis is a system which is able to perform a grapheme-to-phoneme conversion for several languages without changes in its architecture. This is achieved by separation of the language dependent knowledge bases from the run-time system. Main focus is an automated adaptation to new languages by generation of new knowledge bases without manual effort with a minimal requirement for additional information. The only source is a lexicon containing all the words together with their appropriate phonetic transcription. Additional knowledge can be used to improve or accelerate the adaptation process, but it must not be a prerequisite. Another requirement is a fully automatic process without manual interference or post-editing. This allows for the adaptation to a new language without even having a command of that language. The only precondition is the pronunciation dictionary which should be enough for the data-driven approach to learn a new language. The automatic adaptation process is divided into two parts. In the first step the lexicon is pre-processed to determine which grapheme sequence belongs to which phoneme. This is the basis for the generation of the training patterns for the data-driven learning algorithm. In the second part mapping rules are derived automatically which are finally used to create the phonetic transcription of any word, even if it not contained in the dictionary. Task is to have a generalisation process that can handle all words in a text that has to be read out by a text-to-speech system.

Zugl.: Bern, Univ., Diss., 2005

Techn. Universiẗat, Diss., 2003--Darmstadt.

The goal of this thesis is the development of a fast and robust algorithm that is able to detect patterns in flow fields independent from their orientation and adequately visualize the results for a human user. This thesis is an interdisciplinary work in the field of vector field visualization and the field of pattern recognition. A vector field can be best imagined as an area or a volume containing a lot of arrows. The direction of the arrow describes the direction of a flow or force at the point where it starts and the length its velocity or strength. This builds a bridge to vector field visualization, because drawing these arrows is one of the fundamental techniques to illustrate a vector field. The main challenge of vector field visualization is to decide which of them should be drawn. If you do not draw enough arrows, you may miss the feature you are interested in. If you draw too many arrows, your image will be black all over. We assume that the user is interested in a certain feature of the vector field: a certain pattern. To prevent clutter and occlusion of the interesting parts, we first look for this pattern and then apply a visualization that emphasizes its occurrences. In general, the user wants to find all instances of the interesting pattern, no matter if they are smaller or bigger, weaker or stronger or oriented in some other direction than his reference input pattern. But looking for all these transformed versions would take far too long. That is why, we look for an algorithm that detects the occurrences of the pattern independent from these transformations. In the second part of this thesis, we work with moment invariants. Moments are the projections of a function to a function space basis. In order to compare the functions, it is sufficient to compare their moments. Normalization is the act of transforming a function into a predefined standard position. Moment invariants are characteristic numbers like fingerprints that are constructed from moments and do not change under certain transformations. They can be produced by normalization, because if all the functions are in one standard position, their prior position has no influence on their normalized moments. With this technique, we were able to solve the pattern detection task for 2D and 3D flow fields by mathematically proving the invariance of the moments with respect to translation, rotation, and scaling. In practical applications, this invariance is disturbed by the discretization. We applied our method to several analytic and real world data sets and showed that it works on discrete fields in a robust way.

Image retrieval, texture analysis, optical character recognition and general inspection tasks are of main interest in the field of image processing and pattern recognition. Methods which operate automatically are of interest in the above mentioned areas. Therefore, translation invariant transforms are helpful tools for pattern recognition tasks. Nonlinear spatial transforms and fuzzy pattern classification with unimodal potential functions are established in signal processing. They have proved to be excellent tools in feature extraction and classification. In this thesis nonlinear discrete transforms, which are adaptable for different application tasks, will be presented. The adaptivity includes the group specific behaviour, the amount of calculations and the implementability in application specific integrated circuits. The pattern separability properties of these transforms are better compared to that of the well known power spectrum of the Fourier transform and several other known transforms. Furthermore, a hardware accelerator image processing and classification system will presented, which is implemented on one field programmable gate array (FPGA). The system can be used for feature extraction, pattern recognition and classification tasks. In the field of printed image inspection the system is applicable under practical aspects. / In vielen Bereichen der ein- und zweidimensionalen Signalverarbeitung besteht die Aufgabe Signale oder Objekte unabhängig von ihren aktuellen Positionen mittels geeigneter Merkmale zu klassifizieren. Mit Hilfe schneller nichtlinearer Spektraltransformationen ist eine positionsinvariante Merkmalgewinnung möglich. In dieser Arbeit werden reelle Transformationen vorgestellt, deren Eigenschaften in Bezug auf verschiedene Parameter angepasst werden können. Zu nennen ist das gruppeninvariante Verhalten, der rechentechnische Aufwand und die Implementierbarkeit in applikationsspezifische Schaltungen. Durch unterschiedliche Berechnungsstrukturen kann beispielsweise die Separationseigenschaft aufgabengemäß adaptiert werden. Basierend auf dem Konzept charakteristischer Matrizen wird ein generalisiertes Verfahren zur Berechnung der Transformationen abgeleitet. Bezüglich ihrer Charakteristika können die vorzustellenden Transformationen gegenüber anderen als ebenbürtig oder sogar überlegen bezeichnet werden. In Kombination mit einem Fuzzy-Klassifikationsverfahren (Fuzzy-Pattern-Classification, FPC) wird ein System-On-Programmable-Chip Mustererkennungssystem entwickelt, das auf einem programmierbaren applikationsspezifischen Schaltkreis (FPGA) implementiert wird. Das System ist in der Lage pixel-basierende Bilder zu klassifizieren. In der Anwendung der Druckbildinspektion erweist sich das Mustererkennungssystem als praxisgerecht einsetzbar.

Die vorliegende Arbeit befaßt sich mit instationären, uni- oder multivariaten Zeitreihen, die bei der Beobachtung komplexer nichtlinearer dynamischer Systeme entstehen und sich der Modellierung durch ein globales Modell entziehen. In vielen natürlichen oder gesellschaftlichen Prozessen kann man jedoch wiederkehrende Phänomene beobachten, die von deren Rhythmen beeinflußt sind; ebenso lassen sich in technischen Prozessen beispielsweise aufgrund einer bedarfsorientierten Steuerung wiederholte, aber nicht periodische Verhaltensweisen ausmachen. Für solche Systeme und Zeitreihen wird deshalb vorgeschlagen, eine partielle Modellierung durch mehrere lokale Modelle vorzunehmen, die wiederkehrende Phänomene in Form zeitlich begrenzter Muster beschreiben. Um den Unwägbarkeiten dieser und sich anschließender Aufgabenstellungen Rechnung zu tragen, werden in dieser Arbeit durchgehend unscharfe Ansätze zur Modellierung von Mustern und ihrer Weiterverarbeitung gewählt und ausgearbeitet. Die Aufgabenstellung der Erkennung von Mustern in fortlaufenden Zeitreihen wird dahingehend verallgemeinert, daß unvollständige, sich noch in Entwicklung befindliche Musterinstanzen erkannt werden können. Basierend auf ebendieser frühzeitigen Erkennung kann der Verlauf der Zeitreihe -- und damit das weitere Systemverhalten -- lokal prognostiziert werden. Auf Besonderheiten und Schwierigkeiten, die sich aus der neuartigen Aufgabe der Online-Erkennung von Mustern ergeben, wird jeweils vermittels geeigneter Beispiele eingegangen, ebenso die praktische Verwendbarkeit des musterbasierten Vorhersageprinzips anhand realer Daten dokumentiert. / This dissertation focuses on non-stationary multivariate time series stemming from the observation of complex nonlinear dynamical systems. While one global model for such systems and time series may not always be feasible, we may observe recurring phenomena (patterns) in some of these time series. These phenomena might, for example, be caused by the rhythms of natural or societal processes, or a demand-oriented control of technical processes. For such systems and time series a partial modelling by means of multiple local models is being proposed. To cope with the intrinsic uncertainties of this task, fuzzy methods and models are being used throughout this work. Means are introduced for modelling and recognition of patterns in multivariate time series. Based on a novel method for the early recognition of incomplete patterns in streaming time series, a short-time prediction becomes feasible. Peculiarities and intrinsic difficulties of an online recognition of incomplete patterns are being discussed with the help of suitable examples. The usability of the pattern-based prediction approach is being demonstrated by means of real-world data.

An algorithm of incremental mining implicative logical rules is pro-posed. This algorithm is based on constructing good classification tests. The in-cremental approach to constructing these rules allows revealing the interde-pendence between two fundamental components of human thinking: pattern recognition and knowledge acquisition.

Event Stream Processing (ESP) Systeme überwachen kontinuierliche Datenströme, um benutzerdefinierte Queries auszuwerten. Die Herausforderung besteht darin, dass die Queryverarbeitung zustandsbehaftet ist und die Anzahl von Teilübereinstimmungen mit der Größe der verarbeiteten Events exponentiell anwächst. Die Dynamik von Streams und die Notwendigkeit, entfernte Daten zu integrieren, erschweren die Zustandsverwaltung. Erstens liefern heterogene Eventquellen Streams mit unvorhersehbaren Eingaberaten und Queryselektivitäten. Während Spitzenzeiten ist eine erschöpfende Verarbeitung unmöglich, und die Systeme müssen auf eine Best-Effort-Verarbeitung zurückgreifen. Zweitens erfordern Queries möglicherweise externe Daten, um ein bestimmtes Event für eine Query auszuwählen. Solche Abhängigkeiten sind problematisch: Das Abrufen der Daten unterbricht die Stream-Verarbeitung. Ohne eine Eventauswahl auf Grundlage externer Daten wird das Wachstum von Teilübereinstimmungen verstärkt. In dieser Dissertation stelle ich Strategien für optimiertes Zustandsmanagement von ESP Systemen vor. Zuerst ermögliche ich eine Best-Effort-Verarbeitung mittels Load Shedding. Dabei werden sowohl Eingabeeevents als auch Teilübereinstimmungen systematisch verworfen, um eine Latenzschwelle mit minimalem Qualitätsverlust zu garantieren. Zweitens integriere ich externe Daten, indem ich das Abrufen dieser von der Verwendung in der Queryverarbeitung entkoppele. Mit einem effizienten Caching-Mechanismus vermeide ich Unterbrechungen durch Übertragungslatenzen. Dazu werden externe Daten basierend auf ihrer erwarteten Verwendung vorab abgerufen und mittels Lazy Evaluation bei der Eventauswahl berücksichtigt. Dabei wird ein Kostenmodell verwendet, um zu bestimmen, wann welche externen Daten abgerufen und wie lange sie im Cache aufbewahrt werden sollen. Ich habe die Effektivität und Effizienz der vorgeschlagenen Strategien anhand von synthetischen und realen Daten ausgewertet und unter Beweis gestellt. / Event stream processing systems continuously evaluate queries over event streams to detect user-specified patterns with low latency. However, the challenge is that query processing is stateful and it maintains partial matches that grow exponentially in the size of processed events. State management is complicated by the dynamicity of streams and the need to integrate remote data. First, heterogeneous event sources yield dynamic streams with unpredictable input rates, data distributions, and query selectivities. During peak times, exhaustive processing is unreasonable, and systems shall resort to best-effort processing. Second, queries may require remote data to select a specific event for a pattern. Such dependencies are problematic: Fetching the remote data interrupts the stream processing. Yet, without event selection based on remote data, the growth of partial matches is amplified. In this dissertation, I present strategies for optimised state management in event pattern detection. First, I enable best-effort processing with load shedding that discards both input events and partial matches. I carefully select the shedding elements to satisfy a latency bound while striving for a minimal loss in result quality. Second, to efficiently integrate remote data, I decouple the fetching of remote data from its use in query evaluation by a caching mechanism. To this end, I hide the transmission latency by prefetching remote data based on anticipated use and by lazy evaluation that postpones the event selection based on remote data to avoid interruptions. A cost model is used to determine when to fetch which remote data items and how long to keep them in the cache. I evaluated the above techniques with queries over synthetic and real-world data. I show that the load shedding technique significantly improves the recall of pattern detection over baseline approaches, while the technique for remote data integration significantly reduces the pattern detection latency.