In the first part of this thesis, we generalize a coding theorem and a converse of Kadota and Wyner (1972) to abstract channels with time structure. As a main contribution we prove the coding theorem for a significantly weaker condition on the channel output memory, called total ergodicity for block-i.i.d. inputs. We achieve this result mainly by introducing an alternative characterization of information rate capacity. We show that the ψ-mixing condition (asymptotic output-memorylessness), used by Kadota and Wyner, is quite restrictive, in particular for the important class of Gaussian channels. In fact, we prove that for Gaussian channels the ψ-mixing condition is equivalent to finite output memory. Moreover, we derive a weak converse for all stationary channels with time structure. Intersymbol interference as well as input constraints are taken into account in a flexible way. Due to the direct use of outer measures and a derivation of an adequate version of Feinstein’s lemma we are able to avoid the standard extension of the channel input σ-algebra and obtain a more transparent derivation. We aim at a presentation from an operational perspective and consider an abstract framework, which enables us to treat discrete- and continuous-time channels in a unified way. In the second part, we systematically analyze infinite output memory conditions for abstract channels with time structure. We exploit the connections to the rich field of strongly mixing random processes to derive a hierarchy for the nonequivalent infinite channel output memory conditions in terms of a sequence of implications. The ergodic-theoretic memory condition used in the proof of the coding theorem and the ψ-mixing condition employed by Kadota and Wyner (1972) are shown to be part of this taxonomy. In addition, we specify conditions for the channel under which memory properties of a random process are invariant when the process is passed through the channel. In the last part, we investigate cascade and integration channels with regard to mixing conditions as well as properties required in the context of the coding theorem. The results are useful to study many physically relevant channel models and allow a component-based analysis of the overall channel. We consider a number of examples including composed models and deterministic as well as random filter channels. Finally, an application of strong mixing conditions from statistical signal processing involving the Fourier transform of stationary random sequences is discussed and a list of further applications is given. / Im ersten Teil der Arbeit wird ein Kodierungstheorem und ein dazugehöriges Umkehrtheorem von Kadota und Wyner (1972) für abstrakte Kanäle mit Zeitstruktur verallgemeinert. Als wesentlichster Beitrag wird das Kodierungstheorem für eine signifikant schwächere Bedingung an das Kanalausgangsgedächtnis bewiesen, die sogenannte totale Ergodizität für block-i.i.d. Eingaben. Dieses Ergebnis wird hauptsächlich durch eine alternative Charakterisierung der Informationsratenkapazität erreicht. Es wird gezeigt, dass die von Kadota und Wyner verwendete ψ-Mischungsbedingung (asymptotische Gedächtnislosigkeit am Kanalausgang) recht einschränkend ist, insbesondere für die wichtige Klasse der Gaußkanäle. In der Tat, für Gaußkanäle wird bewiesen, dass die ψ-Mischungsbedingung äquivalent zu endlichem Gedächtnis am Kanalausgang ist. Darüber hinaus wird eine schwache Umkehrung für alle stationären Kanäle mit Zeitstruktur bewiesen. Sowohl Intersymbolinterferenz als auch Eingabebeschränkungen werden in allgemeiner und flexibler Form berücksichtigt. Aufgrund der direkten Verwendung von äußeren Maßen und der Herleitung einer angepassten Version von Feinsteins Lemma ist es möglich, auf die Standarderweiterung der σ-Algebra am Kanaleingang zu verzichten, wodurch die Darstellungen transparenter und einfacher werden. Angestrebt wird eine operationelle Perspektive. Die Verwendung eines abstrakten Modells erlaubt dabei die einheitliche Betrachtung von zeitdiskreten und zeitstetigen Kanälen. Für abstrakte Kanäle mit Zeitstruktur werden im zweiten Teil der Arbeit Bedingungen für ein unendliches Gedächtnis am Kanalausgang systematisch analysiert. Unter Ausnutzung der Zusammenhänge zu dem umfassenden Gebiet der stark mischenden zufälligen Prozesse wird eine Hierarchie in Form einer Folge von Implikationen zwischen den verschiedenen Gedächtnisvarianten hergeleitet. Die im Beweis des Kodierungstheorems verwendete ergodentheoretische Gedächtniseigenschaft und die ψ-Mischungsbedingung von Kadota und Wyner (1972) sind dabei Bestandteil der hergeleiteten Systematik. Weiterhin werden Bedingungen für den Kanal spezifiziert, unter denen Eigenschaften von zufälligen Prozessen am Kanaleingang bei einer Transformation durch den Kanal erhalten bleiben. Im letzten Teil der Arbeit werden sowohl Integrationskanäle als auch Hintereinanderschaltungen von Kanälen in Bezug auf Mischungsbedingungen sowie weitere für das Kodierungstheorem relevante Kanaleigenschaften analysiert. Die erzielten Ergebnisse sind nützlich bei der Untersuchung vieler physikalisch relevanter Kanalmodelle und erlauben eine komponentenbasierte Betrachtung zusammengesetzter Kanäle. Es wird eine Reihe von Beispielen untersucht, einschließlich deterministischer Kanäle, zufälliger Filter und daraus zusammengesetzter Modelle. Abschließend werden Anwendungen aus weiteren Gebieten, beispielsweise der statistischen Signalverarbeitung, diskutiert. Insbesondere die Fourier-Transformation stationärer zufälliger Prozesse wird im Zusammenhang mit starken Mischungsbedingungen betrachtet.

In the first part of this thesis, we generalize a coding theorem and a converse of Kadota and Wyner (1972) to abstract channels with time structure. As a main contribution we prove the coding theorem for a significantly weaker condition on the channel output memory, called total ergodicity for block-i.i.d. inputs. We achieve this result mainly by introducing an alternative characterization of information rate capacity. We show that the ψ-mixing condition (asymptotic output-memorylessness), used by Kadota and Wyner, is quite restrictive, in particular for the important class of Gaussian channels. In fact, we prove that for Gaussian channels the ψ-mixing condition is equivalent to finite output memory. Moreover, we derive a weak converse for all stationary channels with time structure. Intersymbol interference as well as input constraints are taken into account in a flexible way. Due to the direct use of outer measures and a derivation of an adequate version of Feinstein’s lemma we are able to avoid the standard extension of the channel input σ-algebra and obtain a more transparent derivation. We aim at a presentation from an operational perspective and consider an abstract framework, which enables us to treat discrete- and continuous-time channels in a unified way. In the second part, we systematically analyze infinite output memory conditions for abstract channels with time structure. We exploit the connections to the rich field of strongly mixing random processes to derive a hierarchy for the nonequivalent infinite channel output memory conditions in terms of a sequence of implications. The ergodic-theoretic memory condition used in the proof of the coding theorem and the ψ-mixing condition employed by Kadota and Wyner (1972) are shown to be part of this taxonomy. In addition, we specify conditions for the channel under which memory properties of a random process are invariant when the process is passed through the channel. In the last part, we investigate cascade and integration channels with regard to mixing conditions as well as properties required in the context of the coding theorem. The results are useful to study many physically relevant channel models and allow a component-based analysis of the overall channel. We consider a number of examples including composed models and deterministic as well as random filter channels. Finally, an application of strong mixing conditions from statistical signal processing involving the Fourier transform of stationary random sequences is discussed and a list of further applications is given. / Im ersten Teil der Arbeit wird ein Kodierungstheorem und ein dazugehöriges Umkehrtheorem von Kadota und Wyner (1972) für abstrakte Kanäle mit Zeitstruktur verallgemeinert. Als wesentlichster Beitrag wird das Kodierungstheorem für eine signifikant schwächere Bedingung an das Kanalausgangsgedächtnis bewiesen, die sogenannte totale Ergodizität für block-i.i.d. Eingaben. Dieses Ergebnis wird hauptsächlich durch eine alternative Charakterisierung der Informationsratenkapazität erreicht. Es wird gezeigt, dass die von Kadota und Wyner verwendete ψ-Mischungsbedingung (asymptotische Gedächtnislosigkeit am Kanalausgang) recht einschränkend ist, insbesondere für die wichtige Klasse der Gaußkanäle. In der Tat, für Gaußkanäle wird bewiesen, dass die ψ-Mischungsbedingung äquivalent zu endlichem Gedächtnis am Kanalausgang ist. Darüber hinaus wird eine schwache Umkehrung für alle stationären Kanäle mit Zeitstruktur bewiesen. Sowohl Intersymbolinterferenz als auch Eingabebeschränkungen werden in allgemeiner und flexibler Form berücksichtigt. Aufgrund der direkten Verwendung von äußeren Maßen und der Herleitung einer angepassten Version von Feinsteins Lemma ist es möglich, auf die Standarderweiterung der σ-Algebra am Kanaleingang zu verzichten, wodurch die Darstellungen transparenter und einfacher werden. Angestrebt wird eine operationelle Perspektive. Die Verwendung eines abstrakten Modells erlaubt dabei die einheitliche Betrachtung von zeitdiskreten und zeitstetigen Kanälen. Für abstrakte Kanäle mit Zeitstruktur werden im zweiten Teil der Arbeit Bedingungen für ein unendliches Gedächtnis am Kanalausgang systematisch analysiert. Unter Ausnutzung der Zusammenhänge zu dem umfassenden Gebiet der stark mischenden zufälligen Prozesse wird eine Hierarchie in Form einer Folge von Implikationen zwischen den verschiedenen Gedächtnisvarianten hergeleitet. Die im Beweis des Kodierungstheorems verwendete ergodentheoretische Gedächtniseigenschaft und die ψ-Mischungsbedingung von Kadota und Wyner (1972) sind dabei Bestandteil der hergeleiteten Systematik. Weiterhin werden Bedingungen für den Kanal spezifiziert, unter denen Eigenschaften von zufälligen Prozessen am Kanaleingang bei einer Transformation durch den Kanal erhalten bleiben. Im letzten Teil der Arbeit werden sowohl Integrationskanäle als auch Hintereinanderschaltungen von Kanälen in Bezug auf Mischungsbedingungen sowie weitere für das Kodierungstheorem relevante Kanaleigenschaften analysiert. Die erzielten Ergebnisse sind nützlich bei der Untersuchung vieler physikalisch relevanter Kanalmodelle und erlauben eine komponentenbasierte Betrachtung zusammengesetzter Kanäle. Es wird eine Reihe von Beispielen untersucht, einschließlich deterministischer Kanäle, zufälliger Filter und daraus zusammengesetzter Modelle. Abschließend werden Anwendungen aus weiteren Gebieten, beispielsweise der statistischen Signalverarbeitung, diskutiert. Insbesondere die Fourier-Transformation stationärer zufälliger Prozesse wird im Zusammenhang mit starken Mischungsbedingungen betrachtet.

This thesis investigates the extension of the well-known canonical correlation analysis for random elements on abstract real measurable Hilbert spaces. One focus is on the application of this extension to the calculation of information-theoretical quantities on finite time intervals. Analytical approaches for the calculation of the mutual information and the information density between Gaussian distributed random elements on arbitrary real measurable Hilbert spaces are derived. With respect to mutual information, the results obtained are comparable to [4] and [1] (Baker, 1970, 1978). They can also be seen as a generalization of earlier findings in [20] (Gelfand and Yaglom, 1958). In addition, some of the derived equations for calculating the information density, its characteristic function and its n-th central moments extend results from [45] and [44] (Pinsker, 1963, 1964). Furthermore, explicit examples for the calculation of the mutual information, the characteristic function of the information density as well as the n-th central moments of the information density for the important special case of an additive Gaussian channel with Gaussian distributed input signal with rational spectral density are elaborated, on the one hand for white Gaussian noise and on the other hand for Gaussian noise with rational spectral density. These results extend the corresponding concrete examples for the calculation of the mutual information from [20] (Gelfand and Yaglom, 1958) as well as [28] and [29] (Huang and Johnson, 1963, 1962).:Kurzfassung Abstract Notations Abbreviations 1 Introduction 1.1 Software Used 2 Mathematical Background 2.1 Basic Notions of Measure and Probability Theory 2.1.1 Characteristic Functions 2.2 Stochastic Processes 2.2.1 The Consistency Theorem of Daniell and Kolmogorov 2.2.2 Second Order Random Processes 2.3 Some Properties of Fourier Transforms 2.4 Some Basic Inequalities 2.5 Some Fundamentals in Functional Analysis 2.5.1 Hilbert Spaces 2.5.2 Linear Operators on Hilbert Spaces 2.5.3 The Fréchet-Riesz Representation Theorem 2.5.4 Adjoint and Compact Operators 2.5.5 The Spectral Theorem for Compact Operators 3 Mutual Information and Information Density 3.1 Mutual Information 3.2 Information Density 4 Probability Measures on Hilbert Spaces 4.1 Measurable Hilbert Spaces 4.2 The Characteristic Functional 4.3 Mean Value and Covariance Operator 4.4 Gaussian Probability Measures on Hilbert Spaces 4.5 The Product of Two Measurable Hilbert Spaces 4.5.1 The Product Measure 4.5.2 Cross-Covariance Operator 5 Canonical Correlation Analysis on Hilbert Spaces 5.1 The Hellinger Distance and the Theorem of Kakutani 5.2 Canonical Correlation Analysis on Hilbert Spaces 5.3 The Theorem of Hájek and Feldman 6 Mutual Information and Information Density Between Gaussian Measures 6.1 A General Formula for Mutual Information and Information Density for Gaussian Random Elements 6.2 Hadamard’s Factorization Theorem 6.3 Closed Form Expressions for Mutual Information and Related Quantities 6.4 The Discrete-Time Case 6.5 The Continuous-Time Case 6.6 Approximation Error 7 Additive Gaussian Channels 7.1 Abstract Channel Model and General Definitions 7.2 Explicit Expressions for Mutual Information and Related Quantities 7.2.1 Gaussian Random Elements as Input to an Additive Gaussian Channel 8 Continuous-Time Gaussian Channels 8.1 White Gaussian Channels 8.1.1 Two Simple Examples 8.1.2 Gaussian Input with Rational Spectral Density 8.1.3 A Method of Youla, Kadota and Slepian 8.2 Noise and Input Signal with Rational Spectral Density 8.2.1 Again a Method by Slepian and Kadota Bibliography / Diese Arbeit untersucht die Erweiterung der bekannten kanonischen Korrelationsanalyse (canonical correlation analysis) für Zufallselemente auf abstrakten reellen messbaren Hilberträumen. Ein Schwerpunkt liegt dabei auf der Anwendung dieser Erweiterung zur Berechnung informationstheoretischer Größen auf endlichen Zeitintervallen. Analytische Ansätze für die Berechnung der Transinformation und der Informationsdichte zwischen gaußverteilten Zufallselementen auf beliebigen reelen messbaren Hilberträumen werden hergeleitet. Bezüglich der Transinformation sind die gewonnenen Resultate vergleichbar zu [4] und [1] (Baker, 1970, 1978). Sie können auch als Verallgemeinerung früherer Erkenntnisse aus [20] (Gelfand und Yaglom, 1958) aufgefasst werden. Zusätzlich erweitern einige der hergeleiteten Formeln zur Berechnung der Informationsdichte, ihrer charakteristischen Funktion und ihrer n-ten zentralen Momente Ergebnisse aus [45] und [44] (Pinsker, 1963, 1964). Weiterhin werden explizite Beispiele für die Berechnung der Transinformation, der charakteristischen Funktion der Informationsdichte sowie der n-ten zentralen Momente der Informationsdichte für den wichtigen Spezialfall eines additiven Gaußkanals mit gaußverteiltem Eingangssignal mit rationaler Spektraldichte erarbeitet, einerseits für gaußsches weißes Rauschen und andererseits für gaußsches Rauschen mit einer rationalen Spektraldichte. Diese Ergebnisse erweitern die entsprechenden konkreten Beispiele zur Berechnung der Transinformation aus [20] (Gelfand und Yaglom, 1958) sowie [28] und [29] (Huang und Johnson, 1963, 1962).:Kurzfassung Abstract Notations Abbreviations 1 Introduction 1.1 Software Used 2 Mathematical Background 2.1 Basic Notions of Measure and Probability Theory 2.1.1 Characteristic Functions 2.2 Stochastic Processes 2.2.1 The Consistency Theorem of Daniell and Kolmogorov 2.2.2 Second Order Random Processes 2.3 Some Properties of Fourier Transforms 2.4 Some Basic Inequalities 2.5 Some Fundamentals in Functional Analysis 2.5.1 Hilbert Spaces 2.5.2 Linear Operators on Hilbert Spaces 2.5.3 The Fréchet-Riesz Representation Theorem 2.5.4 Adjoint and Compact Operators 2.5.5 The Spectral Theorem for Compact Operators 3 Mutual Information and Information Density 3.1 Mutual Information 3.2 Information Density 4 Probability Measures on Hilbert Spaces 4.1 Measurable Hilbert Spaces 4.2 The Characteristic Functional 4.3 Mean Value and Covariance Operator 4.4 Gaussian Probability Measures on Hilbert Spaces 4.5 The Product of Two Measurable Hilbert Spaces 4.5.1 The Product Measure 4.5.2 Cross-Covariance Operator 5 Canonical Correlation Analysis on Hilbert Spaces 5.1 The Hellinger Distance and the Theorem of Kakutani 5.2 Canonical Correlation Analysis on Hilbert Spaces 5.3 The Theorem of Hájek and Feldman 6 Mutual Information and Information Density Between Gaussian Measures 6.1 A General Formula for Mutual Information and Information Density for Gaussian Random Elements 6.2 Hadamard’s Factorization Theorem 6.3 Closed Form Expressions for Mutual Information and Related Quantities 6.4 The Discrete-Time Case 6.5 The Continuous-Time Case 6.6 Approximation Error 7 Additive Gaussian Channels 7.1 Abstract Channel Model and General Definitions 7.2 Explicit Expressions for Mutual Information and Related Quantities 7.2.1 Gaussian Random Elements as Input to an Additive Gaussian Channel 8 Continuous-Time Gaussian Channels 8.1 White Gaussian Channels 8.1.1 Two Simple Examples 8.1.2 Gaussian Input with Rational Spectral Density 8.1.3 A Method of Youla, Kadota and Slepian 8.2 Noise and Input Signal with Rational Spectral Density 8.2.1 Again a Method by Slepian and Kadota Bibliography