<p> In 1970, D. S. Ornstein introduced some new approximation concepts which enabled him to establish that the Shannon entropy of endomorphism was a complete invariant for a class of transformations known as Bernoulli shifts. This work of Ornstein contains powerful, deep and elegant techniques which have opened up a new period in the theory of measure preserving transformations, or as it is usually called, in ergodic theory.</p> <p> This thesis contains the study of two new classes of entropies, the γ-entropy and the δ-entropy, where each of these two classes have Shannon's entropy as a member. The algebraic and analytic properties of these entropies and their characterizations are discussed. Finally, the δ-entropy of endomorphism is defined and it has been used in solving the isomorphism problem for Bernoulli shifts. Thus, it is shown that the isomorphism problem for Bernoulli shifts holds not only for one entropy, but for an infinite class of entropies introduced in this thesis.</p> / Thesis / Doctor of Philosophy (PhD)

<p> This thesis deals with metrizations of sets of conditional entropies and sets of sub-σ-algebras. G Co Rajski's Theorem ([9]) on the metric space of discrete probability distributions can be deduced as a particular case of a theorem on the metric space of sub-σ-algebras given in Chapter III, the proof of which is comparatively very concise. The completeness of this metric space and some other properties are also proved. </p> / Thesis / Master of Science (MSc)

Cette thèse traite de questions mathématiques posées par des problèmes issus du micromagnétisme ; un thème central en est les champs de vecteur de rotationnel nul et de norme 1, qu'on voit naturellement apparaître comme configurations minimisant des énergies micromagnétiques.Le premier chapitre est motivé par la question suivante : peut-on, en dimension plus grande que deux, caractériser les champs de vecteur de rotationnel nul et de norme 1 par une formulation cinétique ?Une telle formulation a d'abord été introduite en dimension 2 dans l'article \cite{Jabin_Otto_Perthame_Line_energy_2002} de Jabin, Otto et Perthame où elle apparaît naturellement dans le cadre de la minimisation d'une énergie de type Ginzburg-Landau. Ignat et De Lellis ont ensuite montré dans \cite{DeLellis_Ignat_Regularizing_2014} qu'une telle formulation cinétique caractérise les champs de rotationnel nul et de norme 1 possédant une certaine régularité en dimension 2. Le premier chapitre de cette thèse est consacré à l'étude d'une formulation cinétique similaire en dimension quelconque ; le résultat principal en est qu'en dimension strictement plus grande que 2, cette fomulation cinétique ne caractérise non plus tous les champs de rotationnel nul et de norme 1, mais seulement les champs constants ou les vortex.La caractérsation cinétique des champs de vecteur de rotationnel nul et de norme 1 en dimension 2,prouvée par De Lellis et Ignat et que nous venons de mentionner reposait sur la notion d'entropie.Ayant obtenu une formulation cinétique en dimension quelconque, il était naturel de vouloir l'exploiter un tentant d'étendre également la notion d'entropie aux dimensions supérieures à 2. C'est ce à quoi est consacré le deuxième chapitre de cette thèse ; nous y définissons en particulier une notion d'entropie en dimension quelconque. Le point central en est la caractérisation de ces entropies par un système d'\équations aux dérivées partielles, et leur description complète en dimension 3, ainsi que la preuve pour ces entropies de propriétés tout à fait semblables à celles des entropies deux dimensionnelles.Le troisième chapitre de cette thèse, qui expose les résultats d'un travail en collaboration avec Antonin Monteil, s'intéresse à la minimisation d'\'energies de type Aviles-Giga de la forme $\mathcal_f(m)=\int_f(|m^+-m^-|)$ o\`u $m$ est un champ de rotationnel nul et de norme 1 et où $J(m)$ désigne les lignes de saut de $m$. Deux questions classiques se posent pour ce type d'énergie : la solution de viscosité de l'équation eikonale est-elle un minimiseur et l'énergie est-elle semi-continue inférieurement pour une certaine topologie. Le résutat principal de cette partie est un construction, qui nous permet en particulier de répondre par la négative à ces deux questions dans les cas où $f(t)= t^p$ avec $p \in ]0,1[$ en donnant une condition nécessaire sur $f$ pour que $\mathcal_f$ soit semi-continue inférieurement.Enfin, le dernier chapitre de cette thèse est consacré à l'étude d'une variante de l'énergie de Ginzburg-Landau introduite par Béthuel, Brezis et Helein où on a remplacé la condition de bord par une pénalisation dépendant d'un paramètre. Nous y décrivons le comportement asymptotique de l'énergie minimale qui, suivant la valeur de ce paramètre, soit se comporte comme l'énergie de Ginzburg-Landau classique en privilégiant une configuration vortex, soit privilégie au contraire une configuration singulière suivant une ligne. / This thesis is motivated by mathematical questions arising from micromagnetism. One would say that a central topic of this thesis is curl-free vector fields taking value into the sphere. Such fields naturally arise as minimizers of micromagnetic-type energies. The first part of this thesis is motivated by the following question : can we find a kinetic formulation caracterizing curl-free vector fields taking value into the sphere in dimension greater than 2 ? Such a formulation has been found in two dimension by Jabin, Otto and Perthame in \cite. De Lellis and Ignat used this formulation in \cite{DeLellis_Ignat_Regularizing_2014} to caracterize curl-free vector fields taking value into the sphere with a given regularity. The main result of this part is the generalization of their kinetic formulation in any dimension and the proof that if $d>2$, this formulation caracterizes only constant vector fields and vorteces, i. e. vector fields of the form $\pm \frac$. The second part of this thesis is devoted to a generalization of the notion of \textit, which plays a key role in the article of De Lellis and Ignat we talked about above. We give a definition of entropy in any dimension, and prove properties quite similar to those enjoyed by the classical two-dimensional entropy. The third part of this thesis, which is the result of a joint work with Antonin Monteil, is about the study of an Aviles-Giga type energy. The main point of this part is a necessary condition for such an energy to be lower semi continuous. We give in particular an example of energy of this type for which the viscosity solution of the eikonal equation is \textit a minimizer. The last part, finally is devoted to the study of a Ginzburg-Landau type energy where we replace the boundary condition of the classical Ginzburg-Landau energy introduced by Béthuel, Brezis and Helein by a penalization within the energy at the critical scaling depending on a parameter. The core result of this part is the description of the asymptotic of the minimal energy, which, depending on the parameter, favorizes vortices-like configuration like in the classical Ginzburg-Landau case, or configurations singular along a line.

Ce travail étend nos connaissances des entropies libres et des équations différentielles stochastiques (EDS) libres dans trois directions. Dans un premier temps, nous montrons que l'algèbre de von Neumann engendrée par au moins deux autoadjoints ayant une information de Fisher finie n'a pas la propriété $Gamma$ de Murray et von Neumann. C'est un analogue d'un résultat de Voiculescu pour l'entropie microcanonique libre. Dans un second temps, nous étudions des EDS libres à coefficients opérateurs non-bornés (autrement dit des sortes d' EDP stochastiques libres ). Nous montrons la stationnarité des solutions dans des cas particuliers. Nous en déduisons un calcul de la dimension entropique libre microcanonique dans le cas d'une information de Fisher lipschitzienne. Dans un troisième et dernier temps, nous introduisons une méthode générale de résolutions d'EDS libres stationnaires, s'appuyant sur un analogue non-commutatif d'un espace de chemins. En définissant des états traciaux sur cet analogue, nous construisons des dilatations markoviennes de nombreux semigroupes complètement markoviens sur une algèbre de von Neumann finie, en particulier de tous les semigroupes symétriques. Pour des semigroupes particuliers, par exemple dès que le générateur s'écrit sous une forme divergence pour une dérivation à valeur dans la correspondance grossière, ces dilatations résolvent des EDS libres. Entre autres applications, nous en déduisons une inégalité de Talagrand pour l'entropie non-microcanonique libre (relative à une sous-algèbre et une application complètement positive). Nous utilisons aussi ces déformations dans le cadre des techniques de déformations/rigidité de Popa / This works extends our knowledge of free entropies, free Fisher information and free stochastic differential equations in three directions. First, we prove that if a $W^{*}$-probability space generated by more than 2 self-adjoints with finite non-microstates free Fisher information doesn't have property $Gamma$ of Murray and von Neumann (especially is not amenable). This is an analogue of a well-known result of Voiculescu for microstates free entropy. We also prove factoriality under finite non-microstates entropy. Second, we study a general free stochastic differential equation with unbounded coefficients (``stochastic PDE"), and prove stationarity of solutions in well-chosen cases. This leads to a computation of microstates free entropy dimension in case of Lipschitz conjugate variable. Finally, we introduce a non-commutative path space approach to solve general stationary free Stochastic differential equations. By defining tracial states on a non-commutative analogue of a path space, we construct Markov dilations for a class of conservative completely Markov semigroups on finite von Neumann algebras. This class includes all symmetric semigroups. For well chosen semigroups (for instance with generator any divergence form operator associated to a derivation valued in the coarse correspondence) those dilations give rise to stationary solutions of certain free SDEs. Among applications, we prove a non-commutative Talagrand inequality for non-microstate free entropy (relative to a subalgebra $B$ and a completely positive map $eta:Bto B$). We also use those new deformations in conjunction with Popa's deformation/rigidity techniques, to get absence of Cartan subalgebra results

Made available in DSpace on 2015-03-03T15:16:25Z (GMT). No. of bitstreams: 1 AlysonPS_TESE.pdf: 964551 bytes, checksum: c9d496a0da4f410a6e8efa100d961e64 (MD5) Previous issue date: 2012-03-16 / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior / Considering a quantum gas, the foundations of standard thermostatistics are investigated in the context of non-Gaussian statistical mechanics introduced by Tsallis and Kaniadakis. The new formalism is based on the following generalizations: i) Maxwell- Boltzmann-Gibbs entropy and ii) deduction of H-theorem. Based on this investigation, we calculate a new entropy using a generalization of combinatorial analysis based on two different methods of counting. The basic ingredients used in the H-theorem were: a generalized quantum entropy and a generalization of collisional term of Boltzmann equation. The power law distributions are parameterized by parameters q;, measuring the degree of non-Gaussianity of quantum gas. In the limit q ?1; ?0, the gaussian thermostatistics is recovered. A complementary study is related to a perfect gas in the context of general relativity. Using the non-Gaussian effects on the concept of entropy flux, and on the collisional term of the Boltzmann equation, we generalize the H-theorem within the Tsallis and Kaniadakis frameworks. In the first one, the nonextensive parameter is constrained to the interval [0,2] / Considerando um g?s qu?ntico, os fundamentos da termoestat?stica padr?o s?o investigados no contexto da mec?nica estat?stica n?o-gaussiana introduzida por Tsallis e Kaniadakis. O novo formalismo ? baseado nas seguintes generaliza??es: i) entropia de Maxwell-Boltzmann-Gibbs e ii) dedu??o do Teorema-H. Com base neste estudo, calculamos uma nova entropia usando a generaliza??o da an?lise combinat?ria baseadas em dois diferentes m?todos de contagem. Os ingredientes b?sicos usados no teorema-H foram: uma entropia qu?ntica generalizada e uma generaliza??o do termo colisional da equa??o de Boltzmann. As distribui??es lei de pot?ncia calculadas s?o parametrizadas pelos par?metros q; , medindo o grau de n?o-gaussianidade do sistema. No limite q ?1; ?0, a termoestat?stica gaussiana ? recuperada. Um estudo complementar est? relacionado com um g?s perfeito no contexto da relatividade geral. Utilizando os efeitos n?o-gaussiano no conceito de fluxo de entropia, e no termo colisional da equa??o de transporte de Boltzmann, n?s generalizamos o teorema- H nos formalismos de Tsallis e Kaniadakis. No formalismo de Tsallis, o par?metro n?o extensivo est? restrito ao intervalo [0,2]

Kullback-Leibler relative-entropy or KL-entropy of P with respect to R defined as ∫xlnddPRdP , where P and R are probability measures on a measurable space (X, ), plays a basic role in the definitions of classical information measures. It overcomes a shortcoming of Shannon entropy – discrete case definition of which cannot be extended to nondiscrete case naturally. Further, entropy and other classical information measures can be expressed in terms of KL-entropy and hence properties of their measure-theoretic analogs will follow from those of measure-theoretic KL-entropy. An important theorem in this respect is the Gelfand-Yaglom-Perez (GYP) Theorem which equips KL-entropy with a fundamental definition and can be stated as: measure-theoretic KL-entropy equals the supremum of KL-entropies over all measurable partitions of X . In this thesis we provide the measure-theoretic formulations for ‘generalized’ information measures, and state and prove the corresponding GYP-theorem – the ‘generalizations’ being in the sense of R ´enyi and nonextensive, both of which are explained below. Kolmogorov-Nagumo average or quasilinear mean of a vector x = (x1, . . . , xn) with respect to a pmf p= (p1, . . . , pn)is defined ashxiψ=ψ−1nk=1pkψ(xk), whereψis an arbitrarycontinuous and strictly monotone function. Replacing linear averaging in Shannon entropy with Kolmogorov-Nagumo averages (KN-averages) and further imposing the additivity constraint – a characteristic property of underlying information associated with single event, which is logarithmic – leads to the definition of α-entropy or R ´enyi entropy. This is the first formal well-known generalization of Shannon entropy. Using this recipe of R´enyi’s generalization, one can prepare only two information measures: Shannon and R´enyi entropy. Indeed, using this formalism R´enyi characterized these additive entropies in terms of axioms of KN-averages. On the other hand, if one generalizes the information of a single event in the definition of Shannon entropy, by replacing the logarithm with the so called q-logarithm, which is defined as lnqx =x1− 1 −1 −q , one gets what is known as Tsallis entropy. Tsallis entropy is also a generalization of Shannon entropy but it does not satisfy the additivity property. Instead, it satisfies pseudo-additivity of the form x ⊕qy = x + y + (1 − q)xy, and hence it is also known as nonextensive entropy. One can apply R´enyi’s recipe in the nonextensive case by replacing the linear averaging in Tsallis entropy with KN-averages and thereby imposing the constraint of pseudo-additivity. A natural question that arises is what are the various pseudo-additive information measures that can be prepared with this recipe? We prove that Tsallis entropy is the only one. Here, we mention that one of the important characteristics of this generalized entropy is that while canonical distributions resulting from ‘maximization’ of Shannon entropy are exponential in nature, in the Tsallis case they result in power-law distributions. The concept of maximum entropy (ME), originally from physics, has been promoted to a general principle of inference primarily by the works of Jaynes and (later on) Kullback. This connects information theory and statistical mechanics via the principle: the states of thermodynamic equi- librium are states of maximum entropy, and further connects to statistical inference via select the probability distribution that maximizes the entropy. The two fundamental principles related to the concept of maximum entropy are Jaynes maximum entropy principle, which involves maximizing Shannon entropy and the Kullback minimum entropy principle that involves minimizing relative-entropy, with respect to appropriate moment constraints. Though relative-entropy is not a metric, in cases involving distributions resulting from relative-entropy minimization, one can bring forth certain geometrical formulations. These are reminiscent of squared Euclidean distance and satisfy an analogue of the Pythagoras’ theorem. This property is referred to as Pythagoras’ theorem of relative-entropy minimization or triangle equality and plays a fundamental role in geometrical approaches to statistical estimation theory like information geometry. In this thesis we state and prove the equivalent of Pythagoras’ theorem in the nonextensive formalism. For this purpose we study relative-entropy minimization in detail and present some results. Finally, we demonstrate the use of power-law distributions, resulting from ME-rescriptions of Tsallis entropy, in evolutionary algorithms. This work is motivated by the recently proposed generalized simulated annealing algorithm based on Tsallis statistics. To sum up, in light of their well-known axiomatic and operational justifications, this thesis establishes some results pertaining to the mathematical significance of generalized measures of information. We believe that these results represent an important contribution towards the ongoing research on understanding the phenomina of information. (For formulas pl see the original document) ii

Nous etudions dans cette these differentes lois de conservation hyperboliques associees a la modelisation des ecoulements en eaux peu profondes.<br />Nous nous consacrons d'abord a l'analyse numerique du systeme de Saint-Venant avec termes sources. Nous presentons un schema volumes finis bidimensionnel d'ordre 2, conservatif et consistant, qui s'appuie sur une interpretation cinetique du systeme et une methode de reconstruction hydrostatique des variables aux interfaces. Ce schema preserve la positivite de la hauteur d'eau et l'etat stationnaire associe au lac au repos.<br />Nous etendons ensuite l'interpretation cinetique au couplage du systeme avec une equation de transport. Nous construisons un schema volumes finis a deux pas de temps, qui permet de prendre en compte les differentes vitesses de propagation de l'information presentes dans le probleme. Cette approche preserve les proprietes de stabilite du systeme et reduit sensiblement la diffusion numerique et les temps de calcul.<br />Nous proposons egalement un nouveau modele de Saint-Venant multicouche, qui permet de retrouver des profils de vitesse non constants, tout en preservant le caractere invariant et bidimensionnel du domaine de definition. Nous presentons sa derivation a partir des equations de Navier-Stokes et une etude de stabilite - energie, hyperbolicite. Nous etudions egalement ses relations avec d'autres modeles fluides et sa mise en oeuvre numerique, la encore basee sur l'utilisation des schemas cinetiques.<br />Enfin nous etablissons un theoreme d'unicite pour les lois de conservation scalaires avec flux discontinus. La preuve est basee sur l'utilisation d'une nouvelle famille d'entropies, qui constituent une adaptation naturelle des entropies de Kruzkov classiques au cas discontinu. Cette methode permet de lever certaines hypotheses classiques sur le flux - convexite, existence de bornes BV, nombre fini de discontinuites - et ne necessite pas l'introduction d'une condition d'interface.

Ce mémoire présente différentes contributions dans les domaines du traitement et la théorie de l'information (plus particulièrement l'étude et l'exploitation de mesures d'information) et de la radiotechnique (statistique). On présente quelques techniques fondées sur le principe du maximum d'entropie, comprenant le maximum d'entropie sur la moyenne et une extension itérative. On décrit ensuite comment on peut interpréter la technique des superstatistiques de Beck et Cohen comme une conséquence d'un maximum d'entropie avec contraintes aléatoires, et on explicite un cas particulier qui mène aux K-distributions. Pour appliquer pratiquement des résultats impliquant des mesures d'entropie, on propose et on caractérise un estimateur de l'entropie de Shannon, et on décrit quelques applications possibles. On décrit également, à partir d'une inégalité de convolution, comment on peut une utiliser une forme alternative, l'entropie de Rényi, pour des problèmes de déconvolution. On s'intéresse ensuite de manière un peu plus précise aux entropies de Rényi-Tsallis, aux distributions à maximum d'entropie de Rényi-Tsallis que l'on peut en déduire, et à leurs justifications et applications. On montre notamment que les entropies de Rényi-Tsallis peuvent être déduites à partir d'une approche classique de maximum d'entropie, en prenant en compte une contrainte figurant un système dont l'équilibre est déplacé. D'un autre côté, on relie les distributions de Rényi-Tsallis à la distribution des excès en théorie des extrêmes, ce qui fournit une justification potentielle à la relative ubiquité de ces distributions. Comme conséquence des problèmes de maximum d'entropie de Rényi-Tsallis, on peut définir des fonctionnelles entropiques, que l'on étudie et dont on donne quelques propriétés et caractérisations. On s'intéresse également à l'information de Fisher, et on décrit quelques contributions. Plus spécifiquement, nous avons étudié l'extension au cas multivarié, et aux transformations non inversibles, de l'inégalité sur l'information de Fisher. On a considéré également l'utilisation conjointe de l'information de Fisher et l'entropie de Shannon pour l'analyse de signaux, en définissant un plan d'information de Fisher-Shannon. Pour des distributions à support borné, typiquement définies sur R+ ou sur un intervalle, on caractérise les distributions à minimum d'information de Fisher sous contrainte de variance, et on étudie la fonctionnelle d'information de Fisher associée. En ce qui concerne l'aspect radiotechnique, on s'intéresse à des problèmes d'architecture des émetteurs-récepteurs numériques, et au développement d'algorithmes de correction, calibration ou contrôle. Les contraintes posées pour la réalisation des émetteurs radio amènent à sélectionner des solutions de type polaire, où le signal est décomposé en un module (l'enveloppe) et une phase (le cosinus de la phase). On propose ici notamment une évolution de l'architecture EER (Envelope Elimination and Restoration), permettant de fournir à un amplificateur de puissance un signal à enveloppe constante, la restauration de l'enveloppe étant opérée par filtrage passe-bande en sortie de l'émetteur. Au niveau composants, d'autres contributions concernent les boucles à verrouillage de phase entièrement numérique pour lesquelles on propose un modèle comportemental complet du système, ainsi que des algorithmes rapides permettant d'alléger l'implantation. Toujours au niveau composants, on s'intéresse aussi à la réalisation et la stabilisation d'une horloge de référence très haute fréquence, reposant sur l'utilisation d'un BAW, pour laquelle il est important d'établir un modèle direct fiable, d'estimer ses paramètre et de maîtriser la variabilité statistique. Dans les architectures polaires, on étudie et on illustre les conséquences néfastes d'une désynchronisation entre l'enveloppe et la phase sur les différents indicateurs de performance. On propose et on caractérise plusieurs algorithmes, reposant sur des techniques de gradient stochastique, permettant de compenser ces décalages temporels, tout en prenant en charge d'éventuelles distorsions supplémentaires en gain et phase.

資料分類的應用在時間數列的分析與預測過程相當重要。而模糊資料近年來更受到重視，其應用的範圍包含：財金、社會、生醫、電機等各個領域。本研究欲運用模糊資料分類法，對區間時間數列的轉折偵測與模式建構做一個深入探討。主要應用平均累加模糊熵(average of the sum of fuzzy entropies)， 找出其結構性改變的區間。並針對區間型時間數列進行模式建構診斷與預測。最後我們以單身人口數與失業率為實列做一個詳細的探討。結果顯示，失業率對單身人口數有顯著的影響而孤鸞年的效應並不顯著。 / The application of data classifications in time series analysis and forecasting is rather important. The fuzzy data classification has received much attention recently. It can be applied on various fields such as finance, sociology, biomedicine, electrical engineering and so on. This study is to use the fuzzy data classification to perform an intensive research on the change periods detection and model construction of the interval time series. We use average of the sum of fuzzy entropies to find out interval of the structural changes. Focusing on the time series of intervals, we build a model and make prediction about it. At the end, based on the case study on the population of singles versus, we thoroughly discuss this topic. The result shows that the unemployment rate does significantly correlate with the population of singles, but the "widow's year" does not .

We study minimization problems with respect to a one-parameter family of generalized relative entropies. These relative entropies, which we call relative -entropies (denoted I (P; Q)), arise as redundancies under mismatched compression when cumulants of compression lengths are considered instead of expected compression lengths. These parametric relative entropies are a generalization of the usual relative entropy (Kullback-Leibler divergence). Just like relative entropy, these relative -entropies behave like squared Euclidean distance and satisfy the Pythagorean property. We explore the geometry underlying various statistical models and its relevance to information theory and to robust statistics. The thesis consists of three parts. In the first part, we study minimization of I (P; Q) as the first argument varies over a convex set E of probability distributions. We show the existence of a unique minimizer when the set E is closed in an appropriate topology. We then study minimization of I on a particular convex set, a linear family, which is one that arises from linear statistical constraints. This minimization problem generalizes the maximum Renyi or Tsallis entropy principle of statistical physics. The structure of the minimizing probability distribution naturally suggests a statistical model of power-law probability distributions, which we call an -power-law family. Such a family is analogous to the exponential family that arises when relative entropy is minimized subject to the same linear statistical constraints. In the second part, we study minimization of I (P; Q) over the second argument. This minimization is generally on parametric families such as the exponential family or the - power-law family, and is of interest in robust statistics ( > 1) and in constrained compression settings ( < 1). In the third part, we show an orthogonality relationship between the -power-law family and an associated linear family. As a consequence of this, the minimization of I (P; ), when the second argument comes from an -power-law family, can be shown to be equivalent to a minimization of I ( ; R), for a suitable R, where the first argument comes from a linear family. The latter turns out to be a simpler problem of minimization of a quasi convex objective function subject to linear constraints. Standard techniques are available to solve such problems, for example, via a sequence of convex feasibility problems, or via a sequence of such problems but on simpler single-constraint linear families.