Ce mémoire traite des structures affines et de leur rapport à la géométrie de l'information. Nous y introduisons la notion de T-plongement. Il permet de montrer que l'ensemble des structures affines complètes du tore T^2 est une courbe projective de RP^2. En substituant à la contrainte topologique (compacité) une contrainte dynamique (action canonique de Aff_0(1) dans le démi-plan de Poincaré H^2)on démontre que l'ensemble S des structures Aff_0(1)-invariantes dans H^2 est une surface projective connexe dans RP^5 ne contenant aucun point complet. Un de mes résultats remarquables concerne la classification des éléments de S pour la relation d'isomorphisme.Nous exploitons un outil récent: la KV-cohomologie. Outre le rôle fondamental joué par la KV-cohomologie dans l'étude des points rigides dans certains modules des structures affines, elle nous a permis d'aborder avec succès une problématique qui est au centre de la géométrie de l'information. Cette problématique concerne la détermination des structures affines invariantes dans les variétés modèles statistiques qui sont invariantes par toute transformation non singulière de l'espace des paramètres. Celles-ci ont une signification pertinente en statistique. / This dissertation deals with modules of affinely flat structure and with their relationships between these structures and the information geometry. The so-called T-embedding is used to prove that the set of complete locally flat structures is an irreducible projective curve in RP^2. In the same way we prove that the set S of Aff_0(1)-invariant locally flat structure in H^2 is a connected projective surface in RP^5, which does not contain any complete point. We also give the classification up to isomorphism of S. We use the KV-cohomology to study the rigidity problem for locally flat structures. The main concern of information geometry is the study of geometrical invariants in statistical models. We perform the KV-cohomology to bring in control this problem.

On considère ici deux sujets différents, en utilisant des idées issues de la théorie de l'information : 1) Context Tree Weighting est un algorithme de compression de texte qui calcule exactement une prédiction Bayésienne qui considère tous les modèles markoviens visibles : on construit un "arbre de contextes", dont les nœuds profonds correspondent aux modèles complexes, et la prédiction est calculée récursivement à partir des feuilles. On étend cette idée à un contexte plus général qui comprend également l'estimation de densité et la régression, puis on montre qu'il est intéressant de remplacer les mixtures Bayésiennes par du "switch", ce qui revient à considérer a priori des suites de modèles plutôt que de simples modèles. 2) Information Geometric Optimization (IGO) est un cadre général permettant de décrire plusieurs algorithmes d'optimisation boîte noire, par exemple CMA-ES et xNES. On transforme le problème initial en un problème d'optimisation d'une fonction lisse sur une variété Riemannienne, ce qui permet d'obtenir une équation différentielle du premier ordre invariante par reparamétrage. En pratique, il faut discrétiser cette équation, et l'invariance n'est plus valable qu'au premier ordre. On définit l'algorithme IGO géodésique (GIGO), qui utilise la structure de variété Riemannienne mentionnée ci-dessus pour obtenir un algorithme totalement invariant par reparamétrage. Grâce au théorème de Noether, on obtient facilement une équation différentielle du premier ordre satisfaite par les géodésiques de la variété statistique des gaussiennes, ce qui permet d'implémenter GIGO. On montre enfin que xNES et GIGO sont différents dans le cas général, mais qu'il est possible de définir un nouvel algorithme presque invariant par reparamétrage, GIGO par blocs, qui correspond exactement à xNES dans le cas Gaussien. / We study two different topics, using insight from information theory in both cases: 1) Context Tree Weighting is a text compression algorithm that efficiently computes the Bayesian combination of all visible Markov models: we build a "context tree", with deeper nodes corresponding to more complex models, and the mixture is computed recursively, starting with the leaves. We extend this idea to a more general context, also encompassing density estimation and regression; and we investigate the benefits of replacing regular Bayesian inference with switch distributions, which put a prior on sequences of models instead of models. 2) Information Geometric Optimization (IGO) is a general framework for black box optimization that recovers several state of the art algorithms, such as CMA-ES and xNES. The initial problem is transferred to a Riemannian manifold, yielding parametrization-invariant first order differential equation. However, since in practice, time is discretized, this invariance only holds up to first order. We introduce the Geodesic IGO (GIGO) update, which uses this Riemannian manifold structure to define a fully parametrization invariant algorithm. Thanks to Noether's theorem, we obtain a first order differential equation satisfied by the geodesics of the statistical manifold of Gaussians, thus allowing to compute the corresponding GIGO update. Finally, we show that while GIGO and xNES are different in general, it is possible to define a new "almost parametrization-invariant" algorithm, Blockwise GIGO, that recovers xNES from abstract principles.