On considère ici deux sujets différents, en utilisant des idées issues de la théorie de l'information : 1) Context Tree Weighting est un algorithme de compression de texte qui calcule exactement une prédiction Bayésienne qui considère tous les modèles markoviens visibles : on construit un "arbre de contextes", dont les nœuds profonds correspondent aux modèles complexes, et la prédiction est calculée récursivement à partir des feuilles. On étend cette idée à un contexte plus général qui comprend également l'estimation de densité et la régression, puis on montre qu'il est intéressant de remplacer les mixtures Bayésiennes par du "switch", ce qui revient à considérer a priori des suites de modèles plutôt que de simples modèles. 2) Information Geometric Optimization (IGO) est un cadre général permettant de décrire plusieurs algorithmes d'optimisation boîte noire, par exemple CMA-ES et xNES. On transforme le problème initial en un problème d'optimisation d'une fonction lisse sur une variété Riemannienne, ce qui permet d'obtenir une équation différentielle du premier ordre invariante par reparamétrage. En pratique, il faut discrétiser cette équation, et l'invariance n'est plus valable qu'au premier ordre. On définit l'algorithme IGO géodésique (GIGO), qui utilise la structure de variété Riemannienne mentionnée ci-dessus pour obtenir un algorithme totalement invariant par reparamétrage. Grâce au théorème de Noether, on obtient facilement une équation différentielle du premier ordre satisfaite par les géodésiques de la variété statistique des gaussiennes, ce qui permet d'implémenter GIGO. On montre enfin que xNES et GIGO sont différents dans le cas général, mais qu'il est possible de définir un nouvel algorithme presque invariant par reparamétrage, GIGO par blocs, qui correspond exactement à xNES dans le cas Gaussien. / We study two different topics, using insight from information theory in both cases: 1) Context Tree Weighting is a text compression algorithm that efficiently computes the Bayesian combination of all visible Markov models: we build a "context tree", with deeper nodes corresponding to more complex models, and the mixture is computed recursively, starting with the leaves. We extend this idea to a more general context, also encompassing density estimation and regression; and we investigate the benefits of replacing regular Bayesian inference with switch distributions, which put a prior on sequences of models instead of models. 2) Information Geometric Optimization (IGO) is a general framework for black box optimization that recovers several state of the art algorithms, such as CMA-ES and xNES. The initial problem is transferred to a Riemannian manifold, yielding parametrization-invariant first order differential equation. However, since in practice, time is discretized, this invariance only holds up to first order. We introduce the Geodesic IGO (GIGO) update, which uses this Riemannian manifold structure to define a fully parametrization invariant algorithm. Thanks to Noether's theorem, we obtain a first order differential equation satisfied by the geodesics of the statistical manifold of Gaussians, thus allowing to compute the corresponding GIGO update. Finally, we show that while GIGO and xNES are different in general, it is possible to define a new "almost parametrization-invariant" algorithm, Blockwise GIGO, that recovers xNES from abstract principles.

Nesta tese consideramos cadeias de alcance variável não limitado. São cadeias de alcance infinito cuja família de probabilidades de transição é representada por uma árvore de contextos probabilística. Dado uma árvore de contextos probabilística não limitada, as questões que nos interessam são as seguintes: existe ou não uma cadeia estacionária compatível com esta árvore? Se existir, esta cadeia é única? Podemos fazer uma simulação perfeita desta cadeia? Nesta tese, apresentamos novos critérios sucientes que garantem a existência e a unicidade da cadeia estacionária e, sob restrições mais fortes, a possibilidade de fazer uma simulação perfeita. Uma caraterística interessante do nosso trabalho é o fato de não utilizarmos a condição de continuidade. / We present a new perfect simulation algorithm for stationary chains (indexed by Z) having unbounded variable length memory. This is the class of innite memory chains for which the family of transition probabilities is given by probabilistic context tree. Our condition is expressed in terms of the structure of the context tree. In particular, we do not assume the continuity of the family of transition probabilities. We give an explicit construction of the chain using a sequence of i.i.d. random variables uniformly distributed in [0,1[.

Nesta tese consideramos cadeias de alcance variável não limitado. São cadeias de alcance infinito cuja família de probabilidades de transição é representada por uma árvore de contextos probabilística. Dado uma árvore de contextos probabilística não limitada, as questões que nos interessam são as seguintes: existe ou não uma cadeia estacionária compatível com esta árvore? Se existir, esta cadeia é única? Podemos fazer uma simulação perfeita desta cadeia? Nesta tese, apresentamos novos critérios sucientes que garantem a existência e a unicidade da cadeia estacionária e, sob restrições mais fortes, a possibilidade de fazer uma simulação perfeita. Uma caraterística interessante do nosso trabalho é o fato de não utilizarmos a condição de continuidade. / We present a new perfect simulation algorithm for stationary chains (indexed by Z) having unbounded variable length memory. This is the class of innite memory chains for which the family of transition probabilities is given by probabilistic context tree. Our condition is expressed in terms of the structure of the context tree. In particular, we do not assume the continuity of the family of transition probabilities. We give an explicit construction of the chain using a sequence of i.i.d. random variables uniformly distributed in [0,1[.

O presente trabalho constitui um primeiro esforço por modelar disparos de neurônios usando cadeias estocásticas de memória de alcance variável. Esses modelos foram introduzidos por Rissanen (1983). A ideia principal deste tipo de modelos consiste em que a definição probabilística de cada símbolo depende somente de uma porção finita do passado e o comprimento dela é função do passado mesmo, tal porção foi chamada de \"contexto\" e o conjunto de contextos pode ser representado através de uma árvore. No passado vários métodos de estimação foram propostos, nos quais é necessário especificar algumas constantes, de forma que Galves et al.(2012) apresentaram o \"critério do menor maximizador\" (SMC), sendo este um algoritmo consistente que independe de qualquer constante. De outro lado na área da neurociência vem tomando força a ideia de que o processamento de informação do cérebro é feito de forma probabilística, por esta razão foram usados os dados coletados por Sidarta Ribeiro e sua equipe, correspondentes à atividade neuronal em ratos, para estimar as árvores de contextos que caracterizam os disparos de quatro neurônios do hipocampo e identificar possíveis associações entre eles, também foram feitas comparações de acordo com o estado comportamental do rato (Vigília / Sono), em todos os casos foi usado o algoritmo SMC para a estimação das árvores de contexto. Por último, é aberta uma discussão sobre o tamanho de amostra necessário para a implementação deste tipo de análise. / This work describes an initial effort to model spike trains of neurons using Variable Length Markov Chains (VLMC). These models were introduced by Rissanen(1983). The principal idea of this kind of models is thaht the probabilistic definition of each symbol only depends on a finite part of the past and the length of this relevant portion is a function of the past itself. This portion were called \"context\" and the set of contexts can be represented as a rooted labeled tree. In the past, several methods of estimation were proposed, where is necessary to fix any constants, for this reason Galves et al.(2012) introduced the \"smallest maximizer criterion\" (SMC), which is a consistent and constant free model selection procedure. By the other side, in the neuroscience area has gained strength the idea that the information processing in the brain is done in a probabilistic way, for this reason were used the data collected by Sidarta Ribeiro and his team, related to the neuronal activity in rats, to estimate the context trees that describing the spike trains of four neurons of hipocampus region and to identify associations between them, comparisions were also made according to the behavioural state of the rat (Wake / Sleep), in all cases the algorithm were used the SMC algortithm to estimate the context trees. Finally, is opened a discussion on the sample size required for the implementation of this kind of analysis.

O presente trabalho constitui um primeiro esforço por modelar disparos de neurônios usando cadeias estocásticas de memória de alcance variável. Esses modelos foram introduzidos por Rissanen (1983). A ideia principal deste tipo de modelos consiste em que a definição probabilística de cada símbolo depende somente de uma porção finita do passado e o comprimento dela é função do passado mesmo, tal porção foi chamada de \"contexto\" e o conjunto de contextos pode ser representado através de uma árvore. No passado vários métodos de estimação foram propostos, nos quais é necessário especificar algumas constantes, de forma que Galves et al.(2012) apresentaram o \"critério do menor maximizador\" (SMC), sendo este um algoritmo consistente que independe de qualquer constante. De outro lado na área da neurociência vem tomando força a ideia de que o processamento de informação do cérebro é feito de forma probabilística, por esta razão foram usados os dados coletados por Sidarta Ribeiro e sua equipe, correspondentes à atividade neuronal em ratos, para estimar as árvores de contextos que caracterizam os disparos de quatro neurônios do hipocampo e identificar possíveis associações entre eles, também foram feitas comparações de acordo com o estado comportamental do rato (Vigília / Sono), em todos os casos foi usado o algoritmo SMC para a estimação das árvores de contexto. Por último, é aberta uma discussão sobre o tamanho de amostra necessário para a implementação deste tipo de análise. / This work describes an initial effort to model spike trains of neurons using Variable Length Markov Chains (VLMC). These models were introduced by Rissanen(1983). The principal idea of this kind of models is thaht the probabilistic definition of each symbol only depends on a finite part of the past and the length of this relevant portion is a function of the past itself. This portion were called \"context\" and the set of contexts can be represented as a rooted labeled tree. In the past, several methods of estimation were proposed, where is necessary to fix any constants, for this reason Galves et al.(2012) introduced the \"smallest maximizer criterion\" (SMC), which is a consistent and constant free model selection procedure. By the other side, in the neuroscience area has gained strength the idea that the information processing in the brain is done in a probabilistic way, for this reason were used the data collected by Sidarta Ribeiro and his team, related to the neuronal activity in rats, to estimate the context trees that describing the spike trains of four neurons of hipocampus region and to identify associations between them, comparisions were also made according to the behavioural state of the rat (Wake / Sleep), in all cases the algorithm were used the SMC algortithm to estimate the context trees. Finally, is opened a discussion on the sample size required for the implementation of this kind of analysis.

L'objet de cette thèse est l'étude du comportement asymptotique des systèmes de fonctions itérées (IFS). Dans un premier chapitre, nous présenterons les notions liées à l'étude de tels systèmes et nous rappellerons différentes applications possibles des IFS telles que les marches aléatoires sur des graphes ou des pavages apériodiques, les systèmes dynamiques aléatoires, la classification de protéines ou encore les mesures quantiques répétées. Nous nous attarderons sur deux autres applications : les chaînes de Markov d'ordre infini et d'ordre variable. Nous donnerons aussi les principaux résultats de la littérature concernant l'étude des mesures invariantes pour des IFS ainsi que ceux pour le calcul de la dimension de Hausdorff. Le deuxième chapitre sera consacré à l'étude d'une classe d'IFS composés de contractions sur des intervalles réels fermés dont les images se chevauchent au plus en un point et telles que les probabilités de transition sont constantes par morceaux. Nous donnerons un critère pour l'existence et pour l'unicité d'une mesure invariante pour l'IFS ainsi que pour la stabilité asymptotique en termes de bornes sur les probabilités de transition. De plus, quand il existe une unique mesure invariante et sous quelques hypothèses techniques supplémentaires, on peut montrer que la mesure invariante admet une dimension de Hausdorff exacte qui est égale au rapport de l'entropie sur l'exposant de Lyapunov. Ce résultat étend la formule, établie dans la littérature pour des probabilités de transition continues, au cas considéré ici des probabilités de transition constantes par morceaux. Le dernier chapitre de cette thèse est, quant à lui, consacré à un cas particulier d'IFS : les chaînes de Markov de longueur variable (VLMC). On démontrera que sous une condition de non-nullité faible et de continuité pour la distance ultramétrique des probabilités de transitions, elles admettent une unique mesure invariante qui est attractive pour la convergence faible. / The purpose of this thesis is the study of the asymptotic behaviour of iterated function systems (IFS). In a first part, we will introduce the notions related to the study of such systems and we will remind different applications of IFS such as random walks on graphs or aperiodic tilings, random dynamical systems, proteins classification or else $q$-repeated measures. We will focus on two other applications : the chains of infinite order and the variable length Markov chains. We will give the main results in the literature concerning the study of invariant measures for IFS and those for the calculus of the Hausdorff dimension. The second part will be dedicated to the study of a class of iterated function systems (IFSs) with non-overlapping or just-touching contractions on closed real intervals and adapted piecewise constant transition probabilities. We give criteria for the existence and the uniqueness of an invariant probability measure for the IFSs and for the asymptotic stability of the system in terms of bounds of transition probabilities. Additionally, in case there exists a unique invariant measure and under some technical assumptions, we obtain its exact Hausdorff dimension as the ratio of the entropy over the Lyapunov exponent. This result extends the formula, established in the literature for continuous transition probabilities, to the case considered here of piecewise constant probabilities. The last part is dedicated to a special case of IFS : Variable Length Markov Chains (VLMC). We will show that under a weak non-nullness condition and continuity for the ultrametric distance of the transition probabilities, they admit a unique invariant measure which is attractive for the weak convergence.