Population coding—the transmission of information by the combined activity of many neurons—is a feature of many neural systems. Identifying the role played by individual neurons within a population code is vital for the understanding of neural codes. In this thesis I examine which stimuli are best encoded by a given neuron within a population and how this depends on the informational measure used, on commonly-measured neuronal properties, and on the population size and the spacing between stimuli. I also show how correlative measures of topography can be used to test for significant topography in the anatomical arrangement of arbitrary neuronal properties. The neurons involved in a population code are generally clustered together in one region of the brain, and moreover their response selectivity is often reflected in their anatomical arrangement within that region. Although such topographic maps are an often-encountered feature in the brains of many species, there are no standard, objective procedures for quantifying topography. Topography in neural maps is typically identified and described subjectively, but in cases where the scale of the map is close to the resolution limit of the measurement technique, identifying the presence of a topographic map can be a challenging subjective task. In such cases, an objective statistical test for detecting topography would be advantageous. To address these issues, I assess seven measures by quantifying topography in simulated neural maps, and show that all but one of these are effective at detecting statistically significant topography even in weakly topographic maps. The precision of the neural code is commonly investigated using two different families of statistical measures: (i) Shannon mutual information and derived quantities when investigating very small populations of neurons and (ii) Fisher information when studying large populations. The Fisher information always predicts that neurons convey most information about stimuli coinciding with the steepest regions of the tuning curve, but it is known that information theoretic measures can give very different predictions. Using a Monte Carlo approach to compute a stimulus-specific decomposition of the mutual information (the stimulus-specific information, or SSI) for populations up to hundreds of neurons in size, I address the following questions: (i) Under what conditions can Fisher information accurately predict the information transmitted by a neuron within a population code? (ii) What are the effects of level of trial-to-trial variability (noise), correlations in the noise, and population size on the best-encoded stimulus? (iii) How does the type of task in a behavioural experiment (i.e. fine and coarse discrimination, classification) affect the best-encoded stimulus? I show that, for both unimodal and monotonic tuning curves, the shape of the SSI is dependent upon trial-to-trial variability, population size and stimulus spacing, in addition to the shape of the tuning curve. It is therefore important to take these factors into account when assessing which stimuli a neuron is informative about; just knowing the tuning curve may not be sufficient.

Ce travail a été développé dans le cadre du projet européen FACETS-ITN, dans le domaine des Neurosciences Computationnelles. Son but est d'améliorer la compréhension des réseaux de neurones stochastiques de taille finie, pour des sources corrélées à caractère aléatoire et pour des matrices de connectivité biologiquement réalistes. Ce résultat est obtenu par l'analyse de la matrice de corrélation du réseau et la quantification de la capacité de codage du système en termes de son information de Fisher. Les méthodes comprennent diverses techniques mathématiques, statistiques et numériques, dont certaines ont été importés d'autres domaines scientifiques, comme la physique et la théorie de l'estimation. Ce travail étend de précédents résultats fondées sur des hypothèses simplifiées qui ne sont pas réaliste d'un point de vue biologique et qui peuvent être pertinents pour la compréhension des principes de travail liés cerveau. De plus, ce travail fournit les outils nécessaires à une analyse complète de la capacité de traitement de l'information des réseaux de neurones, qui sont toujours manquante dans la communauté scientifique.

Ce travail a été développé dans le cadre du projet européen FACETS-ITN, dans le domaine des Neurosciences Computationnelles. Son but est d’améliorer la compréhension des réseaux de neurones stochastiques de taille finie, pour des sources corrélées à caractère aléatoire et pour des matrices de connectivité biologiquement réalistes. Ce résultat est obtenu par l’analyse de la matrice de corrélation du réseau et la quantification de la capacité de codage du système en termes de son information de Fisher. Les méthodes comprennent diverses techniques mathématiques, statistiques et numériques, dont certaines ont été importés d’autres domaines scientifiques, comme la physique et la théorie de l’estimation. Ce travail étend de précédents résultats fondées sur des hypothèses simplifiées qui ne sont pas réaliste d’un point de vue biologique et qui peuvent être pertinents pour la compréhension des principes de travail liés cerveau. De plus, ce travail fournit les outils nécessaires à une analyse complète de la capacité de traitement de l’information des réseaux de neurones, qui sont toujours manquante dans la communauté scientifique. / The brain is the most complex system in the known universe. Its nested structure with small-world properties determines its function and behavior. The analysis of its structure requires sophisticated mathematical and statistical techniques. In this thesis we shed new light on neural networks, attacking the problem from different points of view, in the spirit of the Theory of Complexity and in terms of their information processing capabilities. In particular, we quantify the Fisher information of the system, which is a measure of its encoding capability. The first technique developed in this work is the mean-field theory of rate and FitzHugh-Nagumo networks without correlations in the thermodynamic limit, through both mathematical and numerical analysis. The second technique, the Mayer’s cluster expansion, is taken from the physics of plasma, and allows us to determine numerically the finite size effects of rate neurons, as well as the relationship of the Fisher information to the size of the network for independent Brownian motions. The third technique is a perturbative expansion, which allows us to determine the correlation structure of the rate network for a variety of different types of connectivity matrices and for different values of the correlation between the sources of randomness in the system. With this method we can also quantify numerically the Fisher information not only as a function of the network size, but also for different correlation structures of the system. The fourth technique is a slightly different type of perturbative expansion, with which we can study the behavior of completely generic connectivity matrices with random topologies. Moreover this method provides an analytic formula for the Fisher information, which is in qualitative agreement with the other results in this thesis. Finally, the fifth technique is purely numerical, and uses an Expectation-Maximization algorithm and Monte Carlo integration in order to evaluate the Fisher information of the FitzHugh-Nagumo network. In summary, this thesis provides an analysis of the dynamics and the correlation structure of the neural networks, confirms this through numerical simulation and makes two key counterintuitive predictions. The first is the formation of a perfect correlation between the neurons for particular values of the parameters of the system, a phenomenon that we term stochastic synchronization. The second, which is somewhat contrary to received opinion, is the explosion of the Fisher information and therefore of the encoding capability of the network for highly correlated neurons. The techniques developed in this thesis can be used also for a complete quantification of the information processing capabilities of the network in terms of information storage, transmission and modification, but this would need to be performed in the future.

Dans cette thèse, nous élaborons, dans le cadre méthodologique de la physique quantique, un cadre variationnel générique en traitement d'images bas niveau, fondé sur le principe de l'Information Physique Extrême. Nous utilisons cet outil, récemment développé, pour dériver, entre autres, la théorie des espaces d'échelles, et retrouver des diffusions linéaires et non linéaires classiques. Cette approche permet d'être optimal au sens d'un compromis entre imprécision des mesures et incertitude sur le phénomène mesuré. A ce nouveau modèle variationnel on associe l'équation de Klein-Gordon avec champs, ou en limite, celle de Schrödinger avec champs.<br />L'application associée concerne la détection et la reconstruction de prothèses coronaires, autrement appelées stents, à partir d'images rayons X. Notre méthode s'apparente à une méthode de reconstruction 2D-3D orientée forme. En effet, nous couplons deux équations de Schrödinger avec champs. Cette écriture nous permet de tirer pleinement parti de l'acquisition tomographique, ainsi que d'une contrainte de ressemblance avec un modèle d'objet à reconstruire. Chacune de ces deux sources d'information est ainsi traduite de manière algorithmique par une équation de Schrödinger. An de déterminer un potentiel d'attraction du modèle 2D vers la projection du stent, nous avons développé un nouveau descripteur multi-local ou de la surface de luminance d'une image, ainsi que deux algorithmes pragmatiques de détection et de localisation de pixels appartenant à la projection du stent.

Dans cette thèse, nous associons mesures expérimentales et modélisation des données pour étudier l'émission spontanée d'émetteurs fluorescents en environnement nano-structuré. Le mémoire est organisé en deux parties.Dans la première partie, nous étudions le transfert d'énergie entre émetteurs fluorescents en environnement plasmonique et sur des distances micrométriques. Pour commencer, nous caractérisons le transfert d'énergie entre deux ensembles d'émetteurs situés en champ proche d'une surface d'argent. Nous déterminons ainsi la dépendance en distance du taux de transfert d'énergie sur des distances micrométriques. Nous couplons ensuite une boite quantique et une bille fluorescente à un nano-fil d'argent et nous étudions le transfert d’énergie entre ces deux émetteurs, distants de plusieurs micromètres. Nous démontrons notamment le clignotement corrélé de ces deux émetteurs grâce à l'étude de la fonction de corrélation de leur intensité de fluorescence.Dans la seconde partie, nous sondons les variations spatiales de densité locale d'états électromagnétiques induites par des environnements nano-structurés grâce à différentes techniques de microscopie à super-résolution. A l'aide d'un microscope à balayage, nous réalisons tout d’abord une étude en trois dimensions de l’interaction de champ proche entre une bille fluorescente et différentes antennes en silicium. Nous introduisons ensuite une technique stochastique permettant de déterminer expérimentalement la position et le taux d'amortissement de molécules uniques photo-activées, avec une précision de localisation de l'ordre de 10 nm. Enfin, nous utilisons l'information de Fisher afin d'estimer les bornes inférieures de l'erreur type des estimations de positions et de taux d'amortissement réalisées dans le cadre de mesures sur molécules uniques. / In this thesis, we perform experimental measurements and data modelling to investigate spontaneous emission of fluorescent emitters in nanostructured environments. The manuscript is organised into two main parts.In the first part, we study micrometre-range energy transfer between fluorescent emitters in plasmonic environments. First of all, we characterise plasmon-mediated energy transfer between ensembles of fluorescent emitters located in the near field of a silver film. We thus determine the distance dependence of the energy transfer rate over micrometre distances. We then couple a single quantum dot and a fluorescent nanobead to a silver nanowire and we study evidences of the energy transfer between the two emitters, separated by several micrometres. We notably demonstrate a correlated blinking of the two emitters through the study of the correlation function of their fluorescence intensity.In the second part, we probe sub-wavelength spatial variations of the local density of electromagnetic states induced by nanostructured environments by means of different super-resolution microscopy techniques. To start with, we perform a three-dimensional study of the near-field interaction between a fluorescent nanobead and different silicon nanoantennas using a scanning-probe microscope. We then introduce a stochastic technique to experimentally determine the position and the fluorescence decay rate of single photo-activated molecules, with a localisation precision of the order of 10 nm. Finally, we use the Fisher information to estimate lower bounds on the standard errors on position and decay rate estimates performed in the context of single-molecule microscopy.

Intermédiaire essentiel au dialogue entre théorie et vérification expérimentale, la mesure n'a de sens que si la précision des résultats est élevée. La métrologie en laboratoire s'attache à augmenter autant que possible la précision avec laquelle l'expérimentateur a accès à la valeur d'un paramètre. Le bruit quantique affectant la mesure impose une limite sur la précision maximale accessible à partir d'états quasi-classiques: la limite quantique standard (SQL). La métrologie quantique cherche à utiliser les caractéristiques propres à la mécanique quantique pour la dépasser et se rapprocher le plus possible de la limite ultime, physiquement non franchissable, appelée limite de Heisenberg. Dans ce mémoire, nous avons développé une stratégie de mesure d'un champ électromagnétique contenant moins d'un photon basée sur l'utilisation de corrélations atome-champ dans une expérience d'électrodynamique quantique en cavité. L'idée est de mesurer l'amplitude de ce petit champ en sondant la perturbation qu'il introduit sur un état intriqué atome-champ mésoscopique déjà présent dans une cavité supraconductrice. Nous avons pu démontrer que le choix de notre mesure est, en principe, optimal grâce aux outils que sont l'information de Fisher (dépendant du processus de mesure) et l'information de Fisher dite quantique (qui elle n'en dépend pas), liées à la précision sur la mesure par des inégalités de type Cramér-Rao. Expérimentalement, nous avons très largement dépassé la précision obtenue sur l'amplitude du champ électromagnétique par une mesure classique et nous nous sommes rapprochés de la limite de Heisenberg autant que les imperfections expérimentales nous le permettaient. / As an essential intermediary between theories and their experimental proofs, measurement is meaningfull if the precision of its results is high. The main emphasis of metrology in laboratories is therefore on increasing as much as possible the precision of the experimental evaluation of a parameter. Quantum noise that affects the measurement establishes a quantitative limit on the maximal precision that can be achieved with classical states: the standard quantum limit (SQL). Quantum metrology aims at using quantum features to beat this limit and to approach the physically ultimate limit called Heisenberg limit. This thesis presents a measurement strategy for an electromagnetic field containing less than one photon, which is based on the use of atom-field correlations in a cavity quantum electrodynamics experiment. The idea is to measure the amplitude of the small field by probing the disturbance caused on an entangled mesoscopic state that is already stored in the superconducting cavity. We demonstrated that our measurement strategy is in principle optimal thanks to two tools: the Fisher information (that depends on the measurement process) and the quantum Fisher information (that does not), which define the precision tanks to Cramér-Rao like equations. The measurement signal subsequently largely exceeded the level of accuracy obtained with classical states and we got as closed to the Heisenberg limit as the experimental imperfections allowed us.

This thesis focuses on two topics, namely statistical learning and the prediction of key performance indicators in the performance evaluation of a storage engine. The part on statistical learning presents a novel algorithm adjusting the sampling size for the Monte Carlo approximation of the function to be minimized, allowing a reduction of the true function at a given probability and this, at a lower numerical cost. The sampling strategy is embedded in a trust-region algorithm, using the Fisher Information matrix, also called BHHH approximation, to approximate the Hessian matrix. The sampling strategy is tested on a logit model generated from synthetic data. Numerical results exhibit a significant reduction in the time required to optimize the model when an adequate smoothing is applied to the function. The key performance indicator prediction part describes a novel strategy to select better settings for RocksDB that optimize its throughput, using the log files to analyze and identify suboptimal parameters, opening the possibility to greatly accelerate modern storage engine tuning. / Ce mémoire s’intéresse à deux sujets, un relié à l’apprentisage statistique et le second à la prédiction d’indicateurs de performance dans un système de stockage de type clé-valeur. La partie sur l’apprentissage statistique développe un algorithme ajustant la taille d’échantillonnage pour l’approximation Monte Carlo de la fonction à minimiser, permettant une réduction de la véritable fonction avec une probabilité donnée, et ce à un coût numérique moindre. La stratégie d’échantillonnage est développée dans un contexte de région de confiance en utilisant la matrice d’information de Fisher, aussi appelée approximation BHHH de la matrice hessienne. La stratégie d’échantillonnage est testée sur un modèle logit généré à partir de données synthétiques suivant le même modèle. Les résultats numériques montrent une réduction siginificative du temps requis pour optimiser le modèle lorsqu’un lissage adéquat est appliqué. La partie de prédiction d’indicateurs de performance décrit une nouvelle approche pour optimiser la vitesse maximale d’insertion de paire clé-valeur dans le système de stockage RocksDB. Les fichiers journaux sont utilisés pour identifier les paramètres sous-optimaux du système et accélérer la recherche de paramètres optimaux.

L'inférence bayésienne répond aux questions clés de la perception, comme par exemple : "Que faut-il que je crois étant donné ce que j'ai perçu ?". Elle est donc par conséquent une riche source de modèles pour les sciences cognitives et les neurosciences (Knill et Richards, 1996). Cette thèse de doctorat explore deux modèles bayésiens. Dans le premier, nous explorons un problème de codage efficace, et répondons à la question de comment représenter au mieux une information probabiliste dans des neurones pas parfaitement fiables. Nous innovons par rapport à l'état de l'art en modélisant une information d'entrée finie dans notre modèle. Nous explorons ensuite un nouveau modèle d'observateur optimal pour la localisation d'une source sonore grâce à l’écart temporel interaural, alors que les modèles actuels sont purement phénoménologiques. Enfin, nous explorons les propriétés de l'algorithme d'inférence approximée "Expectation Propagation", qui est très prometteur à la fois pour des applications en apprentissage automatique et pour la modélisation de populations neuronales, mais qui est aussi actuellement très mal compris. / Bayesian inference answers key questions of perception such as: "What should I believe given what I have perceived ?". As such, it is a rich source of models for cognitive science and neuroscience (Knill and Richards, 1996). This PhD manuscript explores two such models. We first investigate an efficient coding problem, asking the question of how to best represent probabilistic information in unrealiable neurons. We innovate compared to older such models by introducing limited input information in our own. We then explore a brand new ideal observer model of localization of sounds using the Interaural Time Difference cue, when current models are purely descriptive models of the electrophysiology. Finally, we explore the properties of the Expectation Propagation approximate-inference algorithm, which offers great potential for both practical machine-learning applications and neuronal population models, but is currently very poorly understood.

Ce travail étend nos connaissances des entropies libres et des équations différentielles stochastiques (EDS) libres dans trois directions. Dans un premier temps, nous montrons que l'algèbre de von Neumann engendrée par au moins deux autoadjoints ayant une information de Fisher finie n'a pas la propriété $Gamma$ de Murray et von Neumann. C'est un analogue d'un résultat de Voiculescu pour l'entropie microcanonique libre. Dans un second temps, nous étudions des EDS libres à coefficients opérateurs non-bornés (autrement dit des sortes d' EDP stochastiques libres ). Nous montrons la stationnarité des solutions dans des cas particuliers. Nous en déduisons un calcul de la dimension entropique libre microcanonique dans le cas d'une information de Fisher lipschitzienne. Dans un troisième et dernier temps, nous introduisons une méthode générale de résolutions d'EDS libres stationnaires, s'appuyant sur un analogue non-commutatif d'un espace de chemins. En définissant des états traciaux sur cet analogue, nous construisons des dilatations markoviennes de nombreux semigroupes complètement markoviens sur une algèbre de von Neumann finie, en particulier de tous les semigroupes symétriques. Pour des semigroupes particuliers, par exemple dès que le générateur s'écrit sous une forme divergence pour une dérivation à valeur dans la correspondance grossière, ces dilatations résolvent des EDS libres. Entre autres applications, nous en déduisons une inégalité de Talagrand pour l'entropie non-microcanonique libre (relative à une sous-algèbre et une application complètement positive). Nous utilisons aussi ces déformations dans le cadre des techniques de déformations/rigidité de Popa / This works extends our knowledge of free entropies, free Fisher information and free stochastic differential equations in three directions. First, we prove that if a $W^{*}$-probability space generated by more than 2 self-adjoints with finite non-microstates free Fisher information doesn't have property $Gamma$ of Murray and von Neumann (especially is not amenable). This is an analogue of a well-known result of Voiculescu for microstates free entropy. We also prove factoriality under finite non-microstates entropy. Second, we study a general free stochastic differential equation with unbounded coefficients (``stochastic PDE"), and prove stationarity of solutions in well-chosen cases. This leads to a computation of microstates free entropy dimension in case of Lipschitz conjugate variable. Finally, we introduce a non-commutative path space approach to solve general stationary free Stochastic differential equations. By defining tracial states on a non-commutative analogue of a path space, we construct Markov dilations for a class of conservative completely Markov semigroups on finite von Neumann algebras. This class includes all symmetric semigroups. For well chosen semigroups (for instance with generator any divergence form operator associated to a derivation valued in the coarse correspondence) those dilations give rise to stationary solutions of certain free SDEs. Among applications, we prove a non-commutative Talagrand inequality for non-microstate free entropy (relative to a subalgebra $B$ and a completely positive map $eta:Bto B$). We also use those new deformations in conjunction with Popa's deformation/rigidity techniques, to get absence of Cartan subalgebra results

Ce mémoire présente différentes contributions dans les domaines du traitement et la théorie de l'information (plus particulièrement l'étude et l'exploitation de mesures d'information) et de la radiotechnique (statistique). On présente quelques techniques fondées sur le principe du maximum d'entropie, comprenant le maximum d'entropie sur la moyenne et une extension itérative. On décrit ensuite comment on peut interpréter la technique des superstatistiques de Beck et Cohen comme une conséquence d'un maximum d'entropie avec contraintes aléatoires, et on explicite un cas particulier qui mène aux K-distributions. Pour appliquer pratiquement des résultats impliquant des mesures d'entropie, on propose et on caractérise un estimateur de l'entropie de Shannon, et on décrit quelques applications possibles. On décrit également, à partir d'une inégalité de convolution, comment on peut une utiliser une forme alternative, l'entropie de Rényi, pour des problèmes de déconvolution. On s'intéresse ensuite de manière un peu plus précise aux entropies de Rényi-Tsallis, aux distributions à maximum d'entropie de Rényi-Tsallis que l'on peut en déduire, et à leurs justifications et applications. On montre notamment que les entropies de Rényi-Tsallis peuvent être déduites à partir d'une approche classique de maximum d'entropie, en prenant en compte une contrainte figurant un système dont l'équilibre est déplacé. D'un autre côté, on relie les distributions de Rényi-Tsallis à la distribution des excès en théorie des extrêmes, ce qui fournit une justification potentielle à la relative ubiquité de ces distributions. Comme conséquence des problèmes de maximum d'entropie de Rényi-Tsallis, on peut définir des fonctionnelles entropiques, que l'on étudie et dont on donne quelques propriétés et caractérisations. On s'intéresse également à l'information de Fisher, et on décrit quelques contributions. Plus spécifiquement, nous avons étudié l'extension au cas multivarié, et aux transformations non inversibles, de l'inégalité sur l'information de Fisher. On a considéré également l'utilisation conjointe de l'information de Fisher et l'entropie de Shannon pour l'analyse de signaux, en définissant un plan d'information de Fisher-Shannon. Pour des distributions à support borné, typiquement définies sur R+ ou sur un intervalle, on caractérise les distributions à minimum d'information de Fisher sous contrainte de variance, et on étudie la fonctionnelle d'information de Fisher associée. En ce qui concerne l'aspect radiotechnique, on s'intéresse à des problèmes d'architecture des émetteurs-récepteurs numériques, et au développement d'algorithmes de correction, calibration ou contrôle. Les contraintes posées pour la réalisation des émetteurs radio amènent à sélectionner des solutions de type polaire, où le signal est décomposé en un module (l'enveloppe) et une phase (le cosinus de la phase). On propose ici notamment une évolution de l'architecture EER (Envelope Elimination and Restoration), permettant de fournir à un amplificateur de puissance un signal à enveloppe constante, la restauration de l'enveloppe étant opérée par filtrage passe-bande en sortie de l'émetteur. Au niveau composants, d'autres contributions concernent les boucles à verrouillage de phase entièrement numérique pour lesquelles on propose un modèle comportemental complet du système, ainsi que des algorithmes rapides permettant d'alléger l'implantation. Toujours au niveau composants, on s'intéresse aussi à la réalisation et la stabilisation d'une horloge de référence très haute fréquence, reposant sur l'utilisation d'un BAW, pour laquelle il est important d'établir un modèle direct fiable, d'estimer ses paramètre et de maîtriser la variabilité statistique. Dans les architectures polaires, on étudie et on illustre les conséquences néfastes d'une désynchronisation entre l'enveloppe et la phase sur les différents indicateurs de performance. On propose et on caractérise plusieurs algorithmes, reposant sur des techniques de gradient stochastique, permettant de compenser ces décalages temporels, tout en prenant en charge d'éventuelles distorsions supplémentaires en gain et phase.