Statisticians are used to model interactions between variables on the basis of observed<p>data. In a lot of emerging fields, like bioinformatics, they are confronted with datasets<p>having thousands of variables, a lot of noise, non-linear dependencies and, only, tens of<p>samples. The detection of functional relationships, when such uncertainty is contained in<p>data, constitutes a major challenge.<p>Our work focuses on variable selection and network inference from datasets having<p>many variables and few samples (high variable-to-sample ratio), such as microarray data.<p>Variable selection is the topic of machine learning whose objective is to select, among a<p>set of input variables, those that lead to the best predictive model. The application of<p>variable selection methods to gene expression data allows, for example, to improve cancer<p>diagnosis and prognosis by identifying a new molecular signature of the disease. Network<p>inference consists in representing the dependencies between the variables of a dataset by<p>a graph. Hence, when applied to microarray data, network inference can reverse-engineer<p>the transcriptional regulatory network of cell in view of discovering new drug targets to<p>cure diseases.<p>In this work, two original tools are proposed MASSIVE (Matrix of Average Sub-Subset<p>Information for Variable Elimination) a new method of feature selection and MRNET (Minimum<p>Redundancy NETwork), a new algorithm of network inference. Both tools rely on<p>the computation of mutual information, an information-theoretic measure of dependency.<p>More precisely, MASSIVE and MRNET use approximations of the mutual information<p>between a subset of variables and a target variable based on combinations of mutual informations<p>between sub-subsets of variables and the target. The used approximations allow<p>to estimate a series of low variate densities instead of one large multivariate density. Low<p>variate densities are well-suited for dealing with high variable-to-sample ratio datasets,<p>since they are rather cheap in terms of computational cost and they do not require a large<p>amount of samples in order to be estimated accurately. Numerous experimental results<p>show the competitiveness of these new approaches. Finally, our thesis has led to a freely<p>available source code of MASSIVE and an open-source R and Bioconductor package of<p>network inference. / Doctorat en sciences, Spécialisation Informatique / info:eu-repo/semantics/nonPublished

Nous argumentons que l'estimation de l'information mutuelle entre des ensembles de variables aléatoires continues de hautes dimensionnalités peut être réalisée par descente de gradient sur des réseaux de neurones. Nous présentons un estimateur neuronal de l'information mutuelle (MINE) dont la complexité croît linéairement avec la dimensionnalité des variables et la taille de l'échantillon, entrainable par retro-propagation, et fortement consistant au sens statistique. Nous présentons aussi une poignée d'application ou MINE peut être utilisé pour minimiser ou maximiser l'information mutuelle. Nous appliquons MINE pour améliorer les modèles génératifs adversariaux. Nous utilisons aussi MINE pour implémenter la méthode du goulot d'étranglement de l'information dans un cadre de classification supervisé. Nos résultats montrent un gain substantiel en flexibilité et performance. / We argue that the estimation of mutual information between high dimensional continuous random variables can be achieved by gradient descent over neural networks. We present a Mutual Information Neural Estimator (MINE) that is linearly scalable in dimensionality as well as in sample size, trainable through back-prop, and strongly consistent. We present a handful of applications on which MINE can be used to minimize or maximize mutual information. We apply MINE to improve adversarially trained generative models. We also use MINE to implement the Information Bottleneck, applying it to supervised classification; our results demonstrate substantial improvement in flexibility and performance in the settings.

La demande croissante pour des débits plus élevés a atteint la limite des solutions câblées actuelles. Dans ce contexte, la fibre optique plastique à saut d'indice (SI-FOP), avec son gros diamètre de câble (3 à 4 mm) et sa grande ouverture numérique semble être un candidat idéal pour la transmission du gigabit Ethernet à faible coût. Les avantages de la SI-FOP sont sa simplicité d'utilisation, sa connexion facile, l'installation à la portée de tous et sa longueur d'onde d'utilisation. Dans ce mémoire, nous déterminons un modèle mathématique réaliste de la SI-FOP dans un système à modulation d'intensité et détection directe (IM/DD) utilisant la modulation Discrete Multi Tone (DMT). Les caractéristiques du canal sont évaluées en déterminant la capacité théorique au sens de Shannon et la capacité pratique DMT avec les algorithmes d'allocation de bits (« rate adaptive bit loading ») comme le water-filling, les algorithmes de Chow et de Levin-Campello. Mots clés : fibre optique plastique, saut d'indice, modulation d'intensité, détection directe, modulation DMT, couplage de modes, « power flow equation », problèmes d'optimisation sous-contraintes, « rate adaptive water-filling », algorithme de Chow, algorithme de Levin-Campello, capacité théorique au sens de Shannon, capacité pratique DMT.

L'interférence inter-symboles (ISI) représente un des obstacles majeurs à l'obtention de communications numériques fiables. Sauf pour le cas particulier des systèmes de signalisation à réponse partielle, le taux ISI doit être réduit le plus possible pour obtenir les communications numériques les plus fiables possibles. Pour les communications numériques à large bande , une des techniques les plus utilisées pour minimiser le taux ISI est l'égalisation. Les égalisateurs décisionnels à contre-réaction (DFE) sont parmi les structures les plus fréquemment utilisées, à cause de leur simplicité et de leur bonne performance. Cette thèse s'attaque au problème de la diminution de la propagation des erreurs dans un egalisateur décisionnel à contre réaction basé sur l'erreur quadratique moyenne (MMSE-DFE). Les DFE constituent une part importante des communications numériques modernes. De façon à réduire la propagation des erreurs dans les DFE, ce qui est de fait la limitation la plus importante de ceux-ci, un modèle basé sur l'erreur quadratique moyenne (MSE) est proposé. En s'appuyant sur ce nouveau modèle, les pondérations des filtres DFE, les éminceurs d'effacement (erasure slicer) et les éminceurs souples (soft slicer) peuvent être optimisés. Après une analyse théorique, on procède aux simulations numériques de ces modèles. Ces derniers sont relativement simples à implanter, ce qui contraste avec les modèles traditionnels basés sur les chaînes de Markov. Simultanément, on obtient une précision de prédiction qui se compare très avantageusement à celle obtenue avec les critères conventionnels basés sur l'erreur quadratique moyenne. On constate que l'éminceur souple optimal obtenu excède celui obtenu par l'optimisation conjointe DFE des pondérations et un éminceur à effacement. Les filtres de pondération DFE avec un éminceur optimal souple peuvent être considérés comme un sytème MMSE DFE vrai. La seconde contribution de ce travail de thèse consiste en une nouvelle forme de codage qui interagit avec la propagation des erreurs dans un DFE pour les modulations d'ordre supérieur. Les bits redondantes dans le diagramme d'éparpillement de la nouvelle modulation obtenue augmentent de façon dramatique l'immunité à la propagation des erreurs pour les symboles ayant le même niveau moyen d'énergie. De plus, la méthode proposée n'introduit pas de délais de décodage additionnels et la robustesse à la propagation des erreurs est néanmoins maintenue, même lorsque les pondérations de contre-réaction sont grandes par rapport à celles d'un DFE conventionnel. Globalement, cette thèse explore plusieurs moyens pour combattre la propagation des erreurs dans les DFE. Cette propagation est difficile à analyser surtout à cause de la non-linéarité de l'éminceur dans la boucle de contre réaction. Notre étude démontre que l'introduction de la propagation des erreurs dans le modèle du DFE-MSE conduit à une meilleure optimisation du DFE. L'approximation statistique du bruit et de l'ISI avant l'éminceur s'avère très appropriée pour la simulation numérique. Des connaissances additionnelles sur l'utilisation des DFE dans les canaux large bande ont également été obtenues. Un élément fondamental de nos travaux est la démonstration de l'exigence cyclique en transmission pour les égalisateurs à porteuse unique dans le domaine de la fréquence (SC-FDE). Bien que le traitement du signal en milieu fréquentiel soit largement accepté comme technique pour réduire les efforts de calcul requis, l'analyse théorique et la sirnulation révèlent qu'il y a également un autre avantage au traitement dans le domaine des fréquences. En effet, on montre que lorsque la réponse impulsionnelle du canal est plus longue que le préfixe cyclique du SC-FDE, un traitement dans le domaine fréquentiel amène une meilleure fidélité du signal qu'un traitement dans le temps. On a également regardé l'effet de la limitation de la largeur de bande pour un SC-FDE. Les résultats obtenus montrent qu'il existe une diversité de fréquences aux deux extrémités des secteurs des FFT. Ceci peut amener des idées directrices pour la réalisation physique des SC-FDE, particulièrement pour tenir compte du fait que les caractéristiques des secteurs de FFT requièrent des algorithmes différents pour un canal soumis à l'évanouissement.

In this thesis we have studied different aspects of the novel field of quantum information with continuous variables. The higher efficiency and bandwidth of homodyne detection combined with the easiness of generation and manipulation of Gaussian states makes continuous-variable quantum information a promising and flourishing field of research. This dissertation is divided in two parts. The first part explores two applications of the “photon subtraction” operation; Firstly, a technique to generate highly non-Gaussian single-mode states of light; Secondly, an experimental setup capable of realizing a loophole-free Bell test. The second part of this dissertation develops a detailed analysis of an important family of continuous-variable quantum key distribution protocols, namely those based on Gaussian modulation of Gaussian states./Dans cette thèse on a étudié différents aspects de l'information quantique à variables continues. Les meilleures efficacité et bande passante de la détection homodyne combinées à la simplicité de génération et de manipulation d'états gaussiens rend l'information quantique à variables continues un domaine de recherche très prometteur, qui est actuellement en plein essor. La dissertation est divisée en deux parties. La première explore deux applications de l'opération “soustraction de photon”; en premier lieu on présente une nouvelle technique capable de générer des états mono-modaux de la lumière hautement non-gaussiens; deuxiemement on présente un schéma expérimental capable de réaliser un test de Bell sans faille logique. La deuxième partie de cette dissertation développe une étude détaillée d'une famille très importante de protocoles de distribution quantique de clé à variables continues, ceux basés sur la modulation gaussienne d'états gaussiens.

Cette thèse est consacrée à l'analyse théorique de problèmes non supervisés impliquant des séries temporelles hautement dépendantes. Plus particulièrement, nous abordons les deux problèmes fondamentaux que sont le problème d'estimation des points de rupture et le partitionnement de séries temporelles. Ces problèmes sont abordés dans un cadre extrêmement général oùles données sont générées par des processus stochastiques ergodiques stationnaires. Il s'agit de l'une des hypothèses les plus faibles en statistiques, comprenant non seulement, les hypothèses de modèles et les hypothèses paramétriques habituelles dans la littérature scientifique, mais aussi des hypothèses classiques d'indépendance, de contraintes sur l'espace mémoire ou encore des hypothèses de mélange. En particulier, aucune restriction n'est faite sur la forme ou la nature des dépendances, de telles sortes que les échantillons peuvent être arbitrairement dépendants. Pour chaque problème abordé, nous proposons de nouvelles méthodes non paramétriques et nous prouvons de plus qu'elles sont, dans ce cadre, asymptotiquement consistantes. Pour l'estimation de points de rupture, la consistance asymptotique se rapporte à la capacité de l'algorithme à produire des estimations des points de rupture qui sont asymptotiquement arbitrairement proches des vrais points de rupture. D'autre part, un algorithme de partitionnement est asymptotiquement consistant si le partitionnement qu'il produit, restreint à chaque lot de séquences, coïncides, à partir d'un certain temps et de manière consistante, avec le partitionnement cible. Nous montrons que les algorithmes proposés sont implémentables efficacement, et nous accompagnons nos résultats théoriques par des évaluations expérimentales. L'analyse statistique dans le cadre stationnaire ergodique est extrêmement difficile. De manière générale, il est prouvé que les vitesses de convergence sont impossibles à obtenir. Dès lors, pour deux échantillons générés indépendamment par des processus ergodiques stationnaires, il est prouvé qu'il est impossible de distinguer le cas où les échantillons sont générés par le même processus de celui où ils sont générés par des processus différents. Ceci implique que des problèmes tels le partitionnement de séries temporelles sans la connaissance du nombre de partitions ou du nombre de points de rupture ne peut admettre de solutions consistantes. En conséquence, une tâche difficile est de découvrir les formulations du problème qui en permettent une résolution dans ce cadre général. La principale contribution de cette thèse est de démontrer (par construction) que malgré ces résultats d'impossibilités théoriques, des formulations naturelles des problèmes considérés existent et admettent des solutions consistantes dans ce cadre général. Ceci inclut la démonstration du fait que le nombre de points de rupture corrects peut être trouvé, sans recourir à des hypothèses plus fortes sur les processus stochastiques. Il en résulte que, dans cette formulation, le problème des points de rupture peut être réduit à du partitionnement de séries temporelles. Les résultats présentés dans ce travail formulent les fondations théoriques pour l'analyse des données séquentielles dans un espace d'applications bien plus large.

Ce document discute de la fourniture de services de diffusion où des contenus de toute nature doivent être transmis efficacement à un ensemble de récepteurs. Plusieurs problèmes se posent : - la robustesse face aux problèmes de transmission, qu'il s'agisse d'erreurs (inversion de bits) ou de pertes (de paquets); - l'efficacité du service fourni, en termes de performances de correction d'erreurs et/ou effacements, et de faible complexité algorithmique; - le respect d'éventuelles contraintes temps réelles de certains contenus; - et enfin le passage à l'échelle lorsque le nombre de récepteur augmente significativement. La problématique est assez large et nous nous "limitons" à deux aspects et composants essentiels que sont : - les codes correcteurs de niveau applicatif, ou AL-FEC, pour le canal à effacements, sans lesquels l'efficacité du service serait fortement compromise, et - les protocoles de transport qui définissent les règles d'échanges d'informations entre soure(s) et récep- teur(s) et garantissent le niveau de fiabilité nécessaire. Tout au long de ce document, nous détaillons ces deux axes et positionnons nos contributions et leur usage effectif dans le panorama actuel.

Dans cette thèse, nous étudions dans une première partie l'impact de la contrainte de sécurité en tatouage. Dans le contexte WOA (Watermarked contents Only Attack), un adversaire possède plusieurs contenus tatoués et cherche à estimer la clé secrète d'insertion afin d'accéder aux messages cachés. Une nouvelle manière de tatouer en étalement de spectre est présentée ici. Celle-ci est basée sur la construction de distributions circulaires dans le sous-espace secret de tatouage. Cette technique permet de minimiser la distorsion en moyenne provoquée par l'ajout de la marque dans le contexte WOA en utilisant l'algorithme d'optimisation des Hongrois et la théorie du transport. Nous vérifions ensuite qu'un tatouage sûr est utilisable en pratique en prenant comme exemple le tatouage d'images naturelles. Dans une seconde partie, nous nous intéressons au cadre de l'estampillage d'oe uvres numériques permettant de tracer les redistributeurs de copies illégales. Les codes traçants utilisés sont ceux proposés par Gabor Tardos et sont résistants aux attaques de coalition, c'est-à-dire au groupement d'adversaires mettant en commun leurs contenus numériques afin de forger une version pirate. Puisque les techniques de tatouage permettent l'insertion de codes traçants dans un contenu numérique, nous avons conçu une attaque "au pire cas" qui dépend du niveau de sécurité et qui permet, pour les adversaires, de baisser leur accusation. Nous montrons que pour le cas particulier de l'estampillage un tatouage sûr sera plus efficace qu'un tatouage non-sûr (à robustesse équivalente). Finalement, une implantation des codes traçants dans un contenu vidéo utilisant des méthodes sûres par étalement de spectre est proposée. Nous montrons alors l'efficacité de l'accusation des adversaires dans ce cadre pratique.

Avec l'avènement de l'informatique grand public, du réseau Internet et de la photographie numérique, de nombreuses images naturelles (acquises par un appareil photographique) circulent un peu partout dans le monde. Les images sont parfois modi- fiées de façon légitime ou illicite pour transmettre une information confidentielle ou secrète. Dans ce contexte, la sténographie constitue une méthode de choix pour trans- mettre et dissimuler de l'information. Par conséquent, il est nécessaire de détecter la présence d'informations cachées dans des images naturelles. L'objectif de cette thèse est de développer une nouvelle approche statistique pour effectuer cette détection avec la meilleure fiabilité possible. Dans le cadre de ces travaux, le principal enjeu est la maîtrise des probabilités d'erreur de détection. Pour cela, un modèle paramétrique localement non-linéaire d'une image naturelle est développé. Ce modèle est construit à partir de la physique du système optique d'acquisition et de la scène imagée. Quand les paramètres de ce modèle sont connus, un test statistique théorique est proposé et ses propriétés d'optimalité sont établies. La difficulté principale de la construction de ce test repose sur le fait que les pixels de l'image sont toujours quantifiés. Lorsqu'aucune information sur l'image n'est disponible, il est proposé de linéariser le modèle tout en respectant la contrainte sur la probabilité de fausse alarme et en garantissant une perte d'optimalité bornée. De nombreuses expérimentations sur des images réelles ont confirmé la pertinence de cette nouvelle approche.

Dans cette thèse, nous nous sommes intéressés au problème de codage de sources avec information adjacente au décodeur seulement. Plus précisément, nous avons considéré le cas où la distribution jointe entre la source et l'information adjacente n'est pas bien connue. Dans ce contexte, pour un problème de codage sans pertes, nous avons d'abord effectué une analyse de performance à l'aide d'outils de la théorie de l'information. Nous avons ensuite proposé un schéma de codage pratique efficace malgré le manque de connaissance sur la distribution de probabilité jointe. Ce schéma de codage s'appuie sur des codes LDPC non-binaires et sur un algorithme de type Espérance-Maximisation. Le problème du schéma de codage proposé, c'est que les codes LDPC non-binaires utilisés doivent être performants. C'est à dire qu'ils doivent être construits à partir de distributions de degrés qui permettent d'atteindre un débit proche des performances théoriques. Nous avons donc proposé une méthode d'optimisation des distributions de degrés des codes LDPC. Enfin, nous nous sommes intéressés à un cas de codage avec pertes. Nous avons supposé que le modèle de corrélation entre la source et l'information adjacente était décrit par un modèle de Markov caché à émissions Gaussiennes. Pour ce modèle, nous avons également effectué une analyse de performance, puis nous avons proposé un schéma de codage pratique. Ce schéma de codage s'appuie sur des codes LDPC non-binaires et sur une reconstruction MMSE. Ces deux composantes exploitent la structure avec mémoire du modèle de Markov caché. / In this thesis, we considered the problem of source coding with side information available at the decoder only. More in details, we considered the case where the joint distribution between the source and the side information is not perfectly known. In this context, we performed a performance analysis of the lossless source coding scheme. This performance analysis was realized from information theory tools. Then, we proposed a practical coding scheme able to deal with the uncertainty on the joint probability distribution. This coding scheme is based on non-binary LDPC codes and on an Expectation-Maximization algorithm. For this problem, a key issue is to design efficient LDPC codes. In particular, good code degree distributions have to be selected. Consequently, we proposed an optimization method for the selection of good degree distributions. To finish, we considered a lossy coding scheme. In this case, we assumed that the correlation channel between the source and the side information is described by a Hidden Markov Model with Gaussian emissions. For this model, we performed again some performance analysis and proposed a practical coding scheme. The proposed scheme is based on non-binary LDPC codes and on MMSE reconstruction using an MCMC method. In our solution, these two components are able to exploit the memory induced by the Hidden Markov model.