L'utilisation d'architectures neuronales profondes associée à des innovations spécifiques telles que les méthodes adversarielles, l’entraînement préalable sur de grands ensembles de données et l'estimation de l'information mutuelle a permis, ces dernières années, de progresser rapidement dans de nombreuses tâches de vision par ordinateur complexes telles que la classification d'images de catégories préalablement inconnues (apprentissage zéro-coups), la génération de scènes ou la classification multimodale. Malgré ces progrès, il n’est pas certain que les méthodes actuelles d’apprentissage de représentations suffiront à atteindre une performance équivalente au niveau humain sur des tâches visuelles arbitraires et, de fait, cela pose des questions quant à la direction de la recherche future. Dans cette thèse, nous nous concentrerons sur deux aspects des représentations qui semblent nécessaires pour atteindre de bonnes performances en aval pour l'apprentissage des représentations : la localité et la compositionalité. La localité peut être comprise comme la capacité d'une représentation à retenir des informations locales. Ceci sera pertinent dans de nombreux cas, et bénéficiera particulièrement à la vision informatique, domaine dans lequel les images naturelles comportent intrinsèquement des informations locales, par exemple des parties pertinentes d’une image, des objets multiples présents dans une scène... D'autre part, une représentation compositionnelle peut être comprise comme une représentation qui résulte d'une combinaison de parties plus simples. Les réseaux neuronaux convolutionnels sont intrinsèquement compositionnels, et de nombreuses images complexes peuvent être considérées comme la composition de sous-composantes pertinentes : les objets et attributs individuels dans une scène, les attributs sémantiques dans l'apprentissage zéro-coups en sont deux exemples. Nous pensons que ces deux propriétés détiennent la clé pour concevoir de meilleures méthodes d'apprentissage de représentations. Dans cette thèse, nous présentons trois articles traitant de la localité et/ou de la compositionnalité, et de leur application à l'apprentissage de représentations pour des tâches visuelles complexes. Dans le premier article, nous introduisons des méthodes de mesure de la localité et de la compositionnalité pour les représentations d'images, et nous démontrons que les représentations locales et compositionnelles sont plus performantes dans l'apprentissage zéro-coups. Nous utilisons également ces deux notions comme base pour concevoir un nouvel algorithme d'apprentissage des représentations qui atteint des performances de pointe dans notre cadre expérimental, une variante de l'apprentissage "zéro-coups" plus difficile où les informations externes, par exemple un pré-entraînement sur d'autres ensembles de données d'images, ne sont pas autorisées. Dans le deuxième article, nous montrons qu'en encourageant un générateur à conserver des informations locales au niveau de l'objet, à l'aide d'un module dit de similarité de graphes de scène, nous pouvons améliorer les performances de génération de scènes. Ce modèle met également en évidence l'importance de la composition, car de nombreux composants fonctionnent individuellement sur chaque objet présent. Pour démontrer pleinement la portée de notre approche, nous effectuons une analyse détaillée et proposons un nouveau cadre pour évaluer les modèles de génération de scènes. Enfin, dans le troisième article, nous montrons qu'en encourageant une forte information mutuelle entre les représentations multimodales locales et globales des images médicales en 2D et 3D, nous pouvons améliorer la classification et la segmentation des images. Ce cadre général peut être appliqué à une grande variété de contextes et démontre les avantages non seulement de la localité, mais aussi de la compositionnalité, car les représentations multimodales sont combinées pour obtenir une représentation plus générale. / The use of deep neural architectures coupled with specific innovations such as adversarial methods, pre-training on large datasets and mutual information estimation has in recent years allowed rapid progress in many complex vision tasks such as zero-shot learning, scene generation, or multi-modal classification. Despite such progress, it is still not clear if current representation learning methods will be enough to attain human-level performance on arbitrary visual tasks, and if not, what direction should future research take. In this thesis, we will focus on two aspects of representations that seem necessary to achieve good downstream performance for representation learning: locality and compositionality. Locality can be understood as a representation's ability to retain local information. This will be relevant in many cases, and will specifically benefit computer vision where natural images inherently feature local information, i.e. relevant patches of an image, multiple objects present in a scene... On the other hand, a compositional representation can be understood as one that arises from a combination of simpler parts. Convolutional neural networks are inherently compositional, and many complex images can be seen as composition of relevant sub-components: individual objects and attributes in a scene, semantic attributes in zero-shot learning are two examples. We believe both properties hold the key to designing better representation learning methods. In this thesis, we present 3 articles dealing with locality and/or compositionality, and their application to representation learning for complex visual tasks. In the first article, we introduce ways of measuring locality and compositionality for image representations, and demonstrate that local and compositional representations perform better at zero-shot learning. We also use these two notions as the basis for designing class-matching deep info-max, a novel representation learning algorithm that achieves state-of-the-art performance on our proposed "Zero-shot from scratch" setting, a harder zero-shot setting where external information, e.g. pre-training on other image datasets is not allowed. In the second article, we show that by encouraging a generator to retain local object-level information, using a scene-graph similarity module, we can improve scene generation performance. This model also showcases the importance of compositionality as many components operate individually on each object present. To fully demonstrate the reach of our approach, we perform detailed analysis, and propose a new framework to evaluate scene generation models. Finally, in the third article, we show that encouraging high mutual information between local and global multi-modal representations of 2D and 3D medical images can lead to improvements in image classification and segmentation. This general framework can be applied to a wide variety of settings, and demonstrates the benefits of not only locality, but also of compositionality as multi-modal representations are combined to obtain a more general one.

Il est bien connu que la fiction, alors qu'elle est distincte de la réalité, entretient avec elle des similitudes importantes. Quant aux contrefactuels, leur rapport à la réalité est lui aussi double : ils renvoient, certes, à des situations irréelles, mais aux situations irréelles les plus similaires µa la réalité. Cette perspective dominante repose cependant sur la notion de similitude, laquelle est non seulement évasive, mais variable. Une analyse plus poussée du rapport entre la fiction et la réalité d'une part, et entre les contrefactuels et la réalité d'autre part, est-elle possible ? Ce travail offre un cadre conceptuel qui permet une approche approfondie de ces rapports, en mettant l'accent sur leur dynamique. En développant, d'abord dans le cas de la psychologie de la fiction, ensuite dans le cas des contrefactuels, une représentation fine de l'état de ce rapport à un instant particulier, et une théorie de son changement, on se donne des outils pour comprendre non seulement les détails du rapport entre la fiction (respectivement les contrefactuels) et la réalité à un moment donné, mais également le développement antérieur qui a mené à la situation où ce rapport, avec ces propriétés, est à l'oeuvre.

Une nouvelle approche de la description des champs aléatoires sur le réseau entier $\nu$-dimensionnel $Z^\nu$ est présentée. Les champs al'eatoires sont décrits en terme de certaines fonctions de sous-ensembles de $Z^\nu$ , à savoir les $P$-fonctions, les $Q$-fonctions, les $H$-fonctions, les $Q$-systèmes, les $H$-systèmes et les systèmes ponctuels. La corrélation avec la description Gibbsienne classique est montrée. Une attention particulière est portée au cas quasilocal. Les champs aléatoires non-Gibbsiens sont aussi considérés. Un procédé général pour construire des champs aléatoires non-Gibbsiens est donné. La solution du problème de Dobrushin concernant la description d'un champ aléatoire par ses distributions conditionnelles ponctuelles est déduite de notre approche. Ensuite, le problème de l'estimation paramétrique pour les champs aléatoires de Gibbs est considéré. Le champ est supposé spécifié en terme d'un système ponctuel local invariant par translation. Un estimateur du système ponctuel est construit comme un rapport de certaines fréquences conditionnelles empiriques. Ses consistances exponentielle et $L^p$ uniformes sont démontrées. Finalement, le problème nonparamétrique de l'estimation d'un système ponctuel quasilocal est considéré. Un estimateur du système ponctuel est construit par la méthode de "sieves". Ses consistances exponentielle et $L^p$ sont prouvées dans des cadres différents. Les résultats sont valides indépendamment de la non-unicité et de la perte de l'invariance par translation.

Avec l'utilisation de plus en plus répandue de la simulation numérique dans de nombreuses branches de l'industrie, le calcul haute performance devient essentiel à la société. Si les plates-formes de calcul parallèle de plus en plus puissantes continuent à être construites, leur utilisation devient cependant de plus en plus un casse-tête. En effet, leur complexité croît avec la multiplication des ressources de calcul et de stockage impliquées, leurs fonctionnalités hétérogènes, et leur répartition non-uniforme. De nouveaux outils logiciels sont nécessaires pour faciliter l'exploitation de ces plates-formes. Je présente tout d'abord mes travaux visant à rendre plus accessibles et portables les mécanismes de communication développés par les constructeurs de réseaux haute performance pour le calcul. J'ai appliqué ce principe d'une part aux réseaux traditionnels de type Ethernet, et d'autre part aux communications entre processus locaux, afin d'améliorer les performances du passage de messages (MPI) sans dépendre de technologies matérielles spécialisées. J'explique ensuite comment faciliter la gestion des calculateurs hiérarchiques modernes. Il s'agit, d'une part, de modéliser ces plates-formes en représentant l'organisation des ressources de manière suffisamment simple pour masquer les détails techniques du matériel, et suffisamment précise pour permettre aux algorithmes de prendre des décisions de placement ou d'ordonnancement ; d'autre part, je propose des outils améliorant la gestion des architectures modernes où l'accès à la mémoire et aux périphériques n'est plus uniforme. Cela permet d'améliorer les performances de bibliothèques de calcul parallèle en tenant compte de la localité.

Cette thèse s'inscrit dans l'étude mathématique de la percolation, qui regroupe une famille de modèles présentant une transition de phase. Des avancées majeures au cours des quinze dernières années, notamment l'invention du SLE et la preuve de l'invariance conforme de la percolation de Bernoulli critique, nous permettent aujourd'hui d'avoir une image très complète de la percolation de Bernoulli sur le réseau triangulaire. Cependant, de nombreuses questions demeurent ouvertes, et ont motivé notre travail.La première d'entre elle est l'universalité de la percolation plane, qui affirme que les propriétés macroscopiques de la percolation plane critique ne devraient pas dépendre du réseau sous-jacent à sa définition. Nous montrons, dans le cadre de la percolation Divide and Color, un résultat qui va dans le sens de cette universalité et identifions, dans ce contexte, des phénomènes macroscopiques indépendants du réseau microscopique. Une version plus faible d'universalité est donnée par la théorie de Russo-Seymour-Welsh (RSW), et sa validité est connue pour la percolation de Bernoulli (sans dépendance) sur les réseaux plans suffisamment symétriques. Nous étudions de nouveaux arguments de type RSW pour des modèles de percolation avec dépendance. La deuxième question que nous avons abordée est celle de l'absence d'une composante connexe ouverte infinie au point critique, une question importante du point de vue physique, puisqu'elle traduit la continuité de la transition de phase. Dans deux travaux en collaboration avec Hugo Duminil-Copin et Vladas Sidoravicius, nous montrons que la transition de phase est continue pour la percolation de Bernoulli sur le graphe Z^2x{0,...,k}, et pour la percolation FK sur le réseau carré avec paramètre q inférieur ou égal à 4. Enfin, la dernière question qui nous a guidés est la localité du point critique : la donnée des boules de grands rayons d'un graphe suffit-elle à identifier avec une bonne précision la valeur du point critique? Dans un travail en collaboration avec Sébastien Martineau, nous répondons de manière affirmative à cette question dans le cadre des graphes de Cayley de groupes abéliens. / This thesis is part of the mathematical study of percolation theory, which includes a family of models with a phase transition. Major advances in the 2000s, including the invention of SLE and the proof of conformal invariance of critical Bernoulli percolation, provide us with a very complete picture of the Bernoulli percolation process on the triangular lattice. Fortunately, many questions remain open, and motivated our work.The first of these is the universality of planar percolation, which states that the macroscopic properties of critical planar percolation should not depend on the underlying graph. We study this question in the framework of Divide and Color percolation, and prove in this context a result that goes in the direction of universality. A weaker universality statement is given by the theory of Russo-Seymour-Welsh (RSW), which is known to hold for planar Bernoulli percolation (without dependence) on sufficiently symmetric graphs. We study new RSW-type arguments for percolation models with dependence.The second question is the absence of an infinite cluster at the critical point, an important question from a physical point of view, equivalent to the continuity of the phase transition. In two different joint works with Hugo Duminil-Copin and Vladas Sidoravicius, we show that the phase transition is continuous for Bernoulli percolation on the graph Z^2 x {0,...,k} and for FK percolation on the square lattice with parameter q smaller than or equal to 4.Finally, the last question that guided us is the locality of the critical point: is it possible to determine with good accuracy the critical value for Bernoulli percolation on a graph if we know only the balls with large radii? Jointly with Sébastien Martineau, we answer positively to this question in the framework of Cayley graphs of abelian groups.

Cette thèse par article se compose de quatre articles qui contribuent au domaine de l’apprentissage profond, en particulier dans la compréhension et l’apprentissage des ap- proches neuronales des systèmes de dialogue. Le premier article fait un pas vers la compréhension si les architectures de dialogue neuronal couramment utilisées capturent efficacement les informations présentes dans l’historique des conversations. Grâce à une série d’expériences de perturbation sur des ensembles de données de dialogue populaires, nous constatons que les architectures de dialogue neuronal couramment utilisées comme les modèles seq2seq récurrents et basés sur des transformateurs sont rarement sensibles à la plupart des perturbations du contexte d’entrée telles que les énoncés manquants ou réorganisés, les mots mélangés, etc. Le deuxième article propose d’améliorer la qualité de génération de réponse dans les systèmes de dialogue de domaine ouvert en modélisant conjointement les énoncés avec les attributs de dialogue de chaque énoncé. Les attributs de dialogue d’un énoncé se réfèrent à des caractéristiques ou des aspects discrets associés à un énoncé comme les actes de dialogue, le sentiment, l’émotion, l’identité du locuteur, la personnalité du locuteur, etc. Le troisième article présente un moyen simple et économique de collecter des ensembles de données à grande échelle pour modéliser des systèmes de dialogue orientés tâche. Cette approche évite l’exigence d’un schéma d’annotation d’arguments complexes. La version initiale de l’ensemble de données comprend 13 215 dialogues basés sur des tâches comprenant six domaines et environ 8 000 entités nommées uniques, presque 8 fois plus que l’ensemble de données MultiWOZ populaire. / This thesis by article consists of four articles which contribute to the field of deep learning, specifically in understanding and learning neural approaches to dialog systems. The first article takes a step towards understanding if commonly used neural dialog architectures effectively capture the information present in the conversation history. Through a series of perturbation experiments on popular dialog datasets, wefindthatcommonly used neural dialog architectures like recurrent and transformer-based seq2seq models are rarely sensitive to most input context perturbations such as missing or reordering utterances, shuffling words, etc. The second article introduces a simple and cost-effective way to collect large scale datasets for modeling task-oriented dialog systems. This approach avoids the requirement of a com-plex argument annotation schema. The initial release of the dataset includes 13,215 task-based dialogs comprising six domains and around 8k unique named entities, almost 8 times more than the popular MultiWOZ dataset. The third article proposes to improve response generation quality in open domain dialog systems by jointly modeling the utterances with the dialog attributes of each utterance. Dialog attributes of an utterance refer to discrete features or aspects associated with an utterance like dialog-acts, sentiment, emotion, speaker identity, speaker personality, etc. The final article introduces an embedding-free method to compute word representations on-the-fly. This approach significantly reduces the memory footprint which facilitates de-ployment in on-device (memory constraints) devices. Apart from being independent of the vocabulary size, we find this approach to be inherently resilient to common misspellings.