Magnetic Resonance Imaging (MRI) is an essential healthcare technology, with diffusion MRI being a specialized technique. Diffusion MRI exploits the inherent diffusion of water molecules within the human body to produce a high-resolution tissue image. An MRI image contains information about a 3D volume in space, composed of 3D units called voxels. This thesis assumes the existence of a probability distribution for the diffusivity within a voxel, the diffusion tensor distribution (DTD), with the diffusivity described by a family of diffusion tensors. In 2D, these tensors can be described by 2x2 symmetric positive semidefinite matrices. The objective is to estimate the DTD of a voxel with neural networks for both 1D and 2D diffusion tensors. We assume the DTD to be a discrete distribution, with a finite set of diffusion tensors. The MRI signal is influenced by several experimental parameters, which for diffusion measurements are summarized in the measurement tensor B. To determine the diffusivity of a voxel, multiple measurement tensors are utilized, producing various MRI signals. From these signals, the network estimates the corresponding DTD of the voxel. The network seeks to employ the earth mover's distance (EMD) as its loss function, given the established use of EMD as a distance between probability distributions. Due to the difficulty of expressing the EMD as a differentiable loss function, the Sinkhorn distance, an entropic regularized approximation of the EMD, is used instead. Different network configurations are explored through simulations to identify optimal settings, assessed by the EMD loss and the closeness of the Sinkhorn loss to the EMD. The results indicate that the network achieves satisfactory accuracy when approximating DTDs with a small number of diffusivities, but struggles when the number increases. Future work could explore alternative loss functions and advanced neural network architectures. Despite the challenges encountered, this thesis offers relevant insight into the estimation of diffusion tensor distributions.

Recent years have witnessed tremendous success in using deep learning approaches to handle low-level vision problems. Most of the deep learning based methods address the low-level vision problem by training a neural network to approximate the mapping from the inputs to the desired ground truths. However, directly learning this mapping is usually difficult and cannot achieve ideal performance. Besides, under the setting of unsupervised learning, the general deep learning approach cannot be used. In this thesis, we investigate and address several problems in low-level vision using the proposed approaches. To learn a better mapping using the existing data, an indirect domain shift mechanism is proposed to add explicit constraints inside the neural network for single image dehazing. This allows the neural network to be optimized across several identified neighbours, resulting in a better performance. Despite the success of the proposed approaches in learning an improved mapping from the inputs to the targets, three problems of unsupervised learning is also investigated. For unsupervised monocular depth estimation, a teacher-student network is introduced to strategically integrate both supervised and unsupervised learning benefits. The teacher network is formed by learning under the binocular depth estimation setting, and the student network is constructed as the primary network for monocular depth estimation. In observing that the performance of the teacher network is far better than that of the student network, a knowledge distillation approach is proposed to help improve the mapping learned by the student. For single image dehazing, the current network cannot handle different types of haze patterns as it is trained on a particular dataset. The problem is formulated as a multi-domain dehazing problem. To address this issue, a test-time training approach is proposed to leverage a helper network in assisting the dehazing network adapting to a particular domain using self-supervision. In lossy compression system, the target distribution can be different from that of the source and ground truths are not available for reference. Thus, the objective is to transform the source to target under a rate constraint, which generalizes the optimal transport. To address this problem, theoretical analyses on the trade-off between compression rate and minimal achievable distortion are studied under the cases with and without common randomness. A deep learning approach is also developed using our theoretical results for addressing super-resolution and denoising tasks. Extensive experiments and analyses have been conducted to prove the effectiveness of the proposed deep learning based methods in handling the problems in low-level vision. / Thesis / Doctor of Philosophy (PhD)

Dans cette thèse, notre but est de donner un cadre numérique général pour approcher les solutions des problèmes du transport optimal (TO). L’idée générale est d’introduire une régularisation entropique du problème initial. Le problème régularisé correspond à minimiser une entropie relative par rapport à une mesure de référence donnée. En effet, cela équivaut à trouver la projection d’un couplage par rapport à la divergence de Kullback-Leibler. Cela nous permet d’utiliser l’algorithme de Bregman/Dykstra et de résoudre plusieurs problèmes variationnels liés au TO. Nous nous intéressons particulièrement à la résolution des problèmes du transport optimal multi-marges (TOMM) qui apparaissent dans le cadre de la dynamique des fluides (équations d’Euler incompressible à la Brenier) et de la physique quantique (la théorie de fonctionnelle de la densité ). Dans ces cas, nous montrons que la régularisation entropique joue un rôle plus important que de la simple stabilisation numérique. De plus, nous donnons des résultats concernant l’existence des transports optimaux (par exemple des transports fractals) pour le problème TOMM. / In this thesis we aim at giving a general numerical framework to approximate solutions to optimal transport (OT) problems. The general idea is to introduce an entropic regularization of the initialproblems. The regularized problem corresponds to the minimization of a relative entropy with respect a given reference measure. Indeed, this is equivalent to find the projection of the joint coupling with respect the Kullback-Leibler divergence. This allows us to make use the Bregman/Dykstra’s algorithm and solve several variational problems related to OT. We are especially interested in solving multi-marginal optimal transport problems (MMOT) arising in Physics such as in Fluid Dynamics (e.g. incompressible Euler equations à la Brenier) and in Quantum Physics (e.g. Density Functional Theory). In these cases we show that the entropic regularization plays a more important role than a simple numerical stabilization. Moreover, we also give some important results concerning existence and characterization of optimal transport maps (e.g. fractal maps) for MMOT .

Cette thèse contient deux sujets différents la simulation d'événements rares et un transport d'homotopie pour l'estimation du modèle de volatilité stochastique, dont chacun est couvert dans une partie distincte de cette thèse. Les méthodes de particules, qui généralisent les modèles de Markov cachés, sont largement utilisées dans différents domaines tels que le traitement du signal, la biologie, l'estimation d'événements rares, la finance, etc. Il existe un certain nombre d'approches basées sur les méthodes de Monte Carlo, tels que Markov Chain Monte Carlo (MCMC), Monte Carlo séquentiel (SMC). Nous appliquons des algorithmes SMC pour estimer les probabilités de défaut dans un processus d'intensité basé sur un processus stable afin de calculer un ajustement de valeur de crédit (CV A) avec le wrong way risk (WWR). Nous proposons une nouvelle approche pour estimer les événements rares, basée sur la génération de chaînes de Markov en simulant le système hamiltonien. Nous démontrons les propriétés, ce qui nous permet d'avoir une chaîne de Markov ergodique et nous montrons la performance de notre approche sur l'exemple que nous rencontrons dans la valorisation des options. Dans la deuxième partie, nous visons à estimer numériquement un modèle de volatilité stochastique, et à le considérer dans le contexte d'un problème de transport, lorsque nous aimerions trouver «un plan de transport optimal» qui représente la mesure d'image. Dans un contexte de filtrage, nous le comprenons comme le transport de particules d'une distribution antérieure à une distribution postérieure dans le pseudo-temps. Nous avons également proposé de repondérer les particules transportées, de manière à ce que nous puissions nous diriger vers la zone où se concentrent les particules de poids élevé. Nous avons montré sur l'exemple du modèle de la volatilité stochastique de Stein-Stein l'application de notre méthode et illustré le biais et la variance. / The thesis introduces simulation techniques that are based on particle methods and it consists of two parts, namely rare event simulation and a homotopy transport for stochastic volatility model estimation. Particle methods, that generalize hidden Markov models, are widely used in different fields such as signal processing, biology, rare events estimation, finance, etc. There are a number of approaches that are based on Monte Carlo methods that allow to approximate a target density such as Markov Chain Monte Carlo (MCMC), sequential Monte Carlo (SMC). We apply SMC algorithms to estimate default probabilities in a stable process based intensity process to compute a credit value adjustment (CV A) with a wrong way risk (WWR). We propose a novel approach to estimate rare events, which is based on the generation of Markov Chains by simulating the Hamiltonian system. We demonstrate the properties, that allows us to have ergodic Markov Chain and show the performance of our approach on the example that we encounter in option pricing.In the second part, we aim at numerically estimating a stochastic volatility model, and consider it in the context of a transportation problem, when we would like to find "an optimal transport map" that pushes forward the measure. In a filtering context, we understand it as the transportation of particles from a prior to a posterior distribution in pseudotime. We also proposed to reweight transported particles, so as we can direct to the area, where particles with high weights are concentrated. We showed the application of our method on the example of option pricing with Stein­Stein stochastic volatility model and illustrated the bias and variance.

L'objective de la thèse est de comprendre s'il est envisageable d'utiliser les modèles qui décrivent la croissance tumorale (systèmes d'EDP) pour des applications médicales. En particulier, les modèles paramétriques sont calibrés en utilisant les données d'imagerie médicale d'un patient. Une fois calibré, le modèle donne une représentation de la croissance tumorale. Des techniques différentes sont proposées. Un approche classique basé sur la sensibilité est comparé à un approche réduit basé sur la Proper Orthogonal Decomposition. Des cas réalistes concernants l'étude des métastases dans les poumons ont été mis à point en collaboration avec l'Institut Bergonié. Des exigence pratique de traitement de l'image ont motivé l'étude des méthodes de recalage non-rigide des images et parmi ceux là, le transport optimale. Un étude de la numérique du problème de Monge-Kantorovich est décrit, avec des cas test numérique. Des applications concernants l'application de la distance de Wasserstein à la réduction de modèle sont envisagées. / The main purpose of this work was to understand if and wether PDE based modeling of tumor growth may be used in realistic applications. Models proposed in the literature are parametric. The goal is to identify parameters in such a way that the pathology evolution of a given patient is recovered. The identification is performed by means of inverse problems, taking medical images as data.Different techniques were tested: a classical Sensitivity approach is compared to a reduced one, based on Proper Orthogonal Decomposition. Realistic cases were set up in collaboration with Institut Bergonié, concerning lung metastasis evolution.Practical needs when dealing with medical images pushed us to interest to Optimal transport theory and Monge-Kantorovich problem. A numerical study was carried out and a family of lagrangian methods proposed. A perspective on the using of Wasserstein distance in model reduction concludes this work.

Cette thèse est consacrée à l'analyse mathématique et numérique pour les problèmes de transport partiel optimal et d'appariement avec contrainte (constrained matching problem). Ces deux problèmes présentent de nouvelles quantités inconnues, appelées parties actives. Pour le transport partiel optimal avec des coûts qui sont donnés par la distance finslerienne, nous présentons des formulations équivalentes caractérisant les parties actives, le potentiel de Kantorovich et le flot optimal. En particulier, l'EDP de condition d'optimalité permet de montrer l'unicité des parties actives. Ensuite, nous étudions en détail des approximations numériques pour lesquelles la convergence de la discrétisation et des simulations numériques sont fournies. Pour les coûts lagrangiens, nous justifions rigoureusement des caractérisations de solution ainsi que des formulations équivalentes. Des exemples numériques sont également donnés. Le reste de la thèse est consacré à l'étude du problème d'appariement optimal avec des contraintes pour le coût de la distance euclidienne. Ce problème a un comportement différent du transport partiel optimal. L'unicité de solution et des formulations équivalentes sont étudiées sous une condition géométrique. La convergence de la discrétisation et des exemples numériques sont aussi établis. Les principaux outils que nous utilisons dans la thèse sont des combinaisons des techniques d'EDP, de la théorie du transport optimal et de la théorie de dualité de Fenchel--Rockafellar. Pour le calcul numérique, nous utilisons des méthodes du lagrangien augmenté. / The manuscript deals with the mathematical and numerical analysis of the optimal partial transport and optimal constrained matching problems. These two problems bring out new unknown quantities, called active submeasures. For the optimal partial transport with Finsler distance costs, we introduce equivalent formulations characterizing active submeasures, Kantorovich potential and optimal flow. In particular, the PDE of optimality condition allows to show the uniqueness of active submeasures. We then study in detail numerical approximations for which the convergence of discretization and numerical simulations are provided. For Lagrangian costs, we derive and justify rigorously characterizations of solution as well as equivalent formulations. Numerical examples are also given. The rest of the thesis presents the study of the optimal constrained matching with the Euclidean distance cost. This problem has a different behaviour compared to the partial transport. The uniqueness of solution and equivalent formulations are studied under geometric condition. The convergence of discretization and numerical examples are also indicated. The main tools which we use in the thesis are some combinations of PDE techniques, optimal transport theory and Fenchel--Rockafellar dual theory. For numerical computation, we make use of augmented Lagrangian methods.

L'objet de cette thèse est d'étudier la théorie du transport optimal sur un espace de Wiener abstrait. Les résultats qui se trouvent dans quatre principales parties, portent :Sur la convexité de l'entropie relative. On prolongera des résultats connus en dimension finie, sur l'espace de Wiener muni d'une norme uniforme, à savoir que l'entropie relative est (au moins faiblement) 1-convexe le long des géodésiques induites par un transport optimal sur l'espace de Wiener.Sur les mesures à densité logarithmiquement concaves. Le premier des résultats importants consiste à montrer qu'une inégalité de type Harnack est vraie pour le semi-groupe induit par une telle mesure sur l'espace de Wiener. Le second des résultats obtenus nous fournit une inégalité en dimension finie (mais indépendante de la dimension), contrôlant la différence de deux applications de transport optimal.Sur le problème de Monge. On s'intéressera au problème de Monge sur l'espace de Wiener, muni de plusieurs normes : des normes à valeurs finies, ou encore la pseudo-norme de Cameron-Martin.Sur l'équation de Monge-Ampère. Grâce aux inégalités obtenues précédemment, nous serons en mesure de construire des solutions fortes de l'équation de Monge-Ampère (induite par le coût quadratique) sur l'espace de Wiener, sous de faibles hypothèses sur les densités des mesures considérées / The aim of this PhD is to study the optimal transportation theory in some abstract Wiener space. You can find the results in four main parts and they are aboutThe convexity of the relative entropy. We will extend the well known results in finite dimension to the Wiener space, endowed with the uniform norm. To be precise the relative entropy is (at least weakly) geodesically 1-convex in the sense of the optimal transportation in the Wiener space.The measures with logarithmic concave density. The first important result consists in showing that the Harnack inequality holds for the semi-group induced by such a measure in the Wiener space. The second one provides us a finite dimensional and dimension-free inequality which gives estimate on the difference between two optimal maps.The Monge Problem. We will be interested in the Monge Problem on the Wiener endowed with different norms: either some finite valued norms or the pseudo-norm of Cameron-Martin.The Monge-Ampère equation. Thanks to the inequalities obtained above, we will be able to build strong solutions of the Monge-Ampère (those which are induced by the quadratic cost) equation on the Wiener space, provided the considered measures satisfy weak conditions

L’objectif central de la thèse est d’étudier diverses mesures du risque de modèle, exprimées en terme monétaire, qui puissent être appliquées de façon cohérente à une collection hétérogène de produits financiers. Les deux premiers chapitres traitent cette problématique, premièrement d’un point de vue théorique, ensuite en menant un étude empirique centrée sur le marché du gaz naturel. Le troisième chapitre se concentre sur une étude théorique du risque dit de base (en anglais basis risk). Dans le premier chapitre, nous nous sommes intéressés à l’évaluation de produits financiers complexes, qui prend en compte le risque de modèle et la disponibilité dans le marché de produits dérivés basiques, appelés aussi vanille. Nous avons en particulier poursuivi l’approche du transport optimal (connue dans la littérature) pour le calcul des bornes de prix et des stratégies de sur (sous)-couverture robustes au risque de modèle. Nous reprenons en particulier une construction de probabilités martingales sous lesquelles le prix d’une option exotique atteint les dites bornes de prix, en se concentrant sur le cas des martingales positives. Nous mettons aussi en évidence des propriétés significatives de symétrie dans l’étude de ce problème. Dans le deuxième chapitre, nous approchons le problème du risque de modèle d’un point de vue empirique, en étudiant la gestion optimale d’une unité de gaz naturel et en quantifiant l’effet de ce risque sur sa valeur optimale. Lors de cette étude, l’évaluation de l’unité de stockage est basée sur le prix spot, alors que sa couverture est réalisée avec des contrats à termes. Comme mentionné auparavant, le troisième chapitre met l’accent sur le risque de base, qui intervient lorsque l’on veut couvrir un actif conditionnel basé sur un actif non traité (par exemple la température) en se servant d’un portefeuille constitué d’actifs traités sur le marché. Un critère de couverture dans ce contexte est celui de la minimisation de la variance qui est étroitement lié à la décomposition dite de Föllmer-Schweizer. Cette décomposition peut être déduite de la résolution d’une certaine équation différentielle stochastique rétrograde (EDSR) dirigée par une martingale éventuellement à sauts. Lorsque cette martingale est un mouvement brownien standard, les EDSR sont fortement associées aux EDP paraboliques semi linéaires. Dans le cas général nous formulons un problème déterministe qui étend les EDPs mentionnées. Nous appliquons cette démarche à l’important cas particulier de la décomposition de Föllmer-Schweizer, dont nous donnons des expressions explicites de la décomposition du payoff d’une option lorsque les sous-jacents sont exponentielles de processus additifs. / The main objective of this thesis is the study of the model risk and its quantification through monetary measures. On the other hand we expect it to fit a large set of complex (exotic) financial products. The first two chapters treat the model risk problem both from the empirical and the theoretical point of view, while the third chapter concentrates on a theoretical study of another financial risk called basis risk. In the first chapter of this thesis, we are interested in the model-independent pricing and hedging of complex financial products, when a set of standard (vanilla) products are available in the market. We follow the optimal transport approach for the computation of the option bounds and the super (sub)-hedging strategies. We characterize the optimal martingale probability measures, under which the exotic option price attains the model-free bounds; we devote special interest to the case when the martingales are positive. We stress in particular on the symmetry relations that arise when studying the option bounds. In the second chapter, we approach the model risk problem from an empirical point of view. We study the optimal management of a natural gas storage and we quantify the impact of that risk on the gas storage value. As already mentioned, the last chapter concentrates on the basis risk, which is the risk that arises when one hedges a contingent claim written on a non-tradable but observable asset (e.g. the temperature) using a portfolio of correlated tradable assets. One hedging criterion is the mean-variance minimization, which is closely related to the celebrated Föllmer-Schweizer decomposition. That decomposition can be deduced from the resolution of a special Backward Stochastic Differential Equations (BSDEs) driven by a càdlàg martingale. When this martingale is a standard Brownian motion, the related BSDEs are strongly related to semi-linear parabolic PDEs. In that chapter, we formulate a deterministic problem generalizing those PDEs to the general context of martingales and we apply this methodology to discuss some properties of the Föllmer-Schweizer decomposition. We also give an explicit expression of such decomposition of the option payoff when the underlying prices are exponential of additives processes.

Cette thèse traite de plusieurs sujets d'analyse dans les espaces métriques mesurés, en lien avec le transport optimal et des conditions de courbure-dimension. Nous considérons en particulier les équations de continuité dans ces espaces, du point de vue de fonctionnelles continues sur les espaces de Sobolev, et du point de vue de la dualité avec les courbes absolument continues dans l'espace de Wasserstein. Sous une condition de courbure-dimension, mais sans condition de doublement de mesure ou d'inégalité de Poincaré, nous montrons également l'identification des p-gradients faibles. Nous étudions ensuite les espaces de Sobolev sur le produit tordu de l'ensemble des réels et d'un espace métrique mesuré. En particulier, nous montrons la propriété Sobolev-à-Lipschitz sous une certaine condition de courbure-dimension. Enfin, sous une telle condition et dans le cadre d'une théorie non-lisse de Bakry-Emery, nous obtenons une inégalité améliorée de Bochner et proposons une définition du N-tenseur de Ricci. / This thesis concerns in some topics on calculus in metric measure spaces, in connection with optimal transport theory and curvature-dimension conditions. We study the continuity equations on metric measure spaces, in the viewpoint of continuous functionals on Sobolev spaces, and in the viewpoint of the duality with respect to absolutely continuous curves in the Wasserstein space. We study the Sobolev spaces of warped products of a real line and a metric measure space. We prove the 'Pythagoras theorem' for both cartesian products and warped products, and prove Sobolev-to-Lipschitz property for warped products under a certain curvature-dimension condition. We also prove the identification of p-weak gradients under curvature-dimension condition, without the doubling condition or local Poincaré inequality. At last, using the non-smooth Bakry-Emery theory on metric measure spaces, we obtain a Bochner inequality and propose a definition of N-Ricci tensor.

Ce mémoire s'adresse au problème de traduction de domaine non-supervisée. La traduction non-supervisée cherche à traduire un domaine, le domaine source, à un domaine cible sans supervision. Nous étudions d'abord le problème en utilisant le formalisme du transport optimal. Dans un second temps, nous étudions le problème de transfert de sémantique à haut niveau dans les images en utilisant les avancés en apprentissage de représentations et de transfert d'apprentissages développés dans la communauté d'apprentissage profond. Le premier chapitre est dévoué à couvrir les bases des concepts utilisés dans ce travail. Nous décrivons d'abord l'apprentissage de représentation en incluant la description de réseaux de neurones et de l'apprentissage supervisé et non supervisé. Ensuite, nous introduisons les modèles génératifs et le transport optimal. Nous terminons avec des notions pertinentes sur le transfert d'apprentissages qui seront utiles pour le chapitre 3. Le deuxième chapitre présente \textit{Neural Wasserstein Flow}. Dans ce travail, nous construisons sur la théorie du transport optimal et démontrons que les réseaux de neurones peuvent être utilisés pour apprendre des barycentres de Wasserstein. De plus, nous montrons que les réseaux de neurones peuvent amortir n'importe quel barycentre, permettant d'apprendre une interpolation continue. Nous montrons aussi comment utiliser ces concepts dans le cadre des modèles génératifs. Finalement, nous montrons que notre approche permet d'interpoler des formes et des couleurs. Dans le troisième chapitre, nous nous attaquons au problème de transfert de sémantique haut niveau dans les images. Nous montrons que ceci peut être obtenu simplement avec un GAN conditionné sur la représentation apprise par un réseau de neurone. Nous montrons aussi comment ce processus peut être rendu non-supervisé si la représentation apprise est un regroupement. Finalement, nous montrons que notre approche fonctionne sur la tâche de transfert de MNIST à SVHN. Nous concluons en mettant en relation les deux contributions et proposons des travaux futures dans cette direction. / This thesis is concerned with the problem of unsupervised domain translation. Unsupervised domain translation is the task of transferring one domain, the source domain, to a target domain. We first study this problem using the formalism of optimal transport. Next, we study the problem of high-level semantic image to image translation using advances in representation learning and transfer learning. The first chapter is devoted to reviewing the background concepts used in this work. We first describe representation learning including a description of neural networks and supervised and unsupervised representation learning. We then introduce generative models and optimal transport. We finish with the relevant notions of transfer learning that will be used in chapter 3. The second chapter presents Neural Wasserstein Flow. In this work, we build on the theory of optimal transport and show that deep neural networks can be used to learn a Wasserstein barycenter of distributions. We further show how a neural network can amortize any barycenter yielding a continuous interpolation. We also show how this idea can be used in the generative model framework. Finally, we show results on shape interpolation and colour interpolation. In the third chapter, we tackle the task of high level semantic image to image translation. We show that high level semantic image to image translation can be achieved by simply learning a conditional GAN with the representation learned from a neural network. We further show that we can make this process unsupervised if the representation learning is a clustering. Finally, we show that our approach works on the task of MNIST to SVHN.