Return to search

Generalized Talagrand Inequality for Sinkhorn Distance using Entropy Power Inequality / Generaliserad Talagrand Inequality för Sinkhorn Distance med Entropy Power Inequality

Measure of distance between two probability distributions plays a fundamental role in statistics and machine learning. Optimal Transport (OT) theory provides such distance. Recent advance in OT theory is a generalization of classical OT with entropy regularized, called entropic OT. Despite its convenience in computation, it still lacks theoretical support. In this thesis, we study the connection between entropic OT and Entropy Power Inequality (EPI). First, we prove an HWI-type inequality making use of the infinitesimal displacement convexity of OT map. Second, we derive two Talagrand-type inequalities using the saturation of EPI that corresponds to a numerical term in our expression. We evaluate for a wide variety of distributions this term whereas for Gaussian and i.i.d. Cauchy distributions this term is found in explicit form. We show that our results extend previous results of Gaussian Talagrand inequality for Sinkhorn distance to the strongly log-concave case. Furthermore, we observe a dimensional measure concentration phenomenon using the new Talagrand-type inequality. / Mått på avstånd mellan två sannolikhetsfördelningar spelar en grundläggande roll i statistik och maskininlärning. Optimal transport (OT) teori ger ett sådant avstånd. Nyligen framsteg inom OT-teorin är en generalisering av klassisk OT med entropi-reglerad, kallad entropisk OT. Trots dess bekvämlighet i beräkning saknar det fortfarande teoretiskt stöd. I denna avhandling studerar vi sambandet mellan entropisk OT och Entropy Power Inequality (EPI). Först bevisar vi en ojämlikhet av HWI-typ med användning av OT-kartans oändliga förskjutningskonvexitet. För det andra härleder vi två Talagrand-typkvaliteter med mättnaden av EPI som motsvarar ett numeriskt uttryck vårt uttryck. Vi utvärderar för ett brett utbud av distributioner den här termen för Gauss och i.i.d. Cauchy-distributioner denna term finns oförklarlig form. Vi visar att våra resultat utökar tidigare resultat av GaussianTalagrand-ojämlikhet för Sinkhorn-avstånd till det starkt log-konkava fallet. Dessutom observerar vi ett dimensionellt mått koncentrationsfenomen mot den nya Talagrand-typen ojämlikhet.

Identiferoai:union.ndltd.org:UPSALLA1/oai:DiVA.org:kth-308676
Date January 2021
CreatorsWang, Shuchan
PublisherKTH, Skolan för elektroteknik och datavetenskap (EECS)
Source SetsDiVA Archive at Upsalla University
LanguageEnglish
Detected LanguageEnglish
TypeStudent thesis, info:eu-repo/semantics/bachelorThesis, text
Formatapplication/pdf
Rightsinfo:eu-repo/semantics/openAccess
RelationTRITA-EECS-EX ; 2021:893

Page generated in 0.0029 seconds