Cette thèse est dédiée à l'étude des problèmes de transport optimal, alternatifs au problème de Monge-Kantorovich : ils apparaissent naturellement dans des applications pratiques, telles que la conception des réseaux de transport optimal ou la modélisation des problèmes de circulation urbaine. En particulier, nous considérons des problèmes où le coût du transport a une dèpendance non linèaire de la masse : typiquement dans ce type de problèmes, le côut pour déplacer une masse $m$ pour une longueur $\ell$ est $\varphi(m)\, \ell$, où $\varphi$ est une fonction assignée, obtenant ainsi un coût total de type $\sum\varphi(m) \ell$. \par Deux cas importants sont abordés en détail dans ce travail : le cas où la fonction $\varphi$ est subadditive (transport branché), de sorte que la masse a intérêt à voyager ensemble, de manière à réduire le coût total; le cas où $\varphi$ est superadditive (transport congestionné), où au contraire, la masse tend à diffuser autant que possible. \par Dans le cas du transport branché, nous introduisons deux nouveaux modèles: dans le premièr, le transport est décrit par des courbes de mesures de probabilité que minimisent une fonctionnelle de type géodésique (avec un coefficient que pénalise le mesures qui ne sont pas atomiques). Le second est plus dans l'esprit de la formulation de Benamou et Brenier pour les distances de Wasserstein : en particulier, le transport est décrit par paires de ``courbe de mesures--champ de vitesse'', liées par l'équation de continuité, qui minimisent une énergie adéquate (non convexe). Pour les deux modèles, on démontre l'existence de configurations minimales et l'équivalence avec d'autres formulations existantes dans la littèrature. \par En ce qui concerne le cas du transport congestionné, nous passons en revue deux modèles déjà existants, afin de prouver leur équivalence: alors que le premier de ces modèles peut être considéré comme une approche Lagrangienne du problème et il a des liens intéressants avec des questions d'équilibre pour la circulation urbaine, le second est un problème d'optimisation convexe avec contraintes de divergence. \par La preuve de l'équivalence entre les deux modèles constitue le corps principal de la deuxième partie de cette thèse et contient différents éléments d'intérêt, y compris: la théorie des flots des champs de vecteurs peu réguliers (DiPerna-Lions), la construction de Dacorogna et Moser pour les applications de transport et en particulier les résultats de régularité (que nous prouvons ici) pour une équation elliptique très dégénérés, qui ne semble pas avoir été beaucoup étudiée.

Cette étude a pour cadre l'analyse de mouvements fluides dans des séquences d'images et s'articule autour de deux axes. Nous traitons en premier lieu le problème de l'estimation du mouvement. Dans un contexte d'imagerie fluide, la luminance des images fait parfois apparaître de fortes distorsions spatiales et temporelles, rendant délicate l'utilisation de techniques standard issues de la Vision par Ordinateur, originalement conçues pour des mouvements rigides et reposant sur une hypothèse d'invariance de la fonction de luminance. Nous proposons un estimateur de mouvement modélisé au moyen d'une formulation énergétique et spécialement dédié à l'estimation du mouvement fluide. La fonctionnelle considérée est composée d'un terme d'attache aux données original issu de l'équation de continuité de la mécanique des fluides. Ce nouveau modèle de données, spécifié pour être aisément intégré dans un schéma multirésolution, est associé à une régularisation de type ``div-curl''. Les performances de cet estimateur sont expérimentalement démontrées sur des images synthétiques et réelles météorologiques. Une validation de la méthode sur un écoulement expérimental représentant une ``couche de mélange'' est par ailleurs présentée. L'intérêt de l'étude est en second lieu porté sur l'analyse d'un champ de déplacement préalablement estimé, relatif à un mouvement fluide. Nous proposons une méthode visant à extraire les vortex et puits/sources de l'écoulement en s'appuyant sur le modèle de Rankine. Ce problème est essentiel dans de nombreuses applications comme par exemple la détection d'importants événements météorologiques (dépressions, cellules convectives, ...) ou la caractérisation d'écoulements expérimentaux. La connaissance de telles structures autorise par ailleurs une représentation paramétrique de l'écoulement. La méthode que nous proposons s'appuie sur une représentation analytique du champ des vitesses e permet d'extraire d'autres informations pertinentes relatives à l'écoulement (fonctions de potentiels, décomposition selon Helmholtz de l'écoulement, points singuliers, ...). L'approche présentée sera expérimentalement étudiée sur des écoulement représentant divers phénomènes physiques.