Cette these est consacree aux methodes geometriques dans l'optimisation, l'apprentissage et les reseaux neuronaux. Dans beaucoup de problemes de l'apprentissage (supervises et non supervises), de la reconnaissance des formes, et du groupage, il y a un besoin de tenir en compte de la structure interne (intrinseque) de l'espace fondamental, qui n'est pas toujours euclidien. Pour les varietes Riemanniennes nous construisons des algorithmes pour la methode de Newton, les methodes de gradients conjugues, et certaines methodes non-lisses d'optimisation comme r-algorithme. A cette fin nous developpons des methodes pour le calcul des geodesiques dans les sous-varietes bases sur des equations de Hamilton et l'integration symplectique. Apres nous construisons un nouveau type avec de la memoire associative neuronale capable de l'apprentissage non supervise et du groupage (clustering). Son apprentissage est base sur moyennage generalise dans les varietes de Grassmann. Future extension de cette memoire implique les machines a noyaux et transformations de l'espace implicites. Aussi nous considerons des algorithmes geometriques pour le traitement des signaux et le filtrage adaptatif. Les methodes proposees sont testees avec des exemples standard et avec des problemes reels de reconnaissance des images et du traitement des signaux. L'application des reseaux neurologiques proposes est demontree pour un projet reel complet de la reconnaissance des images chimiques (nez electronique).

Ce travail de thèse se situe dans le contexte de l'appariement d'images par difféomorphismes qui a été récemment développé dans le but d'applications à l'anatomie computationnelle et l'imagerie médicale. D'un point de vue mathématique, on utilise l'action de groupe de difféomorphismes de l'espace euclidien pour décrire la variabilité des formes biologiques. <br /><br />Le cas des images discontinues n'était compris que partiellement. La première contribution de ce travail est de traiter complètement le cas des images discontinues en considérant comme modèle d'image discontinues l'espace des fonctions à variations bornées. On apporte des outils techniques pour traiter les discontinuités dans le cadre d'appariement par difféomorphismes. Ces résultats sont appliqués à la formulation Hamiltonienne des géodésiques dans le cadre d'un nouveau modèle qui incorpore l'action d'un difféomorphisme sur les niveaux de grille de l'image pour prendre en compte un changement d'intensité. La seconde application permet d'étendre la théorie des métamorphoses développée par A.Trouvé et L.Younes aux fonctions discontinues. Il apparait que la géométrie de ces espaces est plus compliquée que pour des fonctions lisses.<br /><br />La seconde partie de cette thèse aborde des aspects plus probabilistes du domaine. On étudie une perturbation stochastique du système Hamiltonien pour le cas de particules (ou landmarks). D'un point de vue physique, on peut interpréter cette perturbation comme des forces aléatoires agissant sur les particules. Il est donc naturel de considérer ce modèle comme un premier modèle de croissance de forme ou au moins d'évolutions aléatoires de formes.<br /><br />On montre que les solutions n'explosent pas en temps fini presque sûrement et on étend ce modèle stochastique en dimension infinie sur un espace de Hilbert bien choisi (en quelque sorte un espace de Besov ou Sobolev sur une base de Haar). En dimension infinie la propriété précédente reste vraie et on obtient un important (aussi d'un point de vue numérique) résultat de convergence du cas des particules vers le cas de dimension infinie. Le cadre ainsi développé est suffisamment général pour être adaptable dans de nombreuses situations de modélisation.