La thèse est constituée de cinq chapitres. Le premier chapitre est consacré à étudier le sous-différentiel de Hölder ainsi que le cône normal de Hölder. Nous établissons différentes règles de calcul pour ce type de sous-différentiel. La relation entre le sous-différentiel de Hölder de la fonction distance et le cône normal de Hölder d'un ensemble S en un point x est également traitée dans le cas où x est dans S ou en dehors de S. Le deuxième chapitre étudie les fonctions inférieurement $s$-régulières dans un espace de Banach. Cette classe de fonctions est une extension de celle dite "Primal lower nice functions" (pln en abrégé), introduite par R.A. Poliquin dans les espaces de dimension finie. Le but de cette partie est de donner dans le contexte d'espaces Banachiques plus généraux, une caractérisation sous-différentielle de ces fonctions ainsi que l'égalité avec d'autres sous-différentiels connus. Nous nous intéressons dans le troisième chapitre à l'étude des propriétés de différentiabilité de l'enveloppe de Moreau d'une fonction inférieurement $s$-régulière. Nous établissons entre autres, sous des conditions assez générales, que l'enveloppe de Moreau d'une telle fonction est de classe C^{1,alpha} et que l'application proximale associée est Höldérienne.Dans les chapitres 4 et 5, nous obtenons des résultats d'existence de solutions d'inégalités variationnelles. Nous considérons le cas d'inclusion différentielle associée au sous-différentiel d'une fonction plr avec une perturbation. Le cas d'inclusion différentielle gouvernée par le cône normal d'un ensemble prox-régulier est aussi étudié. / The thesis contains five chapters. The first chapter is devoted to study the Hölder subdifferential and the Hölder normal cone. We establish different calculus rules for this type of subdifferential. The relationship between the Hölder subdifferential of the distance function and the Hölder normal cone of a set S at a point x is also studied in the case where either x is in S or outside of S. The second chapter studies the s-lower regular functions in a Banach space. This class of functions is an extension of the Primal lower nice functions ( pln for short) introduced by R.A. Poliquin in finite dimensional spaces. The purpose of this section is to establish in the context of general Banach spaces, a subdifferential characterization of these functions as well as the equality with other known subdifferentials. We are interested in the third chapter in the study of differentiability properties of the Moreau envelope associated to an s-lower regular function. We show, under enough general conditions that, the Moreau envelope of such functions is of class C^{1,alpha} and the associated proximal mapping is Hölderian. In chapters 4 and 5, we obtain existence results of solution of variational inequalities. We consider the case of differential inclusion associated to plr functions with single-valued perturbation. The case of differential inclusion governed by the normal cone of prox-regular sets is also studied.

Ce document de synthèse s'articule autour de l'analyse convexe, de l'analyse quasi-convexe et des applications en optimisation. Dans le premier domaine on aborde les thèmes de la continuité, de la différentiabilité et des critères de coïncidence pour les fonctions convexes, puis la convexification des fonctions semi-continues inférieurement. Pour l'étude des fonctions quasi-convexes deux approches sont adoptées : une approche analytique, via un sous-différentiel généralisé, et une approche géométrique, basée sur les normales aux tranches. La dernière partie est consacrée à des applications à l'intégration d'opérateurs multivoques, aux inéquations variationnelles et à des problèmes d'optimisation multicritères en dimension finie et infinie. Parmi les nouveautés de ce travail, on trouve la notion de monotonie fortement cyclique, qui caractérise le sous-différentiel d'une fonction convexe dont la restriction à son domaine est continue, la quasi-monotonie cyclique, qui est une propriété intrinsèque du sous-différentiel d'une fonction quasi-convexe avec des applications importantes en économie mathématique, et la notion de quasi-monotonie propre, qui caractérise les opérateurs pour lesquels l'inéquation variationnelle associée a toujours des solutions sur toute sous-partie convexe et faiblement compacte de leur domaine. Notons encore une nouvelle caractérisation de la propriété de Radon-Nikodym, et une extension à la dimension infinie d'un résultat de Janin concernant l'intégration d'un opérateur maximal cycliquement sous-monotone, résultat qui généralise le théorème classique de Rockafellar pour les opérateurs maximaux cycliquement monotones.

Ce travail est divisé en deux parties: Dans la première partie, on présente un résultat d'intégration dans les espaces localement convexes valable pour une longe classe des fonctions non-convexes. Cela nous permet de récupérer l'enveloppe convexe fermée d'une fonction à partir du sous-différentiel convexe de cette fonction. Motivé par ce résultat, on introduit la classe des espaces ``Subdifferential Dense Primal Determined'' (SDPD). Ces espaces jouissent des conditions nécessaires permettant d'appliquer le résultat ci-dessus. On donne aussi une interprétation géométrique de ces espaces, appelée la Propriété Radon-Nikod'ym de Faces (FRNP). Dans la seconde partie, on étudie dans le contexte d'espaces d'Hilbert, la relation entre la lissité de la frontière d'un ensemble prox-régulier et la lissité de sa projection métrique. On montre que si un corps fermé possède une frontière $mathcal{C}^{p+1}$-lisse (avec $pgeq 1$), alors sa projection métrique est de classe $mathcal{C}^p$ dans le tube ouvert associé à sa fonction de prox-régularité. On établit également une version locale du même résultat reliant la lissité de la frontière autour d'un point à la prox-régularité en ce point. On étudie par ailleurs le cas où l'ensemble est lui-même une $mathcal{C}^{p+1}$-sous-variété. Finalement, on donne des réciproques de ces résultats. / This work is divided in two parts: In the first part, we present an integration result in locally convex spaces for a large class of nonconvex functions which enables us to recover the closed convex envelope of a function from its convex subdifferential. Motivated by this, we introduce the class of Subdifferential Dense Primal Determined (SDPD) spaces, which are those having the necessary condition which allows to use the above integration scheme, and we study several properties of it in the context of Banach spaces. We provide a geometric interpretation of it, called the Faces Radon-Nikod'ym property. In the second part, we study, in the context of Hilbert spaces, the relation between the smoothness of the boundary of a prox-regular set and the smoothness of its metric projection. We show that whenever a set is a closed body with a $mathcal{C}^{p+1}$-smooth boundary (with $pgeq 1$), then its metric projection is of class $mathcal{C}^{p}$ in the open tube associated to its prox-regular function. A local version of the same result is established as well, namely, when the smoothness of the boundary and the prox-regularity of the set are assumed only near a fixed point. We also study the case when the set is itself a $mathcal{C}^{p+1}$-submanifold. Finally, we provide converses for these results.

Les propriétés des ensembles localement prox-réguliers ont été étudiées par R.A. Poliquin, R.T. Rockafellar et L. Thibault. Le concept de fonction ''primal lower nice'' a été introduit en dimension finie par R.A. Poliquin et étendu au cadre Hilbertien par A.B. Levy, R.A. Poliquin et L. Thibault. Dans cette thèse, la première partie est consacrée à une étude des outils et des objets géométriques de l'Analyse non lisse tels que les fonctions primal lower nice et les ensembles localement prox-réguliers. On donnera une définition quantifiée de la prox-régularité locale. La deuxième partie établit des résultats d'existence et d'unicité de solutions d'inéquations variationnelles se présentant sous forme d'inclusions différentielles associées au cône normal d'un ensemble localement prox-régulier. / The properties of locally prox-regular sets have been studied by R.A. Poliquin, R.T. Rockafellar and L. Thibault. R.A. Poliquin also introduced the concept of ``primal lower nice function. This dissertation is devoted, on one hand to the study of primal lower nice functions and locally prox-regular sets and, on the other hand, to show existence and uniqueness of solutions of differential variational inequalities involwing such sets. Concerning the first part, we introduce a quantified viewpoint of local-prox-regularity and establish a series of characterizations for set satisfying this property. In the second part, we study differential variational inequalities with locally prox-regular sets and we show the relevance of our quantified viewpoint to prove existence results of solutions.

Le but de cette thèse est d'étudier les trois problèmes suivantes : 1) On s'intéresse à la stabilité des cônes normaux et des sous-différentiels via deux types de convergence d'ensembles et de fonctions : La convergence au sens de Mosco et celle d'Attouch-Wets. Les résultats obtenus peuvent être vus comme une extension du théorème d'Attouch aux fonctions non nécessairement convexes sur des espaces de Banach localement uniformément convexes. 2) Pour une bornologie β donnée sur un espace de Banach X, on étudie la validité de la formule suivante (…). Ici Tβ(C; x) et Tc(C; x) désignent le β -cône tangent et le cône tangent de Clarke à C en x. On montre que si, X x X est ∂β-« trusted » alors cette formule est valable pour tout ensemble fermé non vide C ⊂ X et x ∈ C. Cette classe d'espaces contient les espaces ayant une norme équivalent β-différentiable, etplus généralement les espaces possédant une fonction "bosse" lipschitzienne et β-différentiable). Comme conséquence, on obtient que pour la bornologie de Fréchet, cette formule caractérise les espaces d'Asplund. 3) On examine la convexité des ensembles de Chebyshev. Il est bien connu que, dans un espace normé réflexif ayant la propriété Kadec-Klee, tout ensemble de Chebyshev faiblement fermé est convexe. On démontre que la condition de faible fermeture peut être remplacée par la fermeture faible locale, c'est-à-dire pour tout x ∈ C il existe ∈ > 0 tel que C ∩ B(x, ε) est faiblement fermé. On montre aussi que la propriété Kadec-Klee n'est plus exigée lorsque l'ensemble de Chebyshev est représenté comme une union d'ensembles convexes fermés. / The aim of this thesis is to study the following three problems: 1) We are concerned with the behavior of normal cones and subdifferentials with respect to two types of convergence of sets and functions: Mosco and Attouch-Wets convergences. Our analysis is devoted to proximal, Fréchet, and Mordukhovich limiting normal cones and subdifferentials. The results obtained can be seen as extensions of Attouch theorem to the context of non-convex functions on locally uniformly convex Banach space. 2) For a given bornology β on a Banach space X we are interested in the validity of the following "lim inf" formula (…).Here Tβ(C; x) and Tc(C; x) denote the β-tangent cone and the Clarke tangent cone to C at x. We proved that it holds true for every closed set C ⊂ X and any x ∈ C, provided that the space X x X is ∂β-trusted. The trustworthiness includes spaces with an equivalent β-differentiable norm or more generally with a Lipschitz β-differentiable bump function. As a consequence, we show that for the Fréchet bornology, this "lim inf" formula characterizes in fact the Asplund property of X. 3) We investigate the convexity of Chebyshev sets. It is well known that in a smooth reflexive Banach space with the Kadec-Klee property every weakly closed Chebyshev subset is convex. We prove that the condition of the weak closedness can be replaced by the local weak closedness, that is, for any x ∈ C there is ∈ > 0 such that C ∩ B(x, ε) is weakly closed. We also prove that the Kadec-Klee property is not required when the Chebyshev set is represented by a finite union of closed convex sets.