Le but de cette thèse est de définir une méthode d'optimisation de formes qui conjugue l'utilisation de la dérivée seconde de forme et la méthode des lignes de niveaux pour la représentation d'une forme.On considèrera d'abord deux cas plus simples : un cas d'optimisation paramétrique et un cas d'optimisation discrète.Ce travail est divisé en quatre parties.La première contient le matériel nécessaire à la compréhension de l'ensemble de la thèse.Le premier chapitre rappelle des résultats généraux d'optimisation, et notamment le fait que les méthodes d'ordre deux ont une convergence quadratique sous certaines hypothèses.Le deuxième chapitre répertorie différentes modélisations pour l'optimisation de formes, et le troisième se concentre sur l'optimisation paramétrique puis l'optimisation géométrique.Les quatrième et cinquième chapitres introduisent respectivement la méthode des lignes de niveaux (level-set) et la méthode des éléments-finis.La deuxième partie commence par les chapitres 6 et 7 qui détaillent des calculs de dérivée seconde dans le cas de l'optimisation paramétrique puis géométrique.Ces chapitres précisent aussi la structure et certaines propriétés de la dérivée seconde de forme.Le huitième chapitre traite du cas de l'optimisation discrète.Dans le neuvième chapitre on introduit différentes méthodes pour un calcul approché de la dérivée seconde, puis on définit un algorithme de second ordre dans un cadre général.Cela donne la possibilité de faire quelques premières simulations numériques dans le cas de l'optimisation paramétrique (Chapitre 6) et dans le cas de l'optimisation discrète (Chapitre 7).La troisième partie est consacrée à l'optimisation géométrique.Le dixième chapitre définit une nouvelle notion de dérivée de forme qui prend en compte le fait que l'évolution des formes par la méthode des lignes de niveaux, grâce à la résolution d'une équation eikonale, se fait toujours selon la normale.Cela permet de définir aussi une méthode d'ordre deux pour l'optimisation.Le onzième chapitre détaille l'approximation d'intégrales de surface et le douzième chapitre est consacré à des exemples numériques.La dernière partie concerne l'analyse numérique d'algorithmes d'optimisation de formes par la méthode des lignes de niveaux.Le Chapitre 13 détaille la version discrète d'un algorithme d'optimisation de formes.Le Chapitre 14 analyse les schémas numériques relatifs à la méthodes des lignes de niveaux.Enfin le dernier chapitre fait l'analyse numérique complète d'un exemple d'optimisation de formes en dimension un, avec une étude des vitesses de convergence / The main purpose of this thesis is the definition of a shape optimization method which combines second-order differentiationwith the representation of a shape by a level-set function. A second-order method is first designed for simple shape optimization problems : a thickness parametrization and a discrete optimization problem. This work is divided in four parts.The first one is bibliographical and contains different necessary backgrounds for the rest of the work. Chapter 1 presents the classical results for general optimization and notably the quadratic rate of convergence of second-order methods in well-suited cases. Chapter 2 is a review of the different modelings for shape optimization while Chapter 3 details two particular modelings : the thickness parametrization and the geometric modeling. The level-set method is presented in Chapter 4 and Chapter 5 recalls the basics of the finite element method.The second part opens with Chapter 6 and Chapter 7 which detail the calculation of second-order derivatives for the thickness parametrization and the geometric shape modeling. These chapters also focus on the particular structures of the second-order derivative. Then Chapter 8 is concerned with the computation of discrete derivatives for shape optimization. Finally Chapter 9 deals with different methods for approximating a second-order derivative and the definition of a second-order algorithm in a general modeling. It is also the occasion to make a few numerical experiments for the thickness (defined in Chapter 6) and the discrete (defined in Chapter 8) modelings.Then, the third part is devoted to the geometric modeling for shape optimization. It starts with the definition of a new framework for shape differentiation in Chapter 10 and a resulting second-order method. This new framework for shape derivatives deals with normal evolutions of a shape given by an eikonal equation like in the level-set method. Chapter 11 is dedicated to the numerical computation of shape derivatives and Chapter 12 contains different numerical experiments.Finally the last part of this work is about the numerical analysis of shape optimization algorithms based on the level-set method. Chapter 13 is concerned with a complete discretization of a shape optimization algorithm. Chapter 14 then analyses the numerical schemes for the level-set method, and the numerical error they may introduce. Finally Chapter 15 details completely a one-dimensional shape optimization example, with an error analysis on the rates of convergence

Ce mémoire présente mes travaux de recherche effectués après ma thèse, entre 2002 et 2008. Les thèmes principaux sont les équations aux dérivées partielles non-linéaires et des problèmes d'évolutions de fronts ou d'interfaces. Il est organisé en trois chapitres.<br /><br />Le premier chapitre concerne l'évolution de fronts avec une vitesse normale prescrite. Pour étudier ce genre de problème, une première approche, dite par lignes de niveaux, consiste àreprésenter le front comme une ligne de niveau d'une fonction auxiliaire u. Cette approche ramène l'étude du problème d'évolution géométrique à un problème d'EDP puisque u vérifie une équation de Hamilton-Jacobi. Quelques résultats dans le cas de vitesses locales comme la courbure moyenne sont présentés mais la majorité des résultats concerne le cas de vitesses non-locales décrivant la dynamique des dislocations dans un cristal ou modélisant l'asymptotique d'un système de FitzHugh-Nagumo apparaissant en biologie. Une approche différente, basée sur des solutions de viscosité géométriques, est utilisée pour étudier des problèmes de propagation de fronts apparaissant en optimisation de formes. Le but est de trouver un ensemble optimal minimisant une énergie du type capacité à volume ou périmètre constant. L'idée est de déformer le bord d'un ensemble donné avec une vitesse normale adéquate de manière à diminuer au plus son énergie. La mise en oeuvre de cette idée nécessite la construction rigoureuse d'une telle évolution pour tout temps et la preuve de la convergence vers une solution du problème initial. De plus, la décroissance de l'énergie est obtenue le long du flot.<br /><br />Le deuxième chapitre décrit des résultats d'unicité, d'existence et d'homogénéisation pour des équations de Hamilton-Jacobi-Bellman. La majeure partie du travail effectué concerne des équations provenant de problèmes de contrôle stochastique avec des contrôles non-bornés. Les équations comportent alors des termes quadratiques par rapport au gradient et les solutions étudiées sont elles-mêmes à croissance quadratique. Des liens entre ces solutions et les fonctions valeurs des problèmes de contrôle correspondants sont établis. La seconde partie est consacrée à un théorème d'homogénéisation pour un système d'équations de Hamilton-Jacobi du premier ordre.<br /><br />Le troisième et dernier chapitre traite d'un sujet un peu à part, à savoir le lien entre les flots de gradient et l'inégalité de Lojasiewicz. La principale originalité de ce travail est de placer l'étude dans un cadre hilbertien pour des fonctions semiconvexes, ce qui sort du cadre de l'inégalité de Lojasiewicz classique. Le principal théorème produit des caractérisations de cette inégalité. Les résultats peuvent être précisés dans le cas des fonctions convexes ; en particulier, un contre-exemple de fonction convexe ne vérifiant pas l'inégalité de Lojasiewicz est construit. Cette dernière inégalité est reliée à la longueur des trajectoires de gradient. Une borne de cette longueur est obtenue pour les fonctions convexes coercives en dimension deux même lorsque cette inégalité n'est pas vérifiée.