La dualité et la robustesse sont des outils essentiels dans les processus d'aide à la décision. Cette thèse concerne trois thèmes: dualité en optimisation convexe conique à données incertaines, dualité et régularisation en convexité généralisée, et la maximisation du rayon de robustesse en optimisation continue. Dans la première partie de ce travail, on considère les notions de pire valeur et de valeur robuste d'un problème d'optimisation conique à données incertaines. On donne une condition nécessaire et suffisante pour l'égalité entre la pire valeur et la valeur robuste de ce problème avec exactitude de la pire valeur. On déduit une condition suffisante permettant d'obtenir la propriété de dualité robuste forte pour ce problème. La deuxième partie est consacrée à la dualité et à la régularisation de fonctions numériques à valeurs réelles étendues. Deux points de vue sont considérés: l'approche par les niveaux et l'approche par les épigraphes. On étend ainsi à la convexité généralisée des résultats récents concernant le passage de la dualité quasi-convexe à la dualité convexe. On applique cette théorie à un problème d'optimisation pour déduire un résultat de dualité forte. La troisième partie de ce travail porte une étude du problème de maximisation du rayon de stabilité. On définit le rayon de robustesse pour un problème de décision en milieu incertain, et on étudie certaines de ces propriétés analytiques (concavité et semi-continuité). La contrepartie robuste d'un problème d'optimisation à données incertaines au sens du rayon de robustesse est introduite. On étudie le lien en termes d'ensemble de solutions optimales entre la contrepartie robuste au sens du rayon de robustesse et celle au sens de l'optimisation robuste d'un problème incertain d'optimisation continue. Un modèle générique du problème de maximisation du rayon de robustesse regroupant une large classe de cas pratique est proposé. On examine ce modèle dans un cas polyédral, dans le cas de la régression linéaire puis dans un cas quadratique. Notre stratégie dans ces différents cas, consiste à expliciter le rayon de robustesse et/ou à transformer le problème de maximisation du rayon de stabilité en un programme tractable. Une application à un problème de conception d'antenne circulaire est proposée dans le cas de la régression et une application au calcul d'un estimateur robuste est proposée dans le cas quadratique. / Duality and robustness are two important tools in decision making process. This thesis deals with tree topics : duality for an uncertain convex conical optimization problem, duality and regularity in generalized convexity, and the maximization of the stability radius. In the first part of this work, we consider the notions of worst value and robust value of an uncertain convex conical optimization problem. We give a necessary and sufficient condition to obtain the equality between the robust value and the worst value with exactness for the worst value. We derive a sufficient condition to obtain a robust strong duality property for this problem. The second part of this work is devoted to duality and regularity of the extended real-valued functions. Two points of view are considered: the sub-level set approach and the epigraphical approach. We then extend some recent results concerning the passage from the quasi-convex duality to convex duality to the generalized convexity. We apply this theory to an optimization problem to derive a strong duality property for this problem. The third part of this work is devoted to the study of the problem of maximization of the stability radius. We define the stability radius for a decision problem under data uncertainty, and study some of its analytical properties (e.g concavity and upper semi-continuity). The robust counterpart of an uncertain optimization problem according to the stability radius is introduced. We study the relation between the solution set of this counterpart and the solution set of the robust counterpart according to the robust optimization approach. We propose a generic model of the maximization of stability radius which covers a large class of applications. We study this problem in a polyhedral case, in the case of regression and in quadratic case. In each case, we compute the stability radius and/ or transform the problem of maximization of the stability radius to a tractable problem. An application to a circular antenna design problem is given in the regression case, and an application to compute a robust estimator is provided in the quadratic case.

La sélection d’un modèle approprié est l’une des tâches essentielles de l’apprentissage statistique. En général, pour une tâche d’apprentissage donnée, on considère plusieurs classes de modèles ordonnées selon un certain ordre de « complexité». Dans ce cadre, le processus de sélection de modèle revient `a trouver la « complexité » optimale, permettant d’estimer un modèle assurant une bonne généralisation. Ce problème de sélection de modèle se résume à l’estimation d’un ou plusieurs hyper-paramètres définissant la complexité du modèle, par opposition aux paramètres qui permettent de spécifier le modèle dans la classe de complexité choisie. L’approche habituelle pour déterminer ces hyper-paramètres consiste à utiliser une « grille ». On se donne un ensemble de valeurs possibles et on estime, pour chacune de ces valeurs, l’erreur de généralisation du meilleur modèle. On s’intéresse, dans cette thèse, à une approche alternative consistant à calculer l’ensemble des solutions possibles pour toutes les valeurs des hyper-paramètres. C’est ce qu’on appelle le chemin de régularisation. Il se trouve que pour les problèmes d’apprentissage qui nous intéressent, des programmes quadratiques paramétriques, on montre que le chemin de régularisation associé à certains hyper-paramètres est linéaire par morceaux et que son calcul a une complexité numérique de l’ordre d’un multiple entier de la complexité de calcul d’un modèle avec un seul jeu hyper-paramètres. La thèse est organisée en trois parties. La première donne le cadre général des problèmes d’apprentissage de type SVM (Séparateurs à Vaste Marge ou Support Vector Machines) ainsi que les outils théoriques et algorithmiques permettant d’appréhender ce problème. La deuxième partie traite du problème d’apprentissage supervisé pour la classification et l’ordonnancement dans le cadre des SVM. On montre que le chemin de régularisation de ces problèmes est linéaire par morceaux. Ce résultat nous permet de développer des algorithmes originaux de discrimination et d’ordonnancement. La troisième partie aborde successivement les problèmes d’apprentissage semi supervisé et non supervisé. Pour l’apprentissage semi supervisé, nous introduisons un critère de parcimonie et proposons l’algorithme de chemin de régularisation associé. En ce qui concerne l’apprentissage non supervisé nous utilisons une approche de type « réduction de dimension ». Contrairement aux méthodes à base de graphes de similarité qui utilisent un nombre fixe de voisins, nous introduisons une nouvelle méthode permettant un choix adaptatif et approprié du nombre de voisins. / The selection of a proper model is an essential task in statistical learning. In general, for a given learning task, a set of parameters has to be chosen, each parameter corresponds to a different degree of “complexity”. In this situation, the model selection procedure becomes a search for the optimal “complexity”, allowing us to estimate a model that assures a good generalization. This model selection problem can be summarized as the calculation of one or more hyperparameters defining the model complexity in contrast to the parameters that allow to specify a model in the chosen complexity class. The usual approach to determine these parameters is to use a “grid search”. Given a set of possible values, the generalization error for the best model is estimated for each of these values. This thesis is focused in an alternative approach consisting in calculating the complete set of possible solution for all hyperparameter values. This is what is called the regularization path. It can be shown that for the problems we are interested in, parametric quadratic programming (PQP), the corresponding regularization path is piece wise linear. Moreover, its calculation is no more complex than calculating a single PQP solution. This thesis is organized in three chapters, the first one introduces the general setting of a learning problem under the Support Vector Machines’ (SVM) framework together with the theory and algorithms that allow us to find a solution. The second part deals with supervised learning problems for classification and ranking using the SVM framework. It is shown that the regularization path of these problems is piecewise linear and alternative proofs to the one of Rosset [Ross 07b] are given via the subdifferential. These results lead to the corresponding algorithms to solve the mentioned supervised problems. The third part deals with semi-supervised learning problems followed by unsupervised learning problems. For the semi-supervised learning a sparsity constraint is introduced along with the corresponding regularization path algorithm. Graph-based dimensionality reduction methods are used for unsupervised learning problems. Our main contribution is a novel algorithm that allows to choose the number of nearest neighbors in an adaptive and appropriate way contrary to classical approaches based on a fix number of neighbors.

Ces travaux s’attachent à décrire et quantifier les mécanismes de ruptures des compositestissés 3D sous chargement de traction quasi-statique et à mettre en place une méthode de simulationnumérique adaptée et robuste, pouvant à terme être appliquée en bureau d’études.Dans cette optique, une étude expérimentale a été menée afin de quantifier la propagation defissures dans ces matériaux. Celle-ci a permis de mettre en place un scenario de rupture, entirant parti de la multi-instrumentation des essais. L’étude a également été effectuée sur deséprouvettes de géométries et de tailles variées et a mis en évidence d’importantes variations dutaux de restitution d’énergie avec les conditions d’essai. Un formalisme d’analyse et de modélisationintroduisant des longueurs internes a ensuite été présenté et adapté aux mécanismes derupture des composites tissés 3D. Ce formalisme est étayé par la recherche des mécanismes àl’aide de l’analyse des faciès de rupture. Les longueurs introduites ont ainsi été mises en relationavec les paramètres du tissage. Une méthode d’identification des paramètres a été proposée etles conséquences de ce comportement sur le dimensionnement de pièces composites discutées.Enfin, le transfert de ces résultats a été effectué vers des simulations numériques robustes. Desméthodes de régularisation des modèles d’endommagement continu ont été présentées et évaluéesà l’aune de leur capacité à assurer, d’une part, la robustesse des résultats et, d’autre part,la bonne retranscription des effets d’échelle expérimentaux. La prise en compte de ces considérationsnumériques et physiques nous a amené à proposé un modèle d’endommagement Non-Local.Une méthode d’identification des paramètres et de la longueur interne à partir des données expérimentalesa été proposée. / This work aims to describe and quantify the failure mechanisms of 3D woven composites underquasi-static tensile loading and to implement an adapted and robust numerical simulationmethod, that can be applied in industry. To this end, an experimental study was carried out toquantify the propagation of cracks in these materials. Thus, a crack propagation scenario wasestablished, thanks to the multi-instrumentation used during the tests. The experimental campaignwas carried out on specimens of various geometries and sizes and highlighted significantvariations in the fracture toughness with the test conditions. A modelisation framework introducinginternal lengths was then presented and adapted to 3D woven composites. This frameworkis supported by the identification of the failure mechanisms subsequent to the analysis of thecrack profile. The introduced lengths were thus related to the weaving parameters. A method foridentifying the parameters was proposed and the consequences of this behaviour on the designof the composite parts discussed. Finally, these results were transferred to robust numerical simulations.Regularisation methods of continuous damage models were presented and evaluatedin terms of their ability to ensure, on the one hand, the robustness of the results and, on theother hand, the correct transcription of experimental size effects. Taking into account these numericaland physical considerations led us to propose a Non-Local damage model. A method foridentifying the parameters and the internal length on experimental data was proposed.

Les problèmes de complétion de données interviennent dans divers domaines de la physique, tels que la mécanique, l'acoustique ou la thermique. La mesure directe des conditions aux limites se heurte souvent à l'impossibilité de placer l'instrumentation adéquate. La détermination de ces données n'est alors possible que grâce à des informations complémentaires. Des mesures surabondantes sur une partie accessible de la frontière mènent à la résolution d'un problème inverse de type Cauchy. Cependant, dans certains cas, des mesures directes sur la frontière sont irréalisables, des mesures de champs plus facilement accessibles permettent de pallier ce problème. Cette thèse présente des méthodes de régularisation évanescente qui permettent de trouver, parmi toutes les solutions de l'équation d'équilibre, la solution du problème de complétion de données qui s'approche au mieux des données de type Cauchy ou de champs partiels. Ces processus itératifs ne dépendent pas d'un coefficient de régularisation et sont robustes vis à vis du bruit sur les données, qui sont recalculées et de ce fait débruitées. Nous nous intéressons, dans un premier temps, à la résolution de problèmes de Cauchy associés à l'équation d'Helmholtz. Une étude numérique complète est menée, en utilisant la méthode des solutions fondamentales en tant que méthode numérique pour discrétiser l'espace des solutions de l'équation d'Helmholtz. Des reconstructions précises attestent de l'efficacité et de la robustesse de la méthode. Nous présentons, dans un second temps, la généralisation de la méthode de régularisation évanescente aux problèmes de complétion de données à partir de mesures de champs partielles. Des simulations numériques, pour l'opérateur de Lamé, dans le cadre des éléments finis et des solutions fondamentales, montrent la capacité de la méthode à compléter et débruiter des données partielles de champs de déplacements et à identifier les conditions aux limites en tout point de la frontière. Nous retrouvons des reconstructions précises et un débruitage efficace des données lorsque l'algorithme est appliqué à des mesures réelles issues de corrélation d'images numériques. Un éventuel changement de comportement du matériau est détecté grâce à l'analyse des résidus de déplacements. / Data completion problems occur in many engineering fields, such as mechanical, acoustical and thermal sciences. Direct measurement of boundary conditions is often confronting with the impossibility of placing the appropriate instrumentation. The determination of these data is then possible only through additional informations. Overprescribed measurements on an accessible part of the boundary lead to the resolution of an inverse Cauchy problem. However, in some cases, direct measurements on the boundary are inaccessible, to overcome this problem field measurements are more easily accessible. This thesis presents fading regularization methods that allow to find, among all the solutions of the equilibrium equation, the solution of the data completion problem which fits at best Cauchy or partial fields data. These iterative processesdo not depend on a regularization coefficient and are robust with respect to the noise on the data, which are recomputed and therefore denoised. We are interested initially in solving Cauchy problems associated with the Helmholtz equation. A complete numerical study is made, usingthe method of fundamental solutions as a numerical method for discretizing the space of the Helmholtz equation solutions. Accurate reconstructions attest to the efficiency and the robustness of the method. We present, in a second time, the generalization of the fading regularization method to the data completion problems from partial full-field measurements. Numerical simulations, for the Lamé operator, using the finite element method or the method of fundamental solutions, show the ability of the iterative process to complete and denoise partial displacements fields data and to identify the boundary conditions at any point. We find precise reconstructions and efficient denoising of the data when the algorithm is applied to real measurements from digital image correlation. A possible change in the material behavior is detected thanks to the analysis of the displacements residuals.

Le domaine des problèmes inverses est une discipline qui se trouve à la frontière des mathématiques appliquées et de la physique et qui réunit les différentes solutions pour résoudre les problèmes d'optimisation mathématique. Dans le cas de la déconvolution 1D, ce domaine apporte un formalisme pour proposer des solutions avec deux grands types d'approche: les problèmes inverses avec régularisation et les problèmes inverses bayésiens. Sous l'effet du déluge de données, les géosciences et la planétologie nécessitent des algorithmes de plus en plus plus complexe pour obtenir des informations pertinentes. Dans le cadre de cette thèse, nous proposons d'apporter des connaissances dans trois problèmes de déconvolution 1D sous contrainte avec régularisation dans le domaine de l'hydrologie, la sismologie et de la spectroscopie. Pour chaque problème nous posons le modèle direct, le modèle inverse, et nous proposons un algorithme spécifique pour atteindre la solution. Les algorithmes sont définis ainsi que les différentes stratégies pour déterminer les hyper-paramètres. Aussi, des tests sur des données synthétiques et sur des données réelles sont exposés et discuté du point de vue de l'optimisation mathématique et du point de vue du domaine de l'application choisi. Finalement, les algorithmes proposés ont l'objectif de mettre à portée de main l'utilisation des méthodes des problèmes inverses pour la communauté des Géosciences. / The inverse problem field is a domain at the border between applied mathematics and physics that encompasses the solutions for solving mathematical optimization problems. In the case of 1D deconvolution, the discipline provides a formalism to designing solutions in the frames of its two main approaches: regularization based inverse problems and bayesian based inverse problems. Under the data deluge, geosciences and planetary sciences require more and more complex algorithms for obtaining pertinent information. In this thesis, we solve three 1D deconvolution problems under constraints with regularization based inverse problem methodology: in hydrology, in seismology and in spectroscopy. For every of the three problems, we pose the direct problem, the inverse problem, and we propose a specific algorithm to reach the solution. Algorithms are defined but also the different strategies to determine the hyper-parameters. Furthermore, tests on synthetic data and on real data are presented and commented from the point of view of the inverse problem formulation and that of the application field. Finally, the proposed algorithms aim at making approachable the use of inverse problem methodology for the Geoscience community.

Cette thèse aborde le sujet de la régression linéaire dans différents cadres, liés notamment à l’apprentissage. Les deux premiers chapitres présentent le contexte des travaux, leurs apports et les outils mathématiques utilisés. Le troisième chapitre est consacré à la construction d’une fonction de régularisation optimale, permettant par exemple d’améliorer sur le plan théorique la régularisation de l’estimateur LASSO. Le quatrième chapitre présente, dans le domaine de l’optimisation convexe séquentielle, des accélérations d’un algorithme récent et prometteur, MetaGrad, et une conversion d’un cadre dit “séquentiel déterministe" vers un cadre dit “batch stochastique" pour cet algorithme. Le cinquième chapitre s’intéresse à des prévisions successives par intervalles, fondées sur l’agrégation de prédicteurs, sans retour d’expérience intermédiaire ni modélisation stochastique. Enfin, le sixième chapitre applique à un jeu de données pétrolières plusieurs méthodes d’agrégation, aboutissant à des prévisions ponctuelles court-terme et des intervalles de prévision long-terme. / This thesis tackles the topic of linear regression, within several frameworks, mainly linked to statistical learning. The first and second chapters present the context, the results and the mathematical tools of the manuscript. In the third chapter, we provide a way of building an optimal regularization function, improving for instance, in a theoretical way, the LASSO estimator. The fourth chapter presents, in the field of online convex optimization, speed-ups for a recent and promising algorithm, MetaGrad, and shows how to transfer its guarantees from a so-called “online deterministic setting" to a “stochastic batch setting". In the fifth chapter, we introduce a new method to forecast successive intervals by aggregating predictors, without intermediate feedback nor stochastic modeling. The sixth chapter applies several aggregation methods to an oil production dataset, forecasting short-term precise values and long-term intervals.

Cette thèse présente de nouvelles méthodes pour l'application de la prédiction structurée en vision numérique et en imagerie médicale.Nos nouvelles contributions suivent quatre axes majeurs.La première partie de cette thèse étudie le problème d'inférence d'ordre supérieur.Nous présentons une nouvelle famille de problèmes de minimisation d'énergie discrète, l'étiquetage parcimonieux, encourageant la parcimonie des étiquettes.C'est une extension naturelle des problèmes connus d'étiquetage de métriques aux potentiels d'ordre élevé.Nous proposons par ailleurs une généralisation du modèle Pn-Potts, le modèle Pn-Potts hiérarchique.Enfin, nous proposons un algorithme parallélisable à proposition de mouvements avec de fortes bornes multiplicatives pour l'optimisation du modèle Pn-Potts hiérarchique et l'étiquetage parcimonieux.La seconde partie de cette thèse explore le problème de classement en utilisant de l'information d'ordre élevé.Nous introduisons deux cadres différents pour l'incorporation d'information d'ordre élevé dans le problème de classement.Le premier modèle, que nous nommons SVM binaire d'ordre supérieur (HOB-SVM), optimise une borne supérieure convexe sur l'erreur 0-1 pondérée tout en incorporant de l'information d'ordre supérieur en utilisant un vecteur de charactéristiques jointes.Le classement renvoyé par HOB-SVM est obtenu en ordonnant les exemples selon la différence entre la max-marginales de l'affectation d'un exemple à la classe associée et la max-marginale de son affectation à la classe complémentaire.Le second modèle, appelé AP-SVM d'ordre supérieur (HOAP-SVM), s'inspire d'AP-SVM et de notre premier modèle, HOB-SVM.Le modèle correspond à une optimisation d'une borne supérieure sur la précision moyenne, à l'instar d'AP-SVM, qu'il généralise en permettant également l'incorporation d'information d'ordre supérieur.Nous montrons comment un optimum local du problème d'apprentissage de HOAP-SVM peut être déterminé efficacement grâce à la procédure concave-convexe.En utilisant des jeux de données standards, nous montrons empiriquement que HOAP-SVM surpasse les modèles de référence en utilisant efficacement l'information d'ordre supérieur tout en optimisant directement la fonction d'erreur appropriée.Dans la troisième partie, nous proposons un nouvel algorithme, SSVM-RP, pour obtenir un chemin de régularisation epsilon-optimal pour les SVM structurés.Nous présentons également des variantes intuitives de l'algorithme Frank-Wolfe pour l'optimisation accélérée de SSVM-RP.De surcroît, nous proposons une approche systématique d'optimisation des SSVM avec des contraintes additionnelles de boîte en utilisant BCFW et ses variantes.Enfin, nous proposons un algorithme de chemin de régularisation pour SSVM avec des contraintes additionnelles de positivité/negativité.Dans la quatrième et dernière partie de la thèse, en appendice, nous montrons comment le cadre de l'apprentissage semi-supervisé des SVM à variables latentes peut être employé pour apprendre les paramètres d'un problème complexe de recalage déformable.Nous proposons un nouvel algorithme discriminatif semi-supervisé pour apprendre des métriques de recalage spécifiques au contexte comme une combinaison linéaire des métriques conventionnelles.Selon l'application, les métriques traditionnelles sont seulement partiellement sensibles aux propriétés anatomiques des tissus.Dans ce travail, nous cherchons à déterminer des métriques spécifiques à l'anatomie et aux tissus, par agrégation linéaire de métriques connues.Nous proposons un algorithme d'apprentissage semi-supervisé pour estimer ces paramètres conditionnellement aux classes sémantiques des données, en utilisant un jeu de données faiblement annoté.Nous démontrons l'efficacité de notre approche sur trois jeux de données particulièrement difficiles dans le domaine de l'imagerie médicale, variables en terme de structures anatomiques et de modalités d'imagerie. / This thesis develops novel methods to enable the use of structured prediction in computer vision and medical imaging. Specifically, our contributions are four fold. First, we propose a new family of high-order potentials that encourage parsimony in the labeling, and enable its use by designing an accurate graph cuts based algorithm to minimize the corresponding energy function. Second, we show how the average precision SVM formulation can be extended to incorporate high-order information for ranking. Third, we propose a novel regularization path algorithm for structured SVM. Fourth, we show how the weakly supervised framework of latent SVM can be employed to learn the parameters for the challenging deformable registration problem.In more detail, the first part of the thesis investigates the high-order inference problem. Specifically, we present a novel family of discrete energy minimization problems, which we call parsimonious labeling. It is a natural generalization of the well known metric labeling problems for high-order potentials. In addition to this, we propose a generalization of the Pn-Potts model, which we call Hierarchical Pn-Potts model. In the end, we propose parallelizable move making algorithms with very strong multiplicative bounds for the optimization of the hierarchical Pn-Potts model and the parsimonious labeling.Second part of the thesis investigates the ranking problem while using high-order information. Specifically, we introduce two alternate frameworks to incorporate high-order information for the ranking tasks. The first framework, which we call high-order binary SVM (HOB-SVM), optimizes a convex upperbound on weighted 0-1 loss while incorporating high-order information using joint feature map. The rank list for the HOB-SVM is obtained by sorting samples using max-marginals based scores. The second framework, which we call high-order AP-SVM (HOAP-SVM), takes its inspiration from AP-SVM and HOB-SVM (our first framework). Similar to AP-SVM, it optimizes upper bound on average precision. However, unlike AP-SVM and similar to HOB-SVM, it can also encode high-order information. The main disadvantage of HOAP-SVM is that estimating its parameters requires solving a difference-of-convex program. We show how a local optimum of the HOAP-SVM learning problem can be computed efficiently by the concave-convex procedure. Using standard datasets, we empirically demonstrate that HOAP-SVM outperforms the baselines by effectively utilizing high-order information while optimizing the correct loss function.In the third part of the thesis, we propose a new algorithm SSVM-RP to obtain epsilon-optimal regularization path of structured SVM. We also propose intuitive variants of the Block-Coordinate Frank-Wolfe algorithm (BCFW) for the faster optimization of the SSVM-RP algorithm. In addition to this, we propose a principled approach to optimize the SSVM with additional box constraints using BCFW and its variants. In the end, we propose regularization path algorithm for SSVM with additional positivity/negativity constraints.In the fourth and the last part of the thesis (Appendix), we propose a novel weakly supervised discriminative algorithm for learning context specific registration metrics as a linear combination of conventional metrics. Conventional metrics can cope partially - depending on the clinical context - with tissue anatomical properties. In this work we seek to determine anatomy/tissue specific metrics as a context-specific aggregation/linear combination of known metrics. We propose a weakly supervised learning algorithm for estimating these parameters conditionally to the data semantic classes, using a weak training dataset. We show the efficacy of our approach on three highly challenging datasets in the field of medical imaging, which vary in terms of anatomical structures and image modalities.

Le traitement massif et automatique des données requiert le développement de techniques de filtration des informations les plus importantes. Parmi ces méthodes, celles présentant des structures parcimonieuses se sont révélées idoines pour améliorer l’efficacité statistique et computationnelle des estimateurs, dans un contexte de grandes dimensions. Elles s’expriment souvent comme solution de la minimisation du risque empirique régularisé s’écrivant comme une somme d’un terme lisse qui mesure la qualité de l’ajustement aux données, et d’un terme non lisse qui pénalise les solutions complexes. Cependant, une telle manière d’inclure des informations a priori, introduit de nombreuses difficultés numériques pour résoudre le problème d’optimisation sous-jacent et pour calibrer le niveau de régularisation. Ces problématiques ont été au coeur des questions que nous avons abordées dans cette thèse.Une technique récente, appelée «Screening Rules», propose d’ignorer certaines variables pendant le processus d’optimisation en tirant bénéfice de la parcimonie attendue des solutions. Ces règles d’élimination sont dites sûres lorsqu’elles garantissent de ne pas rejeter les variables à tort. Nous proposons un cadre unifié pour identifier les structures importantes dans ces problèmes d’optimisation convexes et nous introduisons les règles «Gap Safe Screening Rules». Elles permettent d’obtenir des gains considérables en temps de calcul grâce à la réduction de la dimension induite par cette méthode. De plus, elles s’incorporent facilement aux algorithmes itératifs et s’appliquent à un plus grand nombre de problèmes que les méthodes précédentes.Pour trouver un bon compromis entre minimisation du risque et introduction d’un biais d’apprentissage, les algorithmes d’homotopie offrent la possibilité de tracer la courbe des solutions en fonction du paramètre de régularisation. Toutefois, ils présentent des instabilités numériques dues à plusieurs inversions de matrice, et sont souvent coûteux en grande dimension. Aussi, ils ont des complexités exponentielles en la dimension du modèle dans des cas défavorables. En autorisant des solutions approchées, une approximation de la courbe des solutions permet de contourner les inconvénients susmentionnés. Nous revisitons les techniques d’approximation des chemins de régularisation pour une tolérance prédéfinie, et nous analysons leur complexité en fonction de la régularité des fonctions de perte en jeu. Il s’ensuit une proposition d’algorithmes optimaux ainsi que diverses stratégies d’exploration de l’espace des paramètres. Ceci permet de proposer une méthode de calibration de la régularisation avec une garantie de convergence globale pour la minimisation du risque empirique sur les données de validation.Le Lasso, un des estimateurs parcimonieux les plus célèbres et les plus étudiés, repose sur une théorie statistique qui suggère de choisir la régularisation en fonction de la variance des observations. Ceci est difficilement utilisable en pratique car, la variance du modèle est une quantité souvent inconnue. Dans de tels cas, il est possible d’optimiser conjointement les coefficients de régression et le niveau de bruit. Ces estimations concomitantes, apparues dans la littérature sous les noms de Scaled Lasso, Square-Root Lasso, fournissent des résultats théoriques aussi satisfaisants que celui du Lasso tout en étant indépendant de la variance réelle. Bien que présentant des avancées théoriques et pratiques importantes, ces méthodes sont aussi numériquement instables et les algorithmes actuellement disponibles sont coûteux en temps de calcul. Nous illustrons ces difficultés et nous proposons à la fois des modifications basées sur des techniques de lissage pour accroitre la stabilité numérique de ces estimateurs, ainsi qu’un algorithme plus efficace pour les obtenir. / Massive and automatic data processing requires the development of techniques able to filter the most important information. Among these methods, those with sparse structures have been shown to improve the statistical and computational efficiency of estimators in a context of large dimension. They can often be expressed as a solution of regularized empirical risk minimization and generally lead to non differentiable optimization problems in the form of a sum of a smooth term, measuring the quality of the fit, and a non-smooth term, penalizing complex solutions. Although it has considerable advantages, such a way of including prior information, unfortunately introduces many numerical difficulties both for solving the underlying optimization problem and to calibrate the level of regularization. Solving these issues has been at the heart of this thesis. A recently introduced technique, called "Screening Rules", proposes to ignore some variables during the optimization process by benefiting from the expected sparsity of the solutions. These elimination rules are said to be safe when the procedure guarantees to not reject any variable wrongly. In this work, we propose a unified framework for identifying important structures in these convex optimization problems and we introduce the "Gap Safe Screening Rules". They allows to obtain significant gains in computational time thanks to the dimensionality reduction induced by this method. In addition, they can be easily inserted into iterative algorithms and apply to a large number of problems.To find a good compromise between minimizing risk and introducing a learning bias, (exact) homotopy continuation algorithms offer the possibility of tracking the curve of the solutions as a function of the regularization parameters. However, they exhibit numerical instabilities due to several matrix inversions and are often expensive in large dimension. Another weakness is that a worst-case analysis shows that they have exact complexities that are exponential in the dimension of the model parameter. Allowing approximated solutions makes possible to circumvent the aforementioned drawbacks by approximating the curve of the solutions. In this thesis, we revisit the approximation techniques of the regularization paths given a predefined tolerance and we propose an in-depth analysis of their complexity w.r.t. the regularity of the loss functions involved. Hence, we propose optimal algorithms as well as various strategies for exploring the parameters space. We also provide calibration method (for the regularization parameter) that enjoys globalconvergence guarantees for the minimization of the empirical risk on the validation data.Among sparse regularization methods, the Lasso is one of the most celebrated and studied. Its statistical theory suggests choosing the level of regularization according to the amount of variance in the observations, which is difficult to use in practice because the variance of the model is oftenan unknown quantity. In such case, it is possible to jointly optimize the regression parameter as well as the level of noise. These concomitant estimates, appeared in the literature under the names of Scaled Lasso or Square-Root Lasso, and provide theoretical results as sharp as that of theLasso while being independent of the actual noise level of the observations. Although presenting important advances, these methods are numerically unstable and the currently available algorithms are expensive in computation time. We illustrate these difficulties and we propose modifications based on smoothing techniques to increase stability of these estimators as well as to introduce a faster algorithm.

Ce mémoire vise à estimer la densité neutre au risque (Risk neutral density (RND) en anglais) par une approche non paramétrique tout en tenant compte de l’endogénéité. Les prix transversaux des options européennes sont utilisés pour l’estimation. Le modèle principal considéré est la régression linéaire fonctionnelle. Nous montrons comment utiliser des variables instrumentales dans ce modèle pour corriger l’endogénéité. En outre, nous avons intégré des variables instrumentales dans le modèle approximant le RND par l’utilisation des fonctions d’Hermite à des fins de comparaison des résultats. Pour garantir un estimateur stable, nous utilisons la technique de régularisation de Tikhonov. Ensuite, nous effectuons des simulations de Monte-Carlo pour étudier l’impact des différents types de distribution RND sur les résultats obtenus. Plus précisément, nous analysons une distribution de mélange lognormale et une distribution de smile de Black-Scholes. Les résultats des simulations démontrent que l’estimateur utilisant des variables instrumentales pour corriger l’endogénéité est plus performant que l’alternative qui ne les utilise pas. En outre, les résultats de la distribution de smile de Black-Scholes sont plus performants que ceux de la distribution de mélange log-normale. Enfin, S&P 500 options sont utilisées pour une application de l’estimateur. / This thesis aims to estimate the risk-neutral density (RND) through a non-parametric approach while accounting for endogeneity. The cross-sectional prices of European options are used for the estimation. The primary model under consideration is functional linear regression. We have demonstrated the use of instrumental variables in this model to address endogeneity. Additionally, we have integrated instrumental variables into the model approximating RND through the use of Hermite functions for the purpose of result comparison. To ensure a stable estimator, we employ the Tikhonov regularization technique. Following this, we conduct Monte- Carlo simulations to investigate the impact of different RND distribution types on the obtained results. Specifically, we analyze a lognormal mixture distribution and a Black-Scholes smile distribution. The simulation results demonstrate that the estimator utilizing instrumental variables to adjust for endogeneity outperforms the non-adjusted alternative. Additionally, outcomes from the Black-Scholes smile distribution exhibit superior performance compared to those from the log-normal mixture distribution. Finally, S&P 500 options are used for an application of the estimator.

Le développement du domaine de l’apprentissage profond doit une grande part de son avancée aux idées inspirées par la neuroscience et aux études sur l’apprentissage humain. De la découverte de l’algorithme de rétropropagation à la conception d’architectures neuronales comme les Convolutional Neural Networks, ces idées ont été couplées à l’ingénierie et aux améliorations technologiques pour engendrer des algorithmes performants en utilisation aujourd’hui. Cette thèse se compose de trois articles, chacun éclairant des aspects distincts du thème central de ce domaine interdisciplinaire. Le premier article explore la modélisation prédictive avec des données d’imagerie du cerveau de haute dimension en utilisant une nouvelle approche de régularisation hybride. Dans de nombreuses applications pratiques (comme l’imagerie médicale), l’attention se porte non seulement sur la précision, mais également sur l’interprétabilité d’un modèle prédictif formé sur des données haute dimension. Cette étude s’attache à combiner la régularisation l1 et l2, qui régularisent la norme des gradients, avec l’approche récemment proposée pour la modélisation prédictive robuste, l’Invariant Learning Consistency, qui impose l’alignement entre les gradients de la même classe lors de l’entraînement. Nous examinons ici la capacité de cette approche combinée à identifier des prédicteurs robustes et épars, et nous présentons des résultats prometteurs sur plusieurs ensembles de données. Cette approche tend à améliorer la robustesse des modèles épars dans presque tous les cas, bien que les résultats varient en fonction des conditions. Le deuxième article se penche sur les algorithmes d’apprentissage inspirés de la biologie, en se concentrant particulièrement sur la méthode Difference Target Propagation (DTP) tout en l’intégrant à l’optimisation Gauss-Newton. Le développement de tels algorithmes biologiquement plausibles possède une grande importance pour comprendre les processus d’apprentissage neuronale, cependant leur extensibilité pratique à des tâches réelles est souvent limitée, ce qui entrave leur potentiel explicatif pour l’apprentissage cérébral réel. Ainsi, l’exploration d’algorithmes d’apprentissage qui offrent des fondements théoriques solides et peuvent rivaliser avec la rétropropagation dans des tâches complexes gagne en importance. La méthode Difference Target Propagation (DTP) se présente comme une candidate prometteuse, caractérisée par son étroite relation avec les principes de l’optimisation Gauss-Newton. Néanmoins, la rigueur de cette relation impose des limites, notamment en ce qui concerne la formation couche par couche des poids synaptiques du chemin de rétroaction, une configuration considérée comme plus biologiquement plausible. De plus, l’alignement entre les mises à jour des poids DTP et les gradients de perte est conditionnel et dépend des scénarios d’architecture spécifiques. Cet article relève ces défis en introduisant un schéma innovant d’entraînement des poids de rétroaction. Ce schéma harmonise la DTP avec la BP, rétablissant la viabilité de la formation des poids de rétroaction couche par couche sans compromettre l’intégrité théorique. La validation empirique souligne l’efficacité de ce schéma, aboutissant à des performances exceptionnelles de la DTP sur CIFAR-10 et ImageNet 32×32. Enfin, le troisième article explore la planification efficace dans la prise de décision séquentielle en intégrant le calcul adaptatif à des architectures d’apprentissage profond existantes, dans le but de résoudre des casse-tête complexes. L’étude introduit des principes de calcul adaptatif inspirés des processus cognitifs humains, ainsi que des avancées récentes dans le domaine du calcul adaptatif. En explorant en profondeur les comportements émergents du modèle de mémoire adaptatif entraîné, nous identifions plusieurs comportements reconnaissables similaires aux processus cognitifs humains. Ce travail élargit la discussion sur le calcul adaptatif au-delà des gains évidents en efficacité, en explorant les comportements émergents en raison des contraintes variables généralement attribuées aux processus de la prise de décision chez les humains. / The development of the field of deep learning has benefited greatly from biologically inspired insights from neuroscience and the study of human learning more generally, from the discovery of backpropagation to neural architectures such as the Convolutional Neural Network. Coupled with engineering and technological improvements, the distillation of good strategies and algorithms for learning inspired from biological observation is at the heart of these advances. Although it would be difficult to enumerate all useful biases that can be learned by observing humans, they can serve as a blueprint for intelligent systems. The following thesis is composed of three research articles, each shedding light on distinct facets of the overarching theme. The first article delves into the realm of predictive modeling on high-dimensional fMRI data, a landscape where not only accuracy but also interpretability are crucial. Employing a hybrid approach blending l1 and l2 regularization with Invariant Learning Consistency, this study unveils the potential of identifying robust, sparse predictors capable of transmuting noise laden datasets into coherent observations useful for pushing the field forward. Conversely, the second article delves into the domain of biologically-plausible learning algorithms, a pivotal endeavor in the comprehension of neural learning processes. In this context, the investigation centers upon Difference Target Propagation (DTP), a prospective framework closely related to Gauss-Newton optimization principles. This exploration delves into the intricate interplay between DTP and the tenets of biologically-inspired learning mechanisms, revealing an innovative schema for training feedback weights. This schema reinstates the feasibility of layer-wise feedback weight training within the DTP framework, while concurrently upholding its theoretical integrity. Lastly, the third article explores the role of memory in sequential decision-making, and proposes a model with adaptive memory. This domain entails navigating complex decision sequences within discrete state spaces, where the pursuit of efficiency encounters difficult scenarios such as the risk of critical irreversibility. The study introduces adaptive computation principles inspired by human cognitive processes, as well as recent advances in adaptive computing. By studying in-depth the emergent behaviours exhibited by the trained adaptive memory model, we identify several recognizable behaviours akin to human cognitive processes. This work expands the discussion of adaptive computing beyond the obvious gains in efficiency, but to behaviours emerging due to varying constraints usually attributable to dynamic response times in humans.