Year after years, the amount of data that we continuously generate is increasing. When this situation started the main challenge was to find a way to store the huge quantity of information. Nowadays, with the increasing availability of storage facilities, this problem is solved but it gives us a new issue to deal with: find tools that allow us to learn from this large data sets. In this thesis, a framework for Bayesian learning with the ability to scale to large data sets is studied. We present the Stochastic Gradient Langevin Dynamics (SGLD) framework and show that in some cases its approximation of the posterior distribution is quite poor. A reason for this can be that SGLD estimates the gradient of the log-likelihood with a high variability due to naïve sampling. Our approach combines accurate proxies for the gradient of the log-likelihood with SGLD. We show that it produces better results in terms of convergence to the correct posterior distribution than the standard SGLD, since accurate proxies dramatically reduce the variance of the gradient estimator. Moreover, we demonstrate that this approach is more efficient than the standard Markov Chain Monte Carlo (MCMC) method and that it exceeds other techniques of variance reduction proposed in the literature such as SAGA-LD algorithm. This approach also uses control variates to improve SGLD so that it is straightforward the comparison with our approach. We apply the method to the Logistic Regression model.

Afin de faire face aux nouveaux challenges de l’industrie automobile, les ingénieurs souhaitent appliquer des méthodes d’optimisation à chaque étape du processus de conception. En élargissant l’espace de conception aux paramètres de forme, en augmentant leur nombre et en étendant les plages de variation, de nouveaux verrous sont apparus. C’est le cas de la résistance aux chocs. Avec les temps de calcul long, la non-linéarité, l’instabilité et la dispersion numérique de ce problème de dynamique rapide, la méthode usuellement employée, l’optimisation par plan d’expériences et surfaces de réponse, devient trop coûteuse pour être utilisée industriellement. Se pose alors la problématique suivante : Comment faire de l’optimisation de forme en dynamique rapide avec un nombre élevé de paramètres ?. Pour y répondre, les méthodes d’optimisation par gradient s’avèrent être les plus judicieuses. Le nombre de paramètres a une influence réduite sur le coût de l’optimisation. Elles permettent donc l’optimisation de problèmes ayant de nombreux paramètres. Cependant, les méthodes classiques de calcul du gradient sont peu pertinentes en dynamique rapide : le coût en nombre de simulations et le bruit empêchent l’utilisation des différences finies et le calcul du gradient en dérivant les équations de dynamique rapide n’est pas encore disponible et serait très intrusif vis-à-vis des logiciels. Au lieu de déterminer le gradient, au sens classique du terme, des problèmes de crash, nous avons cherché à l’estimer. L’Equivalent Static Loads Method est une méthode permettant l’optimisation à moindre coût basée sur la construction d’un problème statique linéaire équivalent au problème de dynamique rapide. En utilisant la dérivée du problème équivalent comme estimation du gradient, il nous a été possible d’optimiser des problèmes de dynamique rapide ayant des épaisseurs comme variables d’optimisation. De plus, si l’on construit les équations du problème équivalent avec la matrice de rigidité sécante, l’approximation du gradient n’en est que meilleure. De cette manière, il est aussi possible d’estimer le gradient par rapport à la position des nœuds du modèle de calcul. Comme il est plus courant de travailler avec des paramètres CAO, il faut déterminer la dérivée de la position des nœuds par rapport à ces paramètres. Nous pouvons le faire de manière analytique si nous utilisons une surface paramétrique pour définir la forme et ses points de contrôle comme variables d’optimisation. Grâce à l’estimation du gradient et à ce lien entre nœuds et paramètres de forme, l’optimisation de forme avec un nombre important de paramètres est désormais possible à moindre coût. La méthode a été développée pour deux familles de critères issues du crash automobile. La première est liée au déplacement d’un nœud, objectif important lorsqu’il faut préserver l’intégrité de l’habitacle du véhicule. La seconde est liée à l’énergie de déformation. Elle permet d’assurer un bon comportement de la structure lors du choc. / In order to face their new industrial challenges, automotive constructors wish to apply optimization methods in every step of the design process. By including shape parameters in the design space, increasing their number and their variation range, new problematics appeared. It is the case of crashworthiness. With the high computational time, the nonlinearity, the instability and the numerical dispersion of this rapid dynamics problem, metamodeling techniques become to heavy for the standardization of those optimization methods. We face this problematic: ”How can we carry out shape optimization in rapid dynamics with a high number of parameters ?”. Gradient methods are the most likely to solve this problematic. Because the number of parameters has a reduced effect on the optimization cost, they allow optimization with a high number of parameters. However, conventional methods used to calculate gradients are ineffective: the computation cost and the numerical noise prevent the use of finite differences and the calculation of a gradient by deriving the rapid dynamics equations is not currently available and would be really intrusive towards the software. Instead of determining the real gradient, we decided to estimate it. The Equivalent Static Loads Method is an optimization method based on the construction of a linear static problem equivalent to the rapid dynamic problem. By using the sensitivity of the equivalent problem as the estimated gradient, we have optimized rapid dynamic problems with thickness parameters. It is also possible to approximate the derivative with respect to the position of the nodes of the CAE model. But it is more common to use CAD parameters in shape optimization studies. So it is needed to have the sensitivity of the nodes position with these CAD parameters. It is possible to obtain it analytically by using parametric surface for the shape and its poles as parameters. With this link between nodes and CAD parameters, we can do shape optimization studies with a large number of parameters and this with a low optimization cost. The method has been developed for two kinds of crashworthiness objective functions. The first family of criterions is linked to a nodal displacement. This category contains objectives like the minimization of the intrusion inside the passenger compartment. The second one is linked to the absorbed energy. It is used to ensure a good behavior of the structure during the crash.