L'ambition du présent mémoire est la présentation d'un ensemble de principes appelés la théorie PAC-Bayes. L'approche offre des garanties de type PAC aux algorithmes d'apprentissage bayésiens généralisés. Le mémoire traite essentiellement des cas où la distribution prior dépend des données. Le mémoire est divisé en trois chapitres. Le premier chapitre détaille les notions de base en apprentissage automatique. Il s'agit d'idées nécessaires à la bonne compréhension des deux chapitres subséquents. Le deuxième chapitre présente et discute de la théorie PAC-Bayes. Finalement, le troisième chapitre aborde l'idée d'une garantie PAC-Bayes où le prior dépend des données. Il y a deux contributions principales. La première contribution est une formulation analytique du risque empirique espéré pour les distributions elliptiques. La seconde contribution est une extension du travail de Parrado-Hernández et al. (34). En effet, il s'agit du développement d'une garantie PAC-Bayes avec un prior espérance non sphérique. / The ambition of this thesis is to present a set of principles called the PAC-Bayes theory. The approach provides PAC-like guarantees for generalised Bayesian learning algorithms. This thesis deals essentially with cases where the prior distribution is data dependent. The paper is divided into three chapters. The first chapter details the core concepts of machine learning. These are ideas that are necessary for a good understanding of the two subsequent chapters. The second chapter presents and discusses the PAC-Bayes theory. Finally, the third chapter addresses the idea of a PAC-Bayes guarantee where the prior depend on the data. There are two main contributions. The first contribution is an analytical formulation of the empirical expected risk for elliptical distributions. The second contribution is an extension of the work of Parrado-Hernández et al. (34). Indeed, it is the development of a PAC-Bayes guarantee with a non-spherical prior expectation.

L'ambition du présent mémoire est la présentation d'un ensemble de principes appelés la théorie PAC-Bayes. L'approche offre des garanties de type PAC aux algorithmes d'apprentissage bayésiens généralisés. Le mémoire traite essentiellement des cas où la distribution prior dépend des données. Le mémoire est divisé en trois chapitres. Le premier chapitre détaille les notions de base en apprentissage automatique. Il s'agit d'idées nécessaires à la bonne compréhension des deux chapitres subséquents. Le deuxième chapitre présente et discute de la théorie PAC-Bayes. Finalement, le troisième chapitre aborde l'idée d'une garantie PAC-Bayes où le prior dépend des données. Il y a deux contributions principales. La première contribution est une formulation analytique du risque empirique espéré pour les distributions elliptiques. La seconde contribution est une extension du travail de Parrado-Hernández et al. (34). En effet, il s'agit du développement d'une garantie PAC-Bayes avec un prior espérance non sphérique. / The ambition of this thesis is to present a set of principles called the PAC-Bayes theory. The approach provides PAC-like guarantees for generalised Bayesian learning algorithms. This thesis deals essentially with cases where the prior distribution is data dependent. The paper is divided into three chapters. The first chapter details the core concepts of machine learning. These are ideas that are necessary for a good understanding of the two subsequent chapters. The second chapter presents and discusses the PAC-Bayes theory. Finally, the third chapter addresses the idea of a PAC-Bayes guarantee where the prior depend on the data. There are two main contributions. The first contribution is an analytical formulation of the empirical expected risk for elliptical distributions. The second contribution is an extension of the work of Parrado-Hernández et al. (34). Indeed, it is the development of a PAC-Bayes guarantee with a non-spherical prior expectation.

Titre de l'écran-titre (visionné le 26 juin 2023) / En apprentissage automatique, des algorithmes sont utilisés pour apprendre des modèles mathématiques à partir de données recueillies afin de résoudre une tâche. Trouver une représentation appropriée pour décrire les données d'entrée est une étape essentielle pour obtenir un résultat favorable. Initialement, les données d'un problème spécifique étaient représentées par des attributs élaborés manuellement dans le cadre d'un processus long et ardu. Cette étape a été révolutionnée avec l'avènement de l'apprentissage de représentations, un ensemble de techniques permettant de construire automatiquement une représentation pour une tâche donnée. En pratique, les succès de l'apprentissage de représentations ont conduit à des percées remarquables dans divers domaines, notamment grâce aux méthodes d'apprentissage profond des dernières années. Cependant, ces réalisations empiriques manquent souvent d'analyse théorique solide pour fournir des garanties statistiques et une compréhension poussée. La théorie de l'apprentissage statistique, telle que la théorie PAC-Bayésienne, est un outil puissant pour étudier les algorithmes d'apprentissage automatique et les performances de généralisation des modèles. La théorie PAC-Bayésienne exprime des garanties de généralisation sur des prédicteurs qui sont construits comme une agrégation de plusieurs prédicteurs plus simples. Dans ce travail, nous nous concentrons sur l'utilisation de la théorie PAC-Bayésienne pour développer de nouvelles techniques d'apprentissage de représentations ayant des propriétés intéressantes. Tout d'abord, nous explorons l'apprentissage par noyau en nous appuyant sur la méthode des attributs aléatoires de Fourier interprétée comme un vote de majorité et analysée dans le cadre PAC-Bayésien. Nous proposons deux approches d'apprentissage : un algorithme d'alignement de noyaux et un apprentissage par mesure de similarité basée sur des points de repère. Ensuite, nous adaptons nos travaux d'apprentissage par noyau à un cadre non supervisé en utilisant des données non étiquetées avec des informations de similarité afin d'apprendre des représentations pertinentes. Finalement, nous analysons les réseaux de neurones profonds avec activation binaire en utilisant la théorie PAC-Bayésienne. Nous développons une approche pour apprendre de tels réseaux et nous obtenons des garanties de généralisation non triviales pour nos modèles. / In machine learning, algorithms are used to learn mathematical models from gathered data to solve a task. Finding a suitable representation to describe the input data is an essential step towards a favorable outcome. Originally, hand-crafted features were designed in a time-consuming process to represent data for a specific problem. This was revolutionized with the advent of representation learning, which is a set of techniques to automatically build a representation for a given task. The practical successes of representation learning led to remarkable breakthroughs in various domains, notably driven by deep learning methods in recent years. However, those empirical achievements often lack a sound theoretical analysis to provide statistical guarantees and in-depth insights. A powerful tool to study machine learning algorithms and the generalization performance of models is statistical learning theory, such as the PAC-Bayesian theory. PAC-Bayes express generalization guarantees on predictors that are built as an aggregation of multiple simpler predictors. In this work, we focus on leveraging the PAC-Bayesian theory to develop novel representation learning techniques with advantageous properties. First, we explore kernel learning by building upon the kernel random Fourier features method interpreted as a majority vote and analyzed in the PAC-Bayesian framework. We propose two learning approaches: a kernel alignment algorithm and a landmarks-based similarity measure learning. Then, we adapt our kernel learning work for an unsupervised setting using unlabeled data with similarity information to learn relevant representations. Finally, we analyze deep neural networks with binary activation using the PAC-Bayesian theory. We develop a framework to train such networks, and we obtain nonvacuous generalization bounds for our approach.

Dans cette thèse, on commence par démontrer une version généralisée du théorèmede Bochner. Ce résultat concerne les paires sphériques d'Olshanski qui sont définies comme des limites inductives de suites croissantes de paires de Guelfand . En utilisant la théorie de la représentation intégrale de Choquet dans les cônes convexes, on établit une représentation de type Bochner pour toute fonction de l'ensemble des fonctions continues, -biinvariantes et de type positif sur Cette représentation est donnée via une unique mesure positive et bornée par : Ici désigne l'ensemble des fonctions sphériques de type positif sur Ensuite, on considère la paire sphérique où est l'espace des matrices complexes carrées de dimension infinie n'ayant qu'un nombre fini de coefficients non nuls, et est le groupe unitaire de dimension infinie. En utilisant un résultat dû à G. Olshanski et A. Vershik, on détermine l'ensemble pour la paire sphérique considérée. Ce qui nous permet de trouver une version paramétrée du théorème de Bochner généralisé qu'on utilise pour établir une représentation intégrale des fonctions continues de type négatif dans le cas de cette paire / In this Thesis, we first prove a generalisation of Bochner theorem. This result deals with Olshanski spherical pairs which are defined as inductive limits of increasing sequences of Gelfand pairs. By using Choquet's theorem, we establish a Bochner type representation of any element in the set of -biinvariant continuous functions of positive type on Such representation is given via a unique, positive and bounded measure by : Here is the set of spherical functions of positive type on Then we consider the spherical pair where is the infinite dimensional space of square complex matrices with only finite non zero coefficients, and is the infinite dimensional unitary group. By using a result of G. Olshanski and A. Vershik, we determine the set of spherical functions of positive type for the considered spherical pair. This enables us to find a parameterized version of the generalized Bochner theorem which we use to establish an integral representation of continuous functions of negative type in this case

Cette thèse est consacrée à la détermination des états limites de l'adaptation des matériaux ductiles poreux sur la base du théorème de Melan et en considérant le modèle de la sphère creuse. Dans un premier temps, nous proposons le critère analytique macroscopique d'adaptation avec la matrice de von Mises sous deux charges particuliers, alterné et pulsé. Le critère analytique dépend des première et seconde invariants des contraintes macroscopiques, du signe du troisième et du coefficient de Poisson. Ensuite, ce critère est étendu aux charges cycliques répétées générales par la construction d'un champ de contraintes résiduelles d'essai plus approprié permettant simultanément des calculs analytiques et l'amélioration du modèle précédent. De plus, il est également utilisé pour les matériaux ductiles poreux avec une matrice de Drucker-Prager.L'idée repose d'abord sur la solution exacte pour le charge purement hydrostatique. Il s'avère que la ruine se produit par fatigue. Ensuite, des champs de contrainte d'essai appropriés sont construits avec des termes supplémentaires pour capter les effets de cisaillement. Le domaine de sécurité, défini par l'intersection du domaine d'adaptationet celui d'analyse limite (la ruine survenant brusquement par formation d'un mécanisme au premier cycle), est entièrement comparé avec des simulations élasto-plastique incrémentales et des calculs directs simplifiés.Enfin, nous fournissons une méthode numérique directe pour prédire le domaine de sécurité de l'adaptation des matériaux poreux soumis à des charges variant de manière indépendante en considérant le chemin critique du domaine de chargement au lieu de l'histoire entière. Le problème de l'adaptation est transformé en un problème d'optimisation de grande taille, qui peut être résolu efficacement par l'optimiseur non-linéaire IPOPT pour donner non seulement le facteur de charge limite, mais aussi le champ de contrainte résiduelle correspondant à l'état d'adaptation. / This thesis is devoted to the determination of shakedown limit states of porous ductile materials based on Melan's static theorem by considering the hollow sphere model, analytically and numerically. First of all, we determine the analytical macroscopic shakedown criterion of the considered unit cell with von Mises matrix under alternating and pulsating special loading cases. The proposed macroscopic analytical criterion depends on the first and second macroscopic stresses invariants, the sign of the third one and Poisson's ratio. Then, the procedure is extended to the general cyclically repeated loads by the construction of a more appropriate trial residual stress field allowing analytical computations and the improvement of the previous model simultaneously. Moreover, this approach is applied to porous materials with dilatant Drucker-Prager matrix.The idea relies firstly on the exact solution for the pure hydrostatic loading condition. It turns out that the collapse occurs by fatigue. Next, suitable trial stress fields are built with additional terms to capture the shear effects. The safety domain, defined by the intersection of the shakedown limit domain and the limit analysis domain corresponding to the sudden collapse by development of a mechanism at the first cycle, is fully compared with step-by-step incremental elastic-plastic simulations and simplified direct computations. At last, we provide a direct numerical method to predict the shakedown safety domain of porous materials subjected to multi-varying independent loadings by considering the critical loading path of the load domain instead of the whole history. The shakedown problem is transformed into a large-size optimization problem, which can be solved efficiently by the non-linear optimizer IPOPT to give out not only the limit load factor, but also the corresponding residual stress field for the shakedown state.

On considère dans cette thèse le couplage de deux plasmas homogènes et idéaux, présentant une discontinuité tangentielle le long d’une hypersurface évoluant au cours de temps. Le mouvement d’un tel fluide est dicté par les équations de la magnétohydrodynamique idéale incompressible. Le phénomène de cisaillement du plasma conduit à la création d’une nappe de tourbillon-courant. Un premier travail consiste à construire des solutions analytiques au système des nappes de tourbillon-courant, en utilisant un théorème de Cauchy-Kowalevskaya. Dans une seconde partie, on s’attarde sur le comportement qualitatif des solutions exactes du système des nappes de tourbillon-courant, issues de données initiales de faible amplitude et fortement oscillantes. Pour ce faire, on utilise des outils d’optique géométrique, et on met en évidence la formation d’ondes de surface lorsque les données initiales oscillent à des fréquences bien particulières. / In this thesis, we consider the coupling between two ideal and homogeneous plasmas, giving rise to a tangential discontinuity across a time-dependent hypersurface. The motion of such a fluid is described by the ideal incompressible magnetohydrodynamics equations. This shear flow leads to the creation of a current-vortex sheet. The first part of this work is devoted to the construction of analytic solutions to the current-vortex sheet system, using a Cauchy-Kowalevskaya theorem. In a second part, we look at the qualitative behavior of exact solutions to the current-vortex sheet system, obtained from highly oscillating initial data. We use tools of geometric optics and we exhibit the creation of surface waves when the initial datum is oscillating with particular frequencies.

Dans ce travail, on s'intéresse à étudier des questions concernant la spécialisation de revêtements galoisiens. Le point de départ est le problème de Beckmann-Black. Etant donnée une extension galoisienne E/K de groupe G, existe-t-il un revêtement galoisien f de groupe G défini sur K qui se spécialise en E/K en un point t_0\in K? Un premier résultat est une réponse locale: si S est un ensemble fini de places finies de K, on peut trouver un revêtement galoisien f de groupe G, défini sur une extension finie L/K tel que pour v\in S, L/K est totalement décomposée dans K_v et le revêtement f, étendu à L_v = K_v, se spécialise en EK_v/K_v en un point t_0 \in K (fixé à l'avance). On peut demander en plus que f, vu sur L, se spécialise en une extension de groupe G isomorphe à EL/L (au même point t_0). Un deuxième résultat correspond à l'énoncé similaire mais avec les extensions EK_v/K_v remplacées par des extensions locales E^v/K_v plus générales, qui ne proviennent pas forcément d'une extension globale E/K; on suppose qu'elles sont de groupe H_v \subset G et sont non ramifiées. Il y a pour ce deuxième résultat des hypothèses sur les corps résiduels. Ce deuxième énoncé est relié au problème de Grunwald. Le troisième résultat est lié à l'énoncé précédent qui combine une conclusion de type Grunwald-Wang pour les groupes arbitraires, une version effective du théorème de Hilbert et le problème inverse de Galois. / In our work, we are interested to study some open questions concerning the specialization of Galois covers. The starting point is the Beckmann-Black problem. This problem asks whether a given finite Galois extension E/K of group G is the specialization of some Galois cover f of group G definite over K at some point t_0 \in K ? The first result is a conclusions local: if S is a finite ensemble of finites places of K, we can find a Galois cover f of group G definite over a finite extension L/K such that for all v\in S, L/K is totally split in K_v and the specialization of the cover f, after scalars extension to L_v=K_v, is a Galois extension isomorphic to EL/L (in the same point t_0). The second result is in the same statement but with extensions EK_v / K_v replaced by with local extensions E^v/K_v, which do not necessarily come from a global extension E / K; we assume that they are unramified of group H_v\subset G. With some hypotheses on the residual fields, this second result is related to the problem of Grunwald. The third result combines a conclusion of the Grunwald-Wang problem for arbitrary groups, an effective version of Hilbert's theorem and the inverse problem of Galois.

Bayesian inference is about recovering the full conditional posterior distribution of the parameters of a statistical model. This exercise, however, can be challenging to undertake if the model specification is not available a priori, as is typically the case. This thesis proposes a new framework to select the subset of regressors that are the relevant features that explain a target variable in linear regression models. We generalize Zellner's g-prior with a random matrix, and we present a likelihood-based search algorithm, which uses Bayesian tools to compute the posterior distribution of the model parameters over all possible models generated, based on the maximum a posteriori (MAP). We use Markov chain Monte Carlo (MCMC) methods to gather samples of the model parameters and specify all distributions underlying these model parameters. We then use these simulations to derive a posterior distribution for the model parameters by introducing a new parameter that allows us to control how the selection of variables is done. Using simulated datasets, we show that our algorithm yields a higher frequency of choosing the correct variables and has a higher predictive power relative to other widely used variable selection models such as adaptive Lasso, Bayesian adaptive Lasso, and relative to well-known machine learning algorithms. Taken together, this framework and its promising performance under various model environments highlight that simulation tools and Bayesian inference methods can be efficiently combined to deal with well-known problems that have long loomed the variable selection literature. / L'inférence bayésienne consiste à retrouver la distribution conditionnelle a posteriori complète des paramètres d'un modèle statistique. Cet exercice, cependant, peut être difficile à entreprendre si la spécification du modèle n'est pas disponible a priori, comme c'est généralement le cas. Cette thèse propose une nouvelle approche pour sélectionner le sous-ensemble de régresseurs qui sont les caractéristiques pertinentes qui expliquent une variable cible dans les modèles de régression linéaire. Nous généralisons le g-prior de Zellner avec une matrice aléatoire et nous présentons un algorithme de recherche basé sur la vraisemblance, qui utilise des outils bayésiens pour calculer la distribution a posteriori des paramètres du modèle sur tous les modèles possibles générés. La sélection du modèle se fera sur la base du maximum a posteriori (MAP). Nous utilisons les méthodes de Monte Carlo par chaînes de Markov pour échantillonner suivant les distributions a posteriori de ces paramètres du modèle. Nous utilisons ensuite ces simulations pour dériver une estimation a posteriori des paramètres du modèle en introduisant un autre paramètre qui nous permet de contrôler la manière dont la sélection de la variable est effectuée. À l'aide de données simulées, nous montrons que notre méthode donne une fréquence plus élevée de choix des variables importantes et a un pouvoir prédictif plus élevé par rapport à d'autres modèles de sélection de variables largement utilisés tels que le Lasso adaptatif, le Lasso adaptatif bayésien, et par rapport aux algorithmes d'apprentissage automatique bien connus. Pris ensemble, cette approche et ses performances prometteuses dans divers scénarios de données mettent en évidence le fait que les outils de simulation et les techniques d'inférence bayésienne puissent être efficacement combinés pour traiter des problèmes bien connus qui ont longtemps pesé sur la littérature de la sélection de variables (en particulier en grande dimension).

Les méthodes d'inférence causale sont utiles pour répondre à plusieurs questions de recherche dans différents domaines, notamment en épidémiologie. Les graphes acycliques orientés sont des outils importants pour l'inférence causale. Entre autres, ils peuvent être utilisés pour identifier les variables confondantes utilisées dans l'ajustement de modèles statistiques afin d'estimer sans biais l'effet d'un traitement. Ces graphes sont construits à partir des connaissances du domaine d'application. Pourtant, ces connaissances sont parfois insuffisantes pour supposer que le graphe construit est correct. Souvent, un chercheur peut proposer divers graphiques correspondants à une même problématique. Dans ce projet, on développe une alternative au modèle moyen bayésien traditionnel qui se base sur un ensemble de graphes proposés par un utilisateur. Pour sa mise en œuvre, on estime d'abord la vraisemblance des données sous les modèles impliqués par chacun des graphes afin de déterminer la probabilité a posteriori de chaque graphe. On identifie, pour chaque graphe, un ensemble de covariables d'ajustement suffisant pour éviter le biais de confusion et on estime l'effet causal à partir d'approches appropriées en ajustant pour ces covariables. Finalement, l'effet causal global est estimé comme une moyenne pondérée des estimations correspondantes à chacun des graphes. La performance de cette approche est étudiée à l'aide d'une étude de simulation où le mécanisme de génération des données est inspiré de l'étude Study of Osteoporotic Fractures (SOF). Différents scénarios sont présentés selon les liens considérés entre les variables. L'étude de simulation démontre une bonne performance générale de notre méthode par comparaison au modèle moyen bayésien traditionnel. L'application de cette approche est illustrée à l'aide de données de l'étude SOF dont l'objectif est l'estimation de l'effet de l'activité physique sur le risque de fractures de la hanche. / Causal inference methods are useful for answering several research questions in different fields, including epidemiology. Directed acyclic graphs are important tools for causal inference. Among other things, they can be used to identify confounding variables used in fitting statistical models to unbiasedly estimate the effect of a treatment. These graphs are built from the knowledge of the domain of application. However, this knowledge is sometimes insufficient to assume that the constructed graph is correct. Often, a researcher can propose various graphs corresponding to the same problem. In this project, we develop an alternative to the traditional Bayesian model averaging which is based on a set of graphs proposed by a user. For its implementation, we first estimate the likelihood of the data under the models implied by each graph to determine the posterior probability of each graph. A set of adjustment covariates sufficient to control for confounding bias is identified for each graph and the causal effect is estimated using appropriate approaches by adjusting for these covariates. Finally, the overall causal effect is estimated as a weighted average of the graph-specific estimates. The performance of this approach is studied using a simulation study in which the data generation mechanism is inspired by the Study of Osteoporotic Fractures (SOF). Different scenarios varying in their relationships between the variables are presented. The simulation study shows a good overall performance of our method compared to the traditional Bayesian model averaging. The application of this approach is illustrated using data from the SOF, whose objective is to estimate the effect of physical activity on the risk of hip fractures.

Dans cette Thèse, nous considérons dans le plan complexe l’équation de la chaleur avec la condition initiale singulière u(0,z)=1/(1-exp(z)). Ce problème de Cauchy possède une unique solution formelle série entière, laquelle peut être sommée par des procédés de sommation différents. Le but est d’établir des relations existant entre les différentes sommes ainsi étudiées: d’une part la somme de Borel de celle-ci et, de l’autre, deux versions q-analogues de la somme de Borel qui sont obtenuesrespectivement avec le noyau de la chaleur et la fonction thêta de Jacobi. Notre analyse sur le phénomène de Stokes correspondant nous conduit à une généralisation d’un résultat de Mordell sur le nombre de classes des formes quadratiques binaires définies et positives. / In this thesis, we consider the heat equation with the singular initial condition u(0,z)=1/(1-exp(z)), where z is a complex variable. The aim is to establish relations among three sums of a divergent formal solution to this Cauchy problem: its Borel-sum and two q-Borel-sums obtained by means of heat kernel and theta function respectively. This Stokes analysis allows us to give a generalization to a classical result of Mordell related to the class numbers of the binary positive-definite quadratic forms.