Cette thèse se consacre à une analyse rigoureuse des algorithmes d'optimisation globale équentielle. On se place dans un modèle de bandits stochastiques où un agent vise à déterminer l'entrée d'un système optimisant un critère. Cette fonction cible n'est pas connue et l'agent effectue séquentiellement des requêtes pour évaluer sa valeur aux entrées qu'il choisit. Cette fonction peut ne pas être convexe et contenir un grand nombre d'optima locaux. Nous abordons le cas difficile où les évaluations sont coûteuses, ce qui exige de concevoir une sélection rigoureuse des requêtes. Nous considérons deux objectifs, d'une part l'optimisation de la somme des valeurs reçues à chaque itération, d'autre part l'optimisation de la meilleure valeur trouvée jusqu'à présent. Cette thèse s'inscrit dans le cadre de l'optimisation bayésienne lorsque la fonction est une réalisation d'un processus stochastique connu, et introduit également une nouvelle approche d'optimisation par ordonnancement où l'on effectue seulement des comparaisons des valeurs de la fonction. Nous proposons des algorithmes nouveaux et apportons des concepts théoriques pour obtenir des garanties de performance. Nous donnons une stratégie d'optimisation qui s'adapte à des observations reçues par batch et non individuellement. Une étude générique des supremums locaux de processus stochastiques nous permet d'analyser l'optimisation bayésienne sur des espaces de recherche nonparamétriques. Nous montrons également que notre approche s'étend à des processus naturels non gaussiens. Nous établissons des liens entre l'apprentissage actif et l'apprentissage statistique d'ordonnancements et déduisons un algorithme d'optimisation de fonctions potentiellement discontinue. / This dissertation is dedicated to a rigorous analysis of sequential global optimization algorithms. We consider the stochastic bandit model where an agent aim at finding the input of a given system optimizing the output. The function which links the input to the output is not explicit, the agent requests sequentially an oracle to evaluate the output for any input. This function is not supposed to be convex and may display many local optima. In this work we tackle the challenging case where the evaluations are expensive, which requires to design a careful selection of the input to evaluate. We study two different goals, either to maximize the sum of the rewards received at each iteration, or to maximize the best reward found so far. The present thesis comprises the field of global optimization where the function is a realization from a known stochastic process, and the novel field of optimization by ranking where we only perform function value comparisons. We propose novel algorithms and provide theoretical concepts leading to performance guarantees. We first introduce an optimization strategy for observations received by batch instead of individually. A generic study of local supremum of stochastic processes allows to analyze Bayesian optimization on nonparametric search spaces. In addition, we show that our approach extends to natural non-Gaussian processes. We build connections between active learning and ranking and deduce an optimization algorithm of potentially discontinuous functions.

L'objet de ce travail de recherche est de construire un modèle approché en vue de simuler les trajectoires d'un processus stochastique non gaussien strictement stationnaire sous la seule donnée (incomplète) de sa loi marginale d'ordre un, ou des N premiers moments de cette loi, et de sa fonction d'autocorrélation. La méthode de simulation développée au cours de cette thèse s'appuie sur deux méthodes bien connues de simulation de processus gaussiens : la méthode spectrale et la markovianisation. D'autre part, si seuls les N premiers moments de la loi marginale sont donnés, le principe de maximum d'entropie est utilisé pour choisir cette loi. A partir de la loi marginale est construite une transformation non linéaire qui est ensuite projetée sur la base des polynomes d'Hermite. Le modèle construit consiste donc en une transformation polynomiale d'un processus gaussien stationnaire standard dont la fonction d'autocorrélation est déterminée à l'aide d'un problème de minimisation. Cette méthode de simulation est mise en oeuvre dans des exemples numériques inspirés de l'ingénierie mécanique. Enfin, les convergences en moyenne quadratique et presque-sure du modèle ont été étudiées.

Ce travail de thèse s'intéresse au problème de l'optimisation globale d'une fonction coûteuse dans un cadre bayésien. Nous disons qu'une fonction est coûteuse lorsque son évaluation nécessite l'utilisation de ressources importantes (simulations numériques très longues, notamment). Dans ce contexte, il est important d'utiliser des algorithmes d'optimisation utilisant un faible nombre d'évaluations de cette dernière. Nous considérons ici une approche bayésienne consistant à affecter à la fonction à optimiser un a priori sous la forme d'un processus aléatoire gaussien, ce qui permet ensuite de choisir les points d'évaluation de la fonction en maximisant un critère probabiliste indiquant, conditionnellement aux évaluations précédentes, les zones les plus intéressantes du domaine de recherche de l'optimum. Deux difficultés dans le cadre de cette approche peuvent être identifiées : le choix de la valeur des paramètres du processus gaussien et la maximisation efficace du critère. La première difficulté est généralement résolue en substituant aux paramètres l'estimateur du maximum de vraisemblance, ce qui est une méthode peu robuste à laquelle nous préférons une approche dite complètement bayésienne. La contribution de cette thèse est de présenter un nouvel algorithme d'optimisation bayésien, maximisant à chaque étape le critère dit de l'espérance de l'amélioration, et apportant une réponse conjointe aux deux difficultés énoncées à l'aide d'une approche Sequential Monte Carlo. Des résultats numériques, obtenus à partir de cas tests et d'applications industrielles, montrent que les performances de notre algorithme sont bonnes par rapport à celles d'algorithmes concurrents.

Ce mémoire porte sur la densité du premier temps de passage d'un processus gaussien et markovien à travers une frontière. Ce problème est résolu pour quelques cas particuliers, mais il n'est pas encore possible pour l'instant de le résoudre de façon analytique pour une frontière déterministe quelconque. (Di Nardo et al., 2001) ont proposé une méthode qui utilise des fonctions symétriques pour un ensemble de frontières qui généralisent celles de (Daniels, 1996). C'est ce qui est principalement étudié ici. De plus, deux exemples d'applications en finance sont considérés. Finalement, on regarde aussi un exemple de simulations pour comparer cette méthode à celle de (Durbin et Williams, 1992). ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Processus gaussien et markovien, mouvement brownien, processus d'Ornstein-Uhlenbeck, premier temps de passage.

Ce travail de thèse s'intéresse au problème de l'optimisation globale d'une fonction coûteuse dans un cadre bayésien. Nous disons qu'une fonction est coûteuse lorsque son évaluation nécessite l’utilisation de ressources importantes (simulations numériques très longues, notamment). Dans ce contexte, il est important d'utiliser des algorithmes d'optimisation utilisant un faible nombre d'évaluations de cette dernière. Nous considérons ici une approche bayésienne consistant à affecter à la fonction à optimiser un a priori sous la forme d'un processus aléatoire gaussien, ce qui permet ensuite de choisir les points d'évaluation de la fonction en maximisant un critère probabiliste indiquant, conditionnellement aux évaluations précédentes, les zones les plus intéressantes du domaine de recherche de l'optimum. Deux difficultés dans le cadre de cette approche peuvent être identifiées : le choix de la valeur des paramètres du processus gaussien et la maximisation efficace du critère. La première difficulté est généralement résolue en substituant aux paramètres l'estimateur du maximum de vraisemblance, ce qui est une méthode peu robuste à laquelle nous préférons une approche dite complètement bayésienne. La contribution de cette thèse est de présenter un nouvel algorithme d'optimisation bayésien, maximisant à chaque étape le critère dit de l'espérance de l'amélioration, et apportant une réponse conjointe aux deux difficultés énoncées à l'aide d'une approche Sequential Monte Carlo. Des résultats numériques, obtenus à partir de cas tests et d'applications industrielles, montrent que les performances de notre algorithme sont bonnes par rapport à celles d’algorithmes concurrents. / This thesis deals with the problem of global optimization of expensive-to-evaluate functions in a Bayesian framework. We say that a function is expensive-to-evaluate when its evaluation requires a significant amount of resources (e.g., very long numerical simulations).In this context, it is important to use optimization algorithms that can deal with a limited number of function evaluations. We consider here a Bayesian approach which consists in assigning a prior to the function, under the form of a Gaussian random process. The idea is then to choose the next evaluation points using a probabilistic criterion that indicates, conditional on the previous evaluations, the most interesting regions of the research domain for the optimizer. Two difficulties in this approach can be identified: the choice of the Gaussian process prior and the maximization of the criterion. The first problem is usually solved by using a maximum likelihood approach, which turns out to be a poorly robust method, and to which we prefer a fully Bayesian approach. The contribution of this work is the introduction of a new Bayesian optimization algorithm, which maximizes the Expected Improvement (EI) criterion, and provides an answer to both problems thanks to a Sequential Monte Carlo approach. Numerical results on benchmark tests show good performances of our algorithm compared to those of several other methods of the literature.

Cette thèse traite d'une question centrale dans de nombreux problèmes d'optimisation, en particulier<br />en ingénierie. Comment optimiser une fonction lorsque le nombre d'évaluations autorisé est très limité au regard de la dimension et de la complexité du problème ? Par exemple, lorsque le budget d'évaluations est limité par la durée des simulations numériques du système à optimiser, il n'est pas rare de devoir optimiser trente paramètres avec moins<br />de cent évaluations. Ce travail traite d'algorithmes d'optimisation spécifiques à ce contexte pour lequel la plupart des méthodes classiques sont inadaptées.<br />Le principe commun aux méthodes proposées est d'exploiter les propriétés des processus gaussiens et du krigeage pour construire une approximation peu coûteuse de la fonction à optimiser. Cette approximation est ensuite utilisée pour choisir itérativement les évaluations à réaliser. Ce choix est dicté par un critère d'échantillonnage qui combine recherche locale, à proximité des résultats prometteurs, et recherche globale, dans les zones non explorées. La plupart des critères proposés dans la littérature, tel celui de l'algorithme EGO (pour Efficient Global Optimization), cherchent à échantillonner la fonction là où l'apparition d'un optimum est jugée la plus probable. En comparaison, l'algorithme IAGO (pour Informational Approach to Global Optimization), principale contribution de nos travaux, cherche à maximiser la quantité d'information apportée, sur la position de l'optimum, par l'évaluation réalisée. Des problématiques industrielles ont guidé l'organisation de ce mémoire, qui se destine à la communauté de l'optimisation<br />tout comme aux praticiens confrontés à des fonctions à l'évaluation coûteuse. Aussi les applications industrielles y tiennent-elles une place importante tout comme la mise en place de l'algorithme IAGO. Nous détaillons non seulement le cas standard de l'optimisation d'une fonction réelle, mais aussi la prise en compte de contraintes, de<br />bruit sur les résultats des évaluations, de résultats d'évaluation du gradient, de problèmes multi-objectifs, ou encore d'incertitudes de fabrication significatives.

Cette thèse est consacrée à l'utilisation des ondelettes dans deux domaines à savoir la construction de bases sur l'intervalle et l'estimation du paramètre de longue mémoire par transformée (discrète) d'ondelettes. Dans un premier volet Nous présentons des constructions générales d'analyses multirésolution orthogonales (par une méthode directe) et biorthogonale sur l'intervalle (par la méthode d'intégration et de dérivation) .Comme applications, on étudie les espaces de Sobolev $H^{s}([0,1])$ et $H^{s}_{0}([0,1])$ pour $s\in\mathbb{N}$ . Le second volet est consacré à l'estimation du paramètre de longues ondelettes (non issues d'une analyse multirésolution) dans un cadre semi paramétrique. Les processus stationnaires à longue mémoire considérés sont du type gaussien puis linéaire. Pour chaque type de processus, on construit un estimateur adaptatif vérifiant un théorème limite central à vitesse de convergence au sens du minimax (à un logarithme prés). Les qualités statistiques de ces estimateurs (robustesses et consistances) sont vérifiées par des simulations et enfin un test d'adéquation est établi (considéré comme un test de longue mémoire dans le cas linéaire).

L'analyse statistique, prise au sens large, est centrée sur la description, et, lorsque les circonstances le permettent, la modélisation quantitative des phénomènes observés, pour peu que ces derniers possèdent une part d'incertitude, et donc, qu'ils soient soumis aux lois du hasard. Dans cette activité scientifique, le plus grand soin doit être apporté à la validation des hypothèses de modélisation, nécessaires à l'interprétation des résultats. Ce principe général s'applique d'ailleurs à toutes les sciences expérimentales, et tout aussi bien aux sciences humaines (en psychologie), qu'en économie, et dans bien d'autres disciplines. Une théorie scientifique repose, au départ, sur des hypothèses de modélisation, qui sont ensuite soumises à l'épreuve de l'expérimentation. Celle-ci est basée sur le recueil de données, dont il est nécessaire de décider la nature, compatible ou non, avec les modèles choisis, aboutissant, soit au rejet, soit à l'acceptation, de ces derniers. La statistique a développé, dans ce but, une technologie basée sur les tests d'hypothèses, dont nous nous abstiendrons de discuter dans mon mémoire de thèse les bases et les fondements. Dans cette thèse, nous avons abordé l'étude de certains tests d'ajustement (dits, en Anglais, tests of fit"), de nature paramétrique et non paramétrique. Les aspects techniques de ces tests d'hypothèses ont été abordés, dans le contexte particulier de notre étude pour les tests de type Cramer-Von Mises. On ne manquera pas de citer l'approche initialement utilisée pour les tests de type Kolmogorov-Smirnov. Enfin, l'ouvrage de Nikitin était une référence de base particulièrement adaptée à la nature de notre recherche. L'objectif principal de la thèse est d'évaluer la puissance asymptotique de certains tests d'ajustement, relevant de la catégorie générale des tests de Cramer-Von Mises. Nous avons évalué cette puissance, relativement à des suites convenables d'alternatives locales. Notre méthode utilise les développements de Karhunen-Loève d'un pont brownien pondéré. Notre travail avait pour objet secondaire de compléter des recherches récentes de P.Deheuvels et G.Martynov, qui ont donné l'expression des fonctions propres et valeurs propres des développements de Karhunen-Loève de certains ponts browniens pondérés à l'aide de fonctions de Bessel. Dans le premier temps, nous avons exposé les fondements des développements de Karhunen-Loève [D.K.L], ainsi que les applications qui en découlent en probabilités et statistiques. Le deuxième paragraphe de cette thèse a été consacré à un exposé de la composante de la théorie des tests d'hypothèses adaptée à la suite de notre mémoire. Dans ce même paragraphe, nous montrons l'intérêt qu'apporte une connaissance explicite des composantes d'un développement de Karhunen-Loève, en vue de l'évaluation de la puissance de tests d'ajustement basés sur les statistiques de type Cramer-Von Mises qui sont liées à ce D.K.L.

Les malformations cardiaques congénitales sont la première cause de décès liés à une anomalie congénitale. L’´electrocardiogramme du fœtus (ECGf), qui est censé contenir beaucoup plus d’informations par rapport aux méthodes échographiques conventionnelles, peut ˆêtre mesuré´e par des électrodes sur l’abdomen de la mère. Cependant, il est tr`es faible et mélangé avec plusieurs sources de bruit et interférence y compris l’ECG de la mère (ECGm) dont le niveau est très fort. Dans les études précédentes, plusieurs méthodes ont été proposées pour l’extraction de l’ECGf à partir des signaux enregistrés par des électrodes placées à la surface du corps de la mère. Cependant, ces méthodes nécessitent un nombre de capteurs important, et s’avèrent inefficaces avec un ou deux capteurs. Dans cette étude trois approches innovantes reposant sur une paramétrisation algébrique, statistique ou par variables d’état sont proposées. Ces trois méthodes mettent en œuvre des modélisations différentes de la quasi-périodicité du signal cardiaque. Dans la première approche, le signal cardiaque et sa variabilité sont modélisés par un filtre de Kalman. Dans la seconde approche, le signal est découpé en fenêtres selon les battements, et l’empilage constitue un tenseur dont on cherchera la décomposition. Dans la troisième approche, le signal n’est pas modélisé directement, mais il est considéré comme un processus Gaussien, caractérisé par ses statistiques à l’ordre deux. Dans les différentes modèles, contrairement aux études précédentes, l’ECGm et le (ou les) ECGf sont modélisés explicitement. Les performances des méthodes proposées, qui utilisent un nombre minimum de capteurs, sont évaluées sur des données synthétiques et des enregistrements réels, y compris les signaux cardiaques des fœtus jumeaux. / Congenital heart defects are the leading cause of birth defect-related deaths. The fetal electrocardiogram (fECG), which is believed to contain much more information as compared with conventional sonographic methods, can be measured by placing electrodes on the mother’s abdomen. However, it has very low power and is mixed with several sources of noise and interference, including the strong maternal ECG (mECG). In previous studies, several methods have been proposed for the extraction of fECG signals recorded from the maternal body surface. However, these methods require a large number of sensors, and are ineffective with only one or two sensors. In this study, state modeling, statistical and deterministic approaches are proposed for capturing weak traces of fetal cardiac signals. These three methods implement different models of the quasi-periodicity of the cardiac signal. In the first approach, the heart rate and its variability are modeled by a Kalman filter. In the second approach, the signal is divided into windows according to the beats. Stacking the windows constructs a tensor that is then decomposed. In a third approach, the signal is not directly modeled, but it is considered as a Gaussian process characterized by its second order statistics. In all the different proposed methods, unlike previous studies, mECG and fECG(s) are explicitly modeled. The performances of the proposed methods, which utilize a minimal number of electrodes, are assessed on synthetic data and actual recordings including twin fetal cardiac signals.

Le domaine de l’assurance automobile fonctionne par cycles présentant des phases de profitabilité et d’autres de non-profitabilité. Dans les phases de non-profitabilité, les compagnies d’assurance ont généralement le réflexe d’augmenter le coût des primes afin de tenter de réduire les pertes. Par contre, de très grandes augmentations peuvent avoir pour effet de massivement faire fuir la clientèle vers les compétiteurs. Un trop haut taux d’attrition pourrait avoir un effet négatif sur la profitabilité à long terme de la compagnie. Une bonne gestion des augmentations de taux se révèle donc primordiale pour une compagnie d’assurance. Ce mémoire a pour but de construire un outil de simulation de l’allure du porte- feuille d’assurance détenu par un assureur en fonction du changement de taux proposé à chacun des assurés. Une procédure utilisant des régressions à l’aide de processus gaus- siens univariés est développée. Cette procédure offre une performance supérieure à la régression logistique, le modèle généralement utilisé pour effectuer ce genre de tâche. / The field of auto insurance is working by cycles with phases of profitability and other of non-profitability. In the phases of non-profitability, insurance companies generally have the reflex to increase the cost of premiums in an attempt to reduce losses. For cons, very large increases may have the effect of massive attrition of the customers. A too high attrition rate could have a negative effect on long-term profitability of the company. Proper management of rate increases thus appears crucial to an insurance company. This thesis aims to build a simulation tool to predict the content of the insurance portfolio held by an insurer based on the rate change proposed to each insured. A proce- dure using univariate Gaussian Processes regression is developed. This procedure offers a superior performance than the logistic regression model typically used to perform such tasks.