Étant donné les progrès majeurs de l'intelligence artificielle (IA) au cours des dernières années, de plus en plus de domaines d'application adoptent les outils proposés par l'IA afin d'accomplir une multitude de tâches. Considérant l'importance de ces tâches dans des domaines comme la santé et l'énergie, il est nécessaire d'être en mesure de garantir le bon fonctionnement des algorithmes d'IA. Plusieurs résultats proposés dans la littérature visent à garantir la bonne performance de certains algorithmes. Toutefois, l'existence d'erreurs au sein de la littérature scientifique est inévitable dû aux milliers d'articles qui sont publiés chaque année. Bien que plusieurs de ces erreurs aient des conséquences mineures, certaines, en revanche, peuvent avoir un impact considérable sur l'état des connaissances scientifiques ainsi qu'en pratique. Par conséquent, il est important d'identifier et de comprendre ces erreurs dès qu'elles sont identifiées. Dans ce mémoire, nous abordons deux erreurs identifiées dans la littérature liée à l'usage de la statistique bayésienne dans une approche visant à identifier ces erreurs, comprendre leur nature tant au niveau de la théorique que de l'intuition et explorer les implications de ces erreurs pour la recherche en IA. La première erreur concerne l'optimalité $\mathcal{C}$-borne dans le cadre de la classification binaire. Nous parvenons à démontrer que pour des problèmes bruités, cette borne ne peut pas atteindre la valeur théorique optimale et utilisons cette analyse afin de démontrer théoriquement la meilleure valeur que peut produire cette borne selon le problème de classification. La seconde erreur concerne la garantie théorique de la convergence de l'algorithme ADD-GP-UCB dans le cadre de l'optimisation bayésienne. Bien que cette erreur ait été soulevée par le passé, celle-ci n'a jamais été proprement abordée dans la littérature. Nous parvenons ainsi à démontrer l'invalidité de la preuve tout en explicitant une multitude de raisonnements fallacieux identifiés dans la littérature concernant cet algorithme. / Given the significant progress of artificial intelligence (AI) in recent years, an increasing number of application domains are adopting AI tools to perform a multitude of tasks. Considering the importance of these tasks in areas such as health and energy, it is necessary to ensure the proper behavior of these AI algorithms. Several results proposed in the literature aim to guarantee the proper performance of certain algorithms. However, due to the thousands of articles published each year, errors in scientific literature are inevitable. Although many of these errors are of minor consequences, some can have a significant impact regarding general scientific knowledge as well as in practice. Therefore, it is important to address and understand these errors as soon as they are identified. In this paper, we address two errors identified in the literature related to the use of Bayesian statistics. Our approach aims to identify these errors, understand their nature both on a theoretical and an intuitive level, and explore their implications in the field of AI. The first error concerns the optimality of the $\mathcal{C}$-bound, a bound used in the context of binary classification. We demonstrate that in a noisy setting, this bound cannot reach an optimal value. Our analysis leads to the proof of the best value the $\mathcal{C}$-bound can achieve for a given classification problem. The second error concerns the convergence of the ADD-GP-UCB algorithm in the context of Bayesian optimization. Although this error has been raised in the past, it has never been properly addressed in the literature. We manage to demonstrate that the proposed proof is invalid while also shining light on a multitude of fallacious statements found in the literature concerning this algorithm.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Dans ce mémoire, on cherche à développer une nouvelle méthode d'estimation pour le lasso adaptatif pour l'issue en utilisant la machinerie bayésienne. L'hypothèse de recherche est que notre nouvelle méthode va beaucoup réduire la lourdeur computationnelle du lasso adaptatif pour l'issue. Notre méthode utilise les mêmes fondements théoriques que le lasso adaptatif pour l'issue. Elle remplit donc les conditions de la propriété d'oracle. Pour sa mise en ÷uvre, on ajuste d'abord un modèle du score de propension bayésien. Ensuite, on estime l'effet du traitement moyen par la pondération par l'inverse de la probabilité de traitement. Par ailleurs, nous considérons une distribution gamma pour le paramètre de régularisation qui nous permet de choisir ce paramètre à partir d'un ensemble continu, alors que le lasso adaptatif pour l'issue fréquentiste utilise une approche de validation croisée qui doit faire un choix parmi un ensemble discret de valeurs préspéciées. In ne, la méthode que nous avons développée répond bien à nos attentes, et permet donc de produire les inférences de façon beaucoup plus rapide. En effet, il a fallu seulement 41.298 secondes pour que cette méthode effectue les inférences, alors que 44.105 minutes ont été né- cessaires au lasso adaptatif pour l'issue. On espère que les idées développées dans ce mémoire vont contribuer signicativement à améliorer les méthodes de sélection de variables en inférence causale avec l'appui des techniques bayésiennes. / In this paper, we aim to develop a new estimation method for the outcome adaptive lasso using Bayesian machinery. The research hypothesis is that our new method will significantly reduce the computational burden of the outcome adaptive lasso. Our method uses the same theoretical foundation as the outcome adaptive lasso. It therefore meets the oracle properties. For its implementation, Bayesian propensity score model is first fitted. Next, the average treatment effect is estimated using inverse probability of treatment weights. In addition, we consider a gamma distribution for the regularisation parameter λ in order to choose this parameter over a continuous set, whereas the frequentist outcome adaptive lasso uses a cross-validation procedure that selects λ among a prespecified discrete set. In fine, the method we have developed meets our expectations, and therefore makes it possible to produce inferences much faster. Indeed, it took only 41.298 seconds for this method to yield inferences, while 44.105 minutes were required for the outcome adaptive lasso. We hope that the ideas developed in this paper will significantly contribute to improve methods for selecting variables in causal inference with the support of Bayesian techniques.

Cette thèse considère des modèles de volatilité où la distribution conditionnelle des données est un cas particulier de la loi "Generalized Hyperbolic" de Barndorff-Nielsen (1977). Ces modèles permettent de capter les principales caractéristiques des séries financières à haute fréquence, à savoir le groupement de volatilité (volatility clustering), l'excès de kurtosis et de skewness ainsi que l'effet de levier qui s'applique au rendements des marchés boursiers. Etant donnée la forme fortement non linéaire de cette densité, nous utilisons l'approche Bayesienne basée sur les méthodes Markov Chain Monte Carlo pour l'estimation et l'inférence Cette approche est relativement simple à mettre en oeuvre et permet une inférence exacte et valable en échantillon fini ainsi que la comparaison de modèles qui ne sont pas forcément emboîtés. A titre illustratif, nous proposons des applications empiriques en employons des données journalières de l'indice boursier S&P500. D'abord, nous considérons un modèle de volatilité stochastique basé sur un mélange des lois normale et inverse-Gaussien où la variance conditionnelle est considérée comme un processus stochastique latent généré par la loi inverse-Gaussian. Conditionnellement à la volatilité, la loi des données est une normale. Il en résulte la loi normal inverse Gaussian (NIG) de Barndorff-Nielsen (1997) pour les données qui présente beaucoup de flexibilité pour capter les excès de kurtosis et de skewness. Dans ce modèle la volatilité est traitée de façon similaire aux paramètres du modèle et elle est simulée par l'échantillonneur de Gibbs. Ce modèle s'avère plus performant que les modèles GARCH asymétriques de Ding et al (1993). Par ailleurs, nous proposons les lois NIG de Barndorff-Nielsen (1997) et GH-skew student de de Barndorff-Nielsen et Shepard (2001) comme densités alternatives aux modèles GARCH asymétriques. Formellement, nous considérons deux modèles GARCH asymétriques à la Ding et al (1993), l'un avec une loi NIG et l'autre avec une loi GH-skew student. Dans ce contexte la volatilité est calculée de façon récursive sur la base de données passées. Les résultats sont quelque peu décevants pour la loi GH-skew student, puisque la performance de ce modèle est comparable à celle d'un modèle GARCH asymétrique standard

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2010-2011 / Les modèles microéconométriques de choix discrets ont pour but d’expliquer le processus du choix individuel des consommateurs parmi un ensemble limité et exhaustive d’options mutuellement exclusives. Les modèles dits de choix hybrides sont une généralisation des modèles de choix discrets standard, où des modèles indépendants plus sophistiqués sont considérés simultanément. Dans cette thèse des techniques d’estimation simultanée sont analysées et appliquées pour un modèle de choix hybride qui, sous la forme d’un système complexe d’équations structurelles généralisées, intègre à la fois des choix discrets et des variables latentes en tant que facteurs explicatifs des processus décisionnels. Ce qui motive l’étude de ce genre de modèles est que pour comprendre le processus du choix il faut incorporer des attitudes, des perceptions et des attributs qualitatifs à l’intérieur de modèles décisionnels économiques conventionnels, tout en prenant ce qui dit la recherche en sciences cognitives ainsi qu’en psychologie sociale. Quoique l’estimation du système d’équations d’un modèle de choix hybride requière l’évaluation d’intégrales multidimensionnelles complexes, on résoudre empiriquement ce problème en applicant la méthode du maximum de vraisemblance simulée. Ensuite on dérive une procédure d’échantillonnage de Gibbs pour l’estimation simultanée bayésienne du modèle qui offre des estimateurs convergents et efficaces. Ceci devient une méthode plus avantageuse comparativement aux méthodes classiques dans un cadre analytique avec un grand nombre de variables latentes. En effet, en vertu de l’approche bayésienne il suffit de considérer des régressions ordinaires pour les variables latentes. Par ailleurs, dériver les intervalles de confiance bayésiennes pour les parts de marché ainsi que pour des dispositions à payer devient trivial. De par sa grande géneralité, le modèle de choix hybride est capable de s’adapter à des situations pratiques. En particulier, la réponse des consommateurs suite à l’innovation technologique est analysée. Par exemple, on étudie les préférences pro-environnementales dans un modèle économique des décisions d’achat de véhicules verts selon lequel les consommateurs soucieux de l’environnement sont prêts à payer davantage pour des véhicules à faibles émissions, en dépit des inconvénients potentiels. En outre, en utilisant un noyau probit et des indicateurs dichotomiques on montre que des connaissances préalables ainsi que des attitudes positives envers l’adoption de nouvelles technologies favorisent l’adoption de la téléphonie IP. / Microeconometric discrete choice models aim to explain the process of individual choice by consumers among a mutually exclusive, exhaustive and finite group of alternatives. Hybrid choice models are a generalization of standard discrete choice models where independent expanded models are considered simultaneously. In my dissertation I analyze, implement, and apply simultaneous estimation techniques for a hybrid choice model that, in the form of a complex generalized structural equation model, simultaneously integrates discrete choice and latent explanatory variables, such as attitudes and qualitative attributes. The motivation behind hybrid choice models is that the key to understanding choice comes through incorporating attitudinal and perceptual data to conventional economic models of decision making, taking elements from cognitive science and social psychology. The Bayesian Gibbs sampler I derive for simultaneous estimation of hybrid choice models offers a consistent and efficient estimator that outperforms frequentist full information simulated maximum likelihood. Whereas the frequentist estimator becomes fairly complex in situations with a large choice set of interdependent alternatives with a large number of latent variables, the inclusion of latent variables in the Bayesian approach translates into adding independent ordinary regressions. I also find that when using the Bayesian estimates it is easier to consider behavioral uncertainty; in fact, I show that forecasting and deriving confidence intervals for willingness to pay measures is straightforward. Finally, I confirm the capacity of hybrid choice modeling to adapt to practical situations. In particular, I analyze consumer response to innovation. For instance, I incorporate proenvironmental preferences toward low-emission vehicles into an economic model of purchase behavior where environmentally-conscious consumers are willing to pay more for sustainable solutions despite potential drawbacks. In addition, using a probit kernel and dichotomous effect indicators I show that knowledge as well as a positive attitude toward the adoption of new technologies favor the adoption of IP telephony.

Depuis que Meese et Rogoff [1983] ont publié leur article sur la qualité des outils prévisionnels du taux de change des années 70, découvrir le meilleur type de modèle et la spécification la plus efficace est un sujet prolifique de la littérature en économie internationale. Ce mémoire conduira une comparaison bayesienne des principales modélisations utilisées pour prédire l'évolution du taux de change. La méthodologie mise en oeuvre sera celle proposée par Geweke [1994] qui se nomme l'importance sampling. Une comparaison des densités et des vraisemblances prédictives permettra de déterminer s'il est préférable d'utiliser le vecteur autorégressif ou le modèle à correction d'erreurs pour prédire les réalisations du taux de change lors des divers états de l'économie.

Ellsberg (1961) a été l’un des premier à démontrer que les prises de décision en ambiguïté sont mal comprises. Le manque d’informations sur les probabilités des résultats possibles affecte le comportement des individus. Dans ce genre d’environnement, certains individus ont recourt à des heuristiques afin d’évaluer les probabilités de manière subjective. Nous proposons donc un modèle empirique exprimant le processus d’évaluation et de mises à jours des croyances basé sur le théorème de Bayes. À l’aide de données expérimentales, nous avons pu estimer le modèle et ainsi dégager certains types de comportement. Nous avons, entre autre, découvert que le niveau d’ambiguïté liées aux probabilités avait un effet sur le processus d’évaluation des probabilités subjectives. Enfin, selon nos résultats, seulement 10 % des participants se sont comportés comme le prédirait la règle de Bayes, dont plusieurs autres études prennent pour acquis.

La compréhension des interactions entre les forces économiques et boursières revêt une importance fondamentale pour les gestionnaires de portefeuille ainsi que pour les autorités monétaires. Les forces économiques exercent une influence sur les valorisations boursières, voir Chen, Roll et Ross (1986). Les taux de croissance des forces économiques et boursières sont interdépendants et leurs covariances dépendent de régimes en commun, voir Guidolin et Ono (2006), Hubrich et Telow (2014). Dans une nouvelle perspective, cette thèse considère que leurs taux de croissance évoluent en fonction de la structure causale des régimes exogènes de tendance haussière et baissière spécifiques à ces forces. Les relations de causalité qui lient leurs régimes sont découvertes par l'apprentissage de la structure et des paramètres d'un réseau bayésien. Une stratégie de rotation sectorielle consiste à moduler dans le temps les poids d'un portefeuille alloués aux secteurs boursiers, voir Chong et Phillips (2015). Le phénomène d'asymétrie de la volatilité de Black (1976) veut qu'une relation négative lie la croissance de la volatilité aux rendements boursiers. Par le biais d'un réseau bayésien, cette thèse exploite le pouvoir prévisionnel qu'exerce les régimes endogènes de volatilité d'indicateurs économique et boursier sur leurs régimes exogènes de tendance courants, connus ex post. Elle soutient qu'il est possible de construire une stratégie de rotation sectorielle profitable en exploitant le phénomène d'asymétrie de volatilité et les relations de causalité entre les forces économiques et boursières dans un problème de construction de portefeuille résolu par optimisation de scénarios. Des preuves de la surperformance d'une stratégie d'investissement active au-delà d'un indice de référence, dans un contexte d'investissement réel hors échantillon de calibration, supportent la thèse formulée. Des contributions secondaires de nature économiques et techniques sont réalisées aux fils des étapes nécessaires à la démonstration de la thèse principale. Différemment de Pagan et Sossounov (2003), un nouvel indicateur de crise et de croissance boursière, exempt de biais sectoriels, est construit à partir des phases exogènes de tendance coïncidentes à des indices de secteurs boursiers. Ces derniers sont communément regroupés en fonction de leur niveau de risque et de sensibilités à l'activité économique et à l'indice global de marché, voir Denoiseux et coll. (2017). Une méthode inédite de regroupement de secteurs est développée à partir de caractéristiques communes à leurs régimes exogènes : ils présentent des profils similaires d'association avec ceux des indicateurs économiques et leurs distributions de rendement par régime exogène disposent de propriétés uniques. La méthode usuelle de détection du phénomène d'asymétrie de la volatilité (PAV) repose sur un coefficient d'asymétrie significatif, lorsqu'intégré dans une expression GARCH de la variance conditionnelle, voir Glosten, Jagannathan et Runkle (1993). Une technique novatrice d'investigation du PAV, adaptée à des données à faible fréquence, est développée à partir de mesures d'association entre les phases endogènes à forte/faible volatilité et exogènes de tendance baissière/haussière. Le régime endogène de volatilité d'un indicateur qui satisfait au PAV constitue un indicateur avancé de son régime exogène de tendance courant. Un nouveau système d'équations est développé de manière à calibrer un modèle autorégressif, dont le terme d'erreur suit une mixture de lois normales, à partir d'un algorithme « Expected Maximization ». Ce modèle est exploité de manière à représenter les spécificités de l'anormalité des taux de croissance segmentés par régime exogène. Les corrélations des actifs se resserrent en période de recul boursier (Login et Solnik (2002)). Un algorithme est construit de manière à évaluer la segmentation optimale des corrélations, entre les taux de croissance de deux variables, parmi les combinaisons d'états de leur régime exogène. Une nouvelle procédure de sélection et de paramétrisation d'un algorithme d'apprentissage de la structure d'un réseau bayésien est développée en fonction des niveaux de risque optimaux des erreurs de type I et II, dans un contexte représentatif du problème. La procédure est utilisée afin de découvrir les liens de causalité entre les régimes de tendance et de volatilité des forces économiques et boursières. L'ensemble de ces outils permettent de modéliser dans une simulation de Monte-Carlo, la dépendance de la densité de probabilité des taux de croissance des indicateurs et de leurs corrélations aux phases exogènes de tendance, régies par un réseau bayésien dynamique.

Bien que largement utilisée, la corrélation n'est pas souvent abordée dans un contexte bayésien. À l'aide de formules simples, on calcule ici la corrélation de Pearson entre un paramètre [thêta] et son estimation bayésienne ou par la méthode du maximum de vraisemblance. Ceci nous permet alors d'examiner le comportement de la corrélation de Pearson selon la taille de l'échantillon et le choix des paramètres de la loi a priori. On compare ensuite son comportement avec celui des corrélations de Spearman, de Kendall et de Blomqvist obtenues à l'aide de simulations effectuées avec le logiciel R. Plusieurs cas sont considérés faisant notamment intervenir des lois conjuguées.

L'apprentissage par renforcement est une approche d'apprentissage automatique permettant de développer des systèmes s'améliorant à partir d'interactions avec un environnement. Les processus décisionnels de Markov partiellement observables (PDMPO) font partie des modèles mathématiques fréquemment utiliser pour résoudre ce type de problème d'apprentissage. Cependant, la majorité des méthodes de résolution utilisées dans les processus décisionnels de Markov partiellement observables nécessitent la connaissance du modèle. De plus, les recherches actuelles sur le PDMPO se restreignent principalement aux espaces d'états discrets, ce qui complique son application à certains problèmes naturellement modélisés par un espace d'état continu. Ce mémoire présente une vision des PDMPO basée sur les processus Gaussiens, une méthode d'apprentissage supervisée ayant comme propriété particulière d'être une distribution de probabilité dans l'espace des fonctions. Cette propriété est notamment très intéressante du fait qu'elle ouvre la porte à un traitement Bayésien de l'incertitude sur les fonctions inconnues d'un PDMPO continu. Les résultats obtenus avec l'approche d'apprentissage par processus Gaussien montrent qu'il est possible d'opérer dans un environnement tout en identifiant le modèle de ce celui-ci. À partir des conclusions tirées à la suite de nos travaux sur le PDMPO, nous avons observé un certain manque pour ce qui est de l'identification du modèle sous l'incertain. Ainsi, ce mémoire expose aussi un premier pas vers une extension de l'apprentissage de PDMPO continu utilisant des séquences d'états de croyances lors de l'identification du modèle. Plus précisément, nous proposons une méthode de régression par processus Gaussiens utilisant des ensembles d'entraînement incertain pour réaliser l'inférence dans l'espace des fonctions. La méthode proposée est particulièrement intéressante, du fait qu'elle s'applique exactement comme pour le cas des processus Gaussiens classiques et qu'elle n'augmente p±as la complexité de l'apprentissage.