Return to search

Avoir raison a posteriori : analyse d'erreurs commises dans la littérature (PAC-)bayésienne

Étant donné les progrès majeurs de l'intelligence artificielle (IA) au cours des dernières années, de plus en plus de domaines d'application adoptent les outils proposés par l'IA afin d'accomplir une multitude de tâches. Considérant l'importance de ces tâches dans des domaines comme la santé et l'énergie, il est nécessaire d'être en mesure de garantir le bon fonctionnement des algorithmes d'IA. Plusieurs résultats proposés dans la littérature visent à garantir la bonne performance de certains algorithmes. Toutefois, l'existence d'erreurs au sein de la littérature scientifique est inévitable dû aux milliers d'articles qui sont publiés chaque année. Bien que plusieurs de ces erreurs aient des conséquences mineures, certaines, en revanche, peuvent avoir un impact considérable sur l'état des connaissances scientifiques ainsi qu'en pratique. Par conséquent, il est important d'identifier et de comprendre ces erreurs dès qu'elles sont identifiées. Dans ce mémoire, nous abordons deux erreurs identifiées dans la littérature liée à l'usage de la statistique bayésienne dans une approche visant à identifier ces erreurs, comprendre leur nature tant au niveau de la théorique que de l'intuition et explorer les implications de ces erreurs pour la recherche en IA. La première erreur concerne l'optimalité $\mathcal{C}$-borne dans le cadre de la classification binaire. Nous parvenons à démontrer que pour des problèmes bruités, cette borne ne peut pas atteindre la valeur théorique optimale et utilisons cette analyse afin de démontrer théoriquement la meilleure valeur que peut produire cette borne selon le problème de classification. La seconde erreur concerne la garantie théorique de la convergence de l'algorithme ADD-GP-UCB dans le cadre de l'optimisation bayésienne. Bien que cette erreur ait été soulevée par le passé, celle-ci n'a jamais été proprement abordée dans la littérature. Nous parvenons ainsi à démontrer l'invalidité de la preuve tout en explicitant une multitude de raisonnements fallacieux identifiés dans la littérature concernant cet algorithme. / Given the significant progress of artificial intelligence (AI) in recent years, an increasing number of application domains are adopting AI tools to perform a multitude of tasks. Considering the importance of these tasks in areas such as health and energy, it is necessary to ensure the proper behavior of these AI algorithms. Several results proposed in the literature aim to guarantee the proper performance of certain algorithms. However, due to the thousands of articles published each year, errors in scientific literature are inevitable. Although many of these errors are of minor consequences, some can have a significant impact regarding general scientific knowledge as well as in practice. Therefore, it is important to address and understand these errors as soon as they are identified. In this paper, we address two errors identified in the literature related to the use of Bayesian statistics. Our approach aims to identify these errors, understand their nature both on a theoretical and an intuitive level, and explore their implications in the field of AI. The first error concerns the optimality of the $\mathcal{C}$-bound, a bound used in the context of binary classification. We demonstrate that in a noisy setting, this bound cannot reach an optimal value. Our analysis leads to the proof of the best value the $\mathcal{C}$-bound can achieve for a given classification problem. The second error concerns the convergence of the ADD-GP-UCB algorithm in the context of Bayesian optimization. Although this error has been raised in the past, it has never been properly addressed in the literature. We manage to demonstrate that the proposed proof is invalid while also shining light on a multitude of fallacious statements found in the literature concerning this algorithm.

Identiferoai:union.ndltd.org:LAVAL/oai:corpus.ulaval.ca:20.500.11794/152083
Date01 October 2024
CreatorsVignault, Louis-Philippe
ContributorsDurand, Audrey, Germain, Pascal
Source SetsUniversité Laval
LanguageFrench
Detected LanguageFrench
TypeCOAR1_1::Texte::Thèse::Mémoire de maîtrise
Format1 ressource en ligne (viii, 118 pages), application/pdf
Rightshttp://purl.org/coar/access_right/c_abf2

Page generated in 0.0025 seconds