Le développement rapide de l’intelligence artificielle (IA), allant des modèles comme BERT aux modèles de fondation à grande échelle, illustre la croissance exponentielle de la taille et des capacités des modèles, stimulée par les avancées en puissance de calcul et la disponibilité des données. Les modèles de fondation, qui tirent parti de l’apprentissage auto-supervisé sur d’énormes ensembles de données non étiquetées, ont montré une polyvalence remarquable dans une large gamme de tâches, du traitement du langage à la représentation des connaissances. Cependant, leur dépendance à des données de grande envergure, principalement issues d’Internet, introduit un « écart de connaissances »—un décalage entre les connaissances généralisées acquises pendant l’entraînement et les connaissances spécialisées nécessaires pour des domaines spécifiques. Cet écart est principalement causé par des informations insuffisantes, trompeuses ou superficielles disponibles lors de l’entraînement, ce qui peut mener à des sorties peu fiables, surtout dans des contextes de données rares ou de mauvaise qualité. Pour relever ce défi, nous introduisons le cadre Discover, Verify, and Evolve (DiVE). DiVE est conçu pour améliorer la compréhension des modèles de fondation en les dotant de connaissances profondes et adaptées aux tâches en aval. Le cadre fonctionne en trois étapes : ∙ Découvrir l’information : Extraire des informations pertinentes et utiles pour pallier le manque de données qui limite la compréhension des modèles dans des domaines spécialisés. ∙ Vérifier l’information : Valider les informations recueillies afin de filtrer les inexactitudes et les biais, garantissant ainsi que seules des connaissances fiables sont retenues. ∙ Faire évoluer l’information : Affiner et développer les informations vérifiées pour obtenir des connaissances plus approfondies, améliorant ainsi la capacité du modèle à traiter des requêtes complexes et à performer avec précision dans des tâches spécialisées. En s’attaquant aux causes profondes de l’écart de connaissances, DiVE aide les modèles de fondation à passer d’une compréhension générale à une expertise spécialisée, comblant le fossé entre formation et application. Cette approche améliore la précision des modèles à travers les domaines et renforce leurs capacités de prise de décision. Dans cette thèse, nous démontrons l’efficacité de DiVE à travers des évaluations empiriques, soulignant son potentiel à améliorer l’adaptabilité et la robustesse des modèles de fondation dans des scénarios réels. / The rapid evolution of artificial intelligence (AI) from models like BERT to large-scale foundation models illustrates the exponential growth in model sizes and capabilities, driven by advances in computational power and data availability. Foundation models, which leverage self-supervised learning on vast, unlabelled datasets, have shown remarkable versatility across a wide range of tasks, from language processing to knowledge representation. However, their reliance on large-scale, predominantly internet-sourced data introduces a “knowledge ga”—a mismatch between the generalized knowledge acquired during training and the specialized knowledge required for specific domains. This gap is primarily caused by insufficient, misleading, or superficial information available during training, which can lead to unreliable outputs, especially in low-data or poor-data settings. To address this challenge, we introduce the Discover, Verify, and Evolve (DiVE) framework. DiVE is designed to enhance the understanding of foundation models by equipping them with deep, tailored knowledge about downstream tasks. The framework operates in three stages: ∙ Discover the Information: Extract relevant and useful information to address the lack of data that limits the model’s understanding of specialized domains. ∙ Verify the Information: Validate the gathered information to filter out inaccuracies and biases, ensuring only reliable knowledge is retained. ∙ Evolve the Information: Refine and expand on verified information to gain deeper insights, improving the model’s ability to handle complex queries and perform accurately in specialized tasks. By addressing the root causes of the knowledge gap, DiVE helps foundation models transition from general understanding to specialized expertise, bridging the gap between training and application. This approach enhances model accuracy across domains and improves decision-making capabilities. In this thesis, we demonstrate the efficacy of DiVE through empirical evaluations, highlighting its potential to enhance the adaptability and robustness of foundation models in real-world scenarios.