Back to search

Université du Québec à Montréal

Injection des connaissances linguistiques et visuelles dans les mécanismes d'attention pour un encodage profond du sens des mots : vers l'interprétabilité et l'explicabilité des grands modèles de langue

Abstract

dc:description.abstract

Cette thèse explore l’injection de connaissances linguistiques et visuelles dans les mécanismes d’attention, en particulier le modèle BERT «Bidirectional Encoder Representations from Transformers». Les travaux de recherche menés dans ce cadre visent à intégrer les connaissances linguistiques et visuelles afin d’améliorer l’encodage du sens des mots. Quatre articles principaux sont présentés. Le premier article propose un renforcement du mécanisme d’attention basé sur le produit scalaire utilisé par BERT, en y intégrant un masque de dépendance syntaxique. Cette approche permet de capturer les relations structurelles entre les mots, améliorant ainsi la représentation contextuelle. Le deuxième article introduit le modèle lingBERT, qui intègre des connaissances linguistiques dans l’attention via une stratégie hybride de masquage. Cette méthode combine la technique classique de masquage avec celle masquant les mots ayant des dépendances linguistiques, puis les prédit par la suite, afin d’améliorer la compréhension linguistique du modèle. Le troisième article explore l’utilisation des multiplicateurs de Lagrange dans les mécanismes d’attention, afin d’intégrer des dépendances syntaxiques via une optimisation basée sur des contraintes. L’article présente le modèle SCABERT «Syntaxe-Constraint-Aware Bidirectional Encoder Representations from Transformers». Celui-ci, oriente le processus d’apprentissage et permet une meilleure compréhension des relations linguistiques. Enfin, le quatrième article propose VLG-BERT « Visual and Linguistic Bidirectional Encoder Representations from Transformers » un modèle intégrant des représentations visuelles latentes multimodales dans les «embeddings de mots». L’approche permet d’initialiser les vecteurs de mots par leurs représentations visuelles latentes. Ce cadre vise à capturer des significations profondes en combinant des informations de différentes modalités, ce qui permet d’enrichir les représentations sémantiques et d’améliorer les performances sur des tâches variées. Dans l’ensemble, cette thèse met en évidence l’importance de l’intégration des connaissances linguistiques et visuelles pour optimiser les mécanismes d’attention, ouvrant ainsi la voie à de nouvelles perspectives en termes d’interprétabilité et d’explicabilité pour les grands modèles de langue. Bien que le titre de cette thèse évoque une orientation vers l’interprétabilité des grands modèles de langue, il est important de préciser que cette recherche ne traite pas directement les problématiques d’interprétabilité et d’explicabilité en tant que telles. L’objectif principal est de proposer un encodage plus profond du sens des mots par l’injection de connaissances linguistiques et visuelles dans les mécanismes d’attention. Néanmoins, cette approche ouvre des perspectives intéressantes pour des travaux futurs en interprétabilité, en rendant les processus d’attention potentiellement plus compréhensibles et plus alignés avec des connaissances structurées.

Degree

thesis:*
Grantor dc:publisher.institution
Université du Québec à Montréal
Year dc:date.issued
2025

Author and committee

dc:creator, dc:contributor.*
Author dc:creator
  • Mechouma, Toufik

Chain of custody

source
Harvested from
UQAM
Base URL
archipel.uqam.ca/cgi/oai2
Last updated
2026-11-19
Source record
OAI-PMH GetRecord
related terms
citation

Mechouma, Toufik. Injection des connaissances linguistiques et visuelles dans les mécanismes d'attention pour un encodage profond du sens des mots : vers l'interprétabilité et l'explicabilité des grands modèles de langue. Université du Québec à Montréal, 2025.