L'apprentissage profond a considérablement gagné en popularité au cours de la dernière décennie grâce à sa capacité à développer des modèles puissants qui apprennent directement à partir de données non structurées. Cette approche a été appliquée avec succès à divers domaines tels que le traitement du langage naturel, la vision par ordinateur et le traitement des signaux, et le rythme des progrès réalisés par la recherche académique et industrielle ne cesse de s'accélérer. Cependant, la majorité des recherches suppose la disponibilité de grands ensembles de données d'entraînement statiques. Par exemple, de nombreuses techniques sont conçues pour améliorer les capacités de généralisation des modèles d'apprentissage profond en utilisant des bases de données comme MS-COCO qui contient environ 300K images, ImageNet avec environ 1,5M d'exemples, et Visual Genome avec environ 3,8M d'instances d'objets. Or, récolter et annoter de tels ensembles de données peut être trop coûteux pour de nombreuses applications réelles. De plus, il est généralement supposé que l'entraînement peut être effectué en une seule étape, considérant ainsi que toutes les classes sont disponibles simultanément. Cela diffère d'applications réelles où les cas d'utilisation peuvent évoluer pour inclure de nouvelles classes au fil du temps, induisant ainsi la nécessité d'adapter continuellement les modèles existants, et faisant ainsi de l'apprentissage continuel. Dans cette thèse, nous visons à contribuer à l'*adaptabilité* et à l'*extensibilité* des réseaux de neurones profonds par le biais de l'apprentissage à partir de peu d'exemples et de l'apprentissage continuel. Plus précisément, nous proposons une méthode d'apprentissage qui exploite des relations contextuelles et des représentations multimodales pour former de meilleurs prototypes de classe en se basant sur des connaissances préalables, permettant l'*adaptation* à de nouvelles tâches avec seulement quelques exemples. De plus, nous contribuons à l'apprentissage continuel de classes, qui vise à permettre aux modèles d'apprentissage profond d'*étendre* leurs connaissances en intégrant de nouveaux concepts sans perdre la capacité de résoudre les tâches précédemment apprises. Contrairement à la majorité des travaux précédents qui ont exploré l'apprentissage continuel dans un contexte de classification d'images sur des bases de données simples (p. ex. MNIST et CIFAR), nos méthodes contribuent à l'apprentissage continuel de la segmentation sémantique, la détection d'objets et la segmentation d'instances, qui sont des problèmes plus complexes mais aussi plus applicatifs. Pour la segmentation sémantique continuelle, nous proposons un module d'apprentissage faiblement supervisé afin d'aborder les problèmes de dérive de l'arrière-plan (*background shift*) et des coûts élevés d'annotation. Nous introduisons également deux variantes d'un mécanisme de répétition qui permet de rejouer des régions d'images ou des caractéristiques intermédiaires sous la forme d'une technique d'augmentation de données. Nous explorons ensuite l'apprentissage continuel de la détection d'objets et de la segmentation d'instances en développant une architecture dynamique et une nouvelle méthode de distillation des connaissances qui augmente la plasticité tout en préservant une bonne stabilité. Finalement, nous étudions l'apprentissage continuel de la détection d'objets dans le contexte d'applications agricoles telles que la détection de plantes et de maladies. Pour ce faire, nous adaptons deux bases de données publiques pour simuler des scénarios d'apprentissage continuel et nous comparons diverses méthodes, introduisant ainsi deux scénarios experimentaux de référence pour étudier la vision numérique appliquée à des problèmes agricoles. Ensemble, ces contributions abordent plusieurs défis en lien avec l'apprentissage à partir de peu d'exemples et avec l'apprentissage continuel, faisant ainsi progresser le développement de modèles adaptables capables d'élargir progressivement leur base de connaissances au fil du temps. De plus, nous mettons un accent particulier sur l'étude de ces problèmes dans des configurations expérimentales impliquant des scènes complexes, qui sont plus représentatives des applications réelles déployées dans des environnements de production. / Deep learning has gained tremendous popularity in the last decade thanks to its ability to develop powerful models directly by learning from unstructured data. It has been successfully applied to various domains such as natural language processing, computer vision and signal processing, and the rate of progress made by academic and industrial research is still increasing. However, the majority of research assumes the availability of large, static training datasets. For instance, techniques are often designed to improve the generalization capabilities of deep learning models using datasets like MS-COCO with approximately 300K images, ImageNet with around 1.5M examples, and Visual Genome with roughly 3.8M object instances. Gathering and annotating such large datasets can be too costly for many real-world applications. Moreover, it is generally assumed that training is performed in a single step, thereby considering that all classes are available simultaneously. This differs from real applications where use cases can evolve to include novel classes, thus inducing the necessity to continuously adapt existing models and thereby performing continual learning. In this thesis, we aim to contribute to the *adaptability* and *extensibility* of deep neural networks through learning from few examples and continual learning. Specifically, we propose a few-shot learning method which leverages contextual relations and multimodal representations to learn better class prototypes, allowing to *adapt* to novel tasks with only a few examples. Moreover, we contribute to continual learning, aiming to allow deep learning models to *extend* their knowledge by learning new classes without loosing the ability to solve previously learned tasks. Contrarily to the majority of previous work which explores continual image classification on simple datasets (e.g. MNIST and CIFAR), our methods contribute to semantic segmentation, object detection and instance segmentation, which are more complex and practical problems. For continual semantic segmentation, we propose a weakly-supervised learning module to address the problems of background shift and annotation costs. We also introduce two variants of a rehearsal mechanism that can replay image patches or intermediate features in the form of a data augmentation technique. We then explore continual object detection and continual instance segmentation by developing a dynamic architecture and a novel knowledge distillation method which increases plasticity while ensuring stability. Finally, we experiment class-incremental object detection within the context of agricultural applications such as plant and disease detection. For that, we adapt two public datasets to simulate continual learning scenarios and we compare various continual and non-continual learning methods, thereby introducing a novel benchmark to study agricultural problems. Together, these contributions address several challenges of few-shot learning and continual learning, thus advancing the development of adaptable models capable of gradually expanding their knowledge base over time. Moreover, we have put a particular emphasis to study these problems within experimental setups that involve complex scenes, which are more representative of real applications as deployed in production environments.
| Identifer | oai:union.ndltd.org:LAVAL/oai:corpus.ulaval.ca:20.500.11794/145623 |
| Date | 28 June 2024 |
| Creators | Pagé Fortin, Mathieu |
| Contributors | Chaib-Draa, Brahim |
| Source Sets | Université Laval |
| Language | English |
| Detected Language | French |
| Type | COAR1_1::Texte::Thèse::Thèse de doctorat |
| Format | 1 ressource en ligne (xiii, 172 pages), application/pdf |
| Rights | http://purl.org/coar/access_right/c_abf2 |
Page generated in 0.0031 seconds