Titre de l'écran-titre (visionné le 8 mai 2023) / Les algorithmes d'apprentissage automatiques basés sur les réseaux de neurones sont reconnus pour leurs performances sur des tâches de classification d'images. Cependant, ces algorithmes peuvent être induits en erreur par de faibles perturbations ajoutées aux images, générés avec des attaques adverses. Plusieurs mécanismes de défense basés sur des ensembles de réseaux de neurones et des principes de diversité ont été proposés. Ils sont basés sur l'hypothèse qu'il est plus difficile d'attaquer un ensemble de plusieurs réseaux diversifiés plutôt qu'un seul réseau. Toutefois, l'efficacité de ces défenses reste à ce jour contestée. L'objectif de ce mémoire est de mieux comprendre l'impact de la diversité sur la robustesse des ensembles, afin de déterminer si les mécanismes de défense basés sur les ensembles sont efficaces. Pour ce faire, les ensembles avec codes à correction d'erreur sont premièrement revisités en proposant des modifications architecturales et en évaluant, pour différentes architectures, leur diversité et leur robustesse contre plusieurs attaques adverses. Ensuite, les ensembles de réseaux contrastifs adverses sont proposés comme nouveau mécanisme de défense. Ce mécanisme est basé sur une nouvelle méthode utilisant des notions d'apprentissage contrastif afin de diversifier les réseaux d'un ensemble directement à partir de leurs cartes de caractéristiques, pour que les réseaux utilisent des caractéristiques différentes pour classifier les images de même classe. Les résultats obtenus démontrent que la méthode de diversification proposée fonctionne, et qu'elle peut avoir un impact positif sur la robustesse des ensembles. Les résultats démontrent aussi que la diversité et la robustesse des ensembles avec codes à correction d'erreur peuvent être favorisées avec l'utilisation de réseaux indépendants. Finalement, les résultats suggèrent que les défenses par ensembles sont efficaces seulement contre certaines attaques adverses, mais qu'elles peuvent être combinées facilement avec des méthodes d'entraînement adverse afin de résister à la plupart des attaques. / Neural networks in machine learning are known for achieving great performances on image classification tasks. Nevertheless, they can be vulnerable to small perturbations added to the input images. Such perturbations are generated with adversarial attacks, and they can cause significant drops in classification accuracy. Many adversarial defenses based on neural network ensembles and diversity promoting techniques have been proposed. They are based on the intuition that it is more challenging to fool an ensemble of diverse networks as opposed to a single network. However, the effectiveness of such defenses remains unclear. The goal for this thesis is to study the impact of ensemble diversity on robustness to determine if ensemble-based defenses can be considered effective against adversarial attacks. Error-Correcting Output Codes ensembles are first investigated through architectural improvements and diversity promotion. A comprehensive robustness assessment is performed to compare different architectures and to investigate the relationship between ensemble diversity and robustness. Next, adversarial contrastive networks ensembles are proposed as a new ensemble-based adversarial defense. This defense uses contrastive learning to diversify the features learned by the neural networks in an ensemble directly from their feature maps. The goal is to make the networks use different features to classify images from similar classes. The results obtained from the experiments demonstrate that it is possible to diversify neural networks in an ensemble directly from their feature maps with the proposed method and that such diversification can have a positive effect on robustness. Furthermore, the results obtained for Error-Correcting Output Codes ensembles demonstrate that the use of fully independent networks can promote ensemble diversity and robustness against strong attacks. Finally, the observed results suggest that ensemble-based defenses are effective only against some attacks, but they can be combined effectively with adversarial training to achieve better robustness against strong attacks.
| Identifer | oai:union.ndltd.org:LAVAL/oai:corpus.ulaval.ca:20.500.11794/117064 |
| Date | 17 May 2023 |
| Creators | Philippon, Thomas |
| Contributors | Gagné, Christian |
| Source Sets | Université Laval |
| Language | French |
| Detected Language | French |
| Type | COAR1_1::Texte::Thèse::Mémoire de maîtrise |
| Format | 1 ressource en ligne (ix, 92 pages), application/pdf |
| Rights | http://purl.org/coar/access_right/c_abf2 |
Page generated in 0.0026 seconds