La thermographie à phase pulsée (TPP) a été présentée comme une nouvelle technique robuste de thermographie infrarouge (TIR) pour les essais non destructifs (END). Elle utilise la transformée de Fourier discrète (TFD) sur les images thermiques obtenues après un chauffage flash de la surface avant d'un spécimen pour extraire les informations de délai de phase (ou phase). Les gammes de phase calcules (ou cartes de phase) sont utilises pour la visualisation des défauts dans de nombreux matériaux. Le contraste de température permet de détecter les défauts à partir des données thermographiques. Cependant, les images thermiques comportent généralement un niveau de bruit important et des arrière-plans non uniformes causés par un chauffage inégal et des réflexions environnementales. Par conséquent, il n'est pas facile de reconnaître efficacement les régions défectueuses. Dans ce travail, nous avons appliqué la technique LSTM (Long Short Term Memory) et des réseaux de neurones convolutifs (RNC) basés sur des modèles d'apprentissage profond (AP) à la détection des défauts et à la classification de la profondeur des défauts à partir de données d'images thermographiques. Nos résultats expérimentaux ont montré que l'architecture proposée basée sur l'AP a obtenu des scores de précision de 0.95 et 0.77 pour la classification des pixels sains et défectueux. En outre, les résultats expérimentaux ont montré que les techniques LSTM et RNC ont obtenu des précisions de 0.91 et 0.82 pour la classification de la profondeur des défauts, respectivement. Par conséquent, la technique LSTM a surpassé la technique RNC pour les cas de détection des défauts et de classification de la profondeur des défauts. / Pulse Phase Thermography (PPT) has been introduced as a novel robust Non-Destructive Testing (NDT) Infrared Thermography (IRT) technique. It employs Discrete Fourier Transform (DFT) to thermal images obtained following flash heating of the front surface of a specimen to extract the phase delay (or phase) information. The computed phase grams (or phase maps) are used for defect visualization in many materials. The temperature contrast enables defect detection based on thermographic data. However, thermal images usually involve significant measurement noise and non-uniform backgrounds caused by uneven heating and environmental reflections. As a result, it is not easy to recognize the defective regions efficiently. In this work, we applied Long Short-Term Memory (LSTM) and Convolutions Neural Networks works (CNNs) based on deep learning (DL) models to defect detection and defect depth classification from thermographic image data. Our experimental results showed that the proposed DL-based architecture achieved 0.95 and 0.77 accuracy scores for sound and defected pixels classification. Furthermore, the experimental results illustrated that LSTM and CNN techniques achieved 0.91 and 0.82 accuracies for defect-depth classification, respectively. Consequently, the LSTM technique overcame the CNNs technique for defect detection and defect-depth classification cases.

L'évaluation non destructive (END) est un domaine permettant d'identifier tous les types de dommages structurels dans un objet d'intérêt sans appliquer de dommages et de modifications permanents. Ce domaine fait l'objet de recherches intensives depuis de nombreuses années. La thermographie infrarouge (IR) est l'une des technologies d'évaluation non destructive qui permet d'inspecter, de caractériser et d'analyser les défauts sur la base d'images infrarouges (séquences) provenant de l'enregistrement de l'émission et de la réflexion de la lumière infrarouge afin d'évaluer les objets non autochauffants pour le contrôle de la qualité et l'assurance de la sécurité. Ces dernières années, le domaine de l'apprentissage profond de l'intelligence artificielle a fait des progrès remarquables dans les applications de traitement d'images. Ce domaine a montré sa capacité à surmonter la plupart des inconvénients des autres approches existantes auparavant dans un grand nombre d'applications. Cependant, en raison de l'insuffisance des données d'entraînement, les algorithmes d'apprentissage profond restent encore inexplorés, et seules quelques publications font état de leur application à l'évaluation non destructive de la thermographie (TNDE). Les algorithmes d'apprentissage profond intelligents et hautement automatisés pourraient être couplés à la thermographie infrarouge pour identifier les défauts (dommages) dans les composites, l'acier, etc. avec une confiance et une précision élevée. Parmi les sujets du domaine de recherche TNDE, les techniques d'apprentissage automatique supervisées et non supervisées sont les tâches les plus innovantes et les plus difficiles pour l'analyse de la détection des défauts. Dans ce projet, nous construisons des cadres intégrés pour le traitement des données brutes de la thermographie infrarouge à l'aide d'algorithmes d'apprentissage profond et les points forts des méthodologies proposées sont les suivants: 1. Identification et segmentation automatique des défauts par des algorithmes d'apprentissage profond en thermographie infrarouge. Les réseaux neuronaux convolutifs (CNN) pré-entraînés sont introduits pour capturer les caractéristiques des défauts dans les images thermiques infrarouges afin de mettre en œuvre des modèles basés sur les CNN pour la détection des défauts structurels dans les échantillons composés de matériaux composites (diagnostic des défauts). Plusieurs alternatives de CNNs profonds pour la détection de défauts dans la thermographie infrarouge. Les comparaisons de performance de la détection et de la segmentation automatique des défauts dans la thermographie infrarouge en utilisant différentes méthodes de détection par apprentissage profond : (i) segmentation d'instance (Center-mask ; Mask-RCNN) ; (ii) détection d’objet (Yolo-v3 ; Faster-RCNN) ; (iii) segmentation sémantique (Unet ; Res-unet); 2. Technique d'augmentation des données par la génération de données synthétiques pour réduire le coût des dépenses élevées associées à la collecte de données infrarouges originales dans les composites (composants d'aéronefs.) afin d'enrichir les données de formation pour l'apprentissage des caractéristiques dans TNDE; 3. Le réseau antagoniste génératif (GAN convolutif profond et GAN de Wasserstein) est introduit dans la thermographie infrarouge associée à la thermographie partielle des moindres carrés (PLST) (réseau PLS-GANs) pour l'extraction des caractéristiques visibles des défauts et l'amélioration de la visibilité des défauts pour éliminer le bruit dans la thermographie pulsée; 4. Estimation automatique de la profondeur des défauts (question de la caractérisation) à partir de données infrarouges simulées en utilisant un réseau neuronal récurrent simplifié : Gate Recurrent Unit (GRU) à travers l'apprentissage supervisé par régression. / Non-destructive evaluation (NDE) is a field to identify all types of structural damage in an object of interest without applying any permanent damage and modification. This field has been intensively investigated for many years. The infrared thermography (IR) is one of NDE technology through inspecting, characterize and analyzing defects based on the infrared images (sequences) from the recordation of infrared light emission and reflection to evaluate non-self-heating objects for quality control and safety assurance. In recent years, the deep learning field of artificial intelligence has made remarkable progress in image processing applications. This field has shown its ability to overcome most of the disadvantages in other approaches existing previously in a great number of applications. Whereas due to the insufficient training data, deep learning algorithms still remain unexplored, and only few publications involving the application of it for thermography nondestructive evaluation (TNDE). The intelligent and highly automated deep learning algorithms could be coupled with infrared thermography to identify the defect (damages) in composites, steel, etc. with high confidence and accuracy. Among the topics in the TNDE research field, the supervised and unsupervised machine learning techniques both are the most innovative and challenging tasks for defect detection analysis. In this project, we construct integrated frameworks for processing raw data from infrared thermography using deep learning algorithms and highlight of the methodologies proposed include the following: 1. Automatic defect identification and segmentation by deep learning algorithms in infrared thermography. The pre-trained convolutional neural networks (CNNs) are introduced to capture defect feature in infrared thermal images to implement CNNs based models for the detection of structural defects in samples made of composite materials (fault diagnosis). Several alternatives of deep CNNs for the detection of defects in the Infrared thermography. The comparisons of performance of the automatic defect detection and segmentation in infrared thermography using different deep learning detection methods: (i) instance segmentation (Center-mask; Mask-RCNN); (ii) objective location (Yolo-v3; Faster-RCNN); (iii) semantic segmentation (Unet; Res-unet); 2. Data augmentation technique through synthetic data generation to reduce the cost of high expense associated with the collection of original infrared data in the composites (aircraft components.) to enrich training data for feature learning in TNDE; 3. The generative adversarial network (Deep convolutional GAN and Wasserstein GAN) is introduced to the infrared thermography associated with partial least square thermography (PLST) (PLS-GANs network) for visible feature extraction of defects and enhancement of the visibility of defects to remove noise in Pulsed thermography; 4. Automatic defect depth estimation (Characterization issue) from simulated infrared data using a simplified recurrent neural network: Gate Recurrent Unit (GRU) through the regression supervised learning.

L'apprentissage profond a considérablement gagné en popularité au cours de la dernière décennie grâce à sa capacité à développer des modèles puissants qui apprennent directement à partir de données non structurées. Cette approche a été appliquée avec succès à divers domaines tels que le traitement du langage naturel, la vision par ordinateur et le traitement des signaux, et le rythme des progrès réalisés par la recherche académique et industrielle ne cesse de s'accélérer. Cependant, la majorité des recherches suppose la disponibilité de grands ensembles de données d'entraînement statiques. Par exemple, de nombreuses techniques sont conçues pour améliorer les capacités de généralisation des modèles d'apprentissage profond en utilisant des bases de données comme MS-COCO qui contient environ 300K images, ImageNet avec environ 1,5M d'exemples, et Visual Genome avec environ 3,8M d'instances d'objets. Or, récolter et annoter de tels ensembles de données peut être trop coûteux pour de nombreuses applications réelles. De plus, il est généralement supposé que l'entraînement peut être effectué en une seule étape, considérant ainsi que toutes les classes sont disponibles simultanément. Cela diffère d'applications réelles où les cas d'utilisation peuvent évoluer pour inclure de nouvelles classes au fil du temps, induisant ainsi la nécessité d'adapter continuellement les modèles existants, et faisant ainsi de l'apprentissage continuel. Dans cette thèse, nous visons à contribuer à l'*adaptabilité* et à l'*extensibilité* des réseaux de neurones profonds par le biais de l'apprentissage à partir de peu d'exemples et de l'apprentissage continuel. Plus précisément, nous proposons une méthode d'apprentissage qui exploite des relations contextuelles et des représentations multimodales pour former de meilleurs prototypes de classe en se basant sur des connaissances préalables, permettant l'*adaptation* à de nouvelles tâches avec seulement quelques exemples. De plus, nous contribuons à l'apprentissage continuel de classes, qui vise à permettre aux modèles d'apprentissage profond d'*étendre* leurs connaissances en intégrant de nouveaux concepts sans perdre la capacité de résoudre les tâches précédemment apprises. Contrairement à la majorité des travaux précédents qui ont exploré l'apprentissage continuel dans un contexte de classification d'images sur des bases de données simples (p. ex. MNIST et CIFAR), nos méthodes contribuent à l'apprentissage continuel de la segmentation sémantique, la détection d'objets et la segmentation d'instances, qui sont des problèmes plus complexes mais aussi plus applicatifs. Pour la segmentation sémantique continuelle, nous proposons un module d'apprentissage faiblement supervisé afin d'aborder les problèmes de dérive de l'arrière-plan (*background shift*) et des coûts élevés d'annotation. Nous introduisons également deux variantes d'un mécanisme de répétition qui permet de rejouer des régions d'images ou des caractéristiques intermédiaires sous la forme d'une technique d'augmentation de données. Nous explorons ensuite l'apprentissage continuel de la détection d'objets et de la segmentation d'instances en développant une architecture dynamique et une nouvelle méthode de distillation des connaissances qui augmente la plasticité tout en préservant une bonne stabilité. Finalement, nous étudions l'apprentissage continuel de la détection d'objets dans le contexte d'applications agricoles telles que la détection de plantes et de maladies. Pour ce faire, nous adaptons deux bases de données publiques pour simuler des scénarios d'apprentissage continuel et nous comparons diverses méthodes, introduisant ainsi deux scénarios experimentaux de référence pour étudier la vision numérique appliquée à des problèmes agricoles. Ensemble, ces contributions abordent plusieurs défis en lien avec l'apprentissage à partir de peu d'exemples et avec l'apprentissage continuel, faisant ainsi progresser le développement de modèles adaptables capables d'élargir progressivement leur base de connaissances au fil du temps. De plus, nous mettons un accent particulier sur l'étude de ces problèmes dans des configurations expérimentales impliquant des scènes complexes, qui sont plus représentatives des applications réelles déployées dans des environnements de production. / Deep learning has gained tremendous popularity in the last decade thanks to its ability to develop powerful models directly by learning from unstructured data. It has been successfully applied to various domains such as natural language processing, computer vision and signal processing, and the rate of progress made by academic and industrial research is still increasing. However, the majority of research assumes the availability of large, static training datasets. For instance, techniques are often designed to improve the generalization capabilities of deep learning models using datasets like MS-COCO with approximately 300K images, ImageNet with around 1.5M examples, and Visual Genome with roughly 3.8M object instances. Gathering and annotating such large datasets can be too costly for many real-world applications. Moreover, it is generally assumed that training is performed in a single step, thereby considering that all classes are available simultaneously. This differs from real applications where use cases can evolve to include novel classes, thus inducing the necessity to continuously adapt existing models and thereby performing continual learning. In this thesis, we aim to contribute to the *adaptability* and *extensibility* of deep neural networks through learning from few examples and continual learning. Specifically, we propose a few-shot learning method which leverages contextual relations and multimodal representations to learn better class prototypes, allowing to *adapt* to novel tasks with only a few examples. Moreover, we contribute to continual learning, aiming to allow deep learning models to *extend* their knowledge by learning new classes without loosing the ability to solve previously learned tasks. Contrarily to the majority of previous work which explores continual image classification on simple datasets (e.g. MNIST and CIFAR), our methods contribute to semantic segmentation, object detection and instance segmentation, which are more complex and practical problems. For continual semantic segmentation, we propose a weakly-supervised learning module to address the problems of background shift and annotation costs. We also introduce two variants of a rehearsal mechanism that can replay image patches or intermediate features in the form of a data augmentation technique. We then explore continual object detection and continual instance segmentation by developing a dynamic architecture and a novel knowledge distillation method which increases plasticity while ensuring stability. Finally, we experiment class-incremental object detection within the context of agricultural applications such as plant and disease detection. For that, we adapt two public datasets to simulate continual learning scenarios and we compare various continual and non-continual learning methods, thereby introducing a novel benchmark to study agricultural problems. Together, these contributions address several challenges of few-shot learning and continual learning, thus advancing the development of adaptable models capable of gradually expanding their knowledge base over time. Moreover, we have put a particular emphasis to study these problems within experimental setups that involve complex scenes, which are more representative of real applications as deployed in production environments.

Comportement différé, anisotrope à la descenderie de Saint-Martin-la-Porte

L'imagerie par résonance magnétique (IRM) est une technique d'acquisition d'images qui permet de visualiser les différents tissus du corps humain. Son principe se base sur le moment magnétique des protons des atomes d'hydrogène. Le corps étant principalement composé d'eau et donc d'hydrogène, cela en fait une méthode de choix pour faire de l'imagerie cardiaque. L'IRM est très utilisée en clinique pour observer et diagnostiquer les différentes maladies cardiaques, comme l'infarctus du myocarde, la cardiomyopathie dilatée ou la cardiomyopathie hypertrophique. Dans le cas du coeur, principalement trois structures anatomiques sont étudiées: la cavité du ventricule gauche, la cavité du ventricule droit et le myocarde. Dans ce but, il est nécessaire de faire une segmentation manuelle, semi-automatique ou automatique de l'image IRM. Une fois ces structures segmentées, différents paramètres physiologiques peuvent être calculés pour évaluer la maladie d'un patient. Souvent, les méthodes de segmentation se concentrent sur la segmentation de la cavité du ventricule gauche. Pour les autres structures, la segmentation est principalement faite à la main par un médecin ce qui demande un temps non négligeable (environ 10 à 15 minutes par coeur). Ce mémoire présente une base de données anonymisée d'images cardiaque contenant 150 patients avec différentes maladies cardiaques. Il présente aussi une nouvelle méthode de segmentation automatique des trois structures sans aucune intervention humaine. La méthode se base sur l'apprentissage profond, ce qui en fait une méthode très rapide (180 millisecondes par volume). Pour rendre les segmentations plus fidèles, elle incorpore un terme de contours qui permet d'avoir une segmentation plus précise des contours des structures et une forme a priori qui permet de rendre la segmentation plus près de celle d'un vrai coeur (sans trous ou anatomie impossible). Cette recherche est faite en collaboration avec l'Université de Bourgogne et l'Université de Lyon en France qui ont permis la mise en place de cette base de données cardiaque et la validation des résultats.

Ces vingt dernières années, la quantité d’images et de vidéos transmises a augmenté significativement, ce qui est principalement lié à l’essor de Facebook et Netflix. Même si les capacités de transmission s’améliorent, ce nombre croissant d’images et de vidéos transmises exige des méthodes de compression plus efficaces. Cette thèse a pour but d’améliorer par l’apprentissage deux composants clés des standards modernes de compression d’image, à savoir la transformée et la prédiction intra. Plus précisément, des réseaux de neurones profonds sont employés car ils ont un grand pouvoir d’approximation, ce qui est nécessaire pour apprendre une approximation fidèle d’une transformée optimale (ou d’un filtre de prédiction intra optimal) appliqué à des pixels d’image. En ce qui concerne l’apprentissage d’une transformée pour la compression d’image via des réseaux de neurones, un défi est d’apprendre une transformée unique qui est efficace en termes de compromis débit-distorsion, à différents débits. C’est pourquoi deux approches sont proposées pour relever ce défi. Dans la première approche, l’architecture du réseau de neurones impose une contrainte de parcimonie sur les coefficients transformés. Le niveau de parcimonie offre un contrôle sur le taux de compression. Afin d’adapter la transformée à différents taux de compression, le niveau de parcimonie est stochastique pendant la phase d’apprentissage. Dans la deuxième approche, l’efficacité en termes de compromis débit-distorsion est obtenue en minimisant une fonction de débit-distorsion pendant la phase d’apprentissage. Pendant la phase de test, les pas de quantification sont progressivement agrandis selon un schéma afin de compresser à différents débits avec une unique transformée apprise. Concernant l’apprentissage d’un filtre de prédiction intra pour la compression d’image via des réseaux de neurones, le problème est d’obtenir un filtre appris qui s’adapte à la taille du bloc d’image à prédire, à l’information manquante dans le contexte de prédiction et au bruit de quantification variable dans ce contexte. Un ensemble de réseaux de neurones est conçu et entraîné de façon à ce que le filtre appris soit adaptatif à ces égards. / Over the last twenty years, the amount of transmitted images and videos has increased noticeably, mainly urged on by Facebook and Netflix. Even though broadcast capacities improve, this growing amount of transmitted images and videos requires increasingly efficient compression methods. This thesis aims at improving via learning two critical components of the modern image compression standards, which are the transform and the intra prediction. More precisely, deep neural networks are used for this task as they exhibit high power of approximation, which is needed for learning a reliable approximation of an optimal transform (or an optimal intra prediction filter) applied to image pixels. Regarding the learning of a transform for image compression via neural networks, a challenge is to learn an unique transform that is efficient in terms of rate-distortion while keeping this efficiency when compressing at different rates. That is why two approaches are proposed to take on this challenge. In the first approach, the neural network architecture sets a sparsity on the transform coefficients. The level of sparsity gives a direct control over the compression rate. To force the transform to adapt to different compression rates, the level of sparsity is stochastically driven during the training phase. In the second approach, the rate-distortion efficiency is obtained by minimizing a rate-distortion objective function during the training phase. During the test phase, the quantization step sizes are gradually increased according a scheduling to compress at different rates using the single learned transform. Regarding the learning of an intra prediction filter for image compression via neural networks, the issue is to obtain a learned filter that is adaptive with respect to the size of the image block to be predicted, with respect to missing information in the context of prediction, and with respect to the variable quantization noise in this context. A set of neural networks is designed and trained so that the learned prediction filter has this adaptibility.

L'objectif principal ce travail de thèse est la reconnaissance visuelle pour un robot mobile dans des conditions difficiles. En particulier nous nous intéressons aux réseaux de neurones qui présentent aujourd'hui les meilleures performances en vision par ordinateur. Nous avons étudié le principe de sélection de méthodes pour la classification d'images 2D en utilisant un réseau de neurones sélecteur pour choisir le meilleur classifieur disponible étant donnée la situation observée. Cette stratégie fonctionne lorsque les données peuvent être facilement partitionnées vis-à-vis des classifieurs disponibles, ce qui est le cas quand des modalités complémentaires sont utilisées. Nous avons donc utilisé des données RGB-D (2.5D) en particulier appliquées à la détection de personnes. Nous proposons une combinaison de réseaux de neurones détecteurs indépendants propres à chaque modalité (couleur & carte de profondeur) basés sur une même architecture (le Faster RCNN). Nous partageons des résultats intermédiaires des détecteurs pour leur permettre de se compléter et d'améliorer la performance globale en situation difficile (perte de luminosité ou bruit d'acquisition de la carte de profondeur). Nous établissons un nouvel état de l'art dans le domaine et proposons un jeu de données plus complexe et plus riche à la communauté (ONERA.ROOM). Enfin, nous avons fait usage de l'information 3D contenue dans les images RGB-D au travers d'une méthode multi-vue. Nous avons défini une stratégie de génération de vues virtuelles 2D cohérentes avec la structure 3D. Pour une tâche de segmentation sémantique, cette approche permet d'augmenter artificiellement les données d'entraînement pour chaque image RGB-D et d'accumuler différentes prédictions lors du test. Nous obtenons de nouveaux résultats de référence sur les jeux de données SUNRGBD et NYUDv2. Ces travaux de thèse nous ont permis d'aborder de façon originale des données robotiques 2D, 2.5D et 3D avec des réseaux de neurones. Que ce soit pour la classification, la détection et la segmentation sémantique, nous avons non seulement validé nos approches sur des jeux de données difficiles, mais également amené l'état de l'art à un nouveau niveau de performance. / The main objective of this thesis is visual recognition for a mobile robot in difficult conditions. We are particularly interested in neural networks which present today the best performances in computer vision. We studied the concept of method selection for the classification of 2D images by using a neural network selector to choose the best available classifier given the observed situation. This strategy works when data can be easily partitioned with respect to available classifiers, which is the case when complementary modalities are used. We have therefore used RGB-D data (2.5D) in particular applied to people detection. We propose a combination of independent neural network detectors specific to each modality (color & depth map) based on the same architecture (Faster RCNN). We share intermediate results of the detectors to allow them to complement and improve overall performance in difficult situations (luminosity loss or acquisition noise of the depth map). We are establishing new state of the art scores in the field and propose a more complex and richer data set to the community (ONERA.ROOM). Finally, we made use of the 3D information contained in the RGB-D images through a multi-view method. We have defined a strategy for generating 2D virtual views that are consistent with the 3D structure. For a semantic segmentation task, this approach artificially increases the training data for each RGB-D image and accumulates different predictions during the test. We obtain new reference results on the SUNRGBD and NYUDv2 datasets. All these works allowed us to handle in an original way 2D, 2.5D and 3D robotic data with neural networks. Whether for classification, detection and semantic segmentation, we not only validated our approaches on difficult data sets, but also brought the state of the art to a new level of performance.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Thèse ou mémoire avec insertion d'articles / La détection d'anomalies vidéo (DAV) est une tâche cruciale de vision par ordinateur pour diverses applications du monde réel telles que la vidéosurveillance, le contrôle qualité, etc. Avec la rareté des données d'anomalies étiquetées et la nature ouverte des définitions d'anomalies, il y a eu une croissance d'intérêt des chercheurs pour l'exploration de méthodes semi-supervisées de détection d'anomalies vidéo. Ces méthodes utilisent une tâche proxy pour ajuster un modèle sur des échantillons normaux, en tenant compte de leurs caractéristiques d'apparence et de mouvement. Les anomalies sont par conséquent détectées en mesurant l'écart des échantillons de test par rapport au modèle normal formé. Cette thèse est dédiée à l'avancement de ce domaine, englobant quatre composantes distinctes. Dans la partie initiale, nous menons une étude approfondie sur les méthodes DAV semi-supervisées de pointe existantes afin d'examiner leurs points forts et leurs défis. Pour compléter notre examen, nous effectuons également des expériences pour mieux comprendre les capacités et les limites des approches existantes. Les résultats de cette étude servent de source de motivation et mettent en lumière l'orientation de notre recherche. Cette étude est publiée sous la forme d'un article de synthèse (MTAP2023). Lors de l'analyse des méthodes existantes, il devient évident qu'elles ne tiennent pas suffisamment compte de la classe des objets lorsqu'il s'agit de détecter des anomalies d'apparence. Inspirés par ce besoin, nous proposons, dans la deuxième partie, une méthode DAV basée sur l'apprentissage en profondeur et sensible aux classes d'objets. C'est une méthode à deux flux qui modélise et détecte les anomalies de mouvement et d'apparence dans différentes branches. Dans la branche apparence, nous introduisons une approche basée sur la distillation des connaissances qui utilise une méthode de segmentation sémantique pré-entraînée (Mask-RCNN) pour former un réseau étudiant dédié à la segmentation sémantique avec des objets normaux. Par conséquent, en mesurant l'écart entre les sorties des réseaux enseignant et étudiant, nous dérivons un score d'anomalie pour la branche d'apparence. La branche de mouvement, d'autre part, traduit une image brute en sa carte de magnitude de flux optique correspondante, pour modéliser les mouvements normaux et détecter les anomalies associées. L'approche de modélisation de mouvement proposée atténue le risque de généralisation aux anomalies, améliorant ainsi la fiabilité et la précision du processus de détection. Les résultats de cette étude ont été publiés sous forme d'article de conférence (CRV 2022). Dans la troisième partie, nous proposons une méthode de détection d'anomalies vidéo basée sur l'apprentissage multi-tâches visant à tirer parti des avantages de la combinaison de plusieurs tâches proxy complémentaires pour améliorer les performances de détection d'anomalies. Différentes tâches complémentaires sont proposées en tenant compte de leurs capacités et insuffisances à détecter différents cas d'anomalies. De plus, nous proposons une nouvelle tâche proxy de prédiction de carte de segmentation sémantique future pour la détection d'anomalies vidéo qui bénéficie des capacités de prédiction de trames futures et de tâches de segmentation sémantique pour la détection d'anomalies de mouvement et d'apparence. De plus, pour améliorer encore la détection des anomalies de mouvement, nous intégrons la tâche de prédiction de l'amplitude du flux optique à partir d'une trame brute dans une autre branche. Finalement, pour relever les défis rencontrés dans notre méthode précédente, nous proposons plusieurs mécanismes d'attention pour engager des informations contextuelles dans la modélisation de mouvement, conduisant à une amélioration des performances. Les résultats de cette étude ont été publiés sous forme d'article de conférence (CVPRW 2023). Dans la dernière partie, nous relevons un autre défi dans la modélisation du mouvement. Tant dans nos méthodes proposées que dans d'autres méthodes existantes, les modèles de mouvement à long terme n'ont pas été efficacement pris en compte pour la détection d'anomalies vidéo. Pour remédier à cette limitation, nous proposons une nouvelle tâche proxy pour la détection d'anomalies vidéo : la prédiction vidéo future à partir d'une seule image. Cette méthode prend en compte les modèles de mouvement à long terme en plus des modèles à court terme pour la détection d'anomalies vidéo et relève le défi de la généralisation aux mouvements anormaux. Cette étude donne des résultats significatifs. Les résultats démontrent que la formulation de DAV comme une prédiction d'images plus éloignées dans le futur (au lieu de l'image suivante immédiate) entraîne une plus grande disparité entre les normales et les anomalies et donc une amélioration des performances. Les résultats de cette étude sont acceptés sous forme d'article de conférence (ISVC 2023). Nos résultats qualitatifs et quantitatifs ainsi que des études d'ablation sur des ensembles de données de référence tels que les ensembles de données ShanghaiTech, UCSD-Ped1 et UCSD-Ped2 démontrent le succès de chaque contribution de notre thèse dans la réalisation de leurs objectifs respectifs. / Video anomaly detection (VAD) is a crucial computer vision task for various real-world applications such as video surveillance, quality control, etc. With the scarcity of labeled anomaly data and the open-ended nature of anomaly definitions, there has been a growing interest among researchers in exploring semi-supervised methods for video anomaly detection. These methods employ a proxy-task to fit a model on normal samples, taking into account their appearance and motion features. Anomalies are consequently detected by measuring the deviation of test samples from the trained normal model. This thesis is dedicated to advancing this field, encompassing four distinct components. In the initial part, we conduct an in-depth study on existing state-of-the-art semi-supervised VAD methods to examine their strong points and challenges. To supplement our review, we also conduct experiments to gain deeper insights into the capabilities and limitations of existing approaches. The outcomes of this study serve as a source of motivation and highlights the direction of our research. This study is published as a review paper (MTAP2023). Upon analyzing the existing methods, it becomes apparent that they do not adequately consider the object class when it comes to detecting appearance anomalies. Inspired by this need, we propose, in the second part, a two-stream object class-aware deep learning based VAD method that models and detects motion and appearance anomalies in different network branches. In the appearance branch, we introduce a knowledge-distillation-based approach that utilizes a pre-trained semantic segmentation method (Mask-RCNN) to train a student network dedicated to semantic segmentation with normal objects. Consequently, by measuring the disparity between the outputs of the teacher and student networks, we derive an anomaly score for the appearance branch. Motion branch, on the other hand, translates a raw frame to its corresponding optical flow magnitude map, to model normal motions and detect related anomalies. The proposed motion modeling approach, mitigates the risk of generalization to anomalies, thus enhancing the reliability and precision of the detection process. Results of this study is published as a conference paper (CRV 2022). In the third part, we put forth a multi-task learning based video anomaly detection method aimed at leveraging the benefits of combining multiple complementary proxy-tasks to enhance anomaly detection performance. Different complementary tasks are suggested taking into ac count their abilities and shortcomings in detecting different anomaly cases. Moreover, we propose a novel proxy-task of future semantic segmentation map prediction for video anomaly detection which benefits from the abilities of future frame prediction and semantic segmentation tasks for motion and appearance anomaly detection. Additionally, to further enhance the detection of motion anomalies, we incorporate the task of optical flow magnitude prediction from a raw frame in another branch. Finally, to address the challenges encountered in our previous method, we propose multiple attention mechanisms to engage context information in motion modeling, leading to performance improvement. Results of this study is published as a conference paper (CVPRW 2023). As the final part, we tackle another challenge in motion modeling. Both in our proposed methods and other existing methods, long-term motion patterns have not been effectively considered for video anomaly detection. To address this limitation, we put forward a novel proxy-task for video anomaly detection: future video prediction from a single frame. This method considers long-term motion patterns in addition to short-term ones for video anomaly detection and addresses the challenge of generalization to abnormal motion. This study yields significant findings. The results demonstrate that formulating VAD as a prediction of farther frames in the future (instead of the immediate next frame) results in a larger disparity between normals and anomalies and hence in improved performance. Results of this study is accepted as a conference paper (ISVC 2023). Our qualitative and quantitative results along with ablation studies on benchmark datasets such as ShanghaiTech, UCSD-Ped1 and UCSD-Ped2 datasets demonstrate the success of each contribution of our thesis in achieving their respective goals.

Dans la dernière décennie, les approches basées sur les réseaux de neurones convolutionnels sont devenus les standards pour la plupart des tâches en vision numérique. Alors qu'une grande partie des méthodes classiques de vision étaient basées sur des règles et algorithmes, les réseaux de neurones sont optimisés directement à partir de données d'entraînement qui sont étiquetées pour la tâche voulue. En pratique, il peut être difficile d'obtenir une quantité su sante de données d'entraînement ou d'interpréter les prédictions faites par les réseaux. Également, le processus d'entraînement doit être recommencé pour chaque nouvelle tâche ou ensemble d'objets. Au final, bien que très performantes, les solutions basées sur des réseaux de neurones peuvent être difficiles à mettre en place. Dans cette thèse, nous proposons des stratégies visant à contourner ou solutionner en partie ces limitations en contexte de détection d'instances d'objets. Premièrement, nous proposons d'utiliser une approche en cascade consistant à utiliser un réseau de neurone comme pré-filtrage d'une méthode standard de "template matching". Cette façon de faire nous permet d'améliorer les performances de la méthode de "template matching" tout en gardant son interprétabilité. Deuxièmement, nous proposons une autre approche en cascade. Dans ce cas, nous proposons d'utiliser un réseau faiblement supervisé pour générer des images de probabilité afin d'inférer la position de chaque objet. Cela permet de simplifier le processus d'entraînement et diminuer le nombre d'images d'entraînement nécessaires pour obtenir de bonnes performances. Finalement, nous proposons une architecture de réseau de neurones ainsi qu'une procédure d'entraînement permettant de généraliser un détecteur d'objets à des objets qui ne sont pas vus par le réseau lors de l'entraînement. Notre approche supprime donc la nécessité de réentraîner le réseau de neurones pour chaque nouvel objet. / In the last decade, deep convolutional neural networks became a standard for computer vision applications. As opposed to classical methods which are based on rules and hand-designed features, neural networks are optimized and learned directly from a set of labeled training data specific for a given task. In practice, both obtaining sufficient labeled training data and interpreting network outputs can be problematic. Additionnally, a neural network has to be retrained for new tasks or new sets of objects. Overall, while they perform really well, deployment of deep neural network approaches can be challenging. In this thesis, we propose strategies aiming at solving or getting around these limitations for object detection. First, we propose a cascade approach in which a neural network is used as a prefilter to a template matching approach, allowing an increased performance while keeping the interpretability of the matching method. Secondly, we propose another cascade approach in which a weakly-supervised network generates object-specific heatmaps that can be used to infer their position in an image. This approach simplifies the training process and decreases the number of required training images to get state-of-the-art performances. Finally, we propose a neural network architecture and a training procedure allowing detection of objects that were not seen during training, thus removing the need to retrain networks for new objects.