Le Transfert de Connaissance (Knowledge Transfer or Transfer Learning) est une solution prometteuse au difficile problème de l’apprentissage des réseaux profonds au moyen de bases d’apprentissage de petite taille, en présence d’une grande variabilité visuelle intra-classe. Dans ce travail, nous reprenons ce paradigme, dans le but d’étendre les capacités des CNN les plus récents au problème de la classification. Dans un premier temps, nous proposons plusieurs techniques permettant, lors de l’apprentissage et de la prédiction, une réduction des ressources nécessaires – une limitation connue des CNN. (i) En utilisant une méthode hybride combinant des techniques classiques comme des Bag-Of-Words (BoW) avec des CNN. (iv) En introduisant une nouvelle méthode d’agrégation intégrée à une structure de type CNN ainsi qu’un modèle non-linéaire s’appuyant sur des parties de l’image. La contribution clé est, finalement, une technique capable d’isoler les régions des images utiles pour une représentation locale. De plus, nous proposons une méthode nouvelle pour apprendre une représentation structurée des coefficients des réseaux de neurones. Nous présentons des résultats sur des jeux de données difficiles, ainsi que des comparaisons avec des méthodes concurrentes récentes. Nous prouvons que les méthodes proposées s’étendent à d’autres tâches de reconnaissance visuelles comme la classification d’objets, de scènes ou d’actions. / Knowledge transfer is a promising solution for the difficult problem of training deep convolutional neural nets (CNNs) using only small size training datasets with a high intra-class visual variability. In this thesis work, we explore this paradigm to extend the ability of state-of-the-art CNNs for image classification.First, we propose several effective techniques to reduce the training and test-time computational burden associated to CNNs:(i) Using a hybrid method to combine conventional, unsupervised aggregators such as Bag-of-Words (BoW) with CNNs;(ii) Introducing a novel pooling methods within a CNN framework along with non-linear part-based models. The key contribution lies in a technique able to discover useful regions per image involved in the pooling of local representations;In addition, we also propose a novel method to learn the structure of weights in deep neural networks. Experiments are run on challenging datasets with comparisons against state-of-the-art methods. The methods proposed are shown to generalize to different visual recognition tasks, such as object, scene or action classification.

This study presents two computer vision based algorithms for automated 2D detection of construction workers and equipment from site video streams. The state-of-the-art research proposes semi-automated detection methods for tracking of construction workers and equipment. Considering the number of active equipment and workers on jobsites and their frequency of appearance in a camera's field of view, application of semi-automated techniques can be time-consuming. To address this limitation, two new algorithms based on Histograms of Oriented Gradients and Colors (HOG+C), 1) HOG+C sliding detection window technique, and 2) HOG+C deformable part-based model are proposed and their performance are compared to the state-of-the-art algorithm in computer vision community. Furthermore, a new comprehensive benchmark dataset containing over 8,000 annotated video frames including equipment and workers from different construction projects is introduced. This dataset contains a large range of pose, scale, background, illumination, and occlusion variation. The preliminary results with average performance accuracies of 100%, 92.02%, and 89.69% for workers, excavators, and dump trucks respectively, indicate the applicability of the proposed methods for automated activity analysis of workers and equipment from single video cameras. Unlike other state-of-the-art algorithms in automated resource tracking, these methods particularly detects idle resources and does not need manual or semi-automated initialization of the resource locations in 2D video frames. / Master of Science

La perception est le moyen par lequel nous connaissons le monde extérieur. C’est grâce à nos perceptions que nous sommes capables d’interagir avec notre environnement et d’accomplir de nombreuses actions du quotidien comme se repérer, se déplacer, reconnaître des objets et autres. Cette perception n’est pas juste passive comme peut l’être une sensation, elle comporte des aspects actifs. En particulier, elle peut être orientée dans un but précis, permettant de filtrer les données pour ne traiter que les plus pertinentes. Si la perception humaine est particulièrement efficace, la perception artificielle, elle, demeure un problème complexe qui se heurte à de nombreuses difficultés. Ainsi, les changements de conditions de perception comme des modifications de l’illumination ou des occultations partielles de l’objet à percevoir doivent pouvoir être gérées efficacement. Pour résoudre ces difficultés, s’inspirer de la perception humaine semble être une piste intéressante. Ce manuscrit propose un système de perception polyvalent et générique reposant sur une stratégie de perception active. Pour ce faire, nous proposons un algorithme Top-Down utilisant un modèle en parties. Le problème de perception est transformé en un problème d’estimation d’un vecteur de caractéristiques. La détection des différentes parties permet de réaliser cette estimation. Le système de perception proposé est un algorithme itératif multi-capteurs. À chaque itération, il sélectionne au mieux, en fonction des objectifs fixés par l’application, la partie à détecter ainsi que les meilleurs capteur et détecteur compatibles. Un réseau bayésien est utilisé pour prendre en compte les événements incertains pouvant survenir lors de ce processus comme la défaillance d’un détecteur ou la non existence potentielle d’une partie donnée. Un processus de focalisation à la fois spatiale et de caractéristiques permet d’améliorer la détection en augmentant le rapport signal sur bruit, en restreignant la zone de recherche pour une partie et en éliminant certains des candidats trouvés. Ce processus de focalisation permet aussi de réduire les temps de calcul et de restreindre l’influence des distracteurs. L’ajout de nouveaux capteurs, détecteurs ou parties se fait simplement. De plus, l’utilisation d’un réseau bayésien permet une grande flexibilité au niveau de la modélisation des événements pris en compte : il est facile de rajouter de nouveaux événements pour obtenir une modélisation plus réaliste. L’algorithme proposé a été utilisé pour plusieurs applications incluant de la reconnaissance d’objets, de l’estimation fine de pose et de la localisation. / Perception is the way by which we know the outside world. Thanks to our perceptions we are able to interact with our environment and to achieve various everyday life actions as locating or moving in an environment, or recognizing objects. Perception is not passive whereas sensations are, it has active components. In particular, perception can be oriented for a specific purpose allowing to filter data and to take care only of the most relevant. If human perception is particularly effective, artificial perception remains a complex problem with a lot of non solved difficulties. For example, changes of perception conditions as modification of illumination or partial occultation of the searched object must be effectively managed. This thesis proposes a system of perception based on a strategy of active perception which can adapt itself to various applications. To do it, we propose an algorithm Top-Down using a part-based model. The problem of perception is transformed into a problem of estimation of a characteristics vector. The detection of the different parts constituting the searched object allows to realize this estimation. The proposed perceptive system is an iterative and multi-sensors algorithm. In every iteration, it selects, at best, according to the application objectives, the part to detect and the best compatible sensor and detector. A bayesian network is used to take into account uncertain events which can arise during this process as detector failure or potential non existing part. A focus process consisting of a spatial focus and of a characteristics focus, improves the detection by restricting the search area, by improving the signal to noise ratio and by eliminating some erroneous candidates. This focus process also allows to reduce computation time and to restrict influence of distractors. Adding a part, a sensor or a detector is simple. Furthermore, the use of a bayesian network allows to be flexible in the events modelisation : it is easy to add new events to obtain a more realistic modelisation. The proposed algorithm has been used for several applications including object’s recognition, fine pose estimation and localization. So, it is multi-purpose and generic.