Tableau d'honneur de la Faculté des études supérieures et postdoctorales, 2017-2018 / Ce mémoire présente des estimateurs d'états dans le but de pister des cibles devant un lidar dont la résolution angulaire est faible. D'abord, la transformée de Hough est adaptée à la configuration polaire du lidar et au bruit de mesure qui est gaussien en distance radiale et uniforme en position angulaire. La transformée de Hough développée permet d'estimer la trajectoire de la cible en évaluant la meilleure droite passant par les détections les plus récentes et cette estimation s'approche du maximum de vraisemblance. Ensuite, le résultat de la transformée de Hough est intégré à un filtre de Kalman, classique, étendu ou non parfumé. Deux stratégies sont employées : transformer le bruit uniforme en bruit gaussien en projetant les mesures de position angulaire sur la droite ou ajouter la droite comme une contrainte relaxée dans les observations du filtre de Kalman. Des simulations montrent que le filtre de Kalman non parfumé avec contrainte relaxée est celui qui offre les meilleures performances d'estimation en moyenne. Particulièrement, le gain de l'utilisation de cette méthode par rapport au filtre non parfumé ordinaire augmente dans les situations suivantes : lorsque la cible s'éloigne, plus elle est loin du lidar, plus la cible est petite par rapport à la largeur d'un élément lidar. Les simulations sont analysées pour difiérentes trajectoires linéaires et courbes, pour des cibles de deux tailles (piéton ou voiture) et trois configurations lidars (16 éléments de 2:8° chaque, 8 éléments de 5° chaque et 9 éléments de 10° chaque). Des résultats expérimentaux pour des piétons et une configuration de 16 éléments sont aussi illustrés. / In this master's thesis, state estimators are designed to track targets seen by a lidar with very low angular resolution. The Hough transform is modified in order to consider the polar configuration of the lidar detections, the gaussian noise on their distance measurements and the uniform noise on their angular position measurements. The designed Hough transform estimates the trajectory of a target by evaluating the best line passing on the most recent detections. This estimation approaches the maximum likelihood. Some methods to reduce the computational complexity are also shown. The results of the Hough transform are then combined with Kalman filters (classic, extended and unscented). Two main strategies are developed : transforming the uniform noise into gaussian noise by projecting the angular position on the estimated line, or adding the line as soft constraints in the observation vector of the Kalman filter. Simulations show that the unscented Kalman filter with soft constraints has the lowest mean square error on the state estimation on average. Moreover, this method's improvement in accuracy, in comparaison to a regular unscented Kalman filter, is significant in the following cases : when the target moves away, when the target is far away or when the target is smaller than the width of a lidar element. Simulations are done for different linear and curved trajectories, for two sizes of targets (pedestrian and car) and for three lidar configurations (16 elements of 2:8° each, 8 elements of 5° each et 9 elements of 10° each). Experimental results for pedestrians and a 16 elements lidar are also discussed.

La détection des objets transportés est un des prérequis pour développer des systèmes qui cherchent à comprendre les activités impliquant des personnes et des objets. Cette thèse présente de nouvelles méthodes pour détecter et segmenter les objets transportés dans des vidéos de surveillance. Les contributions sont divisées en trois principaux chapitres. Dans le premier chapitre, nous introduisons notre détecteur d’objets transportés, qui nous permet de détecter un type générique d’objets. Nous formulons la détection d’objets transportés comme un problème de classification de contours. Nous classifions le contour des objets mobiles en deux classes : objets transportés et personnes. Un masque de probabilités est généré pour le contour d’une personne basé sur un ensemble d’exemplaires (ECE) de personnes qui marchent ou se tiennent debout de différents points de vue. Les contours qui ne correspondent pas au masque de probabilités généré sont considérés comme des candidats pour être des objets transportés. Ensuite, une région est assignée à chaque objet transporté en utilisant la Coupe Biaisée Normalisée (BNC) avec une probabilité obtenue par une fonction pondérée de son chevauchement avec l’hypothèse du masque de contours de la personne et du premier plan segmenté. Finalement, les objets transportés sont détectés en appliquant une Suppression des Non-Maxima (NMS) qui élimine les scores trop bas pour les objets candidats. Le deuxième chapitre de contribution présente une approche pour détecter des objets transportés avec une méthode innovatrice pour extraire des caractéristiques des régions d’avant-plan basée sur leurs contours locaux et l’information des super-pixels. Initiallement, un objet bougeant dans une séquence vidéo est segmente en super-pixels sous plusieurs échelles. Ensuite, les régions ressemblant à des personnes dans l’avant-plan sont identifiées en utilisant un ensemble de caractéristiques extraites de super-pixels dans un codebook de formes locales. Ici, les régions ressemblant à des humains sont équivalentes au masque de probabilités de la première méthode (ECE). Notre deuxième détecteur d’objets transportés bénéficie du nouveau descripteur de caractéristiques pour produire une carte de probabilité plus précise. Les compléments des super-pixels correspondants aux régions ressemblant à des personnes dans l’avant-plan sont considérés comme une carte de probabilité des objets transportés. Finalement, chaque groupe de super-pixels voisins avec une haute probabilité d’objets transportés et qui ont un fort support de bordure sont fusionnés pour former un objet transporté. Finalement, dans le troisième chapitre, nous présentons une méthode pour détecter et segmenter les objets transportés. La méthode proposée adopte le nouveau descripteur basé sur les super-pixels pour iii identifier les régions ressemblant à des objets transportés en utilisant la modélisation de la forme humaine. En utilisant l’information spatio-temporelle des régions candidates, la consistance des objets transportés récurrents, vus dans le temps, est obtenue et sert à détecter les objets transportés. Enfin, les régions d’objets transportés sont raffinées en intégrant de l’information sur leur apparence et leur position à travers le temps avec une extension spatio-temporelle de GrabCut. Cette étape finale sert à segmenter avec précision les objets transportés dans les séquences vidéo. Nos méthodes sont complètement automatiques, et font des suppositions minimales sur les personnes, les objets transportés, et les les séquences vidéo. Nous évaluons les méthodes décrites en utilisant deux ensembles de données, PETS 2006 et i-Lids AVSS. Nous évaluons notre détecteur et nos méthodes de segmentation en les comparant avec l’état de l’art. L’évaluation expérimentale sur les deux ensembles de données démontre que notre détecteur d’objets transportés et nos méthodes de segmentation surpassent de façon significative les algorithmes compétiteurs. / Detecting carried objects is one of the requirements for developing systems that reason about activities involving people and objects. This thesis presents novel methods to detect and segment carried objects in surveillance videos. The contributions are divided into three main chapters. In the first, we introduce our carried object detector which allows to detect a generic class of objects. We formulate carried object detection in terms of a contour classification problem. We classify moving object contours into two classes: carried object and person. A probability mask for person’s contours is generated based on an ensemble of contour exemplars (ECE) of walking/standing humans in different viewing directions. Contours that are not falling in the generated hypothesis mask are considered as candidates for carried object contours. Then, a region is assigned to each carried object candidate contour using Biased Normalized Cut (BNC) with a probability obtained by a weighted function of its overlap with the person’s contour hypothesis mask and segmented foreground. Finally, carried objects are detected by applying a Non-Maximum Suppression (NMS) method which eliminates the low score carried object candidates. The second contribution presents an approach to detect carried objects with an innovative method for extracting features from foreground regions based on their local contours and superpixel information. Initially, a moving object in a video frame is segmented into multi-scale superpixels. Then human-like regions in the foreground area are identified by matching a set of extracted features from superpixels against a codebook of local shapes. Here the definition of human like regions is equivalent to a person’s probability map in our first proposed method (ECE). Our second carried object detector benefits from the novel feature descriptor to produce a more accurate probability map. Complement of the matching probabilities of superpixels to human-like regions in the foreground are considered as a carried object probability map. At the end, each group of neighboring superpixels with a high carried object probability which has strong edge support is merged to form a carried object. Finally, in the third contribution we present a method to detect and segment carried objects. The proposed method adopts the new superpixel-based descriptor to identify carried object-like candidate regions using human shape modeling. Using spatio-temporal information of the candidate regions, consistency of recurring carried object candidates viewed over time is obtained and serves to detect carried objects. Last, the detected carried object regions are refined by integrating information of their appearances and their locations over time with a spatio-temporal extension of GrabCut. This final stage is used to accurately segment carried objects in frames. Our methods are fully automatic, and make minimal assumptions about a person, carried objects and videos. We evaluate the aforementioned methods using two available datasets PETS 2006 and i-Lids AVSS. We compare our detector and segmentation methods against a state-of-the-art detector. Experimental evaluation on the two datasets demonstrates that both our carried object detection and segmentation methods significantly outperform competing algorithms.

L’intelligence artificielle est un domaine de recherche relativement récent. Grâce à lui, plusieurs percées ont été faites sur une série de problèmes qui étaient autrefois considérés comme très difficiles. La classification fine est l’un de ces problèmes. Cependant, même si résoudre cette tâche pourrait représenter des avancées tant au niveau scientifique qu’au niveau industriel, peu de recherche y a été effectué. Dans ce mémoire, nous abordons la problématique de l’application de la classification fine sur des problèmes concrets, soit la classification d’essence d’arbres uniquement grâce à des images de l’écorce et la classification visuelle des moisissures en culture. Nous commençons par présenter plusieurs concepts sur lesquels se basent l’apprentissage profond, à la base de notre solution ainsi que plusieurs expériences qui ont été menées afin de tenter de résoudre le problème de classification d’essence d’arbres à partir d’images de l’écorce. Par la suite, nous détaillons le jeu de données nommé BarkNet 1. 0 que nous avons construit dans le cadre de ce projet. Grâce à celui-ci, nous avons été en mesure de développer une méthode permettant d’obtenir une précision de 93,88% en utilisant une seule crop aléatoire dans une image et une précision de 97,81% en utilisant un vote de majorité sur toutes les images d’un arbre. Finalement, nous concluons en démontrant la faisabilité d’appliquer notre méthode dans d’autres contextes en montrant quelques applications concrètes sur lesquelles nous l’avons essayée, soit la classification d’essence d’arbres en industrie et la classification de moisissures. / Artificial intelligence is a relatively recent research domain. With it, many breakthroughs were made on a number of problems that were considered very hard. Fine-grained classification is one of those problems. However, a relatively small amount of research has been done on this task even though itcould represent progress on a scientific, commercial and industrial level. In this work, we talk about applying fine-grained classification on concrete problems such as tree bark classification and mould classification in culture. We start by presenting fundamental deep learning concepts at the root of our solution. Then, we present multiple experiments made in order to try to solve the tree bark classification problem and we detail the novel dataset BarkNet 1.0 that we made for this project. With it, we were able to develop a method that obtains an accuracy of 93.88% on singlecrop in a single image, and an accuracy of 97.81% using a majority voting approach on all the images of a tree. We conclude by demonstrating the feasibility of applying our method on new problems by showing two concrete applications on which we tried our approach, industrial tree classification and mould classification.

La détection de la similarité ou de la différence entre les images et leur mise en correspondance sont des problèmes fondamentaux dans le traitement de l'image. Pour résoudre ces problèmes, on utilise, dans la littérature, différents algorithmes d'appariement. Malgré leur nouveauté, ces algorithmes sont pour la plupart inefficaces et ne peuvent pas fonctionner correctement dans les situations d’images bruitées. Dans ce mémoire, nous résolvons la plupart des problèmes de ces méthodes en utilisant un algorithme fiable pour segmenter la carte des contours image, appelée carte des CCPs, et une nouvelle méthode d'appariement. Dans notre algorithme, nous utilisons un descripteur local qui est rapide à calculer, est invariant aux transformations affines et est fiable pour des objets non rigides et des situations d’occultation. Après avoir trouvé le meilleur appariement pour chaque contour, nous devons vérifier si ces derniers sont correctement appariés. Pour ce faire, nous utilisons l'approche « Weighted Graph Transformation Matching » (WGTM), qui est capable d'éliminer les appariements aberrants en fonction de leur proximité et de leurs relations géométriques. WGTM fonctionne correctement pour les objets à la fois rigides et non rigides et est robuste aux distorsions importantes. Pour évaluer notre méthode, le jeu de données ETHZ comportant cinq classes différentes d'objets (bouteilles, cygnes, tasses, girafes, logos Apple) est utilisé. Enfin, notre méthode est comparée à plusieurs méthodes célèbres proposées par d'autres chercheurs dans la littérature. Bien que notre méthode donne un résultat comparable à celui des méthodes de référence en termes du rappel et de la précision de localisation des frontières, elle améliore significativement la précision moyenne pour toutes les catégories du jeu de données ETHZ. / Matching and detecting similarity or dissimilarity between images is a fundamental problem in image processing. Different matching algorithms are used in literature to solve this fundamental problem. Despite their novelty, these algorithms are mostly inefficient and cannot perform properly in noisy situations. In this thesis, we solve most of the problems of previous methods by using a reliable algorithm for segmenting image contour map, called CCP Map, and a new matching method. In our algorithm, we use a local shape descriptor that is very fast, invariant to affine transform, and robust for dealing with non-rigid objects and occlusion. After finding the best match for the contours, we need to verify if they are correctly matched. For this matter, we use the Weighted Graph Transformation Matching (WGTM) approach, which is capable of removing outliers based on their adjacency and geometrical relationships. WGTM works properly for both rigid and non-rigid objects and is robust to high order distortions. For evaluating our method, the ETHZ dataset including five diverse classes of objects (bottles, swans, mugs, giraffes, apple-logos) is used. Finally, our method is compared to several famous methods proposed by other researchers in the literature. While our method shows a comparable result to other benchmarks in terms of recall and the precision of boundary localization, it significantly improves the average precision for all of the categories in the ETHZ dataset.

Dans ce mémoire, nous proposons des améliorations à une méthode existante de dé- tection d'objets de forme inconnue à partir de primitives simples. Premièrement, avec un algorithme adaptatif, nous éliminons les cas où on n'obtenait aucun résultat avec certaines images en retirant la plupart des seuils fixes, ce qui assure un certain nombre de groupes de primitives à chaque étape. Ensuite, l'ajout de certaines optimisations et d'une version parallèle de la méthode permettent de rendre le temps d'exécution raisonnable pour ce nouvel algorithme. Nous abordons ensuite le problème des solutions trop semblables en ajoutant une nouvelle étape de structuration qui réduira leur nombre sans en affecter la variété grâce au regroupement hiérarchique. Finalement, nous ajustons certains paramètres et des résultats sont produits avec trois ensembles de 10 images. Nous réussissons à prouver de manière objective que les résultats obtenus sont meilleurs qu'avec la méthode précédente. / In this thesis, we propose improvements to an existing unknown shape object detection method that uses simple primitives. Firstly, we eliminate cases where no results were obtained with some images using an adaptive algorithm by removing most of the fixed thresholds, assuring a certain number of primitive groups at each step. Secondly, adding some optimizations and a parallel version of the algorithm make the running time of this new algorithm reasonable. Thirdly, we approach the problem of the redundant solutions by adding a new structuring step that will reduce their number without affecting their variety using hierarchical clustering. Finally, we adjust some parameters and results are produced using three sets of 10 images. We prove in an objective manner that the obtained results are better than those of the previous method.

L'objectif de ces travaux de thèse est de construire un système de reconnaissance de phrases, en se basant sur un système de reconnaissance de mots existant. Pour cela, deux axes de recherche sont abordés : la segmentation des phrases en mots ainsi que l'intégration de connaissances linguistiques pour prendre en compte le contexte des phrases. Nous avons étudié plusieurs types de modèles de langage statistiques, en comparant leurs impacts respectifs sur les performances du système de reconnaissance. Nous avons également recherché la meilleure stratégie pour les intégrer efficacement dans le système de reconnaissance global. Une des orginalités de cette étude est l'ajout d'une représentation des différentes hypothèses de phrases sous forme d'un réseau de confusion, afin de pouvoir détecter et corriger les erreurs de reconnaissance restantes. L'utilisation des technique présentées permet de réduire de façon importante le nombre d'erreurs de reconnaissance, parmi les mots des phrases.

Les travaux présentés dans le cadre de cette thèse portent sur l'étude, la conception, le développement et le test d'un système de reconnaissance de structures manuscrites bidimensionnelles. Le système proposé se base sur une architecture globale qui considère le problème de reconnaissance en tant qu'optimisation simultanée de la segmentation, de la reconnaissance de symboles, et de l'interprétation. Le premier cadre d'applications a été celui d'un système de reconnaissance d'expressions mathématiques manuscrites. La difficulté du problème se situe aux trois niveaux évoqués. La segmentation est complexe du fait de la grande liberté de composition d'une expression, avec notamment la possibilité de symboles multi-traits non séquentiels ; la reconnaissance doit affronter un nombre élevé de classes et en particulier, gérer les situations de formes non-apprises ; l'interprétation peut-être ambiguë du fait du positionnement spatial approximatif. La solution proposée repose sur la minimisation d'une fonction de coût global qui met en compétition des coûts de reconnaissance et des coûts structurels pour explorer un vaste espace de solutions. Les résultats obtenus sont très compétitifs et prometteurs comparés à ceux de la littérature. Nous avons finalement montré la généricité de notre approche en l'adaptant à la reconnaissance d'un autre type de langage 2D, celui des représentations graphiques de type organigramme.

La reconnaissance de formes s'intéresse à la détection automatique de motifs dans des données d'entrée, afin de pouvoir, par exemple, les classer en catégories. La matière première de ces techniques est bien souvent l'image numérique. Cette dernière, dans sa forme la plus courante, est codée sous la forme d'une matrice de pixels. Néanmoins, la question du développement de représentations plus riches se pose. Ainsi, la structuration de l'information contenue dans l'image devrait permettre la mise en évidence des différents objets représentés, et des liens les unissant. C'est pourquoi nous proposons de modéliser les images numériques sous forme de graphes, pour leur richesse et expressivité d'une part, et pour exploiter les résultats de la théorie des graphes en reconnaissance de formes d'autre part. Nous développons pour cela une méthode d'extraction de graphes plans à partir d'images, basée sur le respect de la sémantique. Nous montrons que nous pouvons, étant donné un graphe, reconstruire avec perte limitée l'image d'origine. Par la suite, nous introduisons les graphes plans à trous, graphes dont les faces peuvent être visibles ou invisibles. Leur justification trouve sa place dans la recherche de motifs notamment, pour laquelle les éléments constituant l'arrière-plan d'une image ne doivent pas être retrouvés. En dirigeant notre attention sur la planarité de ces graphes, nous proposons des algorithmes polynomiaux d'isomorphisme de graphes plans et de motifs ; nous traitons également leur équivalence, qui se trouve être un isomorphisme aux faces invisibles près

Ma thèse étudie le problème de la reconnaissance des objets et des textures. Dans ce cadre, il est nécessaire de construire des représentations de signaux avec des propriétés d'invariance et de stabilité qui ne sont pas satisfaites par des approches linéaires. Les opérateurs de Scattering itèrent des décompositions en ondelettes et rectifications avec des modules complexes. Ces opérateurs définissent une transformée non-linéaire avec des propriétés remarquables ; en particulier, elle est localement invariante par translation et Lipschitz continue par rapport à l'action des difféomorphismes. De plus, les opérateurs de Scattering définissent une représentation des processus stationnaires qui capture les moments d'ordre supérieur, et qui peut être estimée avec faible variance à partir d'un petit nombre de réalisations. Dans cette thèse, nous obtenons des nouvelles propriétés mathématiques de la représentation en scattering, et nous montrons leur efficacité pour la reconnaissance des objets et textures. Grâce à sa continuité Lipschitz par rapport à l'action des difféomorphismes, la transformée en scattering est capable de linéariser les petites déformations. Cette propriété peut être exploitée en pratique avec un classificateur génératif affine, qui nous permet d'obtenir l'état de l'art sur la reconnaissance des chiffres manuscrites. Nous étudions ensuite les représentations en Scattering des textures dans le cadre des images et du son. Nous montrons leur capacité à discriminer des phénomènes non-gaussiens avec des estimateurs à faible variance, ce qui nous permet d'obtenir de l'état de l'art pour la reconnaissance des textures. Finalement, nous nous intéressons aux propriétés du Scattering pour l'analyse multifractale. Nous introduisons une renormalisation des coéfficients en Scattering qui permet d'identifier de façon efficace plusieurs paramètres multifractales; en particulier, nous obtenons une nouvelle caractérisation de l'intermittence à partir des coefficients de Scattering ré-normalisés, qui peuvent s'estimer de façon consistante.

Les travaux effectués dans cette thèse s'inscrivent dans les problématiques de modélisation d'environnement pour la localisation par vision monoculaire. Nous nous intéressons tout particulièrement à la modélisation des environnements intérieurs dynamiques. Les environnements intérieurs sont constitués d'une multitude d'objets susceptibles d'être déplacés. Ces déplacements modifient de façon notable la structure et l'apparence de l'environnement et perturbent les méthodes actuelles de localisation par vision. Nous présentons dans ces travaux une nouvelle approche pour la modélisation d'un environnement et son évolution au fil du temps. Dans cette approche, nous définissons la scène explicitement comme une structure statique et un ensemble d'objets dynamiques. L'objet est défini comme une entité rigide qu'un utilisateur peut prendre et déplacer et qui est repérable visuellement. Nous présentons tout d'abord comment détecter et apprendre automatiquement les objets d'un environnement dynamique. Alors que les méthodes actuelles de localisation filtrent les incohérences dues aux modifications de la scène, nous souhaitons analyser ces modifications pour extraire des informations supplémentaires. Sans aucune connaissance a priori, un objet est défini comme une structure rigide ayant un mouvement cohérent par rapport à la structure statique de la scène. En associant deux méthodes de localisation par vision reposant sur des paradigmes différents, nous comparons les multiples passages d'une caméra dans un même environnement. La comparaison permet de détecter des objets ayant bougé entre deux passages. Nous pouvons alors, pour chaque objet détecté, apprendre un modèle géométrique et un modèle d'apparence et retenir les positions occupées par l'objet dans les différentes explorations. D'autre part, à chaque nouveau passage, la connaissance de l'environnement est enrichie en mettant à jour les cartes métrique et topologique de la structure statique de la scène. La découverte d'objet par le mouvement repose en grande partie sur un nouvel algorithme de détection de multiples structures entre deux vues que nous proposons dans ces travaux. Etant donné un ensemble de correspondances entre deux vues similaires, l'algorithme, reposant sur le RANSAC, segmente les structures correspondant aux différentes paramétrisations d'un modèle mathématique. La méthode est appliquée à la détection de multiples homographies pour détecter les plans de la scène et à la détection de multiples matrices fondamentales pour détecter les objets rigides en mouvement. La modélisation de l'environnement que nous proposons est utilisée dans une nouvelle formulation de reconnaissance de lieu prenant en compte la connaissance d'objets dynamiques susceptibles d'être présents dans l'environnement. Le modèle du lieu est constitué de l'apparence de la structure statique observée dans ce lieu. Une base de données d'objets est apprise à partir des précédentes observations de l'environnement avec la méthode de découverte par le mouvement. La méthode proposée permet à la fois de détecter les objets mobiles présents dans le lieu et de rejeter les erreurs de détection dues à la présence de ces objets. L'ensemble des approches proposées sont évaluées sur des données synthétiques et réelles. Des résultats qualitatifs et quantitatifs sont présentés tout au long du mémoire.