L'objectif de cette thèse est de concevoir un système automatique constitué d'une ou plusieurs caméras capables de détecter en trois dimensions un amalgame d'objets stockés dans un conteneur. Pour ceci, il est nécessaire de modéliser, de reconnaître et de localiser des formes dans une image. Dans un premier temps, Nous proposons une solution d'optimisation du calibrage de caméras. C'est une tâche essentielle pour récupérer des informations quantitatives sur les images capturées. Cette méthode nécessite des compétences spécifiques en matière de traitement d'image, ce qui n'est pas toujours le cas dans l'industrie. Nous proposons d'automatiser et d'optimiser le système d'étalonnage en éliminant la sélection des images par l'opérateur. Ensuite, nous proposons d'améliorer les systèmes de détection d'objets fins et sans motif. Enfin, nous proposons d'adapter des algorithmes évolutionnaires dans le but d'optimiser les temps de recherche. / The aim of this thesis is to design an automatic system involving one or several cameras capable of detecting in three dimensions a set of abjects placed in a bin. To do this, we must model, recognize and locate shapes in an image. First, we propose a solution to optimize the camera calibration system. This is an essential task for the retrieval of quantitative information about the captured images. However, the current methods require specific skills in image processing, which are not always available in industry. We propose to automate and optimize the calibration system by eliminating the selection of images by the operator. Second, we propose to improve the detection systems for thin and featureless abjects. Finally, we propose to adapt evolutionary algorithms to optimize search times.

Les Graphes sont des structures mathématiques puissantes constituant un outil de modélisation universel utilisé dans différents domaines de l'informatique, notamment dans le domaine de la reconnaissance de formes. L'appariement de graphes est l'opération principale dans le processus de la reconnaissance de formes à base de graphes. Dans ce contexte, trouver des solutions d'appariement de graphes, garantissant l'optimalité en termes de précision et de temps de calcul est un problème de recherche difficile et d'actualité. Dans cette thèse, nous nous intéressons à la résolution de ce problème dans deux domaines : la reconnaissance de formes 2D et 3D. Premièrement, nous considérons le problème d'appariement de graphes géométriques et ses applications sur la reconnaissance de formes 2D. Dance cette première partie, la reconnaissance des Kites (structures archéologiques) est l'application principale considérée. Nous proposons un "framework" complet basé sur les graphes pour la reconnaissance des Kites dans des images satellites. Dans ce contexte, nous proposons deux contributions. La première est la proposition d'un processus automatique d'extraction et de transformation de Kites a partir d'images réelles en graphes et un processus de génération aléatoire de graphes de Kites synthétiques. En utilisant ces deux processus, nous avons généré un benchmark de graphes de Kites (réels et synthétiques) structuré en 3 niveaux de bruit. La deuxième contribution de cette première partie, est la proposition d'un nouvel algorithme d'appariement pour les graphes géométriques et par conséquent pour les Kites. L'approche proposée combine les invariants de graphes au calcul de l'édition de distance géométrique. Deuxièmement, nous considérons le problème de reconnaissance des formes 3D ou nous nous intéressons à la reconnaissance d'objets déformables représentés par des graphes c.à.d. des tessellations de triangles. Nous proposons une décomposition des tessellations de triangles en un ensemble de sous structures que nous appelons triangle-étoiles. En se basant sur cette décomposition, nous proposons un nouvel algorithme d'appariement de graphes pour mesurer la distance entre les tessellations de triangles. L'algorithme proposé assure un nombre minimum de structures disjointes, offre une meilleure mesure de similarité en couvrant un voisinage plus large et utilise un ensemble de descripteurs qui sont invariants ou au moins tolérants aux déformations les plus courantes. Finalement, nous proposons une approche plus générale de l'appariement de graphes. Cette approche est fondée sur une nouvelle formalisation basée sur le problème de mariage stable. L'approche proposée est optimale en terme de temps d'exécution, c.à.d. la complexité est quadratique O(n2), et flexible en terme d'applicabilité (2D et 3D). Cette approche se base sur une décomposition en sous structures suivie par un appariement de ces structures en utilisant l'algorithme de mariage stable. L'analyse de la complexité des algorithmes proposés et l'ensemble des expérimentations menées sur les bases de graphes des Kites (réelle et synthétique) et d'autres bases de données standards (2D et 3D) attestent l'efficacité, la haute performance et la précision des approches proposées et montrent qu'elles sont extensibles et générales / Graphs are powerful mathematical modeling tools used in various fields of computer science, in particular, in Pattern Recognition. Graph matching is the main operation in Pattern Recognition using graph-based approach. Finding solutions to the problem of graph matching that ensure optimality in terms of accuracy and time complexity is a difficult research challenge and a topical issue. In this thesis, we investigate the resolution of this problem in two fields: 2D and 3D Pattern Recognition. Firstly, we address the problem of geometric graphs matching and its applications on 2D Pattern Recognition. Kite (archaeological structures) recognition in satellite images is the main application considered in this first part. We present a complete graph based framework for Kite recognition on satellite images. We propose mainly two contributions. The first one is an automatic process transforming Kites from real images into graphs and a process of generating randomly synthetic Kite graphs. This allowing to construct a benchmark of Kite graphs (real and synthetic) structured in different level of deformations. The second contribution in this part, is the proposition of a new graph similarity measure adapted to geometric graphs and consequently for Kite graphs. The proposed approach combines graph invariants with a geometric graph edit distance computation. Secondly, we address the problem of deformable 3D objects recognition, represented by graphs, i.e., triangular tessellations. We propose a new decomposition of triangular tessellations into a set of substructures that we call triangle-stars. Based on this new decomposition, we propose a new algorithm of graph matching to measure the distance between triangular tessellations. The proposed algorithm offers a better measure by assuring a minimum number of triangle-stars covering a larger neighbourhood, and uses a set of descriptors which are invariant or at least oblivious under most common deformations. Finally, we propose a more general graph matching approach founded on a new formalization based on the stable marriage problem. The proposed approach is optimal in term of execution time, i.e. the time complexity is quadratic O(n2) and flexible in term of applicability (2D and 3D). The analyze of the time complexity of the proposed algorithms and the extensive experiments conducted on Kite graph data sets (real and synthetic) and standard data sets (2D and 3D) attest the effectiveness, the high performance and accuracy of the proposed approaches and show that the proposed approaches are extensible and quite general

Cette thèse a pour objectif de proposer un système de reconnaissance d’images utilisant des informations attentionnelles. Nous nous intéressons à la capacité d’une telle approche à améliorer la complexité en temps de calcul et en utilisation mémoire pour la reconnaissance d’objets. Dans un premier temps, nous avons proposé d’utiliser un système d’attention visuelle comme filtre pour réduire le nombre de points d’intérêt générés par les détecteurs traditionnels [Awad 12]. En utilisant l’architecture attentionnelle proposée par Perreira da Silva comme filtre [Awad 12] sur la base d’images de VOC 2005, nous avons montré qu’un filtrage de 60% des points d’intérêt (extraits par Harris-Laplace et Laplacien) ne fait diminuer que légèrement la performance d’un système de reconnaissance d’objets (différence moyenne de AUC ~ 1%) alors que le gain en complexité est important (40% de gain en vitesse de calcul et 60% en complexité). Par la suite, nous avons proposé un descripteur hybride perceptuel-texture [Awad 14] qui caractérise les informations fréquentielles de certaines caractéristiques considérées comme perceptuellement intéressantes dans le domaine de l’attention visuelle, comme la couleur, le contraste ou l’orientation. Notre descripteur a l’avantage de fournir des vecteurs de caractéristiques ayant une dimension deux fois moindre que celle des descripteurs proposés dans l’état de l’art. L’expérimentation de ce descripteur sur un système de reconnaissance d’objets (le détecteur restant SIFT), sur la base d’images de VOC 2007, a montré une légère baisse de performance (différence moyenne de précision ~5%) par rapport à l’algorithme original, basé sur SIFT mais gain de 50% en complexité. Pour aller encore plus loin, nous avons proposé une autre expérimentation permettant de tester l’efficacité globale de notre descripteur en utilisant cette fois le système d’attention visuelle comme détecteur des points d’intérêt sur la base d’images de VOC 2005. Là encore, le système n’a montré qu’une légère baisse de performance (différence moyenne de précision ~3%) alors que la complexité est réduite de manière drastique (environ 50% de gain en temps de calcul et 70% en complexité). / The main objective of this thesis is to propose a pipeline for an object recognition algorithm, near to human perception, and at the same time, address the problems of Content Based image retrieval (CBIR) algorithm complexity : query run time and memory allocation. In this context, we propose a filter based on visual attention system to select salient points according to human interests from the interest points extracted by a traditionnal interest points detectors. The test of our approach, using Perreira Da Silva’s system as filter, on VOC 2005 databases, demonstrated that we can maintain approximately the same performance of a object recognition system by selecting only 40% of interest points (extracted by Harris-Laplace and Laplacian), while having an important gain in complexity (40% gain in query-run time and 60% in complexity). Furthermore, we address the problem of high dimensionality of descriptor in object recognition system. We proposed a new hybrid texture descriptor, representing the spatial frequency of some perceptual features extracted by a visual attention system. This descriptor has the advantage of being lower dimension vs. traditional descriptors. Evaluating our descriptor with an object recognition system (interest points detectors are Harris-Laplace & Laplacian) on VOC 2007 databases showed a slightly decrease in the performance (with 5% loss in Average Precision) compared to the original system, based on SIFT descriptor (with 50% complexity gain). In addition, we evaluated our descriptor using a visual attention system as interest point detector, on VOC 2005 databases. The experiment showed a slightly decrease in performance (with 3% loss in performance), meanwhile we reduced drastically the complexity of the system (with 50% gain in run-query time and 70% in complexity).

Ce mémoire présente les travaux réalisés dans le cadre de ma thèse. Celle-ci a été menée dans le groupe GRAVIR (1) du LASMEA (2) au sein de l’équipe ComSee (3) qui se consacre à la vision par ordinateur. Ces travaux s’inscrivent dans le cadre d’un projet de l’Agence Nationale pour la Recherche s’intitulant « Logiciels d’Observation des Vulnérables ». Son but est de concevoir des logiciels détectant des piétons en danger et d’améliorer ainsi la sécurité routière. Ma thèse a pour but de détecter et de reconnaître les piétons dans les images. Celles-ci proviennent d’une caméra embarquée dans un véhicule circulant en milieu urbain. Ce cahier des charges implique de nombreuses contraintes. Il faut notamment obtenir un système fonctionnant en temps réel pour être capable de détecter les piétons avant un éventuel impact. De plus, ces piétons peuvent être sujets à de nombreuses variations (taille, type de vêtements...), ce qui rend la tâche de reconnaissance d’autant plus ardue. La caméra étant mobile, aucune information ne pourra être extraite du fond. Dans ma thèse, nous mettons en oeuvre différentes méthodes de vision par ordinateur, toutes basées apprentissage, qui permettent de répondre à ces attentes. Le problème se traite en deux phases. Dans un premier temps, une étape de traitement hors ligne nous permet de concevoir une méthode valide pour reconnaître des piétons. Nous faisons appel à une base d’apprentissage. Tout d’abord, un descripteur d’images est employé pour extraire des informations des images.Puis, à partir de ces informations, un classifieur est entraîné à différencier les piétons des autres objets. Nous proposons l’utilisation de trois descripteurs (ondelettes de Haar, histogrammes de gradients et descripteur binaire). Pour la classification, nous avons recours à un algorithme de Boosting (AdaBoost) et à des méthodes à noyaux (SVM, RVM, moindres carrés). Chaque méthode a été paramétrée, testée et validée, tant au niveau description d’images que classification.La meilleure association de toutes ces méthodes est également recherchée. Dans un second temps, nous développons un système embarqué temps réel, qui soit capable de détecter les piétons avant une éventuelle collision. Nous exploitons directement des images brutes en provenance de la caméra et ajoutons un module pour segmenter l’image, afin de pouvoir intégrer les méthodes de description et classification précédentes et ainsi répondre à la problématique initiale.1. acronyme de « Groupe d’Automatique, VIsion et Robotique ».2. acronyme de « LAboratoire des Sciences et Matériaux Et d’Automatique ».3. acronyme de « Computers that See ». / This thesis has been realized in the group GRAVIR (4) of the LASMEA (5) with the team Com-See (6), which works on computer vision. My research was involved in a projet of the « Agence Nationale pour la Recherche »nammed « Logiciels d’Observation des Vulnérables ». Its goal was to create softwares to detect endangered pedestrians and thus to improve road safety. My thesis aims to detect and to recognize pedestrians in images. These come from a camera embedded into a vehicle, which is driven in urban areas. These specifications involve many constraints. We have to obtain a real-time system for detect pedestrians before a possible collision. Moreover, pedestrians should be very variable (size, clothes, ...), which make the recognition more complicated. As the camera is moving, no information could be taken from the background. In my thesis, we implement several methods of computer vision, all based on a learning stage, which answer to all theses expectations. The problem is solved in two steps. Firstly, a off-line stage allows us to design a method able to recognize pedestrians. We use a learning database. First of all, an image descriptor is used to extract informations of the images.Then, from these informations, a classifior is trained to differentiate pedestrians to others objects. We suggest to use three descriptors (Haar wavelets, histograms of oriented gradients and binary descriptor). For the classification task, we use a Boosting algorithm (AdaBoost) and kernel methods (SVM, RVM, least squares). We define all the parameters, and each method - of description or classification - is then tested and validated. The best association of these methods is also searched. Secondly, we realize an embedded real-time system, which is able to detect pedestrians before a possible collision. We directly use raw images coming from the camera et add a segmentation stage, so as to insert previous description and classification méthods and thus to answer to the initial problem.4. for « Groupe d’Automatique, VIsion et Robotique ».5. for « LAboratoire des Sciences et Matériaux et d’Automatique ».6. for « Computers that See ».

Cette thèse, réalisée en coopération avec l’ONERA, concerne la reconnaissance active d’objets 3D par un agent autonome muni d’une caméra d’observation. Alors qu’en reconnaissance passive les modalités d’acquisitions des observations sont imposées et génèrent parfois des ambiguïtés, la reconnaissance active exploite la possibilité de contrôler en ligne ces modalités d’acquisition au cours d’un processus d’inférence séquentiel dans le but de lever l’ambiguïté. L’objectif des travaux est d’établir des stratégies de planification dans l’acquisition de l’information avec le souci d’une mise en œuvre réaliste de la reconnaissance active. Le cadre de l’apprentissage statistique est pour cela mis à profit. La première partie des travaux se consacre à apprendre à planifier. Deux contraintes réalistes sont prise en compte : d’une part, une modélisation imparfaite des objets susceptible de générer des ambiguïtés supplémentaires - d’autre part, le budget d’apprentissage est coûteux (en temps, en énergie), donc limité. La deuxième partie des travaux s’attache à exploiter au mieux les observations au cours de la reconnaissance. La possibilité d’une reconnaissance active multi-échelles est étudiée pour permettre une interprétation au plus tôt dans le processus séquentiel d’acquisition de l’information. Les observations sont également utilisées pour estimer la pose de l’objet de manière robuste afin d’assurer la cohérence entre les modalités planifiées et celles réellement atteintes par l’agent visuel. / This PhD thesis, conducted in cooperation with ONERA, focuses on active 3D object recognition by an autonomous visual agent. Whereas in passive recognition, acquisition modalities of observations are fixed and may generate ambiguities, active recognition exploits the possibility of controling these modalities online in a sequential inference process in order to remove these ambiguities. The aim of this work is to design, in a statistical learning framework, planning strategies in the acquisition of information while achieving a realistic implementation of active recognition. The first part of the work is dedicated to learning to plan. Two realistic constraints are taken into account : on the one hand, planning with imperfect object modeling may generate further ambiguities - on the other hand, the learning cost (in time, energy) is expensive and therefore limited. The second part of this work focuses on maximally exploiting observations acquired during recognition. The possibility of an active multi-scale recognition is investigated to allow an interpretation as soon as the sequential acquisition process begins. Observations are also used to robustly estimate the pose of the object to ensure consistency between the planned and actual modality of the visual agent.

La pathologie numérique s’est développée ces dernières années grâce à l’avancée récente des algorithmes d’analyse d’images et de la puissance de calcul. Notamment, elle se base de plus en plus sur les images histologiques. Ce format de données a la particularité de révéler les objets biologiques recherchés par les experts en utilisant des marqueurs spécifiques tout en conservant la plus intacte possible l’architecture du tissu. De nombreuses méthodes d’aide au diagnostic à partir de ces images se sont récemment développées afin de guider les pathologistes avec des mesures quantitatives dans l’établissement d’un diagnostic. Les travaux présentés dans cette thèse visent à adresser les défis liés à l’analyse d’images histologiques, et à développer un modèle d’aide au diagnostic se basant principalement sur les relations spatiales, une information que les méthodes existantes n’exploitent que rarement. Une technique d’analyse de la texture à plusieurs échelles est tout d’abord proposée afin de détecter la présence de tissu malades dans les images. Un descripteur d’objets, baptisé Force Histogram Decomposition (FHD), est ensuite introduit dans le but d’extraire les formes et l’organisation spatiale des régions définissant un objet. Finalement, les images histologiques sont décrites par les FHD mesurées à partir de leurs différents types de tissus et des objets biologiques marqués qu’ils contiennent. Les expérimentations intermédiaires ont montré que les FHD parviennent à correctement reconnaitre des objets sur fonds uniformes y compris dans les cas où les relations spatiales ne contiennent à priori pas d’informations pertinentes. De même, la méthode d’analyse de la texture s’avère satisfaisante dans deux types d’applications médicales différents, les images histologiques et celles de fond d’œil, et ses performances sont mises en évidence au travers d’une comparaison avec les méthodes similaires classiquement utilisées pour l’aide au diagnostic. Enfin, la méthode dans son ensemble a été appliquée à l’aide au diagnostic pour établir la sévérité d’un cancer via deux ensembles d’images histologiques, un de foies métastasés de souris dans le contexte du projet ANR SPIRIT, et l’autre de seins humains dans le cadre du challenge CPR 2014 : Nuclear Atypia. L’analyse des relations spatiales et des formes à deux échelles parvient à correctement reconnaitre les grades du cancer métastasé dans 87, 0 % des cas et fourni des indications quant au degré d’atypie nucléaire. Ce qui prouve de fait l’efficacité de la méthode et l’intérêt d’encoder l’organisation spatiale dans ce type d’images particulier. / During the last decade, digital pathology has been improved thanks to the advance of image analysis algorithms and calculus power. Particularly, it is more and more based on histology images. This modality of images presents the advantage of showing only the biological objects targeted by the pathologists using specific stains while preserving as unharmed as possible the tissue structure. Numerous computer-aided diagnosis methods using these images have been developed this past few years in order to assist the medical experts with quantitative measurements. The studies presented in this thesis aim at adressing the challenges related to histology image analysis, as well as at developing an assisted diagnosis model mainly based on spatial relations, an information that currently used methods rarely use. A multiscale texture analysis is first proposed and applied to detect the presence of diseased tissue. A descriptor named Force Histogram Decomposition (FHD) is then introduced in order to extract the shapes and spatial organisation of regions within an object. Finally, histology images are described by the FHD measured on their different types of tissue and also on the stained biological objects inside every types of tissue. Preliminary studies showed that the FHD are able to accurately recognise objects on uniform backgrounds, including when spatial relations are supposed to hold no relevant information. Besides, the texture analysis method proved to be satisfactory in two different medical applications, namely histology images and fundus photographies. The performance of these methods are highlighted by a comparison with the usual approaches in their respectives fields. Finally, the complete method has been applied to assess the severity of cancers on two sets of histology images. The first one is given as part of the ANR project SPIRIT and presents metastatic mice livers. The other one comes from the challenge ICPR 2014 : Nuclear Atypia and contains human breast tissues. The analysis of spatial relations and shapes at two different scales achieves a correct recognition of metastatic cancer grades of 87.0 % and gives insight about the nuclear atypia grade. This proves the efficiency of the method as well as the relevance of measuring the spatial organisation in this particular type of images.

Les systèmes de perception, qui sont à la base du concept du véhicule intelligent, doivent répondre à des critères de performance à plusieurs niveaux afin d’assurer des fonctions d’aide à la conduite et/ou de conduite autonome. Aujourd’hui, la majorité des systèmes de perception pour véhicules intelligents sont basés sur la combinaison de données issues de plusieurs capteurs (caméras, lidars, radars, etc.). Les travaux de cette thèse concernent le développement d’un système de perception à base d’un capteur de vision stéréoscopique et d’un capteur lidar pour l’analyse de scènes dynamiques en environnement urbain. Les travaux présentés sont divisés en quatre parties.La première partie présente une méthode d’odométrie visuelle basée sur la stéréovision, avec une comparaison de différents détecteurs de primitives et différentes méthodes d’association de ces primitives. Un couple de détecteur et de méthode d’association de primitives a été sélectionné sur la base d’évaluation de performances à base de plusieurs critères. Dans la deuxième partie, les objets en mouvement sont détectés et segmentés en utilisant les résultats d’odométrie visuelle et l’image U-disparité. Ensuite, des primitives spatiales sont extraites avec une méthode basée sur la technique KPCA et des classifieurs sont enfin entrainés pour reconnaitre les objets en mouvement (piétons, cyclistes, véhicules). La troisième partie est consacrée au calibrage extrinsèque d’un capteur stéréoscopique et d’un Lidar. La méthode de calibrage proposée, qui utilise une mire plane, est basée sur l’exploitation d’une relation géométrique entre les caméras du capteur stéréoscopique. Pour une meilleure robustesse, cette méthode intègre un modèle de bruit capteur et un processus d’optimisation basé sur la distance de Mahalanobis. La dernière partie de cette thèse présente une méthode de construction d’une grille d’occupation dynamique en utilisant la reconstruction 3D de l’environnement, obtenue des données de stéréovision et Lidar de manière séparée puis conjointement. Pour une meilleure précision, l’angle entre le plan de la chaussée et le capteur stéréoscopique est estimé. Les résultats de détection et de reconnaissance (issus des première et deuxième parties) sont incorporés dans la grille d’occupation pour lui associer des connaissances sémantiques. Toutes les méthodes présentées dans cette thèse sont testées et évaluées avec la simulation et avec de données réelles acquises avec la plateforme expérimentale véhicule intelligent SetCar” du laboratoire IRTES-SET. / Intelligent vehicles require perception systems with high performances. Usually, perception system consists of multiple sensors, such as cameras, 2D/3D lidars or radars. The works presented in this Ph.D thesis concern several topics on cameras and lidar based perception for understanding dynamic scenes in urban environments. The works are composed of four parts.In the first part, a stereo vision based visual odometry is proposed by comparing several different approaches of image feature detection and feature points association. After a comprehensive comparison, a suitable feature detector and a feature points association approach is selected to achieve better performance of stereo visual odometry. In the second part, independent moving objects are detected and segmented by the results of visual odometry and U-disparity image. Then, spatial features are extracted by a kernel-PCA method and classifiers are trained based on these spatial features to recognize different types of common moving objects e.g. pedestrians, vehicles and cyclists. In the third part, an extrinsic calibration method between a 2D lidar and a stereoscopic system is proposed. This method solves the problem of extrinsic calibration by placing a common calibration chessboard in front of the stereoscopic system and 2D lidar, and by considering the geometric relationship between the cameras of the stereoscopic system. This calibration method integrates also sensor noise models and Mahalanobis distance optimization for more robustness. At last, dynamic occupancy grid mapping is proposed by 3D reconstruction of the environment, obtained from stereovision and Lidar data separately and then conjointly. An improved occupancy grid map is obtained by estimating the pitch angle between ground plane and the stereoscopic system. The moving object detection and recognition results (from the first and second parts) are incorporated into the occupancy grid map to augment the semantic meanings. All the proposed and developed methods are tested and evaluated with simulation and real data acquired by the experimental platform “intelligent vehicle SetCar” of IRTES-SET laboratory.