Cette thèse s'intéresse au probleme de la reconnaissance d'objets en présence d'une vaste base de modèles. L'indexation de modèles peut être décrite comme suit: étant donne un groupe d'indices image, extraire rapidement de la base de modèles, les modèles contenant le groupe d'indices. La combinatoire du paradigme classique d'appariement indices-modèles étant prohibitive dans ce cas, nous proposons une methode d'indexation par une technique de hachage de graphes. Nous décrivons d'abord les principes: codage d'image et des modelés sous une forme de graphes, gestion d'une base de modèles par tables hash-codees, comparaison de graphes sur la base de leur caractérisation polynomiale, accès a la base de modèles. Ensuite, nous décrivons le système mis en œuvre selon ces principes, et nous présentons quelques résultats d'expérimentation

Extraction de caractéristiques est une étape essentielle dans tous les systèmes visuels. Depuis quelques années, les recherches se focalisent sur un type de caractéristique visuelle appelé “point d'intérêt” avec grande richesse de résultats. Cependant, les points d'intérêt se prêtent mal à une modélisation structurelle.<br />Cette thèse consiste à étudier un type de caractéristiques qui permet de représenter la topologie des structures dans l'images : les crêtes. Les points de crêtes sont les extrema directionels sur les surfaces des images lissées dans l'espace d'échelle. Ils sont détectés par un opérateur de Laplacien. Ces points discrets sont étiquetés pour former des lignes de crêtes à l'aide d'un algorithme d'analyse de composantes connexes. Les lignes de crêtes obtenues caractérisent l'axe central des structures ainsi que leurs tailles.<br />Les crêtes, par leur nature “ligne”, sont très utiles pour représenter les objets structurés comme par<br />exemple la silhouette de l'être humain ou la ligne de texte. Nous montrons l'utilisation de crête dans deux<br />applications : la modélisation de personnes et la détection de textes. Chaque silhouette de l'être humain est représenté par des crêtes significatives correspondant aux torse et jambes. Cette représentation aide à caractériser la configuration de la personne en mouvement à chaque instant donné. Chaque texte est modélisé par une crête longue à une échelle grande et nombreuses crêtes courtes non-parallélisme à une petite échelle. La modélisation structurelle du texte est générique pour plusieurs types de texte et indépendant de l'orientation du texte.

Dans cette thèse, nous présentons tout d'abord une contribution visant à pallier ce problème de robustesse pour la reconnaissance d'instances, puis une extension directe de cette contribution à la reconnaissance et la localisation de classes d'objets. Dans un premier temps, nous avons développé une méthode inspiré de l'appariement de graphe (i.e. graph matching) afin de traiter le problème de la reconnaissance rapide d'instances d'objets spécifiques dans des conditions bruitées. Cette méthode permet de rajouter facilement un nombre quelconque d’autres types de caractéristiques locales (e.g. contours, textures…) moins affectées par le bruit tout en contournant le problème de la normalisation et sans pénaliser la vitesse de détection. Nos expériences sur plusieurs bases de test ont montré la pertinence de notre approche. Notre approche est globalement légèrement moins robuste à l'occultation que les approches existantes, mais elle produit des performances supérieures aux approches standard en conditions bruitées. Dans un second temps, nous avons développé une approche pour la détection de classes d'objets dans le même esprit que celui du sac de mots visuels. Pour cela, nous utilisons nos cascades de micro-classifieurs pour reconnaître des mots visuels plus distinctifs que les mots basés simplement sur des points d'intérêts. L'apprentissage se divise en deux parties: dans un premier temps, nous générons des cascades de micro-classifieurs servant à reconnaître des parties locales des images modèles ; puis dans un second temps, nous utilisons un classifieur afin de modéliser la frontière de décision entre les images de classe et celles de non-classe. Nous montrons que l'association de mots classiques (à partir de points d'intérêts) et de nos mots plus distincts produit une amélioration significative des performances pour un temps de calcul assez faible. / In this thesis, we first present a contribution to overcome this problem of robustness for the recognition of object instances, then we straightly extend this contribution to the detection and localization of classes of objects. In a first step, we have developed a method inspired by graph matching to address the problem of fast recognition of instances of specific objects in noisy conditions. This method allows to easily combine any types of local features (eg contours, textures ...) less affected by noise than keypoints, while bypassing the normalization problem and without penalizing too much the detection speed. Unlike other methods based on a global rigid transformation, our approach is robust to complex deformations such as those due to perspective or those non-rigid inherent to the model itself (e.g. a face, a flexible magazine). Our experiments on several datasets have showed the relevance of our approach. It is overall slightly less robust to occlusion than existing approaches, but it produces better performances in noisy conditions. In a second step, we have developed an approach for detecting classes of objects in the same spirit as the bag-of-visual-words model. For this we use our cascaded micro-classifiers to recognize visual words more distinctive than the classical words simply based on visual dictionaries. Training is divided into two parts: First, we generate cascades of micro-classifiers for recognizing local parts of the model pictures and then in a second step, we use a classifier to model the decision boundary between images of class and those of non-class. We show that the association of classical visual words (from keypoints patches) and our disctinctive words results in a significant improvement. The computation time is generally quite low, given the structure of the cascades that minimizes the detection time and the form of the classifier is extremely fast to evaluate.

Cette thèse présente une étude pour l'interprétation automatique d'images en milieu urbain. Nous proposons une application permettant de reconnaître différents monuments au sein d'images représentant des scènes complexes. La problématique principale est ici de différencier l'information locale extraite des points d'intérêt du bâtiment recherché parmi tous les points extraits de l'image. En effet, la particularité d'une image en milieu urbain vient de la nature publique de la scène. L'objet que l'on cherche à identifier est au milieu de divers autres objets pouvant interférer avec ce dernier. Nous présentons dans une première partie un état de l'art des méthodes de reconnaissance d’images en se concentrant sur l'utilisation de points d'intérêts locaux ainsi que des bases de données pouvant être employées lors des phases d'expérimentation. Nous retenons au final le modèle de sac de mots (BOW) appliqué aux descripteurs locaux SIFT (Scale-Invariant Feature Transform). Dans un second temps nous proposons une approche de classification des données locales faisant intervenir le modèle de machine à vecteurs de support (SVM). L'intérêt présenté dans cette approche proposée est le faible nombre de données requises lors de la phase d'entraînement des modèles. Différentes stratégies d'entraînement et de classification sont exposées ici. Une troisième partie suggère l'ajout d'une correction géométrique de la classification obtenue précédemment. Nous obtenons ainsi une classification non seulement de l'information locale mais aussi visuelle permettant ainsi une cohérence géométrique de la distribution des points d'intérêt. Enfin, un dernier chapitre présente les résultats expérimentaux obtenus, notamment sur des bâtiments de Paris et d'Oxford / This thesis presents a study for an automatic interpretation of urban images. We propose an application for the retrieval of different landmarks in images representing complex scenes. The main issue here is to differentiate the local information extracted from the key-points of the desired building from all the points extracted within the entire image. Indeed, an urban area image is specific by the public nature of the scene depicted. The object sought to be identified is fused within various other objects that can interfere. First of all, we present a state of the art about image recognition and retrieval methods focusing on local points of interest. Databases that can be used during the phases of experimentation are also exposed in a second chapter. We finally retain the Bag of Words modèle applied to local SIFT descriptors. In a second part, we propose a local data classification approach involving the Support Vector Machine model. The interest shown with this proposed approach is the low number of data required during the training phase of the models. Different training and classification strategies are also discussed. A third step suggests the addition of a geometric correction on the classification obtained previously. We thus obtain a classification not only for the local information but also for the visual information allowing thereby a geometric consistency of the points of interest. Finally, a last chapter presents the experimental results obtained, in particular involving images of buildings in Paris and Oxford

La présente thèse s'intéresse à l'utilisation de méta-données textuelles pour l'analyse d'image. Nous cherchons à utiliser ces informations additionelles comme supervision faible pour l'apprentissage de modèles de reconnaissance visuelle. Nous avons observé un récent et grandissant intérêt pour les méthodes capables d'exploiter ce type de données car celles-ci peuvent potentiellement supprimer le besoin d'annotations manuelles, qui sont coûteuses en temps et en ressources. Nous concentrons nos efforts sur deux types de données visuelles associées à des informations textuelles. Tout d'abord, nous utilisons des images de dépêches qui sont accompagnées de légendes descriptives pour s'attaquer à plusieurs problèmes liés à la reconnaissance de visages. Parmi ces problèmes, la vérification de visages est la tâche consistant à décider si deux images représentent la même personne, et le nommage de visages cherche à associer les visages d'une base de données à leur noms corrects. Ensuite, nous explorons des modèles pour prédire automatiquement les labels pertinents pour des images, un problème connu sous le nom d'annotation automatique d'image. Ces modèles peuvent aussi être utilisés pour effectuer des recherches d'images à partir de mots-clés. Nous étudions enfin un scénario d'apprentissage multimodal semi-supervisé pour la catégorisation d'image. Dans ce cadre de travail, les labels sont supposés présents pour les données d'apprentissage, qu'elles soient manuellement annotées ou non, et absentes des données de test. Nos travaux se basent sur l'observation que la plupart de ces problèmes peuvent être résolus si des mesures de similarité parfaitement adaptées sont utilisées. Nous proposons donc de nouvelles approches qui combinent apprentissage de distance, modèles par plus proches voisins et méthodes par graphes pour apprendre, à partir de données visuelles et textuelles, des similarités visuelles spécifiques à chaque problème. Dans le cas des visages, nos similarités se concentrent sur l'identité des individus tandis que, pour les images, elles concernent des concepts sémantiques plus généraux. Expérimentalement, nos approches obtiennent des performances à l'état de l'art sur plusieurs bases de données complexes. Pour les deux types de données considérés, nous montrons clairement que l'apprentissage bénéficie de l'information textuelle supplémentaire résultant en l'amélioration de la performance des systèmes de reconnaissance visuelle.

Ces travaux de recherche concernent la modélisation de l'information dynamique fonctionnelle fournie par les champs de déplacements apparents à l'aide de base de polynômes orthogonaux. Leur objectif est de modéliser le mouvement et la texture extraites afin de l'exploiter dans les domaines de l'analyse et de la reconnaissance automatique d'images et de vidéos. Nous nous intéressons aussi bien aux mouvements humains qu'aux textures dynamiques. Les bases de polynômes orthogonales ont été étudiées. Cette approche est particulièrement intéressante car elle offre une décomposition en multi-résolution et aussi en multi-échelle. La première contribution de cette thèse est la définition d'une méthode spatiale de décomposition d'image : l'image est projetée et reconstruite partiellement avec un choix approprié du degré d'anisotropie associé à l'équation de décomposition basée sur des transformations polynomiales. Cette approche spatiale est étendue en trois dimensions afin d'extraire la texture dynamique dans des vidéos. Notre deuxième contribution consiste à utiliser les séquences d'images qui représentent les parties géométriques comme images initiales pour extraire les flots optiques couleurs. Deux descripteurs d'action, spatial et spatio-temporel, fondés sur la combinaison des informations du mouvement/texture sont alors extraits. Il est ainsi possible de définir un système permettant de reconnaître une action complexe (composée d'une suite de champs de déplacement et de textures polynomiales) dans une vidéo. / The research relies on modeling the dynamic functional information from the fields of apparent movement using basic orthogonal polynomials. The goal is to model the movement and texture extracted for automatic analysis and recognition of images and videos. We are interested both in human movements as dynamic textures. Orthogonal polynomials bases were studied. This approach is particularly interesting because it offers a multi-resolution and a multi-scale decomposition. The first contribution of this thesis is the definition of method of image spatial decomposition: the image is projected and partially rebuilt with an appropriate choice of the degree of anisotropy associated with the decomposition equation based on polynomial transformations. This spatial approach is extended into three dimensions to retrieve the dynamic texture in videos. Our second contribution is to use image sequences that represent the geometric parts as initial images to extract color optical flow. Two descriptors of action, spatial and space-time, based on the combination of information of motion / texture are extracted. It is thus possible to define a system to recognize a complex action (composed of a series of fields of motion and polynomial texture) in a video.