Les mains robotiques sont pour la plupart utilisées pour reproduire la dextérité humaine. Au delà des challenges mécaniques et de contrôle que ceci peut représenter, la connaissance de l’environnent avec lequel la main interagit est important pour assurer la dextérité. Donc, la reconnaissance tactile des objets est devenue une capacité importante pour les systèmes de manipulation. Dans ce thèse, on propose une méthode pour qu'une main robotique puisse comprendre la nature géométrique d'un objet que lui a été donné. En plus des données statique récupérées quand la main a saisie l'objet, le mouvements qu'elle fait pendant la saisi sont aussi exploitées. Comme première contribution, on propose les signatures de formes proprioceptives. Ceci est un descripteur qui est basé uniquement sur des données proprioceptives et qui est invariant à la taille et à la position de l'objet dans la main. Il contient l'information sur la forme globale de l'objet. Comme deuxième contribution, on propose un outil pour extraire l'information sur l'objet saisi en utilisant l'information dynamique générée pendant la saisie. Pour cela, les mouvements des doigts pendant le saisie sont interprétés en fonction de la stratégie de saisie utilisée. On présente une méthode pour faire la reconnaissance de la forme d'un objet de façon séquentielle. Pour cela, on utilise une collection des Forêt d'arbres décisionnels. Ceci permet de mettre a jour le modèle de reconnaissance quand des nouveaux objets doivent être reconnus. De cette façon, le temps du processus d’entraînement de l'algorithme est réduit. / Robotic anthropomorphic hands are mostly used to reproduce the human dexterity in manipulation. Beyond the mechanical and control challenges that this represents, perceptive knowledge of the environment with which the hand interacts is key to ensure that dexterity is achieved. In this sense, tactile object recognition has become an important asset for manipulation systems. Regardless of the advances in this domain, it continues to be a valid subject of research today. In this thesis, we propose a method to enable a robotic hand to quickly understand the geometrical nature of an object that has been handled by it. Aside from the static data obtained once the object has been fully grasped, the movements of the hand during the grasp execution will also be exploited. As a first contribution, we propose the proprioceptive shape signature. This descriptor, based solely on proprioceptive data, is invariant to the size and pose of the object within the hand and it contains information about the global shape of the object almost as soon as the grasp execution ends. As a second contribution, we propose a tool to extract information about the grasped object from the dynamic data generated during the grasp execution. For this, the movements of the fingers during the grasping process will be interpreted based on the grasp strategy. Finally, we present a method to perform sequential object shape identification based on a collection of random forests. This method allows to update the recognition model as new shapes are desired to be identified. Thus, the time-consuming process of training the model from scratch is avoided.

Récemment, le problème de la compréhension de l’image a été l’objet de beaucoup d’attentions dans la littérature. La catégorisation de scène peut être vue comme un sous-ensemble de la compréhension d’image utilisée pour donner un contexte à la compréhension d’image ainsi qu’à la reconnaissance d’objet afin de faciliter ces tâches. Dans cette thèse, nous revisitons les idées classiques de la catégorisation des scènes à la lumière des approches modernes. Le modèle proposé s’inspire considérablement de la façon dont le système visuel humain comprend et perçoit son environnement. À cet égard, je soute qu’ajouter un niveau de classificateur extérieur – intérieur combiné à des caractéristiques globales et locales de scène permet d’atteindre une performance de pointe. Ainsi, un tel modèle requiert ces deux éléments afin de gérer une grande variété d’éclairage et points de vue ainsi que des objets occultés à l’intérieur des scènes. Le modèle que je propose est un cadre hiérarchique en deux étapes qui comprend un classificateur extérieur – intérieur à son stade initial et un modèle de scène contextuelle au stade final. Je monte ensuite que les fonctionnalités locales introduites, combinées aux caractéristiques globales, produisent des caractéristiques de scène plus stables. Par conséquent, les deux sont des ingrédients d’un modèle de scène. Les caractéristiques de texture des scène extérieures agissent comme caractéristique locale, tandis que leur apparence spatiale agit comme caractéristique globale. Dans les scènes d’intérieur, les caractéristiques locales capturent des informations détaillées sur les objets alors que les caractéristiques globales représentent l’arrière-plan et le contexte de la scène. Enfin, je confirme que le modèle présenté est capable de fournir des performances de pointe sur trois jeux de données de scène qui sont des standards de facto; 15 – Scene Category, 67 –Indoor Scenes, et SUN 397. / Recently the problem of image understanding has drawn lots of attention in the literature. Scene categorization can be seen as a subset of image understanding utilized to give context to image understanding also to object recognition in order to ease these tasks. In this thesis, I revisit the classical ideas, model driven approaches, in scene categorization in the light of modern approaches, data driven approaches. The proposed model is greatly inspired by human visual system in understanding and perceiving its environment. In this regard, I argue that adding a level of outdoor – indoor classifier combined with global and local scene features, would reach to the state-of-the-art performance. Thus, such a model requires both of these elements in order to handle wide variety of illumination and viewpoint as well as occluded objects within scenes. The proposed model is a two-stage hierarchical model which features an outdoor – indoor classifier at its initial stage and a contextual scene model at its final stage. I later show that the introduced local features combined with global features produce more stable scene features, hence both are essential components of a scene model. Texture-like characteristics of outdoor scenes act as local feature meanwhile their spatial appearance act as the global feature. In indoor scenes, local features capture detailed information on objects, while global features represent background and the context of the scene. Finally, I have confirmed that the presented model is capable of delivering state-of-the-art performance on 15 – Scene Category, 67 – Indoor Scenes, and SUN 397, three de-facto standard scene datasets

La mise au point de descripteurs locaux discriminants est aujourd'hui une priorité dans de nombreuses applications comme la reconnaissance d'objets, le suivi d'objets, la reconstruction 3D ou l'estimation de mouvement. La problématique réside dans le fait que ces descripteurs doivent être invariants aux conditions d'acquisition tout en conservant un pouvoir discriminant important. Dans ce contexte, nous nous sommes intéressés à l'invariance des descripteurs locaux de la littérature. Nous les avons notamment catégorisés en fonction des hypothèses sur lesquelles repose leur invariance. Ensuite, nous avons proposé des descripteurs locaux qui exploitent l'information de couleur dans les images. Nous avons montré que cette information peut être très pertinente lorsqu'elle est combinée à une information spatiale, à condition que son degré d'invariance soit contrôlé et adapté aux applications considérées. Ainsi, nous avons proposé un ensemble de descripteurs locaux couleur avec des degrés d'invariance différents. Ainsi, nous introduisons tout d'abord deux nouveaux descripteurs qui caractérisent les distributions spatiales des couleurs dans les régions analysées. L'idée originale consiste à appliquer des transformations affines entre les coordonnées spatiales des pixels et leurs coordonnées couleur. En effet, chaque pixel étant caractérisé par 5 valeurs, 2 coordonnées spatiales xy dans l'image et 3 composantes couleur RVB, nous proposons de rechercher une transformation affine qui permet de transformer les coordonnées xy de tous les pixels de la région concernée en coordonnées RVB de ces pixels. Nous montrons que l'application de cette transformation aux coordonnées xy fournit des coordonnées dans l'espace RVB qui a un double avantage. D'une part, les coordonnées d'un seul pixel dépendent à la fois de toutes les couleurs présentes dans la région mais aussi de leur répartition spatiale. Quelques coordonnées permettent donc de résumer efficacement le contenu de la région. D'autre part, ces coordonnées présente une invariance totale à toute transformation affine appliquée dans l'espace image 2D(invariance géométrique) et comme elles sont homogènes à des coordonnées couleur, nous pouvons leur procurer une invariance photométrique en leur appliquant des transformations affines particulières. Nous montrons que le degré d'invariance peut être contrôlé en fonction des besoins de l'application. Ces coordonnées nous permettent de définir le descripteur IVC (Image Vers Couleur). De manière similaire, nous évaluons une transformation affine de l'espace couleur à l'espace image et appliquons cette transformation aux coordonnées couleur. Les coordonnées obtenues par cette transformation sont invariantes à toute transformation affine appliquée dans l'espace couleur, elles présentent donc un degré d'invariance élevé aux variations photométriques. Ces coordonnées nous permettent de constituer le descripteur CVI (Couleur Vers Image). Nous montrons que ces deux descripteurs fournissent de très bons résultats dans le cadre de la reconnaissance d'objet et présentent une telle complémentarité que le descripteur obtenu par concaténation de IVC et CVI fournit de meilleurs résultats que la plupart des descripteurs couleur parus dans la littérature. Ensuite, nous proposons un descripteur qui présente un degré d'invariance plus élevé que les deux précédents puisqu'il n'est pas sensible aux transformations non-linéaires des couleurs modélisées par des fonctions croissantes appliquées indépendamment sur chaque composante couleur. Pour cela, nous exploitons les mesures de rang des pixels dans les images. De plus, nous utilisons les corrélations entre mesures de rang obtenues pour différentes composantes couleur. Ceci nous a permis de proposer un descripteur lui aussi très compact qui présente un degré d'invariance photométrique assez élevé. Enfin, nous abordons le problème de la caractérisation locale d'images par auto-similarités

Dans cette thèse je propose plusieurs mécanismes de plasticité synaptique qui pourraient expliquer la rapidité, la sélectivité et l'invariance des réponses neuronales dans le cortex visuel. Leur plausibilité biologique est discutée. J'expose également les résultats d'une expérience de psychophysique pertinente, qui montrent que la familiarité peut accélérer les traitements visuels. Au delà de ces résultats propres au système visuel, les travaux présentés ici créditent l'hypothèse de l'utilisation des dates de spikes pour encoder, décoder, et traiter l'information dans le cerveau – c'est la théorie dite du ‘codage temporel'. Dans un tel cadre, la Spike Timing Dependent Plasticity pourrait jouer un rôle clef, en détectant des patterns de spikes répétitifs et en permettant d'y répondre de plus en plus rapidement.

Le principal intérêt de l'utilisation des invariants locaux pour la mise en correspondance de différentes vues d'une même scène est le caractère local qui les rend robustes aux occultations et aux changements de point de vue et d'échelle. Néanmoins, cette localité limite le pouvoir discriminant des descripteurs locaux qui échouent dans les cas dificiles où l'ambiguité est élevée. Dans une première partie, nous proposons une méthode de mise en correspondance basée sur la relaxation qui prend en compte une information plus globale, dite contextuelle, afin de garantir des résultats corrects même dans les cas les plus dificiles. Nous présentons une application dans le cadre de la reconnaissance d'objets dans des scènes complexes. Dans une seconde partie, nous abordons le problème de la détection et du suivi du visage dans une séquence d'image. Nous proposons une méthode simple et eficace pour la détection du visage dans une image couleur, et nous montrons comment l'algorithme de mise en correspondance peut être utilisé pour suivre eficacement le visage dans une séquence d'images.

Cette thèse se place dans le cadre du problème de la reconnaissance d'objets et plus généralement dans celui de la vision cognitive. L'approche proposée se décompose en trois phases principales:<br>Une phase d'acquisition de connaissances qui consiste à acquérir la connaissance d'un domaine d'application sous la forme d'une hiérarchie de classes d'objets et de sous-parties.<br>Il s'agit également de décrire ces classes du domaine en termes de concepts visuels (forme, texture, couleur, relations spatiales) fournis par une ontologie. Chaque concept visuel de cette ontologie étant associé à des descripteurs bas niveau, le fossé sémantique est réduit de manière conviviale pour un expert.<br>La phase d'apprentissage consiste, à partir d'images d'exemples segmentées et labellisées, à obtenir un ensemble de détecteurs de concepts visuels. Ces détecteurs sont obtenus par l'entrainement de Support Vector Machines avec les descripteurs numériques extraits dans les images d'exemples segmentées et labellisées par des concepts visuels.<br>La phase de catégorisation utilise la connaissance acquise ainsi que les détecteurs de concepts visuels obtenus lors de la phase d'apprentissage. La connaissance sert à générer des hypothèses qui doivent être vérifiées dans l'image à interpréter. Cette vérification consiste à détecter des concepts visuels dans l'image segmentée automatiquement. Le résultat de la catégorisation est exprimé en termes de classes du domaine mais aussi en termes de concepts visuels.<br>L'approche proposée a notamment été utilisée été utilisée pour l'indexation et la recherche sémantique d'images.

Le thème principal d'étude de cette thèse est la modélisation et la classification des données de grande<br />dimension. Partant du postulat que les données de grande dimension vivent dans des sous-espaces de<br />dimensions intrinsèques inférieures à la dimension de l'espace original et que les données de classes<br />différentes vivent dans des sous-espaces différents dont les dimensions intrinsèques peuvent être aussi<br />différentes, nous proposons une re-paramétrisation du modèle de mélange gaussien. En forçant certains<br />paramètres à être communs dans une même classe ou entre les classes, nous exhibons une famille de 28 modèles gaussiens adaptés aux données de grande dimension, allant du modèle le plus général au modèle le plus parcimonieux. Ces modèles gaussiens sont ensuite utilisés pour la discrimination et la classification<br />automatique de données de grande dimension. Les classifieurs associés à ces modèles sont baptisés respectivement High Dimensional Discriminant Analysis (HDDA) et High Dimensional Data Clustering (HDDC) et<br />leur construction se base sur l'estimation par la méthode du maximum de vraisemblance des paramètres du<br />modèle. La nature de notre re-paramétrisation permet aux méthodes HDDA et HDDC de ne pas être perturbées par le mauvais conditionnement ou la singularité des matrices de covariance empiriques des classes et d'être<br />efficaces en terme de temps de calcul. Les méthodes HDDA et HDDC sont ensuite mises en dans le cadre d'une<br />approche probabiliste de la reconnaissance d'objets dans des images. Cette approche, qui peut être<br />supervisée ou faiblement supervisée, permet de localiser de manière probabiliste un objet dans une<br />nouvelle image. Notre approche est validée sur des bases d'images récentes et comparée aux meilleures<br />méthodes actuelles de reconnaissance d'objets.

L'un des objectifs de la vision par ordinateur est la restitution des caracteristiques tridimensionnelles d'objets a partir d'une ou plusieurs images de ces objets, soit pour determiner leur forme et leur position, soit pour les identifier. Les methodes classiques de positionnement s'appuient sur l'etalonnage prealable des cameras, technique delicate et parfois inutilisable, comme dans le cas de cameras mobiles. Nous montrons comment l'utilisation des proprietes de la geometrie projective permet d'eviter un etalonnage explicite et aboutit a un positionnement relatif des objets observes. Des experimentations sur des scenes reelles contenant des objets polyedriques simples permettent de valider la methode et d'evaluer la precision du positionnement obtenu. La multiplication des techniques utilisant les invariants projectifs, tant pour le positionnement que pour la reconnaissance, nous a ensuite conduit a etudier la stabilite de ces derniers en presence de bruit dans les images. Une etude theorique nous permet de proposer une mesure de similarite entre invariants projectifs, ainsi que des moyens pour identifier et filtrer les valeurs instables. Nous considerons ensuite differentes caracterisations des ensembles de cinq points coplanaires par des invariants projectifs et nous comparons leurs performances dans le cadre d'un processus de reconnaissance sur des donnees simulees et bruitees.

La problématique générale de cette thèse est la comparaison d'images, que nous traitons via différentes applications. Nous proposons un système complet, robuste et automatique de reconnaissance d'objets multiples, dont la mise en œuvre repose principalement sur deux approches méthodologiques : la théorie de la décision « a contrario » et la théorie du transport optimal de Monge-Kantorovich. Dans ce cadre, une mesure de dissimilarité est définie pour la comparaison de descripteurs locaux de type SIFT en fonction du coût de transport optimal entre histogrammes circulaires (Circular Earth Mover's Distance). Un critère de mise en correspondance ces descripteurs s'appuyant sur la théorie de la décision a contrario est par la suite introduit. Ce critère permet de s'affranchir du réglage du seuil de détection et de la restriction usuelle au plus proche voisin. Nous proposons un algorithme de type RANSAC (RANdom SAmple Consensus) pour le groupement multiple de correspondances de descripteurs locaux. L'approche proposée permet la sélection du modèle géométrique de la transformation rigide due au changement de point de vue et au mouvement de l'objet détecté entre les différentes images. Dans le cadre du transport optimal, nous étudions par ailleurs l'intérêt de l'EMD (Earth Mover's Distance) pour la comparaison globale d'images (indexation d'images). Nous proposons enfin une méthode de régularisation de la carte de transport s'inspirant des approches par filtrage non-local, en vue d'une application au changement de contraste et au transfert de couleurs entre images.

Cette thèse a pour sujet l'annotation automatique d'images. Pour plus de souplesse, nous utilisons un vocabulaire structuré, permettant de construire des annotations multifacettes et à différents niveaux d'interprétation. Une annotation prend alors la forme d'un ensemble de multilabels associés à des indices de confiance et permet d'exprimer un compromis fiabilité/précision sémantique. Le traitement proposé se déroule en deux phases : extraction de caractéristiques informatives et calcul de probabilités normalisées sur un espace de multilabels. Chacune exploite des mécanismes d'apprentissage. La démarche est évaluée sur deux jeux de données : un ensemble d'images de voitures et la base d'objets génériques Caltech-101. Les résultats suggèrent d'utiliser le vocabulaire structuré à différentes étapes selon la nature des données.