La mise au point de descripteurs locaux discriminants est aujourd’hui une priorité dans de nombreuses applications comme la reconnaissance d’objets, le suivi d’objets, la reconstruction 3D ou l’estimation de mouvement. La problématique réside dans le fait que ces descripteurs doivent être invariants aux conditions d’acquisition tout en conservant un pouvoir discriminant important. Dans ce contexte, nous nous sommes intéressés à l’invariance des descripteurs locaux de la littérature. Nous les avons notamment catégorisés en fonction des hypothèses sur lesquelles repose leur invariance. Ensuite, nous avons proposé des descripteurs locaux qui exploitent l’information de couleur dans les images. Nous avons montré que cette information peut être très pertinente lorsqu’elle est combinée à une information spatiale, à condition que son degré d’invariance soit contrôlé et adapté aux applications considérées. Ainsi, nous avons proposé un ensemble de descripteurs locaux couleur avec des degrés d’invariance différents. Ainsi, nous introduisons tout d’abord deux nouveaux descripteurs qui caractérisent les distributions spatiales des couleurs dans les régions analysées. L’idée originale consiste à appliquer des transformations affines entre les coordonnées spatiales des pixels et leurs coordonnées couleur. En effet, chaque pixel étant caractérisé par 5 valeurs, 2 coordonnées spatiales xy dans l’image et 3 composantes couleur RVB, nous proposons de rechercher une transformation affine qui permet de transformer les coordonnées xy de tous les pixels de la région concernée en coordonnées RVB de ces pixels. Nous montrons que l’application de cette transformation aux coordonnées xy fournit des coordonnées dans l’espace RVB qui a un double avantage. D’une part, les coordonnées d’un seul pixel dépendent à la fois de toutes les couleurs présentes dans la région mais aussi de leur répartition spatiale. Quelques coordonnées permettent donc de résumer efficacement le contenu de la région. D’autre part, ces coordonnées présente une invariance totale à toute transformation affine appliquée dans l’espace image 2D(invariance géométrique) et comme elles sont homogènes à des coordonnées couleur, nous pouvons leur procurer une invariance photométrique en leur appliquant des transformations affines particulières. Nous montrons que le degré d’invariance peut être contrôlé en fonction des besoins de l’application. Ces coordonnées nous permettent de définir le descripteur IVC (Image Vers Couleur). De manière similaire, nous évaluons une transformation affine de l’espace couleur à l’espace image et appliquons cette transformation aux coordonnées couleur. Les coordonnées obtenues par cette transformation sont invariantes à toute transformation affine appliquée dans l’espace couleur, elles présentent donc un degré d’invariance élevé aux variations photométriques. Ces coordonnées nous permettent de constituer le descripteur CVI (Couleur Vers Image). Nous montrons que ces deux descripteurs fournissent de très bons résultats dans le cadre de la reconnaissance d’objet et présentent une telle complémentarité que le descripteur obtenu par concaténation de IVC et CVI fournit de meilleurs résultats que la plupart des descripteurs couleur parus dans la littérature. Ensuite, nous proposons un descripteur qui présente un degré d’invariance plus élevé que les deux précédents puisqu’il n’est pas sensible aux transformations non-linéaires des couleurs modélisées par des fonctions croissantes appliquées indépendamment sur chaque composante couleur. Pour cela, nous exploitons les mesures de rang des pixels dans les images. De plus, nous utilisons les corrélations entre mesures de rang obtenues pour différentes composantes couleur. Ceci nous a permis de proposer un descripteur lui aussi très compact qui présente un degré d’invariance photométrique assez élevé. Enfin, nous abordons le problème de la caractérisation locale d’images par auto-similarités / Pas de résumé fourni en anglais

Bien qu'ayant suscité des recherches depuis 30 ans, le problème de la reconnaissance de visages en contexte de vidéosurveillance, sachant qu'une seule image par individu est disponible pour l'enrôlement, n'est pas encore résolu. Dans ce contexte, les deux dés les plus diciles à relever consistent à développer des algorithmes robustes aux variations d'illumination et aux variations de pose. De plus, il y a aussi une contrainte forte sur la complexité en temps et en occupation mémoire des algorithmes à mettre en oeuvre dans de tels systèmes. Le travail développé dans cette thèse apporte plusieurs avancées innovantes dans ce contexte de reconnaissance faciale en vidéosurveillance. Premièrement, une méthode de normalisation des variations d'illumination visant à simuler les performances de la rétine est proposée en tant que pré-traitement des images faciales. Deuxièmement, nous proposons un nouveau descripteur appelé POEM (Patterns of Oriented Edge Magnitudes) destiné à représenter les structures locales d'une image. Ce descripteur est discriminant, robuste aux variations extérieures (variations de pose, d'illumination, d'expression, d'âge que l'on rencontre souvent avec les visages). Troisièmement, un modèle statistique de reconnaissance de visages en conditions de pose variables, centré sur une modélisation de la manière dont l'apparence du visage évolue lorsque le point de vue varie, est proposé. Enn, une nouvelle approche visant à modéliser les relations spatiales entre les composantes du visage est présentée. A l'exception de la dernière approche, tous les algorithmes proposés sont très rapides à calculer et sont donc adaptés à la contrainte de traitement temps réel des systèmes de vidéosurveillance.

La mise au point de descripteurs locaux discriminants est aujourd'hui une priorité dans de nombreuses applications comme la reconnaissance d'objets, le suivi d'objets, la reconstruction 3D ou l'estimation de mouvement. La problématique réside dans le fait que ces descripteurs doivent être invariants aux conditions d'acquisition tout en conservant un pouvoir discriminant important. Dans ce contexte, nous nous sommes intéressés à l'invariance des descripteurs locaux de la littérature. Nous les avons notamment catégorisés en fonction des hypothèses sur lesquelles repose leur invariance. Ensuite, nous avons proposé des descripteurs locaux qui exploitent l'information de couleur dans les images. Nous avons montré que cette information peut être très pertinente lorsqu'elle est combinée à une information spatiale, à condition que son degré d'invariance soit contrôlé et adapté aux applications considérées. Ainsi, nous avons proposé un ensemble de descripteurs locaux couleur avec des degrés d'invariance différents. Ainsi, nous introduisons tout d'abord deux nouveaux descripteurs qui caractérisent les distributions spatiales des couleurs dans les régions analysées. L'idée originale consiste à appliquer des transformations affines entre les coordonnées spatiales des pixels et leurs coordonnées couleur. En effet, chaque pixel étant caractérisé par 5 valeurs, 2 coordonnées spatiales xy dans l'image et 3 composantes couleur RVB, nous proposons de rechercher une transformation affine qui permet de transformer les coordonnées xy de tous les pixels de la région concernée en coordonnées RVB de ces pixels. Nous montrons que l'application de cette transformation aux coordonnées xy fournit des coordonnées dans l'espace RVB qui a un double avantage. D'une part, les coordonnées d'un seul pixel dépendent à la fois de toutes les couleurs présentes dans la région mais aussi de leur répartition spatiale. Quelques coordonnées permettent donc de résumer efficacement le contenu de la région. D'autre part, ces coordonnées présente une invariance totale à toute transformation affine appliquée dans l'espace image 2D(invariance géométrique) et comme elles sont homogènes à des coordonnées couleur, nous pouvons leur procurer une invariance photométrique en leur appliquant des transformations affines particulières. Nous montrons que le degré d'invariance peut être contrôlé en fonction des besoins de l'application. Ces coordonnées nous permettent de définir le descripteur IVC (Image Vers Couleur). De manière similaire, nous évaluons une transformation affine de l'espace couleur à l'espace image et appliquons cette transformation aux coordonnées couleur. Les coordonnées obtenues par cette transformation sont invariantes à toute transformation affine appliquée dans l'espace couleur, elles présentent donc un degré d'invariance élevé aux variations photométriques. Ces coordonnées nous permettent de constituer le descripteur CVI (Couleur Vers Image). Nous montrons que ces deux descripteurs fournissent de très bons résultats dans le cadre de la reconnaissance d'objet et présentent une telle complémentarité que le descripteur obtenu par concaténation de IVC et CVI fournit de meilleurs résultats que la plupart des descripteurs couleur parus dans la littérature. Ensuite, nous proposons un descripteur qui présente un degré d'invariance plus élevé que les deux précédents puisqu'il n'est pas sensible aux transformations non-linéaires des couleurs modélisées par des fonctions croissantes appliquées indépendamment sur chaque composante couleur. Pour cela, nous exploitons les mesures de rang des pixels dans les images. De plus, nous utilisons les corrélations entre mesures de rang obtenues pour différentes composantes couleur. Ceci nous a permis de proposer un descripteur lui aussi très compact qui présente un degré d'invariance photométrique assez élevé. Enfin, nous abordons le problème de la caractérisation locale d'images par auto-similarités

Cette thèse traite de l’utilisation de la couleur en vision par ordinateur. Deux problèmes sont étudiés : - l’estimation d’illuminants, - la mise en correspondance de descripteurs locaux pour la comparaison d’images couleur. Les surfaces achromatiques renvoient un spectre lumineux ayant la même distribution fréquentielle que le spectre de l’illuminant. Les détecter permet donc de recouvrer l'illuminant. En supposant que l’ensemble des couleurs que peut prendre un illuminant est limité (équation de Planck), il est possible de sélectionner les pixels appartenant à une surface potentiellement grise. Une méthode de vote est alors appliquée, permettant de sélectionner un ou plusieurs illuminants. L’algorithme final possède de nombreux avantages : il est efficace, intuitif, ne nécessite pas de phase d’apprentissage et requiert peu de paramètres, qui s’avèrent stables. De plus, la méthode de vote permet de s’adapter aux cas où plusieurs sources lumineuses éclairent la scène photographiée. Les descripteurs locaux sont des outils puissants pour comparer les images. Cependant, le rôle de la couleur dans l’étape d’appariement a fait l’objet de peu d’études. Le problème principal que nous considérons ici est celui de l’apport de la couleur pour l’appariement de descripteurs locaux. Un usage local de la couleur permet-il de désambiguïser les situations où la luminance seule est insuffisante ? Et si oui, dans quelles proportions ? Nous proposons quatre descripteurs permettant de décrire de manière détaillée le contexte local de points clés dans l’optique de les apparier. Les expériences proposées montrent clairement l’apport de la couleur pour la mise en correspondance locale. / This thesis addresses the use of color in image processing and computer vision. Two problems are studied: - illuminant estimation, - local descriptors matching for color images comparison. Achromatic surfaces are defined as surfaces reflecting a spectrum with the same frequency dsitribution than the illuminant. Consequently, revovering these surfaces allows to estimate the illuminant. Assuming that the range of colors taken by an illuminant is limited (Planck equation), it is possible to select the pixels belonging to a potentially gray surface. A voting procedure is then applied to select one or more illuminants. The proposed algorithm has many advantages: it is effective, intuitive, does not rely on a learning phase and requires only few parameters. In addition, the voting procedure can be adapted to handle cases where multiple light sources of different colors illuminate the scene. Local descriptors are powerful tools to compare images. However, few studies concern the influence of color in the matching step. The main problem that we consider here is the contribution of the color matching of local descriptors. Does the local use of color allow to disambiguate situations where the luminance alone is insufficient ? And if so, how much? We propose four descriptors to precisely describe the local context of key points in the matching step. The main idea developed here is that accurate information can only be obtained by describing both the color distributions and transitions between colors. The many experiences presented clearly show the positive contribution of color to the reliability of the local matching.

De nos jours les algorithmes de vision par ordinateur abondent dans les applications de vidéo-surveillance, de reconstruction 3D, de véhicules autonomes, d'imagerie médicale, etc… La détection et la mise en correspondance d'objets dans les images constitue une étape clé dans ces algorithmes.Les méthodes les plus communes pour la mise en correspondance d'objets ou d'images sont basées sur des descripteurs locaux, avec tout d'abord la détection de points d'intérêt, puis l'extraction de caractéristiques de voisinages des points d'intérêt, et enfin la construction des descripteurs d'image.Dans cette thèse, nous présentons des contributions au domaine de la mise en correspondance d'images par l'utilisation de demi filtres tournants. Nous suivons ici trois approches : la première présente un nouveau descripteur à faible débit et une stratégie de mise en correspondance intégrés à une plateforme vidéo. Deuxièmement, nous construisons un nouveau descripteur local en intégrant la réponse de demi filtres tournant dans un histogramme de gradient orienté (HOG) ; enfin nous proposons une nouvelle approche pour la construction d'un descripteur utilisant des statistiques du second ordre. Toutes ces trois approches apportent des résultats intéressants et prometteurs.Mots-clés : Demi filtres tournants, descripteur local d'image, mise en correspondance, histogramme de gradient orienté (HOG), Différence de gaussiennes. / Nowadays computer vision algorithms can be found abundantly in applications relatedto video surveillance, 3D reconstruction, autonomous vehicles, medical imaging etc. Image/object matching and detection forms an integral step in many of these algorithms.The most common methods for Image/object matching and detection are based on localimage descriptors, where interest points in the image are initially detected, followed byextracting the image features from the neighbourhood of the interest point and finally,constructing the image descriptor. In this thesis, contributions to the field of the imagefeature matching using rotating half filters are presented. Here we follow three approaches:first, by presenting a new low bit-rate descriptor and a cascade matching strategy whichare integrated on a video platform. Secondly, we construct a new local image patch descriptorby embedding the response of rotating half filters in the Histogram of Orientedgradient (HoG) framework and finally by proposing a new approach for descriptor constructionby using second order image statistics. All the three approaches provides aninteresting and promising results by outperforming the state of art descriptors.Key-words: Rotating half filters, local image descriptor, image matching, Histogram of Orientated Gradients (HoG), Difference of Gaussian (DoG).

Ce travail s’inscrit dans une tentative de liaison entre la communauté classique de la Vision par ordinateur et la communauté du traitement d’images de documents, analyse être connaissance (DAR). Plus particulièrement, nous abordons la question des détecteurs de points d’intérêts et des descripteurs locaux dans une image. Ceux-ci ayant été conçus pour des images issues du monde réel, ils ne sont pas adaptés aux problématiques issues du document dont les images présentent des caractéristiques visuelles différentes.Notre approche se base sur la résolution du problème de la confusion entre les descripteurs,ceux-ci perdant leur pouvoir discriminant. Notre principale contribution est un algorithme de réduction de la confusion potentiellement présente dans un ensemble de vecteurs caractéristiques d’une même image, ceci par une approche probabiliste en filtrant les vecteurs fortement confusifs. Une telle conception nous permet d’appliquer des algorithmes d’extractions de descripteurs sans avoir à les modifier ce qui constitue une passerelle entre ces deux mondes. / This work tries to establish a bridge between the field of classical computer vision and document analysis and recognition. Specificaly, we tackle the issue of keypoints detection and associated local features computation in the image. These are not suitable for document images since they were designed for real-world images which have different visual characteristic. Our approach is based on resolving the issue of reducing the confusion between feature vectors since they usually lose their discriminant power with document images. Our main contribution is an algorithm reducing the confusion between local features by filtering the ones which present a high confusing risk. We are tackling this by using tools from probability theory. Such a method allows us to apply features extraction algorithms without having to modify them, thus establishing a bridge between these two worlds.

Avec le développement du numérique, le nombre d'images stockées dans les bases de données a beaucoup augmenté. L'indexation des images et la recherche d'information dans les bases d'images sont plus compliquées que dans le cas de documents textuels Des méthodes d'indexation déjà utilisées en analyse de données textuelles sont proposées pour traiter des images. Pour transférer les résultats de l'analyse de données textuelles aux images, il est nécessaire d'utiliser de nouvelles caractéristiques : les mots visuels et on considère les images comme documents. Nous nous intéressons au problème d'indexation et de recherche d'information dans des grandes bases de données d'images à l'aide de méthodes d'analyse de données comme l'Analyse Factorielle des Correspondances (AFC). Nous proposons d'abord une utilisation astucieuse des indicateurs de l'AFC pour accélérer la recherche après l'avoir adaptée aux images. Nous nous intéressons ensuite au problème du passage à l'échelle de l'AFC. Pour ce faire, nous proposons un algorithme d'AFC incrémentale pour traiter de grands tableaux de données et la parallélisation de cet algorithme sur processeurs graphiques (GPU). Nous développons aussi une version parallèle de notre algorithme de recherche qui utilise les indicateurs de l'AFC sur GPU. Puis nous associons l'AFC à d'autres méthodes comme la Mesure de Dissimilarité Contextuelle ou les forêts aléatoires pour améliorer la qualité de la recherche. Enfin, nous présentons un environnement de visualisation, CAViz, pour accompagner les traitements précédents.

Les techniques de description des éléments caractéristiques d’une image sont omniprésentes dans de nombreuses applications de vision par ordinateur. Nous proposons à travers ce manuscrit une extension, pour décrire (représenter) et apparier les éléments caractéristiques des images. L’extension proposée consiste en une approche originale pour apprendre, ou estimer, la présence sémantique des éléments caractéristiques locaux dans les images. L’information sémantique obtenue est ensuite exploitée, en conjonction avec le paradigme de sac-de-mots, pour construire un descripteur d’image performant. Le descripteur résultant, est la combinaison de deux types d’informations, locale et contextuelle-sémantique. L’approche proposée peut être généralisée et adaptée à n’importe quel descripteur local d’image, pour améliorer fortement ses performances spécialement quand l’image est soumise à des conditions d’imagerie contraintes. La performance de l’approche proposée est évaluée avec des images réelles aussi bien dans les deux domaines, 2D que 3D. Nous avons abordé dans le domaine 2D, un problème lié à l’appariement des éléments caractéristiques dans des images. Dans le domaine 3D, nous avons résolu les problèmes d’appariement et alignement des vues partielles tridimensionnelles. Les résultats obtenus ont montré qu’avec notre approche, les performances sont nettement meilleures par rapport aux autres méthodes existantes. / This manuscript presents an extension of feature description and matching strategies by proposing an original approach to learn the semantic information of local features. This semantic is then exploited, in conjunction with the bag-of-words paradigm, to build a powerful feature descriptor. The approach, ended up by combining local and context information into a single descriptor, is also a generalized method for improving the performance of the local features, in terms of distinctiveness and robustness under geometric image transformations and imaging conditions. The performance of the proposed approach is evaluated on real world data sets as well as in both the 2D and 3D domains. The 2D domain application addresses the problem of image feature matching while in 3D domain, we resolve the issue of matching and alignment of multiple range images. The evaluation results showed our approach performs significantly better than expected results as well as in comparison with other methods.

L'Accident Vasculaire Cérébral (AVC) - pathologie résultant d'une perturbation de l'apport sanguin dans le cerveau - est un problème de santé publique majeur, représentant la troisième cause de mortalité dans les pays industrialisés. Afin d'améliorer la prise en charge des patients atteints d'un AVC, il est important de posséder des méthodes efficaces pour l'identification des patients éligibles aux différentes thérapies et pour l'évaluation du rapport bénéfice/risque associé à ces thérapies. Dans ce contexte, l'Imagerie par Résonance Magnétique (IRM) dynamique de perfusion par contraste de susceptibilité, une modalité d'imagerie utile pour apprécier l'état de la perfusion cérébrale, peut aider à identifier les tissus à risque de s'infarcir. Cependant, l'intégralité de la chaîne de traitement, de l'acquisition à l'analyse et l'interprétation de l'IRM de perfusion demeure complexe et plusieurs limitations restent encore à surmonter. Durant ces travaux de thèse, nous contribuons à l'amélioration de la chaîne de traitement de l'IRM de perfusion, avec comme objectif final, l'obtention d'une meilleure prédiction de l'évolution de la lésion ischémique dans l'AVC. Dans une première partie, nous travaillons principalement sur l'étape de déconvolution des signaux temporels, une des étapes clefs à l'amélioration de l'IRM de perfusion. Cette étape consiste en la résolution d'un problème inverse mal-posé, et permet le calcul de paramètres hémodynamiques qui sont des biomarqueurs importants pour la classification de l'état final des tissus dans l'AVC. Afin de comparer de façon objective les performances des différents algorithmes de déconvolution existants et d'en valider des nouveaux, il est nécessaire d'avoir accès à une information sur la vérité terrain après déconvolution. Dans ce but, nous avons développé un simulateur numérique pour l'IRM de perfusion, avec une vérité terrain générée automatiquement. Ce simulateur est utilisé pour démontrer la faisabilité d'une automatisation du réglage des paramètres de régularisation, et établir la robustesse d'un algorithme de déconvolution avec régularisation spatio-temporelle d'introduction récente. Nous proposons également un nouvel algorithme de déconvolution globalement convergent. Enfin, la première partie de ces travaux se termine avec une discussion sur une autre étape de la chaîne de traitement en IRM de perfusion, à savoir, la normalisation des cartes de paramètres hémodynamiques extraites des images déconvoluées / Stroke – a neurological deficit resulting from blood supply perturbations in the brain – is a major public health issue, representing the third cause of death in industrialized countries. There is a need to improve the identification of patients eligible to the different therapies, as well as the evaluation of the benefit-risk ratio for the patients. In this context, perfusion Dynamic Susceptibility Contrast (DSC)-MRI, a prominent imaging modality for the assessment of cerebral perfusion, can help to identify the tissues at risk of infarction from the benign oligaemia. However, the entire pipeline from the acquisition to the analysis and interpretation of a DSC-MRI remains complex and some limitations are still to be overcome. During this PhD work, we contribute to improving the DSC-MRI processing pipeline with the ultimate objective of ameliorating the prediction of the ischemic lesion evolution in stroke. In a first part, we primarily work on the step of temporal signal deconvolution, one of the steps key to the improvement of DSC-MRI. This step consists in the resolution of an inverse ill-posed problem and allows the computation of hemodynamic parameters which are important biomarkers for tissue fate classification in stroke. In order to compare objectively the performances of existing deconvolution algorithms and to validate new ones, it is necessary to have access to information on the ground truth after deconvolution. To this end, we developed a numerical simulator of DSC MRI with automatically generated ground truth. This simulator is used to demonstrate the feasability of a full automation of regularization parameters tuning and to establish the robustness of a recent deconvolution algorithm with spatio-temporal regularization. We then propose a new globally convergent deconvolution algorithm. Then, this first part ends with a discussion on another processing step in the DSC-MRI pipeline, the normalisation of the hemodynamic parameters maps extracted from the deconvolved images. In a second part, we work on the prediction of the evolution of the tissue state from longitudinal MRI data. We first demonstrate the interest of modeling longitudinal MRI studies in stroke as a communication channel where information theory provides useful tools to identify the hemodynamic parameters maps carrying the highest predictive information, determine the spatial observation scales providing the optimal predictivity for tissue classification as well as estimate the impact of noise in prediction studies. We then demonstrate the interest of injecting shape descriptors of the ischemic lesion in acute stage in a linear regression model for the prediction of the final infarct volume. We finally propose a classifier of tissue fate based on local binary pattern for the encoding of the spatio-temporal evolution of the perfusion MRI signals

Les techniques de description des éléments caractéristiques d'une image sont omniprésentes dans de nombreuses applications de vision par ordinateur. Nous proposons à travers ce manuscrit une extension, pour décrire (représenter) et apparier les éléments caractéristiques des images. L'extension proposée consiste en une approche originale pour apprendre, ou estimer, la présence sémantique des éléments caractéristiques locaux dans les images. L'information sémantique obtenue est ensuite exploitée, en conjonction avec le paradigme de sac-de-mots, pour construire un descripteur d'image performant. Le descripteur résultant, est la combinaison de deux types d'informations, locale et contextuelle-sémantique. L'approche proposée peut être généralisée et adaptée à n'importe quel descripteur local d'image, pour améliorer fortement ses performances spécialement quand l'image est soumise à des conditions d'imagerie contraintes. La performance de l'approche proposée est évaluée avec des images réelles aussi bien dans les deux domaines, 2D que 3D. Nous avons abordé dans le domaine 2D, un problème lié à l'appariement des éléments caractéristiques dans des images. Dans le domaine 3D, nous avons résolu les problèmes d'appariement et alignement des vues partielles tridimensionnelles. Les résultats obtenus ont montré qu'avec notre approche, les performances sont nettement meilleures par rapport aux autres méthodes existantes.