L'analyse automatique de contenu des vidéos en vue de leur annotation est un domaine de recherche en plein essor. Reconnaître les personnes apparaissant dans des émissions audiovisuelles permet une structuration automatique d'une quantité grandissante d'archives audiovisuelles. Nous présentons une approche dynamique originale de reconnaissance de personnes dans les flux vidéo. Cette approche est dynamique car elle tire avantage de la richesse des informations contenues dans la vidéo, contrairement aux approches statiques basées uniquement sur les images. L'approche proposée comprend deux volets. Le premier volet consiste à isoler toutes les occurrences de personnes d'une émission, et à les regrouper en clusters en se basant sur un descripteur original : les histogrammes spatio-temporels, ainsi que sur une mesure de similarité dédiée. L'originalité vient de l'intégration d'informations temporelles dans le descripteur, qui permet une estimation plus fiable de la similarité entre les occurrences de personnes. Le second volet propose la mise en oeuvre d'une méthode de reconnaissance faciale. Différentes stratégies sont envisagées, d'une part pour identifier les occurrences de personnes selon les trames qui composent la séquence, et d'autre part pour propager les identités au sein des groupes selon leurs membres. Ces deux aspects de notre contribution ont été évalués à l'aide de corpus de données réelles contenant des émissions issues des chaînes BFMTV et LCP. Les résultats des expérimentations menées indiquent que l'approche proposée permet d'améliorer notablement la précision de reconnaissance en prenant en compte la dimension temporelle. / The annotation of video streams by automatic content analysis is a growing field of research. The possibility of recognising persons appearing in TV shows allows to automatically structure ever-growing video archives. We present an original and dynamic approach to person recognition from video streams. This approach is dynamic as it benefits from the motion information contained in videos, whereas the static approaches are solely based on still images. The proposed approach is composed of two parts. In the first one, we extract persontracks from the shows and cluster them using a new descriptor and its associated similarity measure : space-time histograms. The originality of our approach is the integration of temporal data into the descriptor. Experiments show that it provides a better estimation of the similarity between persontracks. In the second part of our approach, we propose to use a facial recognition method which aims at "naming" the clusters. Various strategies are considered to assign an identity to a persontrack using its frames and to propagate this identity to members of the same cluster. These two aspects of our contribution have been evaluated using a corpus of real life TV shows broadcasted on BFMTV and LCP TV channels. The results of our experiments show that our approach significantly improves the precision of the recognition process thanks to the use of the temporal dimension.

Ce manuscrit de thèse a pour sujet la ré-identification de personne basée sur leur apparence à partir d'images et de vidéos. La ré-identification de personne consiste à déterminer si un individu donné est déjà apparu sur un réseau de caméras. Ce problème est particulièrement difficile car l'apparence change significativement entre les différentes vues de caméra, où les variations de points de vue, d'illumination et de position de l'objet, rendent le problème difficile. Nous nous concentrons sur le développement de modèles d'apparence robustes qui sont en mesure de faire correspondre les apparences humaines enregistrées dans des vues de caméra disjointes. Comme la représentation de régions d'image est fondamentale pour la mise en correspondance d'apparence, nous étudions différents types de descripteurs d'images. Ces différents descripteurs impliquent des stratégies différentes pour la mise en correspondance d'apparence, impliquant des modèles différents pour la représentation des apparences de personne. En appliquant des techniques d'apprentissage automatique, nous générons des modèles descriptifs et discriminatoires, qui améliorent la distinction des caractéristiques extraites, améliorant ainsi la précision de la ré-identification. Cette thèse a les contributions suivantes. Nous proposons six techniques de ré-identification humaine. Les deux premières appartiennent aux approches single-shot, dans lesquelles une seule image est suffisante pour extraire une signature fiable de personne. Ces approches divisent le corps humain en différentes parties de corps prédéfinies, puis extraient les caractéristiques de l'image. Cela permet de mettre en correspondance les différentes parties du corps en comparant les signatures. Les quatre autres méthodes abordent le problème de ré-identification à l'aide de signatures calculées à partir de plusieurs images (multiple-shot). Nous proposons deux techniques qui apprennent en ligne le modèle d'apparence humaine en utilisant un schéma de boosting. Les approches de boosting améliorent la précision de la reconnaissance, au détriment du temps de calcul. Les deux dernières approches assument un modèle prédéfini, ou un apprentissage hors ligne des modèles, pour réduire le temps de calcul. Nous constatons que le descripteur de covariance est en général le meilleur descripteur pour la mise en correspondance des apparences dans des vues de caméras disjointes. Comme l'opérateur de distance de ce descripteur nécessite un calcul intensif, nous proposons également une nouvelle implémentation utilisant le GPU qui accélère considérablement les temps de calcul. Nos expériences suggèrent que la moyenne Riemannienne des covariances calculée à partir de plusieurs images améliore les performances par rapport aux techniques de ré-identification de personne de l'état de l'art. Enfin, nous proposons deux nouvelles bases d'images d'individus pour évaluer le scénario multiple-shot.

La consommation est considérée comme étant l'une des formes simples de la vie quotidienne. L'évolution de la société moderne a entraîné un environnement fortement chargé d'objets, de signes et d'interactions fondées sur des transactions commerciales. À ce phénomène s'ajoutent l'accélération du renouvellement de l'offre disponible et le pouvoir d'achat qui devient une préoccupation grandissante pour la majorité des consommateurs et oú l'inflation des prix est un sujet récurrent. Compte tenu de cette complexité et de ces enjeux économiques aussi consé- quents, la nécessité de modéliser le comportement d'achat des consommateurs dans les diffé- rents secteurs d'activité présente une phase primordiale pour les grands acteurs économiques ou analystes. En 2008, la société Cliris s'est lancée dans le projet de suivi multi-caméras de trajectoires des clients. En effet, le projet repose sur la mise au point d'un système d'analyse automatique multi-flux basé sur le suivi multi-caméras de clients. Ce système permet d'analy- ser la fréquentation et les parcours des clients dans les surfaces de grandes distributions. Dans le cadre de cette thèse CIFRE, nous avons abordé l'ensemble du processus de suivi multi-caméras de personnes tout en mettant l'accent sur le côté applicatif du problème en apportant notre contribution à la réponse aux questions suivantes :1. Comment suivre un individu à partir d'un flux vidéo mono-caméra en assurant la gestion des occultations ?2. Comment effectuer un comptage de personnes dans les surfaces denses ?3. Comment reconnaître un individu en différents points du magasin à partir des flux vidéo multi-caméras et suivre ainsi son parcours ? / ...

Cette thèse traite de la détection et de la ré-identification de personnes dans un environnement instrumenté par un réseau de caméras à champ disjoint. Elle est à la confluence des communautés Recherche Opérationnelle et Vision car elle s'appuie sur des techniques d'optimisation combinatoire pour formaliser de nouvelles modalités de vision par ordinateur. Dans ce contexte, un détecteur visuel de personnes, basé sur la programmation linéaire en nombres entiers, est tout d'abord proposé. Son originalité est de prendre en compte le coût de traitement et non uniquement les performances de détection. Ce détecteur est évalué et comparé aux détecteurs de la littérature les plus performants. Ces expérimentations menées sur deux bases de données publiques mettent clairement en évidence l'intérêt de notre détecteur en terme de coût de traitement avec garantie de performance de détection. La seconde partie de la thèse porte sur la modalité de ré-identification de personnes. L'originalité de notre approche, dénommée D-NCR (pour Directed Network Consistent Re-identification), est de prendre explicitement en compte les temps minimum de transit des personnes dans le réseau de caméras et sa topologie pour améliorer la performance de la ré-identification. On montre que ce problème s'apparente à une recherche de chemins disjoints particuliers à profit maximum dans un graphe orienté. Un programme linéaire en nombres entiers est proposé pour sa modélisation et résolution. Les évaluations réalisées sur une base publique d'images sont prometteuses et montrent le potentiel de cette approche. / This thesis deals with people detection and re-identification in an environment instrumented by a network of disjoint-field cameras. It stands at the confluence of the Operational Research and Computer Vision communities as combinatorial optimization techniques are used to formalize new computer vision methods. In this context, a people visual detector, based on mixed-integer programming, is first propose that simultaneously take computation time and detection performances into account. This detector is evaluated and compared to the best detectors of the literature. These experiments, conducted on two public databases, clearly demonstrate the interest of our detector in terms of processing time with detection performance guarantee. The second part of the thesis deals with people re-identification. Our novel approach, called D-NCR (Directed Network Consistent Re-identification), explicitly takes minimum transit times in the camera network into account, as well as the network topology, in order to improve the re-identification performance. This problem is similar to the determination of particular maximum-profitable independent paths in an oriented graph. A mixed-integer program is proposed to model and solve this problem. The experiments made on a public dataset sound promising and tend to prove the potential of the approach.

La vidéosurveillance est d’une grande valeur pour la sécurité publique. En tant que l’un des plus importantes applications de vidéosurveillance, la ré-identification de personnes est définie comme le problème de l’identification d’individus dans des images captées par différentes caméras de surveillance à champs non-recouvrants. Cependant, cette tâche est difficile à cause d’une série de défis liés à l’apparence de la personne, tels que les variations de poses, de point de vue et de l’éclairage etc. Pour régler ces différents problèmes, dans cette thèse, nous proposons plusieurs approches basées sur l’apprentissage profond de sorte d’améliorer de différentes manières la performance de ré-identification. Dans la première approche, nous utilisons les attributs des piétons tels que genre, accessoires et vêtements. Nous proposons un système basé sur un réseau de neurones à convolution(CNN) qui est composé de deux branches : une pour la classification d’identité et l’autre pour la reconnaissance d’attributs. Nous fusionnons ensuite ces deux branches pour la ré-identification. Deuxièmement, nous proposons un CNN prenant en compte différentes orientations du corps humain. Le système fait une estimation de l’orientation et, de plus, combine les caractéristiques de différentes orientations extraites pour être plus robuste au changement de point de vue. Comme troisième contribution de cette thèse, nous proposons une nouvelle fonction de coût basée sur une liste d’exemples. Elle introduit une pondération basée sur le désordre du classement et permet d’optimiser directement les mesures d’évaluation. Enfin, pour un groupe de personnes, nous proposons d’extraire une représentation de caractéristiques visuelles invariante à la position d’un individu dans une image de group. Cette prise en compte de contexte de groupe réduit ainsi l’ambigüité de ré-identification. Pour chacune de ces quatre contributions, nous avons effectué de nombreuses expériences sur les différentes bases de données publiques pour montrer l’efficacité des approches proposées. / Video surveillance systems are of a great value for public safety. As one of the most import surveillance applications, person re-identification is defined as the problem of identifying people across images that have been captured by different surveillance cameras without overlapping fields of view. With the increasing need for automated video analysis, this task is increasingly receiving attention. However, this problem is challenging due to the large variations of lighting, pose, viewpoint and background. To tackle these different difficulties, in this thesis, we propose several deep learning based approaches to obtain a better person re-identification performance in different ways. In the first proposed approach, we use pedestrian attributes to enhance the person re-identification. The attributes are defined as semantic mid-level descriptions of persons, such as gender, accessories, clothing etc. They could be helpful to extract characteristics that are invariant to the pose and viewpoint variations thanks to the descriptor being on a higher semantic level. In order to make use of the attributes, we propose a CNN-based person re-identification framework composed of an identity classification branch and of an attribute recognition branch. At a later stage, these two cues are combined to perform person re-identification. Secondly, among the challenges, one of the most difficult is the variation under different viewpoint. The same person shows very different appearances from different points of view. To deal with this issue, we consider that the images under various orientations are from different domains. We propose an orientation-specific CNN. This framework performs body orientation regression in a gating branch, and in another branch learns separate orientation-specific layers as local experts. The combined orientation-specific CNN feature representations are used for the person re-identification task. Thirdly, learning a similarity metric for person images is a crucial aspect of person re-identification. As the third contribution, we propose a novel listwise loss function taking into account the order in the ranking of gallery images with respect to different probe images. Further, an evaluation gain-based weighting is introduced in the loss function to optimize directly the evaluation measures of person re-identification. At the end, in a large gallery set, many people could have similar clothing. In this case, using only the appearance of single person leads to strong ambiguities. In realistic settings, people often walk in groups rather than alone. As the last contribution, we propose to learn a deep feature representation with displacement invariance for group context and introduce a method to combine the group context and single-person appearance. For all the four contributions of this thesis, we carry out extensive experiments on popular benchmarks and datasets to demonstrate the effectiveness of the proposed systems.

Avec le développement de la vidéo-protection, le nombre de caméras déployées augmente rapidement. Pour exploiter efficacement ces vidéos, il est indispensable de concevoir des outils d'aide à la surveillance qui automatisent au moins partiellement leur analyse. Un des problèmes difficiles est le suivi de personnes dans un grand espace (métro, centre commercial, aéroport, etc.) couvert par un réseau de caméras sans recouvrement. Dans cette thèse nous proposons et expérimentons une nouvelle méthode pour la ré-identification de piétons entre caméras disjointes. Notre technique est fondée sur la détection et l'accumulation de points d'intérêt caractérisés par un descripteur local. D'abord, on propose puis évalue une méthode utilisant les points d'intérêts pour la modélisation de scène, puis la détection d'objets mobiles. Ensuite, la ré-identification des personnes se fait en collectant un ensemble de points d'intérêt durant une fenêtre temporelle, puis en cherchant pour chacun d'eux leur correspondant le plus similaire parmi tous les descripteurs enregistrés précédemment, et stockés dans un KD-tree. Enfin, nous proposons et testons des pistes d'amélioration, en particulier pour la sélection automatique des instants ou des points d'intérêt, afin d'obtenir pour chaque individu un ensemble de points qui soient à la fois les plus variés possibles, et les plus discriminants par rapport aux autres personnes. Les performances de ré-identification de notre algorithme, environ 95% d'identification correcte au premier rang parmi 40 personnes, dépassent l'état de l'art, ainsi que celles obtenues dans nos comparaisons avec d'autres descripteurs (histogramme de couleur, HOG, SIFT).

L'essor des systèmes mobiles pose de nouvelles problématiques dans le domaine de vision par ordinateur. Les techniques de ré-identification s'appuyant sur un réseau de caméras fixes doivent être repensées afin de s'adapter à un décor changeant. Pour répondre à ces besoins, cette thèse explore, dans le cadre du corps humain, l'utilisation d'un modèle structurel habituellement employé pour de la reconnaissance faciale. Il s'agit de l'alignement d'un modèle à distribution de points (Point Distribution Model ou PDM). L'objectif de ce pré-traitement avant la ré-identification est triple, segmenter la personne du décor, améliorer la robustesse vis-à-vis de sa pose et extraire des points clés spatiaux pour construire une signature basée sur son comportement.Nous concevons et évaluons un système complet de ré-identification, découpé en trois modules mis en séquence. Le premier de ces modules correspond à la détection de personnes. Nous proposons de nous baser sur une méthode de l'état de l'art utilisant les Channel Features avec l'algorithme AdaBoost.Le second module est l'alignement du PDM au sein de la boîte englobante fournie par la détection. Deux approches sont présentées dans cette thèse. La première s'appuie sur une formulation paramétrique du modèle de forme. L'alignement de ce modèle est guidé par la maximisation d'un score d'un modèle d'apparence GentleBoost utilisant des caractéristiques locales de type histogrammes de gradients orientés. La seconde approche exploite une technique de cascade de régressions de forme. L'idée principale est le regroupement de déformations homogènes en clusters et la classification de ces derniers dans le but d'aligner le PDM itérativement.Enfin, le troisième module est celui de la ré-identification. Nous montrons que l'utilisation d'un PDM en support permet d'améliorer les résultats de ré-identification. Nos expérimentations portent sur des signatures d'apparence classique, les histogrammes de couleurs, et sur un descripteur de forme, le Shape Context. L'évaluation de ce dernier fournit des résultats encourageants pour une perspective d'utilisation des PDM au sein d'une reconnaissance de démarches. / The emergence of mobile systems brings new problematics in computer vision. Static camera-based methods for re-identification need to be adapted in this new context. To deal with dynamical background, this thesis proposes to employ the well known Point Distribution Model (PDM), usually applied for face alignment, on the human body. Three advantages come from this pre-processing before re-identification, segment the person from background, enhance robustness to the person pose and extract spatial key points to build a behavioural-based signature.We implement and evaluate a complete framework for re-identification, divided in three sequential modules. The first one corresponds to the pedestrian detection. We use an efficient method of the state of the art employing the Channel Features with the algorithm AdaBoost.The second one is the PDM alignment within the bounding box provided by the detection step. Two distinct approaches are presented in this thesis. The first method relies on a parametric formulation to describe the shape, similar to the ASM or AAM. To fit this shape model, we maximize the score of an appearance model defined by GentleBoost, which employs local histograms of oriented gradients. The second approach is based on the cascade regression shape scheme. The main idea is the approximation for each step into a classification of homogeneous deformations, grouped by unsupervised clustering.The third module is the re-identfication one. We show that employing a PDM as a structural support improves re-identification results. We experiment classic appearance-based signatures, color histograms and the shape descriptor Shape Context. The results are encouraging for application perspective of PDM for the gait recognition.

Cette thèse s'inscrit dans le contexte de la vidéo surveillance et s'intéresse à la ré-identification de personnes dans un réseau de caméras à champs disjoints. La ré-identification consiste à déterminer si une personne quitte le champ d'une caméra et réapparait dans une autre. Elle est particulièrement difficile car l'apparence de la personne change de manière significative à cause de différents facteurs. Nous proposons d'exploiter la complémentarité de l'apparence de la personne et son style de mouvement pour la décrire d'une manière appropriée aux facteurs de complexité. C'est une nouvelle approche car la ré-identification a été traitée par des approches d'apparence. Les contributions majeures proposées concernent: la description de la personne et l'appariement des primitives. Nous étudions deux scénarios de ré-identification : simple et complexe. Dans le scénario simple, nous étudions la faisabilité de deux approches : approche biométrique basée sur la démarche et approche d'apparence fondée sur des points d'intérêt (PI) spatiaux et des primitives de couleur. Dans le scénario complexe, nous proposons de fusionner des primitives d'apparence et de mouvement. Nous décrivons le mouvement par des Pis spatio-temporels et l'apparence par des PIs spatiaux. Pour l'appariement, nous utilisons la représentation parcimonieuse comme méthode d'appariement local entre les PIs. Le schéma de fusion est fondé sur le calcul de la somme pondérée des votes des PIs et ensuite l'application de la règle de vote majoritaire. Nous proposons également une analyse d'erreurs permettant d'identifier les sources d'erreurs de notre système pour dégager les pistes d'amélioration les plus prometteuses / This thesis focuses on the problem of hu man re-identification through a network of cameras with non overlapping fields of view. Human re-identification is defined as the task of determining if a persan leaving the field of one camera reappears in another. It is particularly difficult because of persons' significant appearance change within different cameras vision fields due to various factors. In this work, we propose to exploit the complementarity of the person's appearance and style of movement that leads to a description that is more robust with respect to various complexity factors. This is a new approach for the re-identification problem that is usually treated by appearance methods only. The major contributions proposed in this work include: person's description and features matching. First we study the re-identification problem and classify it into two scenarios: simple and complex. In the simple scenario, we study the feasibility of two approaches: a biometric approach based on gait and an appearance approach based on spatial Interest Points (IPs) and color features. In the complex scenario, we propose to exploit a fusion strategy of two complementary features provided by appearance and motion descriptions. We describe motion using spatiotemporal IPs, and use the spatial IPs for describing the appearance. For feature matching, we use sparse representation as a local matching method between IPs. The fusion strategy is based on the weighted sum of matched IPs votes and then applying the rule of majority vote. Moreover, we have carried out an error analysis to identify the sources of errors in our proposed system to identify the most promising areas for improvement

La ré-identification de véhicules permet d’estimer deux paramètres clés en gestion dynamique de trafic : les temps de parcours et les matrices origine-destination. Dans cette thèse, nous avons choisi d'effectuer cette ré-identification par analyse des signatures magnétiques mesurées par des capteurs tri-axiaux placés sur la chaussée. La signature magnétique est générée par l'aimantation du véhicule : elle est alors susceptible de varier en fonction de l'orientation du véhicule par rapport au champ magnétique terrestre (à cause de l'aimantation induite dans le plan horizontal), et en fonction de sa position latérale relative par rapport aux capteurs. Les expérimentations que nous avons menées nous ont permis d'obtenir une base de données de signatures magnétiques, et ainsi d'évaluer les performances des deux méthodes de ré-identification que nous avons élaborées.La première méthode consiste à comparer directement des paires de signatures magnétiques mesurées par les capteurs. Les calculs de distances entre les paires sont effectués avec des algorithmes classiques comme la distance euclidienne. Les résultats obtenus sont très bons, et baissent peu lorsque le véhicule change d'orientation. Toutefois, ils sont très sensibles à la déformation des signaux due au décalage latéral du véhicule, et nécessitent donc de positionner un capteur tous les 0.20m sur toute la largeur de la voie.Dans un second temps, nous proposons une méthode de ré-identification qui compare des paires de modèles magnétiques de véhicules. Ces modèles sont composés de plusieurs dipôles, et sont calculés à partir des signatures mesurées. La modélisation a pour but de s’affranchir du décalage latéral du véhicule, en remontant à la position relative du véhicule par rapport aux capteurs. Avec deux fois moins de capteurs que la méthode précédente, les résultats obtenus sur signaux réels sont également très bons, même s'ils sont un peu plus sensibles au changement d'orientation du véhicule. De plus, une simulation nous permet d'extrapoler qu'il est effectivement possible de s'affranchir du décalage latéral avec cette méthode. / Vehicle re-identification gives access to two essential data for dynamic traffic management: travel times and origin-destination matrices. In this thesis, we chose to re-identify vehicles by analysing their magnetic signatures measured with several 3-axis magnetic sensors located on the road. A magnetic signature is created by the vehicle magnetization. Therefore, the vehicle orientation to the Earth’s magnetic field (which determines the induced magnetization) and the variation of the lateral position of the vehicle relative to the sensors’ one might both have an impact on the magnetic signature. We gathered our experiments’ results into a database of magnetic signatures that we used to evaluate the performances of the two vehicle re-identification methods we developed.The first method is a direct comparison of pairs of magnetic signatures measured by the sensors. Distances between pairs of signatures are computed using classic algorithms such as the Euclidean distance. This method’s results are very positive and the vehicle change of orientation has only a slight impact on them. However, the distortion of signals due to a lateral offset in the vehicle position has a strong impact on the results. As a consequence, sensors have to be placed every 0.20m over the road’s entire width.The second proposed method compares pairs of vehicles’ magnetic models. Those models are composed of several magnetic dipoles and are determined from the measured signatures. Magnetic modelling aims to suppress the influence of the vehicle lateral position on the results by assessing the relative position of the vehicle above the sensors. Although the vehicle orientation has slightly more impact on the performances than with the first method, the overall results are more promising. This method also allows us to divide by two the number of sensors used.

Cette thèse s'inscrit dans le contexte de la vidéosurveillance "intelligente", et s'intéresse à la supervision de réseaux de caméras à champs disjoints, contrainte classique lorsque l'on souhaite limiter l'instrumentation du bâtiment. Il s'agit là de l'un des cas d'application du problème de la ré-identification de personnes. À ce titre, la thèse propose une approche se démarquant de l'état de l'art qui traite classiquement le problème sous l'aspect description, via la mise en correspondance de signatures image à image. Nous l'abordons ici sous l'aspect filtrage : comment intégrer la ré-identification de personne dans un processus de suivi multi-pistes, de manière à maintenir des identités de pistes cohérentes, malgré des discontinuités dans l'observation. Nous considérons ainsi une approche suivi et mises en correspondance, au niveau caméra et utilisons ce module pour ensuite raisonner au niveau du réseau. Nous décrivons dans un premier temps les approches classiques de ré-identification, abordées sous l'aspect description. Nous proposons ensuite un formalisme de filtrage particulaire à états continus et discret pour estimer conjointement position et identité de la cible au cours du temps, dans chacune des caméras. Un second étage de traitement permet d'intégrer la topologie du réseau et les temps d'apparition pour optimiser la ré-identification au sein du réseau. Nous démontrons la faisabilité de l'approche en grande partie sur des données issues de réseaux de caméras déployés au sein du laboratoire, étant donné le manque de données publiques concernant ce domaine. Nous prévoyons de mettre en accès public ces banques de données.