Les travaux présentés dans ce manuscrit traitent de la détection de personnes dans des séquences d'images et de l'analyse de leur activité. Ces travaux ont été menés au sein de l'institut PRISME dans le cadre du projet CAPTHOM du pôle de compétitivité S2E2. Après un état de l'art sur l'analyse de séquences d'images pour l'interprétation automatique de scènes et une étude comparative de modules de vidéo-surveillance, nous présentons la méthode de détection de personnes proposée dans le cadre du projet CAPTHOM. Celle-ci s'articule autour de trois étapes : la détection de changement, le suivi d'objets mobiles et la classification. Chacune de ces étapes est décrite dans ce manuscrit. Ce système a été évalué sur une large base de vidéos correspondant à des scénarios de cas d'usage de CAPTHOM établis par les partenaires du projet. Ensuite, nous présentons des méthodes permettant d'obtenir, à partir du flux vidéo d'une ou deux caméras, d'autres informations de plus haut-niveau sur l'activité des personnes détectées. Nous présentons tout d'abord une mesure permettant de quantifier leur activité. Ensuite, un système de stéréovision multi-capteurs combinant une caméra infrarouge et une caméra visible est utilisé pour augmenter les performances du système de détection mais aussi pour permettre la localisation dans l'espace des personnes et donc accéder à une cartographie de leurs déplacements. Finalement, une méthode de détection d'événements anormaux, basée sur des statistiques de distributions spatiales et temporelles des pixels de l'avant-plan est détaillée. Les méthodes proposées offrent un panel de solutions performantes sur l'extraction d'informations haut-niveau à partir de séquences d'images.

Les travaux présentés dans ce manuscrit traitent de la détection de personnes dans des séquences d’images et de l’analyse de leur activité. Ces travaux ont été menés au sein de l’institut PRISME dans le cadre du projet CAPTHOM du pôle de compétitivité S2E2. Après un état de l’art sur l’analyse de séquences d’images pour l’interprétation automatique de scènes et une étude comparative de modules de vidéo-surveillance, nous présentons la méthode de détection de personnes proposée dans le cadre du projet CAPTHOM. Celle-ci s’articule autour de trois étapes : la détection de changement, le suivi d’objets mobiles et la classification. Chacune de ces étapes est décrite dans ce manuscrit. Ce système a été évalué sur une large base de vidéos correspondant à des scénarios de cas d’usage de CAPTHOM établis par les partenaires du projet. Ensuite, nous présentons des méthodes permettant d’obtenir, à partir du flux vidéo d’une ou deux caméras, d’autres informations de plus haut-niveau sur l’activité des personnes détectées. Nous présentons tout d’abord une mesure permettant de quantifier leur activité. Ensuite, un système de stéréovision multi-capteurs combinant une caméra infrarouge et une caméra visible est utilisé pour augmenter les performances du système de détection mais aussi pour permettre la localisation dans l’espace des personnes et donc accéder à une cartographie de leurs déplacements. Finalement, une méthode de détection d’événements anormaux, basée sur des statistiques de distributions spatiales et temporelles des pixels de l’avant-plan est détaillée. Les méthodes proposées offrent un panel de solutions performantes sur l’extraction d’informations haut-niveau à partir de séquences d’images. / The work presented in this manuscript deals with people detection and activity analysis in images sequences. This work has been done in the PRISME institut within the framework of the CAPTHOM project of the French Cluster S2E2. After a state of the art on video analysis and a comparative study of several video surveillance tools, we present the people detection method proposed within the framework of the CAPTHOM project. This method is based on three steps : change detection, mobile objects tracking and classification. Each steps is described in this thesis. The system was assessed on a wide videos dataset. Then, we present methods used to obtain other high-level information concerning the activity of detected persons. A criterion for characterizing their activity is presented. Then, a multi-sensors stereovision system combining an infrared and a daylight camera is used to increase performances of the people detection system but also to localize persons in the 3D space and so build the moving cartography. Finally, an abnormal events detection method based on statistics about spatio-temporal foreground pixel distribution is presented. These proposed methods offer robust and efficient solutions on high-level information extraction from images sequences.

Cette thèse traite de la détection et de la ré-identification de personnes dans un environnement instrumenté par un réseau de caméras à champ disjoint. Elle est à la confluence des communautés Recherche Opérationnelle et Vision car elle s'appuie sur des techniques d'optimisation combinatoire pour formaliser de nouvelles modalités de vision par ordinateur. Dans ce contexte, un détecteur visuel de personnes, basé sur la programmation linéaire en nombres entiers, est tout d'abord proposé. Son originalité est de prendre en compte le coût de traitement et non uniquement les performances de détection. Ce détecteur est évalué et comparé aux détecteurs de la littérature les plus performants. Ces expérimentations menées sur deux bases de données publiques mettent clairement en évidence l'intérêt de notre détecteur en terme de coût de traitement avec garantie de performance de détection. La seconde partie de la thèse porte sur la modalité de ré-identification de personnes. L'originalité de notre approche, dénommée D-NCR (pour Directed Network Consistent Re-identification), est de prendre explicitement en compte les temps minimum de transit des personnes dans le réseau de caméras et sa topologie pour améliorer la performance de la ré-identification. On montre que ce problème s'apparente à une recherche de chemins disjoints particuliers à profit maximum dans un graphe orienté. Un programme linéaire en nombres entiers est proposé pour sa modélisation et résolution. Les évaluations réalisées sur une base publique d'images sont prometteuses et montrent le potentiel de cette approche. / This thesis deals with people detection and re-identification in an environment instrumented by a network of disjoint-field cameras. It stands at the confluence of the Operational Research and Computer Vision communities as combinatorial optimization techniques are used to formalize new computer vision methods. In this context, a people visual detector, based on mixed-integer programming, is first propose that simultaneously take computation time and detection performances into account. This detector is evaluated and compared to the best detectors of the literature. These experiments, conducted on two public databases, clearly demonstrate the interest of our detector in terms of processing time with detection performance guarantee. The second part of the thesis deals with people re-identification. Our novel approach, called D-NCR (Directed Network Consistent Re-identification), explicitly takes minimum transit times in the camera network into account, as well as the network topology, in order to improve the re-identification performance. This problem is similar to the determination of particular maximum-profitable independent paths in an oriented graph. A mixed-integer program is proposed to model and solve this problem. The experiments made on a public dataset sound promising and tend to prove the potential of the approach.

Ce travail de thèse a été réalisé dans le cadre de la coopération entre l’Université de Technologie de Compiègne (UTC) et le Centre Technique des Industries Mécaniques (CETIM). Nous présentons un système de détection de personnes pour l’aide à la conduite dans les engins de chantier. Une partie du travail a été dédiée à l’analyse du contexte de l’application, ce qui a permis de proposer un système de perception composé d’une caméra monoculaire fisheye et d’un Lidar. L’utilisation des caméras fisheye donne l’avantage d’un champ de vision très large avec en contrepartie, la nécessité de gérer les fortes distorsions dans l’étape de détection. A notre connaissance, il n’y a pas eu de recherches dédiées au problème de la détection de personnes dans les images fisheye. Pour cette raison, nous nous sommes concentrés sur l’étude et la quantification de l’impact des distorsions radiales sur l’apparence des personnes dans les images et nous avons proposé des approches adaptatives pour gérer ces spécificités. Nos propositions se sont inspirées de deux approches de l’état de l’art pour la détection des personnes : les histogrammes de gradient orientés (HOG) et le modèle des parties déformables (DPM). Tout d’abord, en enrichissant la base d’apprentissage avec des imagettes fisheye artificielles, nous avons pu montrer que les classificateurs peuvent prendre en compte les distorsions dans la phase d’apprentissage. Cependant, adapter les échantillons d’entrée, n’est pas la solution optimale pour traiter le problème de déformation de l’apparence des personnes dans les images. Nous avons alors décidé d’adapter l’approche de DPM pour prendre explicitement en compte le modèle de distorsions. Il est apparu que les modèles déformables peuvent être modifiés pour s’adapter aux fortes distorsions des images fisheye, mais ceci avec un coût de calculatoire supérieur. Dans cette thèse, nous présentons également une approche de fusion Lidar/camera fisheye. Une architecture de fusion séquentielle est utilisée et permet de réduire les fausses détections et le coût calculatoire de manière importante. Un jeu de données en environnement de chantier a été construit et différentes expériences ont été réalisées pour évaluer les performances du système. Les résultats sont prometteurs, à la fois en terme de vitesse de traitement et de performance de détection. / This thesis has been carried out in the framework of the cooperation between the Compiègne University of Technology (UTC) and the Technical Centre for Mechanical Industries (CETIM). In this work, we present a vision-based multi-sensors people detection system for safety on heavy machines. A perception system composed of a monocular fisheye camera and a Lidar is proposed. The use of fisheye cameras provides an advantage of a wide field-of-view but yields the problem of handling the strong distortions in the detection stage.To the best of our knowledge, no research works have been dedicated to people detection in fisheye images. For that reason, we focus on investigating and quantifying the strong radial distortions impacts on people appearance and proposing adaptive approaches to handle that specificity. Our propositions are inspired by the two state-of-the-art people detection approaches : the Histogram of Oriented Gradient (HOG) and the Deformable Parts Model (DPM). First, by enriching the training data set, we prove that the classifier can take into account the distortions. However, fitting the training samples to the model, is not the best solution to handle the deformation of people appearance. We then decided to adapt the DPM approach to handle properly the problem. It turned out that the deformable models can be modified to be even better adapted to the strong distortions of the fisheye images. Still, such approach has adrawback of the high computation cost and complexity. In this thesis, we also present a framework that allows the fusion of the Lidar modality to enhance the vision-based people detection algorithm. A sequential Lidar-based fusion architecture is used, which addresses directly the problem of reducing the false detections and computation cost in vision-based-only system. A heavy machine dataset have been also built and different experiments have been carried out to evaluate the performances of the system. The results are promising, both in term of processing speed and performances.

Cette thèse CIFRE est effectuée dans un contexte industriel et présente un framework complet pour la détection, le suivi mono-caméra et de la ré-identification de personnes dans le contexte multi-caméras. Les performances élevés et le traitement en temps réel sont les deux contraintes critiques ayant guidé ce travail. La détection de personnes vise à localiser/délimiter les gens dans les séquences vidéo. Le détecteur proposé est basé sur une cascade de classifieurs de type LogitBoost appliqué sur des descripteurs de covariances. Une approche existante a fortement été optimisée, la rendant applicable en temps réel et fournissant de meilleures performances. La méthode d'optimisation est généralisable à d'autres types de détecteurs d'objets. Le suivi mono-caméra vise à fournir un ensemble d'images de chaque personne observée par chaque caméra afin d'extraire sa signature visuelle, ainsi qu'à fournir certaines informations du monde réel pour l'amélioration de la ré-identification. Ceci est réalisé par le suivi de points SIFT à l'aide d'une filtre à particules, ainsi qu'une méthode d'association de données qui infère le suivi des objets et qui gère la majorité des cas de figures possible, notamment les occultations. Enfin, la ré-identification de personnes est réalisée avec une approche basée sur l'apparence globale en améliorant grandement une approche existante, obtenant de meilleures performances tout en étabt applicable en temps réel. Une partie "conscience du contexte" est introduite afin de gérer le changement d'orientation des personnes, améliorant les performances dans le cas d'applications réelles.

Cette thèse CIFRE est effectuée dans un contexte industriel et présente un framework complet pour la détection, le suivi mono-caméra et de la ré-identification de personnes dans le contexte multi-caméras. Les performances élevés et le traitement en temps réel sont les deux contraintes critiques ayant guidé ce travail. La détection de personnes vise à localiser/délimiter les gens dans les séquences vidéo. Le détecteur proposé est basé sur une cascade de classifieurs de type LogitBoost appliqué sur des descripteurs de covariances. Une approche existante a fortement été optimisée, la rendant applicable en temps réel et fournissant de meilleures performances. La méthode d'optimisation est généralisable à d'autres types de détecteurs d'objets. Le suivi mono-caméra vise à fournir un ensemble d'images de chaque personne observée par chaque caméra afin d'extraire sa signature visuelle, ainsi qu'à fournir certaines informations du monde réel pour l'amélioration de la ré-identification. Ceci est réalisé par le suivi de points SIFT à l'aide d'une filtre à particules, ainsi qu'une méthode d'association de données qui infère le suivi des objets et qui gère la majorité des cas de figures possible, notamment les occultations. Enfin, la ré-identification de personnes est réalisée avec une approche basée sur l'apparence globale en améliorant grandement une approche existante, obtenant de meilleures performances tout en étabt applicable en temps réel. Une partie "conscience du contexte" est introduite afin de gérer le changement d'orientation des personnes, améliorant les performances dans le cas d'applications réelles. / This thesis is performed in industrial context and presents a whole framework for people detection and tracking in a camera network. It addresses the main process steps: people detection, people tracking in mono-camera context, and people re-identification in multi-camera context. High performances and real-time processing are considered as strong constraints. People detection aims to localise and delimits people in video sequences. The proposed people detection is performed using a cascade of classifiers trained using LogitBoost algorithm on region covariance descriptors. A state of the art approach is strongly optimized to process in real time and to provide better detection performances. The optimization scheme is generalizable to many other kind of detectors where all possible weak classifiers cannot be reasonably tested. People tracking in mono-camera context aims to provide a set of reliable images of every observed person by each camera, to extract his visual signature, and it provides some useful real world information for re-identification purpose. It is achieved by tracking SIFT features using a specific particle filter in addition to a data association framework which infer object tracking from SIFT points one, and which deals with most of possible cases, especially occlusions. Finally, people re-identification is performed using an appearance based approach by improving a state of the art approach, providing better performances while keeping the real-time processing advantage. A context-aware part is introduced to robustify the visual signature against people orientations, ensuring better re-identification performances in real application case.

Dans cette thèse, nous traitons des problèmes de la détection des personnes et de l'estimation de leurs poses dans la Salle Opératoire (SO), deux éléments clés pour le développement d'applications d'assistance chirurgicale. Nous percevons la salle grâce à des caméras RGB-D qui fournissent des informations visuelles complémentaires sur la scène. Ces informations permettent de développer des méthodes mieux adaptées aux difficultés propres aux SO, comme l'encombrement, les surfaces sans texture et les occlusions. Nous présentons des nouvelles approches qui tirent profit des informations temporelles, de profondeur et des vues multiples afin de construire des modèles robustes pour la détection des personnes et de leurs poses. Une évaluation est effectuée sur plusieurs jeux de données complexes enregistrés dans des salles opératoires avec une ou plusieurs caméras. Les résultats obtenus sont très prometteurs et montrent que nos approches surpassent les méthodes de l'état de l'art sur ces données cliniques. / In this thesis, we address the two problems of person detection and pose estimation in Operating Rooms (ORs), which are key ingredients in the development of surgical assistance applications. We perceive the OR using compact RGB-D cameras that can be conveniently integrated in the room. These sensors provide complementary information about the scene, which enables us to develop methods that can cope with numerous challenges present in the OR, e.g. clutter, textureless surfaces and occlusions. We present novel part-based approaches that take advantage of depth, multi-view and temporal information to construct robust human detection and pose estimation models. Evaluation is performed on new single- and multi-view datasets recorded in operating rooms. We demonstrate very promising results and show that our approaches outperform state-of-the-art methods on this challenging data acquired during real surgeries.