Les travaux présentés dans ce manuscrit traitent de la détection de personnes dans des séquences d’images et de l’analyse de leur activité. Ces travaux ont été menés au sein de l’institut PRISME dans le cadre du projet CAPTHOM du pôle de compétitivité S2E2. Après un état de l’art sur l’analyse de séquences d’images pour l’interprétation automatique de scènes et une étude comparative de modules de vidéo-surveillance, nous présentons la méthode de détection de personnes proposée dans le cadre du projet CAPTHOM. Celle-ci s’articule autour de trois étapes : la détection de changement, le suivi d’objets mobiles et la classification. Chacune de ces étapes est décrite dans ce manuscrit. Ce système a été évalué sur une large base de vidéos correspondant à des scénarios de cas d’usage de CAPTHOM établis par les partenaires du projet. Ensuite, nous présentons des méthodes permettant d’obtenir, à partir du flux vidéo d’une ou deux caméras, d’autres informations de plus haut-niveau sur l’activité des personnes détectées. Nous présentons tout d’abord une mesure permettant de quantifier leur activité. Ensuite, un système de stéréovision multi-capteurs combinant une caméra infrarouge et une caméra visible est utilisé pour augmenter les performances du système de détection mais aussi pour permettre la localisation dans l’espace des personnes et donc accéder à une cartographie de leurs déplacements. Finalement, une méthode de détection d’événements anormaux, basée sur des statistiques de distributions spatiales et temporelles des pixels de l’avant-plan est détaillée. Les méthodes proposées offrent un panel de solutions performantes sur l’extraction d’informations haut-niveau à partir de séquences d’images. / The work presented in this manuscript deals with people detection and activity analysis in images sequences. This work has been done in the PRISME institut within the framework of the CAPTHOM project of the French Cluster S2E2. After a state of the art on video analysis and a comparative study of several video surveillance tools, we present the people detection method proposed within the framework of the CAPTHOM project. This method is based on three steps : change detection, mobile objects tracking and classification. Each steps is described in this thesis. The system was assessed on a wide videos dataset. Then, we present methods used to obtain other high-level information concerning the activity of detected persons. A criterion for characterizing their activity is presented. Then, a multi-sensors stereovision system combining an infrared and a daylight camera is used to increase performances of the people detection system but also to localize persons in the 3D space and so build the moving cartography. Finally, an abnormal events detection method based on statistics about spatio-temporal foreground pixel distribution is presented. These proposed methods offer robust and efficient solutions on high-level information extraction from images sequences.

Dans le cadre de cette thèse, nous avons construit et caractérisé un soustracteur de photons uniques pour l'ingénierie d'états quantiques de la lumière. Le but étant de réaliser une soustraction de photon pure et spectralement sélective sur une ressource multimode dans le domaine spectral. Ce soustracteur repose sur une interaction paramétrique de somme de fréquence entre un faisceau signal et un faisceau de contrôle au sein d'un milieu non-linéaire. Le spectre du faisceau de contrôle est mis en forme à l'aide d'un procédé de mise en forme d'impulsion. Le photon convertit est filtré et détecté grâce à détecteur de photon unique. Le soustracteur est donc la combinaison de tous ces éléments successifs. Nous avons développé un cadre théorique décrivant la soustraction multimode de photons uniques et montré qu'elle peut être décrite, peu importe l'implémentation, par une matrice de soustraction dans une base de modes. Grâce à ce formalisme, nous avons montré que le processus pouvait être caractérisé sans mesurer le signal transformé mais simplement en lui substituant un faisceau sonde dont les impulsions sont aussi mises en forme. Nous avons réalisé une tomographie du processus au niveau du photon unique pour une large gamme de faisceaux de contrôle différents. Nos résultats sont correctement décrits par la théorie développée et démontre la pureté du processus ainsi que l'agilité de la technique employée. / During this thesis, we have built and characterized a single-photon subtractor to engineer the quantum states of light. The aim is to perform a pure and spectrally selective photon subtraction on a multimode resource in the spectral domain. This subtractor consists in a parametric sum-frequency interaction between a signal beam and a control beam within a non-linear medium. The optical spectrum of the control beam is shaped using ultrafast pulse shaping. The up-converted photon is filtered and detected by a single-photon detector. The subtractor is therefore the combination of all these successive elements. We have developed a theoretical framework to describe the multimode subtraction of a single photon and showed that it can be summed up by a subtraction matrix in a modal basis independently of the physical implementation. Thanks to this formalism, we have shown that the process can be characterized without measuring the transformed signal beam but simply by using a probe beam whose pulses are also shaped. We carried out a process tomography at the single-photon level for a wide range of different control beams. Our results are correctly described by the theory we developed and demonstrates the purity of the process as well as the agility of the technique we used.

La prothèse cochléaire est un appareillage destiné à la réhabilitation des surdités profondes et totales dont un appareillage conventionnel est inefficace. Elle assure la stimulation directe des neurones cochléaires à travers un faisceau d’électrodes. Différents travaux de recherches ont été établis afin d'évaluer l'intelligibilité de la parole chez les sujets bilatéralement implantés en environnements silencieux et bruité. Les résultats ont montré une bonne intelligibilité de la parole en milieu silencieux. Toutefois, les capacités de perception de la parole chez les patients implantés se dégradent en environnement bruité. Nous avons de ce fait proposé trois approches de traitement du signal en vue d'une amélioration de l'intelligibilité de la parole dans le cas de l'implant cochléaire bilatéral: la stimulation bilatérale décalée, l'algorithme de la soustraction spectrale bi-voie et l'algorithme de la soustraction interspectrale. Des améliorations de l'intelligibilité de la parole entre 4% et 10% ont été notées dans le cas de la stimulation bilatérale décalée par rapport à la stimulation bilatérale symétrique. L'approche basée sur l'algorithme de la soustraction spectrale bi-voie présentait des améliorations variables entre 10% et 17%. De meilleures performances ont été obtenues lorsque l'approche basée sur l'algorithme de la soustraction interspectrale est considérée où les améliorations étaient entre 15% et 27% / Cochlear prostheses are intended for persons suffering from deep or total deafness where conventional prostheses proved ineffective. In quiet listening conditions, most bilateral cochlear implant (BCI) users can now achieve even more than 80% word recognition scores regardless the used device. However, under more challenging listening conditions, BCI recipients perform poorly, compared to normal-hearing listeners. In this work, we proposed three speech processing approaches for speech intelligibility improvement. The first is based on shifted bilateral cochlear implant stimulation; the second is based on dual-channel spectral subtraction algorithm and finally the cross power spectral subtraction algorithm was considered. Experimental results showed a speech intelligibility improvement between 4% and 10% when the shifted bilateral cochlear implant stimulation is considered. Performance amelioration was observed when the dual-channel spectral subtraction based speech enhancement algorithm was considered and the improvement was between 10% and 17%. The better performance was obtained when noisy speech signals were processed using cross power spectral subtraction algorithm and the improvement was between 15% and 27%

Dans cette thèse, nous nous intéressons à la détection d'objets mobiles dans des séquences vidéo. En particulier, nous proposons une nouvelle méthode d'estimation du fond qui peut s'adapter aux différentes variations de la scène (ex. changements d'illumination, du fond). Cette méthode est composée d'un algorithme de soustraction du fond pour détecter les pixels du fond et d'un algorithme de post-traitement pour éliminer les changements d'illumination tels que les ombres des objets mobiles. Pour que cette méthode puisse s'adapter à une scène dynamique, nous proposons un contrôleur avec deux stratégies d'adaptation. La première stratégie supervise l'algorithme de soustraction du fond pour mettre à jour la représentation du fond en fonction du type d'objets détectés et des conditions d'illumination. Cette stratégie permet aux algorithmes de soustraction du fond de résoudre des problèmes concernant des petits bruits, des changements soudains d'illumination, la gestion des objets stationnaires, et aussi la détection des objets d'intérêt quand ils s'arrêtent de bouger. La deuxième stratégie règle les valeurs des paramètres de l'algorithme de soustraction du fond pour qu'il puisse s'adapter aux conditions courantes de la scène telles que le niveau de bruit. Pour atteindre ces objectifs, le contrôleur utilise les résultats des tâches de classification et de suivi, les informations diverses des algorithmes (ex. la sémantique des paramètres), ainsi que la nature de la scène observée (ex. scènes intérieures ou extérieures) . L'algorithme de soustraction du fond proposé est une extension du modèle de Mélange de Gaussiennes et il prend en compte les caractéristiques de la scène tels que les mouvements du fond et les changements dynamiques du fond. Cet algorithme propose également une nouvelle méthode pour mieux estimer la moyenne et l'écart type des distributions gaussiennes dans la représentation du fond. L'étape de post-traitement consiste en un algorithme pour supprimer les changements d'illumination à l'aide d'un nouvel espace de couleurs. Cet espace de couleurs est robuste aux changements d'illumination, ainsi que des irrégularités de caméras (la balance de blanc, la transformation non-linéaire lorsque l'intensité de lumière est faible par exemple). Cette méthode a été validée dans la base de données publiques ETISEO et dans une vidéo d'une heure du projet GERHOME.

Les implants cochléaires sont des appareils destinés à la réhabilitationdes surdités profondes et totales. Ils assurent la stimulation du nerf auditif en plaçant des électrodes dans la cochlée. Différentes études ont été établis afin d’améliorer l’intelligibilité de la parole dans le bruit chez le patientporteur de cet appareil. Les techniques bilatérales et binaurales permettent dereproduire une audition binaurale, car les deux oreilles sont simulées (commepour les personnes normo-entendantes). Ainsi la localisation et la perceptiondes sons environnants sont améliorées par rapport à une implantationmonaurale. Toutefois, les capacit´es de reconnaissances des mots sont trèsvite limitées en pr´esence de bruits. Nous avons d´evelopp´es des techniquesde r´eduction de bruit afin d’augmenter les performances de reconnaissance.Des améliorations de 10% à 15% suivant les conditions ont été observées. Néanmoins, si la perception est améliorée par les algorithmes, ils focalisent sur une direction, et ainsi, la localisation est alors réduite à l’angle delocalisation. Une seconde étude a alors été effectuée pour mesurer l’effetdes algorithmes sur la localisation. Ainsi, le beamformer donne les meilleurs résultats de compréhension mais la moins bonne localisation. La ré-injectiond’un pourcentage du signal d’entrée sur la sortie a permis de compenser laperte de la localisation sans détériorer l’intelligibilité. Le résultat de ces deux expériences montre qu’il faut un compromis entre laperception et la localisation des sons pour obtenir les meilleures performances. / Cochlear implants are to sail for the rehabilitation of deep and totaldeafness. They provide stimulation of the auditory nerve by placing electrodesin the cochlea. Various studies have been established to improve thespeech intelligibility in noise in the patient of this device. Bilateral andbinaural techniques allow reproducing a binaural hearing, since both earsare simulated (as for normal hearing people). Thus localization and theperception of the surrounding sounds are improved from a monauralimplantation. However, the recognition of the words capabilities are limitedvery quickly in the presence of noise.We developed noise reduction techniquesto increase the performance of recognition. Improvements of 10% to 15%depending on the conditions were observed. Nevertheless, if the perception isenhanced by algorithms, they focus on a direction, and thus the location isthen reduced at the corner of localization. Then, a second study was madeto measure the effect of localization algorithms. Thus, the beamformer givesthe best results of understanding but the less good location. The re-injectionof a percentage of the input to the output signal helped offset the loss of thelocation without damaging the intelligibility.The result of these two experiments shows that it takes a compromisebetween perception and sound localization for best performance.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

L'estimation de la pose du corps humain ou son suivi grâce à la vision par ordinateur se heurte à la diffi culté d'explorer un espace de grande dimension. Les approches par apprentissage et particulièrement celles qui font appel aux régressions vers des espaces de dimension réduits comme les LLE [RS00] ou les GPLVM [Law03] permettent de résoudre cette diffi culté dans le cas de gestes cycliques [UFF06] sans parvenir à généraliser le suivi pour des poses quelconques. D'autres techniques procèdent directement par la comparaison de l'image test avec une base d'apprentissage. Dans cet esprit, le PSH [SVD03] permet d'identi fier rapidement un ensemble de poses similaires dans une grande base de données. Cependant, même en intégrant des techniques d'extrapolation qui permettent de générer d'autres poses à partir de celles apprises, les approches uniquement basées sur l'apprentissage ne parviennent généralement pas à couvrir de façon assez dense l'espace des poses [TSDD06]. D'autres voies consistent à mettre en oeuvre une méthode déterministe ou stochastique. Les méthodes déterministes [PF03] fournissent souvent une solution sous-optimale en restant piégées sur un optimum local du fait des ambiguïtés issues de la vision monoculaire. Les approches stochastiques tentent d'explorer la probabilité a posteriori mais là encore, la grande dimension de l'espace des poses, notamment dans le cas des méthodes à base de simulation par échantillonnage, exige de multiplier le nombre des tirages a n d'avoir une chance d'explorer le mode dominant. Une solution intéressante consiste à utiliser un modèle de corps à membres indépendants [SBR+04] pour restreindre l'exploration aux sous espaces dé nis par les paramètres de chacun des membres. L'infl uence d'un membre sur les autres s'exprime grâce à la propagation des croyances [KFL01] pour fournir une solution cohérente. Dans ce travail de thèse, cette dernière solution est retenue en l'associant au fi ltre à particules pour générer un espace discret où s'e ectue la propagation des croyances [BCMC06]. Ce procédé est préférable à la modélisation paramétrique des messages par un échantillonneur de Gibbs, un procédé coûteux en ressources dérivé de l'algorithme PAMPAS [Isa03]. Parallèlement à cette solution, le développement d'un suivi robuste du haut du corps, même en 2D [NB07b], exige une fusion de plusieurs indices extraits de l'image. La vraisemblance des hypothèses émises vis-à-vis de l'image est évaluée à partir d'indices tirés des gradients et de la couleur combinés avec une soustraction de fond [NB06] et une détection du mouvement. L'interprétation de la profondeur pour le passage en 3D constitue une di fficulté majeure du suivi monoculaire. La fusion d'indices évoquée précédemment devient insu sante pour contraindre la pose. Cependant, du fait des contraintes articulaires, l'espace réel des poses occupe un sous-espace très réduit dans l'espace théorique. Le codage de ces contraintes dans l'étape de propagation des croyances associé à la fusion d'indices permet alors d'aboutir à de bonnes performances, même dans les cas d'environnements non contraints (lumière, vêtements...) [NB07a]. Une meilleure gestion des occultations est mise en oeuvre en ajoutant un terme de compatibilité des hypothèses basé sur l'apprentissage. Avec le modèle utilisé [SBR+04], ce sont des membres indépendants plutôt que des poses complètes qui sont stockées dans la base d'apprentissage. Ceci permet d'obtenir une couverture satisfaisante de l'espace des poses avec un nombre raisonnable d'exemples appris. La propagation des croyances assure un assemblage cohérent des membres pour arriver au résultat et le processus de sélection des exemples dans la base peut-être accéléré grâce au PSH [SVD03].

Reproduction de : Thèse d'exercice : Médecine : Nancy 1 : 2007. / Titre provenant de l'écran-titre.

Dans ce manuscrit de thèse, nous présentons un descripteur robuste pour la soustraction d’arrière-plan qui est capable de décrire la texture à partir d’une séquence d’images. Ce descripteur est moins sensible aux bruits et produit un histogramme court, tout en préservant la robustesse aux changements d’éclairage. Un autre descripteur pour la reconnaissance dynamique des textures est également proposé. Le descripteur permet d’extraire non seulement des informations de couleur, mais aussi des informations plus détaillées provenant des séquences vidéo. Enfin, nous présentons une approche de sélection de caractéristiques basée sur le principe d'apprentissage par ensemble qui est capable de sélectionner les caractéristiques appropriées pour chaque pixel afin de distinguer les objets de premier plan de l’arrière plan. En outre, notre proposition utilise un mécanisme pour mettre à jour l’importance relative de chaque caractéristique au cours du temps. De plus, une approche heuristique est utilisée pour réduire la complexité de la maintenance du modèle d’arrière-plan et aussi sa robustesse. Par contre, cette méthode nécessite un grand nombre de caractéristiques pour avoir une bonne précision. De plus, chaque classificateur de base apprend un ensemble de caractéristiques au lieu de chaque caractéristique individuellement. Pour compenser ces limitations, nous avons amélioré cette approche en proposant une nouvelle méthodologie pour sélectionner des caractéristiques basées sur le principe du « wagging ». Nous avons également adopté une approche basée sur le concept de « superpixel » au lieu de traiter chaque pixel individuellement. Cela augmente non seulement l’efficacité en termes de temps de calcul et de consommation de mémoire, mais aussi la qualité de la détection des objets mobiles. / In this thesis, we present a robust descriptor for background subtraction which is able to describe texture from an image sequence. The descriptor is less sensitive to noisy pixels and produces a short histogram, while preserving robustness to illumination changes. Moreover, a descriptor for dynamic texture recognition is also proposed. This descriptor extracts not only color information, but also a more detailed information from video sequences. Finally, we present an ensemble for feature selection approach that is able to select suitable features for each pixel to distinguish the foreground objects from the background ones. Our proposal uses a mechanism to update the relative importance of each feature over time. For this purpose, a heuristic approach is used to reduce the complexity of the background model maintenance while maintaining the robustness of the background model. However, this method only reaches the highest accuracy when the number of features is huge. In addition, each base classifier learns a feature set instead of individual features. To overcome these limitations, we extended our previous approach by proposing a new methodology for selecting features based on wagging. We also adopted a superpixel-based approach instead of a pixel-level approach. This does not only increases the efficiency in terms of time and memory consumption, but also can improves the segmentation performance of moving objects.

Dans ce manuscrit de thèse, nous introduisons les avancées récentes sur la décomposition en matrices (et tenseurs) de rang faible et parcimonieuse ainsi que les contributions pour faire face aux principaux problèmes dans ce domaine. Nous présentons d’abord un aperçu des méthodes matricielles et tensorielles les plus récentes ainsi que ses applications sur la modélisation d’arrière-plan et la segmentation du premier plan. Ensuite, nous abordons le problème de l’initialisation du modèle de fond comme un processus de reconstruction à partir de données manquantes ou corrompues. Une nouvelle méthodologie est présentée montrant un potentiel intéressant pour l’initialisation de la modélisation du fond dans le cadre de VSI. Par la suite, nous proposons une version « double contrainte » de l’ACP robuste pour améliorer la détection de premier plan en milieu marin dans des applications de vidéo-surveillance automatisées. Nous avons aussi développé deux algorithmes incrémentaux basés sur tenseurs afin d’effectuer une séparation entre le fond et le premier plan à partir de données multidimensionnelles. Ces deux travaux abordent le problème de la décomposition de rang faible et parcimonieuse sur des tenseurs. A la fin, nous présentons un travail particulier réalisé en conjonction avec le Centre de Vision Informatique (CVC) de l’Université Autonome de Barcelone (UAB). / This thesis introduces the recent advances on decomposition into low-rank plus sparse matrices and tensors, as well as the main contributions to face the principal issues in moving object detection. First, we present an overview of the state-of-the-art methods for low-rank and sparse decomposition, as well as their application to background modeling and foreground segmentation tasks. Next, we address the problem of background model initialization as a reconstruction process from missing/corrupted data. A novel methodology is presented showing an attractive potential for background modeling initialization in video surveillance. Subsequently, we propose a double-constrained version of robust principal component analysis to improve the foreground detection in maritime environments for automated video-surveillance applications. The algorithm makes use of double constraints extracted from spatial saliency maps to enhance object foreground detection in dynamic scenes. We also developed two incremental tensor-based algorithms in order to perform background/foreground separation from multidimensional streaming data. These works address the problem of low-rank and sparse decomposition on tensors. Finally, we present a particular work realized in conjunction with the Computer Vision Center (CVC) at Autonomous University of Barcelona (UAB).