Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

La détection de mouvement est une opération de base souvent utilisée en vision par ordinateur, que ce soit pour la détection de piétons, la détection d’anomalies, l’analyse de scènes vidéo ou le suivi d’objets en temps réel. Bien qu’un très grand nombre d’articles ait été publiés sur le sujet, plusieurs questions restent en suspens. Par exemple, il n’est toujours pas clair comment détecter des objets en mouvement dans des vidéos contenant des situations difficiles à gérer comme d'importants mouvements de fonds et des changements d’illumination. De plus, il n’y a pas de consensus sur comment quantifier les performances des méthodes de détection de mouvement. Aussi, il est souvent difficile d’incorporer de l’information de mouvement à des opérations de haut niveau comme par exemple la détection de piétons. Dans cette thèse, j’aborde quatre problèmes en lien avec la détection de mouvement: 1. Comment évaluer efficacement des méthodes de détection de mouvement? Pour répondre à cette question, nous avons mis sur pied une procédure d’évaluation de telles méthodes. Cela a mené à la création de la plus grosse base de données 100\% annotée au monde dédiée à la détection de mouvement et organisé une compétition internationale (CVPR 2014). J’ai également exploré différentes métriques d’évaluation ainsi que des stratégies de combinaison de méthodes de détection de mouvement. 2. L’annotation manuelle de chaque objet en mouvement dans un grand nombre de vidéos est un immense défi lors de la création d’une base de données d’analyse vidéo. Bien qu’il existe des méthodes de segmentation automatiques et semi-automatiques, ces dernières ne sont jamais assez précises pour produire des résultats de type “vérité terrain”. Pour résoudre ce problème, nous avons proposé une méthode interactive de segmentation d’objets en mouvement basée sur l’apprentissage profond. Les résultats obtenus sont aussi précis que ceux obtenus par un être humain tout en étant 40 fois plus rapide. 3. Les méthodes de détection de piétons sont très souvent utilisées en analyse de la vidéo. Malheureusement, elles souffrent parfois d’un grand nombre de faux positifs ou de faux négatifs tout dépendant de l’ajustement des paramètres de la méthode. Dans le but d’augmenter les performances des méthodes de détection de piétons, nous avons proposé un filtre non linéaire basée sur la détection de mouvement permettant de grandement réduire le nombre de faux positifs. 4. L’initialisation de fond ({\em background initialization}) est le processus par lequel on cherche à retrouver l’image de fond d’une vidéo sans les objets en mouvement. Bien qu’un grand nombre de méthodes ait été proposé, tout comme la détection de mouvement, il n’existe aucune base de donnée ni procédure d’évaluation pour de telles méthodes. Nous avons donc mis sur pied la plus grosse base de données au monde pour ce type d’applications et avons organisé une compétition internationale (ICPR 2016). / Abstract : Motion detection is a basic video analytic operation on which many high-level computer vision tasks are built upon, e.g., pedestrian detection, anomaly detection, scene understanding and object tracking strategies. Even though a large number of motion detection methods have been proposed in the last decades, some important questions are still unanswered, including: (1) how to separate the foreground from the background accurately even under extremely challenging circumstances? (2) how to evaluate different motion detection methods? And (3) how to use motion information extracted by motion detection to help improving high-level computer vision tasks? In this thesis, we address four problems related to motion detection: 1. How can we benchmark (and on which videos) motion detection method? Current datasets are either too small with a limited number of scenarios, or only provide bounding box ground truth that indicates the rough location of foreground objects. As a solution, we built the largest and most objective motion detection dataset in the world with pixel accurate ground truth to evaluate and compare motion detection methods. We also explore various evaluation metrics as well as different combination strategies. 2. Providing pixel accurate ground truth is a huge challenge when building a motion detection dataset. While automatic labeling methods suffer from a too large false detection rate to be used as ground truth, manual labeling of hundreds of thousands of frames is extremely time consuming. To solve this problem, we proposed an interactive deep learning method for segmenting moving objects from videos. The proposed method can reach human-level accuracies while lowering the labeling time by a factor of 40. 3. Pedestrian detectors always suffer from either false positive detections or false negative detections all depending on the parameter tuning. Unfortunately, manual adjustment of parameters for a large number of videos is not feasible in practice. In order to make pedestrian detectors more robust on a large variety of videos, we combined motion detection with various state-of-the-art pedestrian detectors. This is done by a novel motion-based nonlinear filtering process which improves detectors by a significant margin. 4. Scene background initialization is the process by which a method tries to recover the RGB background image of a video without foreground objects in it. However, one of the reasons that background modeling is challenging is that there is no good dataset and benchmarking framework to estimate the performance of background modeling methods. To fix this problem, we proposed an extensive survey as well as a novel benchmarking framework for scene background initialization.

La rétine numérique programmable est un imageur qui combine fonctions d'acquisition et de traitement de l'image au sein de chaque pixel. L'objectif de notre travail consiste à utiliser ce circuit dans un système de détection et d'analyse du mouvement en se conformant à ses capacités de calcul et de mémorisation limitées. Nous présentons d'abord trois méthodes de détection du mouvement adaptées à nos contraintes : un calcul de fond par une moyenne récursive classique ; un estimateur statistique, le filtre Σ-

De nombreuses applications en vision par ordinateur nécessitent la détection et le suivi des objets en mouvement dans une séquence d'images. La plupart des méthodes existantes ne donnent de bons résultats que pour des séquences avec des fonds peu changeants, ou si le fond et les objets sont rigides. Le but de cette thèse est de détecter et suivre les objets mobiles dans des séquences (telles que des séquences de conducteurs) ayant un fond dynamique, avec de forts changements d'illumination, de faibles contrastes et éventuellement acquises par une caméra mobile. Cette thèse est décomposée en deux parties. Dans la première, une méthode de détection est proposée. Elle repose sur la définition d'une grille de points décrits par leur mouvement et leur photométrie. Ces points sont ensuite regroupés en "clusters en mouvement" avec un algorithme mean shift à noyau variable et une méthode de sélection automatique de la taille des noyaux. La deuxième partie propose une méthode de suivi combinant des distributions de couleur et de mouvement, la prédiction de l'objet et des observations extérieures (pouvant être les clusters en mouvement) dans une fonction d'énergie minimisée par coupe minimale/flot maximal dans un graphe. Les algorithmes de détection et de suivi sont validés sur différentes séquences aux contenus dynamiques complexes.

Ce mémoire s'intéresse à la détection de mouvement dans une séquence d'images acquises à l'aide d'une caméra fixe. Dans ce problème, la difficulté vient du fait que les mouvements récurrents ou non significatifs de la scène tels que les oscillations d'une branche, l'ombre d'un objet ou les remous d'une surface d'eau doivent être ignorés et classés comme appartenant aux régions statiques de la scène. La plupart des méthodes de détection de mouvement utilisées à ce jour reposent en fait sur le principe bas-niveau de la modélisation puis la soustraction de l'arrière-plan. Ces méthodes sont simples et rapides mais aussi limitées dans les cas où l'arrière-plan est complexe ou bruité (neige, pluie, ombres, etc.). Cette recherche consiste à proposer une technique d'amélioration de ces algorithmes dont l'idée principale est d'exploiter et mimer deux caractéristiques essentielles du système de vision humain. Pour assurer une vision nette de l’objet (qu’il soit fixe ou mobile) puis l'analyser et l'identifier, l'œil ne parcourt pas la scène de façon continue, mais opère par une série de ``balayages'' ou de saccades autour (des points caractéristiques) de l'objet en question. Pour chaque fixation pendant laquelle l'œil reste relativement immobile, l'image est projetée au niveau de la rétine puis interprétée en coordonnées log polaires dont le centre est l'endroit fixé par l'oeil. Les traitements bas-niveau de détection de mouvement doivent donc s'opérer sur cette image transformée qui est centrée pour un point (de vue) particulier de la scène. L'étape suivante (intégration trans-saccadique du Système Visuel Humain (SVH)) consiste ensuite à combiner ces détections de mouvement obtenues pour les différents centres de cette transformée pour fusionner les différentes interprétations visuelles obtenues selon ses différents points de vue. / This master thesis revolves around motion detection in sequences recorded from a fixed camera. This situation is challenging since we must ignore insignificant recurring motions such as oscillating branches, shadows, or waves on the surface of the water. Those must be classified as belonging to the background and static. Most motion detection techniques used nowadays are based on the simple and low level principle of background modeling and subtraction. These techniques are simple and fast but they reach their limit when they have to deal with complex or noisy images (from snowy, rainy, sunny weather, etc.). This research consist of proposing a technique aiming to improve those algorithms by mimicking two essential characteristics of the Human Visual System (HVS). To obtain a clear vision of an object (static or mobile) and then to analyse and identify it, our eye doesn't analyse the scene continuously but operates through several sweeping motions, or saccades, across the object. During each moment when the eye stays fixed, the image is projected on the retina and then interpreted as described by log-polar coordinates, where the center is the point fixed by the eye. Low level detection treatment should then operate on this transformed image which is centered on a particular point of view of the scene. The second step (the trans-saccadic integration of the HVS) is to combine all those data gathered from different points of view.

La vision stéréoscopique apparaît dans de nombreuses applications comme le moyen le plus évident pour obtenir des informations tridimensionnelles à partir d'images. Les approches employées reposent généralement sur des modèles euclidiens et nécessitent un étalonnage fort des systèmes stéréoscopiques utilisés, ce qui implique que les paramètres internes des caméras ainsi que la position relative entre les caméras doivent être connues. Or un étalonnage fort et précis nécessite généralement une intervention humaine. Cependant une aide extérieure n'est pas toujours possible et l'utilisation de systèmes faiblement étalonnés (systèmes dont seule la géométrie épipolaire est connue) apparaît alors comme une alternative. Un étalonnage faible est très facile à obtenir mais la difficulté est qu'alors les informations tridimensionnelles obtenues sont projectives et non plus euclidiennes. Ce document s'inscrit dans une approche basée sur un étalonnage faible et s'intéresse à l'étude d'un système stéréoscopique faiblement étalonné évoluant dans un environnement a priori inconnu. Il montre comment, en pratique, on peut tirer partie du mouvement d'un système stéréoscopique pour remonter à la structure métrique de la scène (par auto-étalonnage) et détecter des objets en mouvement. L'espace projectif est utilisé ici pour représenter l'information visuelle issue du système. En particulier, on étudie les transformations projectives 3D -appelées également homographies 3D- qui relient les reconstructions projectives d'une scène rigide. On s'intéresse au problème d'estimation de ces homographies 3D et on montre comment celles-ci entrent en jeu dans des applications telles que l'auto-étalonnage ou la segmentation du mouvement

Ce travail a pour objectif de détecter les obstacles sur la route à partir d'une caméra montée sur un véhicule. Étant donné les contraintes que nous nous sommes fixées, un état de l'art des différentes méthodes existantes sur ce sujet montre que seule une analyse du mouvement dans les sé- quences d'images peut résoudre ce problème. En effet, cette méthode doit permettre de détecter tout type d'obstacles sur tout type de routes avec une seule caméra. Pour ce faire, nous avons développé une nouvelle méthode d'estimation de mouvement paramétrique par analyse d'ondelettes de l'équation de contrainte du flot optique (E.C.M.A.). Cette méthode multi- résolution nous a permis de contourner le problème de l'aliasage temporel inhérent à l'E.C.M.A.. Nous avons ensuite proposé de résoudre le problème de la détection de mouvement dans une scène filmée à par- tir d'une caméra mobile à l'aide d'une modélisation markovienne hiérarchique déduite de façon naturelle de l'estimation multi-résolution du mouvement. Puis, nous avons introduit une méthode de segmenta- tion au sens du mouvement entre deux images sans connaissance a priori et sans hypothèse de présence de mouvement dominant grâce à un raffinement successif de la segmentation d'une échelle grossière de l'image à l'échelle la plus fine. Chaque méthode (estimation, détection et segmentation) a été validée expérimentalement sur des séquences synthétiques et réelles. Enfin, celles-ci ont été adaptées au problème concret visé par cette thèse : la détection d'obstacles dans un milieu routier. L'utilisation d'ondelettes et de champs de Markov hiérarchiques aboutit à des solutions peu coûteuses en temps de calcul.

Le principe de la radiothérapie est de délivrer le maximum de dose de rayons X à la tumeur en épargnant au mieux les tissus sains environnants. Dans le cas du cancer du poumon, les mouvements respiratoires représentent une difficulté majeure. L'imagerie tomodensitométrique (TDM) 4D fournit des informations de mouvement spécifique à chaque patient qui peuvent servir de base pour la construction de modèles de mouvement respiratoire. La disponibilité dans les salles de traitement d'imageurs tomographiques embarqués sur les accélérateurs linéaires permet une estimation direct du mouvement et offre des informations plus précises. Un tel système d'imagerie permet entre-autre d'acquérir des images fluoroscopiques : ensemble de projections radiographiques 2D acquises au cours du temps et sous le même angle de vue. Notre approche s'intègre dans des systèmes de synchronisation de l'irradiation avec la respiration. Actuellement, cette technique existe en utilisant pour signal de synchronisation soit un signal externe, soit un signal interne issu du mouvement de marqueurs implantés autour de la tumeur. Notre approche permet d'obtenir un signal de synchronisation obtenu à partir de données internes sans marqueurs implantés. Dans ce cadre, nous avons expérimenté, développé puis évalué 3 méthodes de détection du mouvement à partir de séquences fluoroscopiques. Ces méthodes sont basées respectivement sur la variation de l'intensité, l'extraction de la hauteur du diaphragme et le suivi de blocst. A partir d'un algorithme de mise en correspondance de blocs, nous avons étudié l'homogénéité du mouvement apparent et déterminé, sans a priori géométrique, des régions où le mouvement est uniforme. Nous avons ensuite étudié la corrélation entre le signal interne extrait sur des séquences fluoroscopiques, et un signal extrait d'une vidéo-caméra synchronisée aux séquences fluoroscopiques assimilable à un signal externe. Dans une dernière partie, nous proposons d'estimer le mouvement 3D de la tumeur à partir d'un modèle de mouvement a priori élaboré dans une étape de pré-traitement à l'aide d'images TDM 4D et du signal respiratoire acquis dans la salle de traitement. L'intérêt de notre approche est qu'elle ne nécessite pas de marqueurs implantés ce qui la rend moins invasive que de nombreuses autres techniques. D'autre part, nous proposons un suivi 2D donc potentiellement rapide, mais basé sur un modèle 3D sous-jacent permettant ainsi de retrouver le maximum d'information. Cliniquement, notre approche permettrait de réaliser une adaptation quotidienne aux mouvements inter-sessions. Une des limites de notre approche est qu'elle nécessite une prise d'images ionisantes en continue. Un système hybride basée sur la combinaison d'un signal interne et d'un signal externe permettrait de limiter la dose additionnelle. Des efforts supplémentaires sur la réduction du temps de calcul sont encore nécessaires pour espérer guider un traitement par une telle approche.

La vision artificielle est un domaine de recherche en pleine évolution. Les nouvelles stratégies permettent d'avoir des réseaux de caméras intelligentes. Cela induit le développement de beaucoup d'applications de surveillance automatique via les caméras. Les travaux développés dans cette thèse concernent la mise en place d'un système de vidéosurveillance intelligente pour la détection de chutes en temps réel. La première partie de nos travaux consiste à pouvoir estimer de façon robuste la surface d'une personne à partir de deux (02) caméras ayant des vues complémentaires. Cette estimation est issue de la détection de chaque caméra. Dans l'optique d'avoir une détection robuste, nous avons fait recours à deux approches. La première approche consiste à combiner un algorithme de détection de mouvements basé sur la modélisation de l'arrière plan avec un algorithme de détection de contours. Une approche de fusion a été proposée pour rendre beaucoup plus efficiente le résultat de la détection. La seconde approche est basée sur les régions homogènes de l'image. Une première ségmentation est effectuée dans le but de déterminer les régions homogènes de l'image. Et pour finir, nous faisons la modélisation de l'arrière plan en se basant sur les régions. Une fois les pixels de premier plan obtenu, nous faisons une approximation par un polygone dans le but de réduire le nombre d'informations à manipuler. Pour l'estimation de cette surface nous avons proposé une stratégie de fusion dans le but d'agréger les détections des caméras. Cette stratégie conduit à déterminer l'intersection de la projection des divers polygones dans le plan de masse. La projection est basée sur les principes de l'homographie planaire. Une fois l'estimation obtenue, nous avons proposé une stratégie pour détecter les chutes de personnes. Notre approche permet aussi d'avoir une information précise sur les différentes postures de l'individu. Les divers algorithmes proposés ont été implémentés et testés sur des banques de données publiques dans le but de juger l'efficacité des approches proposées par rapport aux approches existantes dans l'état de l'art. Les résultats obtenus et qui ont été détaillés dans le présent manuscrit montrent l'apport de nos algorithmes. / Artificial vision is an involving field of research. The new strategies make it possible to have some autonomous networks of cameras. This leads to the development of many automatic surveillance applications using the cameras. The work developed in this thesis concerns the setting up of an intelligent video surveillance system for real-time people fall detection. The first part of our work consists of a robust estimation of the surface area of a person from two (02) cameras with complementary views. This estimation is based on the detection of each camera. In order to have a robust detection, we propose two approaches. The first approach consists in combining a motion detection algorithm based on the background modeling with an edge detection algorithm. A fusion approach has been proposed to make much more efficient the results of the detection. The second approach is based on the homogeneous regions of the image. A first segmentation is performed to find homogeneous regions of the image. And finally we model the background using obtained regions.

Cette thèse porte sur la prise en compte des incertitudes et du mouvement dans le traitement des tumeurs pulmonaires en radiothérapie, que ce soit par photons, par protons ou par ions légers (hadronthérapie). L’accent est mis sur les méthodes de prise en compte du mouvement dites "passives". Ces méthodes, ne nécessitant pas d’asservissement respiratoire pour la délivrance de la dose, sont moins lourdes à mettre en place, et limitent l’introduction de nouvelles sources d’incertitudes. Des contributions cliniques et méthodologiques sont proposées. Tout d’abord, l’imagerie tomodensitométrique (TDM) pour la planification des traitements doit faire l’objet d’une attention particulière dans le cas de tumeurs soumises aux mouvements respiratoires. Nous avons évalué l’influence de la présence d’artéfacts de mouvements dans les images TDM sur la qualité de la planification. Nous avons également proposé des méthodologies et des recommandations pour l’optimisation des paramètres d’acquisition ainsi qu’un algorithme original de détection automatique des artéfacts dans les images TDM 4D. L’une des principales sources d’incertitudes lors de la planification de traitements en radiothérapie concerne la délinéation des volumes cibles. Nous avons évalué la variabilité inter-observateur de délinéation du volume cible macroscopique (GTV) et du volume cible interne (ITV) via une méthode originale permettant de l’intégrer dans le calcul des marges de sécurité. La réduction des incertitudes dues au mouvement respiratoire peut être réalisée en associant au système de contention une compression abdominale afin de limiter l’amplitude du mouvement respiratoire. Nous avons proposé une étude visant à évaluer l’impact de l’utilisation d’un tel système en fonction de la localisation dans le poumon. En radiothérapie par photons, une stratégie appelée mid-position consiste à irradier la tumeur dans sa position moyenne pondérée dans le temps et permet de réduire les marges par rapport à une stratégie ITV tout en conservant une couverture dosimétrique correcte. Une partie du travail de la thèse a consisté à participer à l’élaboration d’une étude clinique visant à comparer les deux stratégies, ITV et mid-position. Dans la plupart des cas, le mouvement respiratoire a une distribution de probabilité non-gaussienne et asymétrique, pouvant invalider la recette de calcul de marges de van Herk pour des mouvements tumoraux fortement asymétriques et de grande amplitude. Nous avons proposé un modèle numérique afin de prendre en compte cette asymétrie. Enfin, la prise en compte du mouvement respiratoire en hadronthérapie par des marges de sécurité doit faire l’objet de considérations spécifiques, en particulier en raison de la sensibilité du dépôt de dose aux variations de densité sur la trajectoire du faisceau. Dans une dernière partie, la définition des marges de sécurité pour prendre en compte le mouvement respiratoire de manière optimale est discutée. / This PhD thesis focuses on the uncertainties and motion management in lung radiation therapy and particle therapy. Passive motion management techniques are considered. They consist in delivering the dose without any respiratory beam monitoring which may be difficult to set up or may introduce additional uncertainties. Clinical and methodological contributions about different treatment steps are proposed. First of all, computed tomography (CT) images for treatment planning must be carefully acquired in the presence of respiration-induced tumor motion. We assessed the impact of motion artifacts on the quality of treatment planning. We also proposed methodologies and recommendations about the optimization of 4D-CT acquisition parameters and an original method for automated motion artifact detection in 4D-CT images. Target delineation introduces one of the main source of uncertainties during radiation therapy treatment planning. We quantified inter-observer variations in the delineation of the gross tumor volume (GTV) and the internal target volume (ITV) using an original method in order to incorporate them in margin calculation. Reduction of motion uncertainties can be achieved by combining an abdominal pressure device with the immobilization system to reduce the amplitude of respiratory motion. We proposed a study to evaluate the usefulness of such a device according to the tumor location within the lung. Delivering the dose to the ITV implies an important exposure of healthy tissues along the tumor trajectory. An alternative strategy consists in irradiating the tumor in its time-averaged mean position, the mid-position. Margins are reduced compared with an ITV-based strategy while maintaining a correct tumor coverage. One part of the work consisted in participating in the implementation of a clinical trial in photon radiation therapy to compare the two strategies, ITV and mid-position. In the margin recipe proposed by van Herk, a Gaussian distribution of all combined errors is assumed. In most cases, respiratory motion has an asymmetric non-Gaussian distribution and the assumption may not be valid for strongly asymmetric tumor motions with a large amplitude. We proposed a numerical population-based model to incorporate asymmetry and non-Gaussianity of respiratory motion in margin calculation. Finally, when taking respiratory motion into account in particle therapy with safety margins, one must consider various parameters, particularly the dose deposit sensitivity to density variations. The last part is dedicated to a discussion on the defining of safety margins in order to optimally take into account respiratory motion.