This thesis presents a statistical framework and its implementation in a user-assisted rotoscoping program intended for the production of animation movies. User-assisted video segmentation of scenes with well-defined foreground and background, a special case of the general problem of rotoscoping, is used to analyze the properties of the framework and its implementation. The statistical model used in the framework is built from pairs of training images composed of a frame from the sequence to segment and of a binary image representing the associated user-specified segmentation. The segmentation for a new frame is generated by pasting in, for each image patch, the nearest neighbor from the training set. A mechanism inspired by belief propagation is used to insure consistency between neighboring patches. The algorithm is applied at different scale levels of the input images to take into account longer range interactions. A performance metric is defined for the automatic segmentation and the segmentation results are compared with a set of video sequences that have been entirely traced by hand. A new technique is also presented to automatically choose the optimal training data for the statistical model. A crude segmentation is computed from the smallest possible training set (one frame). A statistical analysis of this segmentation is then used to determine which other frames should be added to the training set in order to get the best possible segmentation. Finally, it is shown how the technique used for segmentation can be extended to perform example-based filtering of video and thus allow the creation of general-purpose rotoscoping systems. / Ce mémoire présente un modèle statistique ainsi que son implantation dans un programme de rotoscopie qui peut être utilisé pour la production de films d'animation. Le problème de la segmentation assistée de scènes video contenant un avant-plan et un arrière-plan distincts, un sous-ensemble du problème plus général que constitue la rotoscopie, est utilisé pour analyser les propriétés du modèle statistique et de son implantation. Le modèle statistique utilisé est construit à partir d'un découpage de paires d'images d'entraînement composées d'un cadre de la séquence video à segmenter et d'une image binaire qui défini la segmentation associée. La segmentation de chaque cadre de la sequence est obtenue en collant, pour chaque portion d'image, la portion d'image la plus similaire de l'ensemble d'entraînement. Un mécanisme inspiré de la "propagation de conviction"(belief propagation) est utilisé pour assurer la cohérence entre les portions de l'image de sortie qui sont voisines. L'algorithme est appliqué à plusieurs niveaux d'échelle afin de considérer la dépendance statistique de plus longue portée qui existe entre les pixels d'une image. Une métrique est définie pour mesurer la performance de la segmentation automatique. Les résultats de la segmentation sont analysés à l'aide d'une série de séquences vidéo qui ont préalablement été segmentées manuellement. Une nouvelle technique est également présentée pour permettre au logiciel de segmentation de choisir automatiquement l'ensemble d'entraînement optimal. Une segmentation grossière est d'abord obtenue en ulitisant le plus petit ensemble d'entraînement possible (1 cadre)
| Identifer | oai:union.ndltd.org:LACETR/oai:collectionscanada.gc.ca:QMM.32535 |
| Date | January 2009 |
| Creators | Drouin, Simon |
| Contributors | Gregory L Dudek (Internal/Supervisor) |
| Publisher | McGill University |
| Source Sets | Library and Archives Canada ETDs Repository / Centre d'archives des thèses électroniques de Bibliothèque et Archives Canada |
| Language | English |
| Detected Language | French |
| Type | Electronic Thesis or Dissertation |
| Format | application/pdf |
| Coverage | Master of Science (School of Computer Science) |
| Rights | All items in eScholarship@McGill are protected by copyright with all rights reserved unless otherwise indicated. |
| Relation | Electronically-submitted theses. |
Page generated in 0.002 seconds