Le deflickering consiste à supprimer le scintillement présent dans les séquences d’images afin de réduire les variations lumineuses entre chacune des images de la vidéo. Il s’agit d’une tâche essentielle, nécessaire dans plusieurs applications, en particulier dans les séquences de films archivés, les vidéos comprimées et les vidéos time-lapse. Au cours de ces dernières années, avec le développement des technologies d’acquisition à haute vitesse, il y a eu un regain d’intérêt pour le problème de suppression de flicker, en particulier le flicker périodique. Dans ce contexte, le flicker correspond à des variations indésirables de luminosité et des couleurs dues à l’interaction entre la vitesse d’acquisition d’une part, et d’autre part le courant alternatif alimentant les sources lumineuses. La présente thèse formule le problème du déflickering périodique dans les vidéos à haute vitesse, étudie les propriétés physiques du flicker et propose à la fois des solutions théoriques et expérimentales pour sa suppression des séquences d’images. Enfin, une nouvelle approche est proposée permettant d’effectuer simultanément le suivi de mouvement et la correction des couleurs / Deflickering consists of removing rapid, artifactual changes of luminosity and colorimetry from image sequences and improving luminosity consistency between video frames. It is a necessary and fundamental task in multiple applications, for instance in archived film sequences, compressed videos and time-lapse videos. In recent years, there has been a renewal of interest for improving luminosity consistency acquisition technology in the flicker removal problem, in particular for periodic flickering. In this context, flicker corresponds to undesirable intensity and chroma variations due to the interaction between the acquisition frequencies on the one hand, and the alternating current powering the light sources on the other hand. The present thesis formulates the periodic deflickering problem in high speed videos, studies the physical properties of flicker and suggests both theoretical and experimental solutions for its removal from image sequences. Finally, a new flicker removal approach is proposed performing jointly motion tracking and color correction

Ce travail de thèse étudie l'apport à la vision bas-niveau des architectures de calcul massivement parallèles. Nous reprenons l'évolution récente de l'architecture des ordinateurs, en mettant en avant les solutions massivement parallèles qui se sont imposées récemment, les GPU. L'exploitation des potentialités de ces architectures impose une modification des méthodes de programmation. Nous montrons qu'il est possible d'utiliser un nombre restreint de schémas ("patterns") de calcul pour résoudre un grand nombre de problématiques de vision bas niveau. Nous présentons ensuite un nouveau modèle pour estimer la complexité de ces solutions. La suite du travail consiste à appliquer ces modèles de programmation à des problématiques de vision bas-niveau. Nous abordons d'abord le calcul du flot optique, qui est le champ de déplacement d'une image à une autre, et dont l'estimation est une brique de base de très nombreuses applications en traitement vidéo. Nous présentons un code sur GPU, nommé FOLKI qui permet d'atteindre une très bonne qualité de résultats sur séquences réelles pour un temps de calcul bien plus faible que les solutions concurrentes actuelles. Une application importante de ces travaux concerne la vélocimétrie par imagerie de particules dans le domaine de la mécanique des fluides expérimentale. La seconde problématique abordée est la super-résolution (SR). Nous proposons d'abord un algorithme très rapide de SR utilisant le flot optique FOLKI pour recaler les images. Ensuite différentes solutions à coût de calcul croissant sont développées, qui permettent une amélioration de précision et de robustesse. Nous présentons des résultats très originaux de SR sur des séquences affectées de mouvement complexes, comme des séquences de piétons ou des séquences aériennes de véhicules en mouvement. Enfin le dernier chapitre aborde rapidement des extensions en cours de nos travaux à des contextes de mesure 3D, dans des domaines comme la physique expérimentale ou la robotique.

Le problème du dénombrement d’un grand nombre de très petits objets en mouvement dans les vidéos est un contexte applicatif jusqu’à présent peu étudié.Dans ce cadre, la difficulté réside essentiellement dans le fait qu’en raison de leurs très petites tailles apparentes dans la vidéo, il n’est pas possible de définir un modèle géométrique fiable de ces objets. Or, les travaux existants dans le domaine de la détection d’objets dans des vidéo, utilisent souvent un tel modèle géométrique des objets d’intérêt. Les méthodes de détection existantes ne sont de ce fait pas applicables directement dans le cadre de la détection de tels très petits objets. Dans le cadre de cette thèse, il est proposé une méthodologie complète permettant la détection de nombreux petits objets, avec un cadre applicatif visant plus particulièrement la détection et le comptage d’oiseaux migrateurs dans une vidéo. Le principe innovant, proposé en tant qu’une solution de ce problème, consiste à associer des coefficients de fiabilité de détection aux objets pour les dénombrer tout en évitant de prendre en compte de trop nombreuses fausses détections. Un algorithme hiérarchique analysant l’aspect spatio-temporel d’objets (leurs apparence et l’évolution dans le temps) dans une vidéo à l’aide de méthodes de traitement d’images, de statistique et de la logique floue est ainsi proposé. Le but des coefficients de fiabilité est d’estimer la probabilité que les paramètres d’une détection correspondent aux paramètres attendus pour les objets d’intérêt. Finalement, l’ensemble des coefficients est converti en une valeur qui évalue la séquence du traitement d’un objet. La somme de ces valeurs correspond au nombre d’objets d’intérêt dans une vidéo. Les résultats obtenus montrent que les bonnes détections sont pour la plupart comprises dans le dénombrement avec des coefficients de fiabilité égaux ou proche de 1, et où les fausses détections sont supprimées ou sous-pondérés avec des coefficients de fiabilité plus faible. Les résultats de comptage dans des vidéos contenant de très nombreux oiseaux sont proches de la vérité terrain, ce qui prouve la validité de la solution proposée comme un moyen de dénombrement automatique d’objets dans des vidéos. / The problem of counting of big volumes of very small moving objects in videos is a domain, which was not studied to date. The difficulty of this application consists essentially in the fact, that because of very small sizes of objects, apparent in the videos, it is impossible to define a reliable geometric model of these objects. The researches, existing in the domain of object detection in videos frequently use a geometrical model of objects of interest.For this reason, the existing methods of object detection cannot be applied for the detection of very small objects in the study case. This thesis proposes a complete methodology, allowing the detection of very small objects in videos, and designed particularly the detection and counting of migrating birds in videos. An innovative principle and the solution of this problem consist in association of coefficients of detection reliability to the objects, in order to count them, avoiding counting of many false detections. The solution proposes a hierarchical algorithm, which analyses the spatial and temporal aspects of objects (their appearance and evolution in time) in a video, by the means of methods of image processing, statistics, and fuzzy logic. The aim of the reliability coefficients is to estimate the probability, that the parameters of a detected objects conform to the expected parameters of the objects of interest. Finally, the coefficients are put together and converted into a value, which evaluates the sequence of processing, applied to detect an object. The sum of these values corresponds to the number of the objects of interest in a video. The results show, that the most of correct detections are characterized in the counting by the reliability coefficient equal or close to 1. The results show, that the most of correct detections have their reliability coefficients close to 1, and the false detection are deleted or have low reliability coefficients. The counting results in the videos with numerous groups of migrating birds are close to the ground trough. This validates the proposed solution as a method of automatic counting of objects in videos.

Ce travail de thèse porte sur l'indexation, normalisée par MPEG7, de séquences vidéos. A partir d'un flux MPEG1-2, ou de tout autre codec basé sur la prédiction de mouvement et la DCT, sans totalement le décompresser, nous exploitons l'analyse effectuée lors du codage. Ainsi de façon non-supervisée et en quasi temps réel, nous proposons une méthode d'estimation du mouvement de la caméra ainsi que d'extraction des objets en déplacement. Pour l'estimation du mouvement de la caméra, nous utilisons les vecteurs de prédiction temporelle présents dans le flux. L'étude des images d'erreur nous permet d'en évaluer la pertinence. Pour la détection des objets en mouvement, nous segmentons tout d'abord la séquence en zones de couleur uniforme directement sur les coefficients DCT. Nous établissons une distance colorimétrique, non seulement entre deux pixels voisins d'une image, mais aussi entre deux images successives, ce qui définit une zone en trois dimensions. Afin de segmenter plus précisément et de régulariser les contours sur chaque image, nous utilisons les B-Splines. Chaque objet candidat est déformé par la présence de tous ses voisins à partir d'un potentiel de couleur, ce qui, itérativement, permet d'éliminer les zones trop réduites. En combinant le mouvement de la caméra, les vecteurs de prédiction et les zones de couleur 2D+t, nous réalisons une fusion adaptative de façon à obtenir une bonne représentation des objets.

Dans le monde industriel comme dans le monde scientifique, le développement de capteurs a toujours répondu à la volonté d’observer l’inobservable. La caméra rapide fait partie de ceux-là puisqu’elle permet de dévoiler des dynamiques invisibles, de la formation de fissure au vol du moustique. Dans un environnement extrêmement concurrentiel, ces caméras sont principalement limitées par le nombre d’images acquises par seconde. Le but de cette thèse est d’augmenter la capacité de dévoiler la dynamique invisible en enrichissant l’acquisition initiale par des modèles dynamiques. La problématique consiste alors à élaborer des méthodes permettant de relier en temps réel un modèle et la perception d’un système réel. Les bénéfices de cette utilisation offrent ainsi la possibilité de faire de l’interpolation, de la prédiction et de l’identification. Cette thèse est composée de trois parties. La première est axée sur la philosophie du traitement vidéo et propose d’utiliser des modèles élémentaires et génériques. Un algorithme d’estimation de grands mouvements est proposé mais l’approche actuellement proposée n’est pas assez générique pour être exploitée dans un contexte industriel. La deuxième partie propose d’utiliser des méthodes d’assimilation de données séquentielle basées sur la famille des filtres de Kalman afin d’associer un modèle avec des observations par caméras rapides pour des systèmes mécaniques. La troisième partie est une application à l’analyse modale expérimentale non linéaire. Deux schémas d’assimilation temps réel multicapteurs sont présentés et leur mise en œuvre est illustrée pour de la reconstruction 3D et de la magnification. / The development of sensors has always followed the ambition of industrial and scientific people to observe the unobservable. High speed cameras are part of this adventure, revealing invisible dynamics such as cracks formation or subtle mosquito flight. Industrial high speed vision is a very competitive domain in which cameras stand out through their acquisition speed. This thesis aims to broaden their capacity by augmenting the initial acquisition with dynamic models. This work proposes to develop methods linking in real time a model with a real system. Aimed benefits are interpolation, prediction and identification. Three parts are developed. The first one is based on video processing and submits to use kinematic elementary and generic models. An algorithm of motion estimation for large movements is proposed but the generic nature does not allow a sufficient knowledge to be conclusive. The second part proposes using sequential data assimilation methods known as Kalman filters. A scheme to assimilate video data with a mechanical model is successfully implemented. An application of data assimilation in modal analysis is developed. Two multi sensors real time assimilation schemes for nonlinear modal identification are proposed. These schemes are integrated in two applications on 3D reconstruction and motion magnification.

Le LPC est un complément à la lecture labiale qui facilite la communication des malentendants. Sur le principe, il s'agit d'effectuer des gestes avec une main placée à côté du visage pour désambigüiser le mouvement des lèvres, qui pris isolément est insuffisant à la compréhension parfaite du message. Le projet RNTS TELMA a pour objectif de mettre en place un terminal téléphonique permettant la communication des malentendants en s'appuyant sur le LPC. Parmi les nombreuses fonctionnalités que cela implique, il est nécessaire de pouvoir reconnaître le geste manuel du LPC et de lui associer un sens. L'objet de ce travail est la segmentation vidéo, l'analyse et la reconnaissance des gestes de codeur LPC en situation de communication. Cela fait appel à des techniques de segmentation d'images, de classification, d'interprétation de geste, et de fusion de données. Afin de résoudre ce problème de reconnaissance de gestes, nous avons proposé plusieurs algorithmes originaux, parmi lesquels (1) un algorithme basé sur la persistance rétinienne permettant la catégorisation des images de geste cible et des images de geste de transition, (2) une amélioration des méthodes de multi-classification par SVM ou par classifieurs unaires via la théorie de l'évidence, assortie d'une méthode de conversion des probabilités subjectives en fonction de croyance, et (3) une méthode de décision partielle basée sur la généralisation de la Transformée Pignistique, afin d'autoriser les incertitudes dans l'interprétation de gestes ambigus.

Cette thèse s'inscrit dans le cadre des modèles de contours actifs. Il s'agit de méthodes dynamiquesappliquées à la segmentation d'image, en image fixe et vidéo. L'image est représentée par desdescripteurs régions et/ou contours. La segmentation est traitée comme un problème deminimisationd'une fonctionnelle. La recherche du minimum se fait via la propagation d'un contour actif dit basérégions. L'efficacité de ces méthodes réside surtout dans leur robustesse et leur rapidité. L'objectifde cette thèse est triple : le développement (i) d'une représentation paramétrique de courbes respectantcertaines contraintes de régularités, (ii) les conditions nécessaires à une évolution stable de cescourbes et (iii) la réduction des coûts calcul afin de proposer une méthode adaptée aux applicationsnécessitant une réponse en temps réel.Nous nous intéressons principalement aux contraintes de rigidité autorisant une plus granderobustesse vis-à-vis du bruit. Concernant l'évolution des contours actifs, nous étudions les problèmesd'application de la force de propagation, de la gestion de la topologie et des conditionsde convergence. Nous avons fait le choix des courbes splines cubiques. Cette famille de courbesoffre d'intéressantes propriétés de régularité, autorise le calcul exact des grandeurs différentiellesqui interviennent dans la fonctionnelle et réduit considérablement le volume de données à traiter.En outre, nous avons étendu le modèle classique des splines d'interpolation à un modèle de splinesd'approximation, dites smoothing splines. Ce dernier met en balance la contrainte de régularité etl'erreur d'interpolation sur les points d'échantillonnage du contour. Cette flexibilité permet ainsi deprivilégier la précision ou la robustesse.L'implémentation de ces modèles de splines a prouvé son efficacité dans diverses applicationsde segmentation.