Ce travail de thèse étudie l'apport à la vision bas-niveau des architectures de calcul massivement parallèles. Nous reprenons l'évolution récente de l'architecture des ordinateurs, en mettant en avant les solutions massivement parallèles qui se sont imposées récemment, les GPU. L'exploitation des potentialités de ces architectures impose une modification des méthodes de programmation. Nous montrons qu'il est possible d'utiliser un nombre restreint de schémas ("patterns") de calcul pour résoudre un grand nombre de problématiques de vision bas niveau. Nous présentons ensuite un nouveau modèle pour estimer la complexité de ces solutions. La suite du travail consiste à appliquer ces modèles de programmation à des problématiques de vision bas-niveau. Nous abordons d'abord le calcul du flot optique, qui est le champ de déplacement d'une image à une autre, et dont l'estimation est une brique de base de très nombreuses applications en traitement vidéo. Nous présentons un code sur GPU, nommé FOLKI qui permet d'atteindre une très bonne qualité de résultats sur séquences réelles pour un temps de calcul bien plus faible que les solutions concurrentes actuelles. Une application importante de ces travaux concerne la vélocimétrie par imagerie de particules dans le domaine de la mécanique des fluides expérimentale. La seconde problématique abordée est la super-résolution (SR). Nous proposons d'abord un algorithme très rapide de SR utilisant le flot optique FOLKI pour recaler les images. Ensuite différentes solutions à coût de calcul croissant sont développées, qui permettent une amélioration de précision et de robustesse. Nous présentons des résultats très originaux de SR sur des séquences affectées de mouvement complexes, comme des séquences de piétons ou des séquences aériennes de véhicules en mouvement. Enfin le dernier chapitre aborde rapidement des extensions en cours de nos travaux à des contextes de mesure 3D, dans des domaines comme la physique expérimentale ou la robotique.

Cette thèse porte sur la navigation sans collision d'un véhicule aérien à décollage et atterrissage vertical en environnement inconnu ou incertain. L'utilisation du flot optique, inspirée du monde animal, permet d'obtenir des informations sur la vitesse du véhicule et sur la proximité des obstacles. Deux contributions sont présentées dans ce travail. La première aborde l'atterrissage automatique sur une plateforme statique ou mobile. La manœuvre se décompose en deux tâches : la stabilisation de la vitesse au-dessus de la cible, puis l'atterrissage vertical. L'approche montre que la régulation du flot optique divergent autour d'une consigne constante permet un atterrissage en douceur et sans collision malgré les incertitudes sur la dynamique de la plateforme et du véhicule. La deuxième contribution concerne le suivi de terrain avec évitement d'obstacles. L'approche générale proposée permet d'aborder différentes applications telles que l'évitement d'obstacles frontaux, le suivi de terrain pentu, le suivi de couloir, etc. L'analyse de stabilité évalue la robustesse et les limites du contrôleur en présence de diverses incertitudes telles que les incertitudes sur la géométrie de l'environnement. L'ensemble des algorithmes de commande est simulé et expérimenté sur un mini-drone quadrirotor développé au CEA LIST.

Dans ces travaux nous nous intéressons aux formulations variationnelles pour résoudre des problèmes mal posés du traitement d'images. Nous nous focalisons principalement sur le calcul du flot optique dans les séquences d'images ainsi que la reconstruction 3D à partir d'une séquence d'images 2D. Comme ces problèmes sont mal posés au sens où ils sont sous-contraints, on utilise souvent des techniques de régularisation spatiale pour obtenir l'unicité de la solution. Nous nous proposons d'introduire d'autres contraintes dans la formulation du problème pour limiter l'importance de cette régularisation, voire pour la supprimer complètement. Ces contraintes sont dérivées des informations a priori sur les conditions expérimentales. Dans un premier chapitre, nous examinons un cas d'étude tiré de l'imagerie biologique: il s'agit d'acquisitions multi-focales de vésicules géantes, nous en exploitons alors la topologie sphérique pour divers problèmes tels que le suivi, la segmentation, l'estimation du flot optique et la reconstruction 3D. Ces contraintes sont donc d'ordre spatiales. Dans un second chapitre, nous étudions la possibilité de tirer partie de l'information temporelle présente dans les séquences d'images. Cette information est alors modélisée par une équation d'évolution. La difficulté à lever est de résoudre conjointement cette équation et les contraintes qui dérivent du problème de traitement d'images. Nous utilisons alors le formalisme de l'assimilation variationnelle de données dans une formulation dite ''faible'' car nous attribuons une erreur sur l'équation d'évolution. Bien que l'équation d'évolution décrive imparfaitement la dynamique, nous montrons que l'on peut résoudre le problème mal posé de l'estimation du flot optique sans recourir à la régularisation. Nous montrons également que lorsque les informations sont manquantes, il est possible de fournir une estimation réaliste du flot optique, ceci permet de gérer les cas difficiles d'occultations. Enfin, dans un dernier chapitre, nous résumons des travaux parallèles portant sur la résolution variationnelle de problèmes non linéaires de traitement d'images, des travaux sur l'occupation des sols en imagerie satellitaire haute définition et enfin sur le suivi multi-cibles.

Cette thèse est une collaboration entre le LAboratoire des Sciences et Matériaux pour l'Électronique et d'Automatique (LASMEA) de Clermont-Ferrand et le Laboratoire Vision et Ingénierie des Contenus (LVIC) du CEA LIST à Saclay. La première moitié de la thèse a été accomplie au sein de l'équipe ComSee (1) du LASMEA et la deuxième au LVIC. L'objectif de ces travaux est de concevoir un système de vidéo-assistance temps réel pour la détection d'évènements dans des scènes possiblement denses.La vidéosurveillance intelligente de scènes denses telles que des foules est particulièrement difficile, principalement à cause de leur complexité et de la grande quantité de données à traiter simultanément. Le but de cette thèse consiste à élaborer une méthode de détection d'évènements rares dans de telles scènes, observées depuis une caméra fixe. La méthode en question s'appuie sur l'analyse automatique de mouvement et ne nécessite aucune information à priori. Les mouvements nominaux sont déterminés grâce à un apprentissage statistique non supervisé. Les plus fréquemment observés sont considérés comme des évènements normaux. Une phase de classification permet ensuite de détecter les mouvements déviant trop du modèle statistique, pour les considérer comme anormaux. Cette approche est particulièrement adaptée aux lieux de déplacements structurés, tels que des scènes de couloirs ou de carrefours routiers. Aucune étape de calibration, de segmentation de l'image, de détection d'objets ou de suivi n'est nécessaire. Contrairement aux analyses de trajectoires d'objets suivis, le coût calculatoire de notre méthode est invariante au nombre de cibles présentes en même temps et fonctionne en temps réel. Notre système s'appuie sur une classification locale du mouvement de la scène, sans calibration préalable. Dans un premier temps, une caractérisation du mouvement est réalisée, soit par des méthodes classiques de flot optique, soit par des descripteurs spatio-temporels. Ainsi, nous proposons un nouveau descripteur spatio-temporel fondé sur la recherche d'une relation linéaire entre les gradients spatiaux et les gradients temporels en des zones où le mouvement est supposé uniforme. Tout comme les algorithmes de flot optique, ce descripteur s'appuie sur la contrainte d'illumination constante.Cependant en prenant en compte un voisinage temporel plus important, il permet une caractérisation du mouvement plus lisse et plus robuste au bruit. De plus, sa faible complexité calculatoire est bien adaptée aux applications temps réel. Nous proposons ensuite d'étudier différentes méthodes de classification : La première, statique, dans un traitement image par image, s'appuie sur une estimation bayésienne de la caractérisation du mouvement au travers d'une approche basée sur les fenêtres de Parzen. Cette nouvelle méthode est une variante parcimonieuse des fenêtres de Parzen. Nous montrons que cette approche est algorithmiquement efficace pour approximer de manière compacte et précise les densités de probabilité. La seconde méthode, basée sur les réseaux bayésiens, permet de modéliser la dynamique du mouvement. Au lieu de considérer ce dernier image par image, des séquences de mouvements sont analysées au travers de chaînes de Markov Cachées. Ajouté à cela, une autre contribution de ce manuscrit est de prendre en compte la modélisation du voisinage d'un bloc afin d'ajouter une cohérence spatiale à la propagation du mouvement. Ceci est réalisé par le biais de couplages de chaînes de Markov cachées.Ces différentes approches statistiques ont été évaluées sur des données synthétiques ainsi qu'en situations réelles, aussi bien pour la surveillance du trafic routier que pour la surveillance de foule.Cette phase d'évaluation permet de donner des premières conclusions encourageantes quant à la faisabilité de la vidéosurveillance intelligente d'espaces possiblement denses.

L’objectif de cette thèse est l’étude de l’évolution de champ scalaire transporté par un écoulement à partir d’une séquence d’images temporelles. L’estimation du champ de vitesse d’un écoulement turbulent est d’une importance majeure pour mieux comprendre le phénomène physique. Jusqu’à présent, le problème de la turbulence est généralement ignoré dans l’équation de mouvement des méthodes existantes. Les images contiennent une information discrète correspondant à la taille du pixel. Selon le niveau de turbulence de l’écoulement, les résolutions des pixels et du temps peuvent devenir trop grandes pour négliger l’effet des petites échelles (sous-pixel) sur le champ de vitesse. Nous proposons pour cela, une équation de mouvement définie par l’équation de transport de concentration filtrée pour laquelle un modèle classique de viscosité turbulente sous-maille est introduit afin de tenir compte de cet effet. Nous utilisons pour formuler le problème, une approche Markovienne. Une méthode de multirésolution par décomposition pyramidale, sans transformation d’image intermédiaire au cours du processus, est proposée. Cela permet de diminuer le nombre d’opérations sur les images. La méthode d’optimisation utilisée, couplée avec une approche multigrille, permet d’obtenir le champ de vitesse réel optimal. Notre approche est testée sur des séquences d’images synthétiques et réelles (expérience PIV et tempête de sable à partir d’image de télédétection) avec des nombres de Reynolds élevés. Les comparaisons avec des approches existantes sont très prometteuses. / The objective of this thesis is to study the evolution of scalar field carried by a flow from a temporal image sequence. The estimation of the velocity field of turbulent flow is of major importance for understanding the physical phenomenon. Up to now the problem of turbulence is generally ignored in the flow equation of existing methods. An information given by image is discrete at pixel size. Depending on the turbulent rate of the flow, pixel and time resolutions may become too large to neglect the effect of sub-pixel small-scales on the pixel velocity field. For this, we propose a flow equation defined by a filtered concentration transport equation where a classic turbulent sub-grid eddy viscosity model is introduced in order to account for this effect. To formulate the problem, we use a Markovian approach. An unwarping multiresolution by pyramidal decomposition is proposed which reduces the number of operations on images. The optimization coupled with a multigrid approach allows to estimate the optimal 2D real velocity field. Our approach is tested on synthetic andreal image sequences (PIV laboratory experiment and remote sensing data of dust storm event) with high Reynolds number. Comparisons with existing approaches are very promising.

Nous nous intéressons dans cette thèse au problème de l'estimation dense du mouvement dans des séquences d'images, également désigné sous le terme de flot optique. Les approches usuelles exploitent une paramétrisation locale ou une régularisation globale du champ de déplacement. Nous explorons plusieurs façons de combiner ces deux stratégies, pour surmonter leurs limitations respectives. Nous nous plaçons dans un premier temps dans un cadre variationnel global, et considérons un filtrage local du terme de données. Nous proposons un filtrage spatialement adaptatif, optimisé conjointement au mouvement, pour empêcher le sur-lissage induit par le filtrage spatialement constant. Dans une seconde partie, nous proposons un cadre générique d'agrégation pour l'estimation du flot optique. Sous sa forme générale, il consiste en une estimation locale de candidats de mouvements, suivie de leur combinaison à l'étape d'agrégation avec un modèle global. Ce schéma permet une estimation efficace des grands déplacements et des discontinuités de mouvement. Nous développons également une méthode générique de gestion des occultations. Notre méthode est validée par une analyse expérimentale conséquente sur des bases de données de référence en vision par ordinateur. Nous démontrons la supériorité de notre méthode par rapport à l'état de l'art sur les séquences présentant de grands déplacements. La dernière partie de la thèse est consacrée à l'adaptation des approches précédentes à des problématiques d'imagerie biologique. Les changements locaux importants d'intensité observés en imagerie de fluorescence sont estimés et compensé par une adaptation de notre schéma d'agrégation. Nous proposons également une méthode variationnelle avec filtrage local dédiée au cas de mouvements diffusifs de particules. / This thesis is concerned with dense motion estimation in image sequences, also known as optical flow. Usual approaches exploit either local parametrization or global regularization of the motion field. We explore several ways to combine these two strategies, to overcome their respective limitations. We first address the problem in a global variational framework, and consider local filtering of the data term. We design a spatially adaptive filtering optimized jointly with motion, to prevent over-smoothing induced by the spatially constant approach. In a second part, we propose a generic two-step aggregation framework for optical flow estimation. The most general form is a local computation of motion candidates, combined in the aggregation step through a global model. Large displacements and motion discontinuities are efficiently recovered with this scheme. We also develop a generic exemplar-based occlusion handling to deal with large displacements. Our method is validated with extensive experiments in computer vision benchmarks. We demonstrate the superiority of our method over state-of-the-art on sequences with large displacements. Finally, we adapt the previous methods to biological imaging issues. Estimation and compensation of large local intensity changes frequently occurring in fluorescence imaging are efficiently estimated and compensated with an adaptation of our aggregation framework. We also propose a variational method with local filtering dedicated to the case of diffusive motion of particles.

Cette thèse traite de l'estimation du mouvement à partir d'une séquence d'images par des méthodes d'assimilation de données. Les travaux ont porté sur la prise en compte des objets dans les processus d'estimation, afin de corréler en espace les résultats obtenus. Les deux composantes méthodologiques que sont approche variationnelle et approche séquentielle sont traitées. L'algorithme variationnel repose sur une équation d'évolution, une équation d'ébauche et une équation d'observation. L'estimation s'obtient comme le minimum d'une fonction de coût. Dans une première étape, l'objet est décrit par sa courbe frontière. Le modèle dynamique caractérise l'évolution des images et déplace les objets afin que leurs positions correspondent à celles observées dans les acquisitions image. Cette approche impacte fortement les temps de calculs, mais permet une amélioration de l'estimation du mouvement. Deuxièmement, les valeurs de la matrice de covariance des erreurs d'ébauche sont modifiées afin de corréler, à moindre coût, les pixels de l'image. L'algorithme séquentiel présenté repose sur la création d'un ensemble de vecteurs d'état ainsi que sur des approches de localisation. Pour modéliser les objets, un nouveau critère de localisation portant sur l'intensité de niveau de gris des pixels a été défini. Cependant, la localisation, si elle est appliquée directement sur la matrice de covariance d'erreur, rend la méthode inutilisable pour de grandes images. Une approche consistant à découper le domaine global en sous-domaines indépendants, avant d'estimer le mouvement, a été mise au point. La prise en compte des objets intervient lors du découpage du domaine d'analyse global. / This thesis describes approaches estimating motion from image sequences with data assimilation methods. A particular attention is given to include representations of the displayed objects in the estimation process. Variational and sequential implementations are discussed in the document.The variational methods rely on an evolution equation, a background equation and an observation equation, which characterize the studied system and the observations. The motion estimation is obtained as the minimum of a cost function. In a first approach, the structures are modeled by their boundaries. The image model describes both the evolution of the gray level function and the displacement of the structures. The resulting motion field should allow the position of the structures in the model to match their observed position. The use of structures betters the result. A second approach, less expensive regarding the computational costs, is designed, where the structures are modeled by the values of the background error covariance matrix.The sequential approach, described in the thesis, relies on the creation of an ensemble of state vectors and on the use of localization methods. In order to model the structures, a new localization criteria based on the gray level values is defined. However, the localization method, if directly applied on the background error covariance matrix, renders the approach inoperable on large images. Therefore, another localization method is designed, which consists to decompose the image domain into independent subdomains before the estimation. Here, the structures representation intervenes while decomposing the global domain.

Cette thèse porte sur l’implémentation d’algorithmes événementiels, en utilisant, dans un premier temps, des données provenant d’une rétine artificielle, mimant le fonctionnement de la rétine humaine, pour ensuite évoluer vers tous types de signaux événementiels. Ces signaux événementiels sont issus d’un changement de paradigme dans la représentation du signal, offrant une grande plage dynamique de fonctionnement, une résolution temporelle importante ainsi qu’une compression native du signal. Sera notamment étudiée la réalisation d’un dispositif de création de cartes de profondeur monoculaires à haute fréquence, un algorithme de tri cellulaire en temps réel, ainsi que l’apprentissage non supervisé pour de la reconnaissance de formes. Certains de ces algorithmes (détection de flot optique, construction de cartes de profondeur en stéréovision) seront développés en parallèle sur des plateformes de simulation neuromorphiques existantes (SpiNNaker, TrueNorth), afin de proposer une chaîne de traitement de l’information entièrement neuromorphique, du capteur au calcul, à faible coût énergétique. / This thesis is about the implementation of neuromorphic algorithms, using, as a first step, data from a silicon retina, mimicking the human eye’s behavior, and then evolve towards all kind of event-based signals. These eventbased signals are coming from a paradigm shift in the data representation, thus allowing a high dynamic range, a precise temporal resolution and a sensor-level data compression. Especially, we will study the development of a high frequency monocular depth map generator, a real-time spike sorting algorithm for intelligent brain-machine interfaces, and an unsupervised learning algorithm for pattern recognition. Some of these algorithms (Optical flow detection, depth map construction from stereovision) will be in the meantime developed on available neuromorphic platforms (SpiNNaker, TrueNorth), thus allowing a fully neuromorphic pipeline, from sensing to computing, with a low power budget.

Le flot optique est un outil, prometteur et puissant, pour estimer le mouvement des objets de différentes natures, solides ou fluides. Il permet d’extraire les champs de vitesse à partir d’une séquence d’images. Dans cette étude, nous développons la méthode du flot optique pour récupérer, d’une manière précise, le champ de vitesse des mouvements turbulents incompressibles. L’estimation de turbulence consiste à minimiser une fonction d’énergie composée par un terme d’observation et un terme de régularisation. L’équation de transport d’un scalaire passif est alors employée pour représenter le terme d’observation. Cependant, dans le cas où le nombre de Reynolds est grand, et, à cause des contraintes optiques, l’image n’est pas pleinement résolue pour prendre en compte la physique de toutes les échelles de la turbulence. Pour compléter les informations manquantes liées aux physiques des petites échelles, nous adoptons une démarche similaire à celle de Large Eddy Simulation (LES), et, proposons d’utiliser le modèle mixte afin de tenir compte de l’interaction entre les grandes échelles et celles non-résolues. Quant au terme de régularisation, il se repose sur l’équation de continuité des fluides incompressibles. Les tests à l’aide des images synthétiques et expérimentales de la turbulence bi-dimensionnelle - des données des cas test de la communauté du flot optique -, ont non seulement validé notre démarche, mais montrent une amélioration significative des qualités des champs de vitesses extraites. Le cas du flot optique, en 3D, relève encore du défi dans le cas de l’estimation des champs de vitesse de la turbulence. D’une part, contrairement au 2D où il existe des cas tests bien établis, il n’existe pas, à notre connaissance, des séquences d’images 3D référentielles permettant de tester notre démarche et méthode. D’autre part, l’augmentation du coût d’estimation demande des algorithme adaptés. Ainsi, nous sommes amené à utiliser la simulation numérique directe d’écoulement turbulent en présence d’un scalaire passif, pour générer des données de scalaires afin d’évaluer la performance du flot optique. Nous prêtons également attention à l’effet du nombre de Schmidt qui caractérise la relation entre la diffusion moléculaire scalaire et la dissipation de turbulence. Les tests sont ensuite effectués avec cette base de données numériques. Les résultats montrent que la précision de l’estimation augmente avec des nombres de Schmidt plus élevés. Par ailleurs, l’influence du terme de régularisation est aussi étudié au travers deux équations qui se différencient par l’ordre spatial des dérivées partielles. Les résultats numériques montrent que l’équation avec un terme de régularisation de seconde-ordre est meilleure que celle de premier-ordre. / The method of optical flow is a powerful tool for motion estimation. It is able to extract the dense velocity field from image sequence. In this study, we employ this method to retrieve precisely the incompressible turbulent motions. For 2D turbulence estimation, it consists in minimizing an objective function constituted by an observation term and a regularization one. The observation term is based on the transport equation of a passive scalar field. For non-fully resolved scalar images, we propose to use the mixed model in large eddy simulation (LES) to determine the interaction between large-scale motions and the unresolved ones. The regularization term is based on the continuity equation of 2D incompressible flows. Evaluation of the proposed formulation is done over synthetic and experimental images. In addition, we extend optical flow to three dimensional and multiple scalar databases are generated with direct numerical simulation (DNS) in order to evaluate the performance of optical flow in the 3D context. We propose two formulations differing by the order of the regularizer. Numerical results show that the formulation with second-order regularizer outperforms its first-order counterpart. We also draw special attention to the effect of Schmidt number, which characterizes the ratio between the molecular diffusion of the scalar and the dissipation of the turbulence. Results show that the precision of the estimation increases as the Schmidt number increases. Overall, optical flow has showcased its capability of reconstructing the turbulent flow with excellent accuracy. This method has all the potential and attributes to become an effective flow measurement approach in fluid mechanics community.

Cette thèse étudie différentes relaxations pour minimiser des fonctionnelles non convexes qui apparaissent en traitement d’images. Des problèmes comme la segmentation d’image peuvent en effet s’écrire comme un problème de minimisation d’une certaine fonctionnelle, le minimiseur représentant la segmentation recherchée. Différentes méthodes ont été proposées pour trouver des minima locaux ou globaux de la fonctionnelle non convexe du modèle de Mumford-Shah constant par morceaux à deux phases. Certaines approches utilisent une relaxation convexe qui permet d’obtenir des minima globaux de la fonctionnelle non convexe. On rappelle et compare certaines de ces méthodes et on propose un nouveau modèle par bande étroite, qui permet d’obtenir des minima locaux tout en utilisant des algorithmes robustes qui proviennent de l’optimisation convexe. Ensuite, on construit une relaxation convexe d’un modèle de segmentation à deux phases qui repose sur la comparaison entre deux histogrammes donnés et les histogrammes estimés globalement sur les deux régions de la segmentation. Des relaxations pour des problèmes multi-étiquettes à plusieurs dimensions comme le flot optique sont également étudiées. On propose une relaxation convexe avec un algorithme itératif qui ne comprend que des projections qui se calculent exactement, ainsi qu’un nouvel algorithme pour une relaxation convexe sur chaque variable mais non convexe globalement. On étudie la manière d’estimer une solution du problème non convexe original à partir d’une solution d’un problème relaxé en comparant des méthodes existantes avec des nouvelles / In this thesis we study different relaxations of non-convex functionals that can be found in image processing. Some problems, such as image segmentation, can indeed be written as the minimization of a functional. The minimizer of the functional represents the segmentation. Different methods have been proposed in order to find local or global minima of the non-convex functional of the two-phase piecewise constant Mumford-Shah model. With a convex relaxation of this model we can find a global minimum of the nonconvex functional. We present and compare some of these methods and we propose a new model with a narrow band. This model finds local minima while using robust convex optimization algorithms. Then a convex relaxation of a two-phase segmentation model is built that compares two given histograms with those of the two segmented regions. We also study some relaxations of high-dimension multi-label problems such as optical flow computation. A convex relaxation with a new algorithm is proposed. The algorithm is iterative with exact projections. A new algorithm is given for a relaxationthat is convex in each variable but that is not convex globally. We study the problem of constructing a solution of the original non-convex problem with a solution of the relaxed problem. We compare existing methods with new ones.