Les techniques habituelles d'indexation de vidéos passent généralement par une phase d'apprentissage qui nécessite préalablement la constitution d'une base d'apprentissage. Même si la taille de cette base est souvent réduite, la phase d'annotation réalisée par un expert de l'application est souvent longue et fastidieuse. Dans le cadre de cette thèse, nous avons développé un dispositif qui permet de pré-sélectionner un ensemble de prototypes susceptibles de contenir le concept qui doit apparaître dans la base d'apprentissage. Cette base réduite de prototypes sera ensuite annotée par l'expert. Nous nous sommes intéressés à des concepts temporels, ce qui nous a amené à étudier particulièrement des caractéristiques liées au mouvement, comme les points d'intérêt spatio-temporels (STIP Spatial Temporal Interest Points). D'autres caractéristiques ont aussi été utilisées concernant la couleur et la présence de formes particulières. Ces caractéristiques sont ensuite exploitées pour structurer la base de vidéos en briques spatio-temporelles homogènes. Cette structuration correspond à une sorte de segmentation de la base en fonction de chacune des caractéristiques. La liaison entre le concept à définir et les briques extraites de la base est en lien avec le fossé sémantique bien connu dans la problématique d'indexation automatique. La création de ce lien nécessite l'utilisation de la connaissance de l'expert de l'application sur le concept. Nous avons développé un système dans lequel cette connaissance est extraite par un système de questions/réponses. Les couples de questions/réponses permettent de sélectionner des briques répondant à la contrainte, de définir des relations entre certaines briques, et enfin de naviguer dans l'arborescence des questions. Des tests ont été réalisés sur des bases de vidéos de provenances diverses telles que des vidéos provenant d'émissions de télévision, de films d'animation, ou encore des vidéos de laboratoire disponibles sur le net, ou réalisées par nos soins. Ces tests montrent les performances satisfaisantes mais aussi les limites de l'approche et ouvrent des perspectives intéressantes, particulièrement sur les aspects collaboratifs et les aspects adaptatifs qui permettraient de capitaliser les connaissances des experts applicatifs et rendraient le système plus efficient. / The usual techniques of video indexing generally go through a learning phase that requires the prior establishment of a training database. Even if the size of the database is often reduced, the annotation phase by an expert of the application is often long and tedious. In this thesis, we developed a system that allows pre-selecting a set of prototypes that can contain the concept that must appear in the training set. This reduced base of prototypes will then be annotated by the expert. We are interested in time concepts, which led us to study particular features related to movement, such as Spatial Temporal Interest Points (STIP). Other features have also been used concerning the color and the presence of particular shapes. These characteristics are then used to structure the video database in homogeneous space-time blocks. This structure corresponds to segmentation related to each characteristic. The link between the concept to define and blocks extracted from the base corresponds to the well known problem of automatic indexing, the semantic gap. The definition of this link requires the introduction of the application expert's knowledge. We developed a system in which this knowledge is extracted by a questions/answers system. The couples of questions/answers allow the system to select blocks corresponding to the constraint, to define relationships between some blocks, and finally to navigate on the questions/answers tree. Tests were performed on video databases from various sources such as videos from tele- vision shows, animated films, laboratory videos available on the net, or made by us. These tests show the satisfying performances but also the limitations of the approach and open interesting perspectives, particularly on the collaborative and adaptive aspects that would capitalize in the application expert knowledge and would make the system more efficient.

Keypoint detection and description is the first step of homography and essential matrix estimation, which in turn is used in Visual Odometry and Visual SLAM. This work explores the effect (in terms of speed and accuracy) of using different deep learning architectures for such keypoints. The fully convolutional networks — with heads for both the detector and descriptor — are trained through an existing self-supervised method, where correspondences are obtained through known randomly sampled homographies. A new strategy for choosing negative correspondences for the descriptor loss is presented, which enables more flexibility in the architecture design. The new strategy turns out to be essential as it enables networks that outperform the learnt baseline at no cost in inference time. Varying the model size leads to a trade-off in speed and accuracy, and while all models outperform ORB in homography estimation, only the larger models approach SIFT’s performance; performing about 1-7% worse. Training for longer and with additional types of data might give the push needed to outperform SIFT. While the smallest models are 3× faster and use 50× fewer parameters than the learnt baseline, they still require 3× as much time as SIFT while performing about 10-30% worse. However, there is still room for improvement through optimization methods that go beyond architecture modification, e.g. quantization, which might make the method faster than SIFT. / Nyckelpunkts-detektion och deskriptor-skapande är det första steget av homografi och essentiell matris estimering, vilket i sin tur används inom Visuell Odometri och Visuell SLAM. Det här arbetet utforskar effekten (i form av snabbhet och exakthet) av användandet av olika djupinlärnings-arkitekturer för sådana nyckelpunkter. De hel-faltade nätverken – med huvuden för både detektorn och deskriptorn – tränas genom en existerande själv-handledd metod, där korrespondenser fås genom kända slumpmässigt valda homografier. En ny strategi för valet av negativa korrespondenser för deskriptorns träning presenteras, vilket möjliggör mer flexibilitet i designen av arkitektur. Den nya strategin visar sig vara väsentlig då den möjliggör nätverk som presterar bättre än den lärda baslinjen utan någon kostnad i inferenstid. Varieringen av modellstorleken leder till en kompromiss mellan snabbhet och exakthet, och medan alla modellerna presterar bättre än ORB i homografi-estimering, så är det endast de större modellerna som närmar sig SIFTs prestanda; där de presterar 1-7% sämre. Att träna längre och med ytterligare typer av data kanske ger tillräcklig förbättring för att prestera bättre än SIFT. Även fast de minsta modellerna är 3× snabbare och använder 50× färre parametrar än den lärda baslinjen, så kräver de fortfarande 3× så mycket tid som SIFT medan de presterar runt 10-30% sämre. Men det finns fortfarande utrymme för förbättring genom optimeringsmetoder som övergränsar ändringar av arkitekturen, som till exempel kvantisering, vilket skulle kunna göra metoden snabbare än SIFT.

Nous abordons le suivi d’objets dans des séquences d’images de scènes déformables selon deux axes de recherche. Il s’agit de déterminer les transformations d’un objet, d’une image à l’autre, lorsque celui-ci s’est éventuellement déformé ou déplacé et lorsque le point de vue de la caméra a éventuellement été modifié (déplacement, zoom...). Pour cela, nous nous sommes inspirés de l’algorithme de Jurie et Dhome qui permet de suivre un objet plan indéformable. D’une part, nous en améliorons les performances. D’autre part, nous le généralisons au cas d’objets déformables. Le premier axe de recherche consiste à améliorer les performances de l’algorithme de Jurie et Dhome en termes de précision et robustesse. Le suivi s’appuie sur un ensemble de points d’intérêt, dont dépendent fortement les performances. Ces points d’intérêt sont issus d’une sélection des points obtenus par des détecteurs reconnus, à savoir SIFT, KLT, SUSAN, HARRIS et MORAVEC. Nous avons étudié et mis en oeuvre, sur différentes classes d’images, des heuristiques de sélection fondées sur des approches statistique et algébrique. Nous montrons : – qu’il n’existe pas de détecteur universel, – que l’approche statistique est à privilégier dans tous les cas. Le second axe de recherche est une proposition d’un nouvel algorithme de suivi s’appuyant sur le maillage 2D des images de la séquence. Cet algorithme généralise celui de Jurie et Dhome aux scènes déformables. Il repose sur : – des transformations élémentaires (nodales) du maillage, directes et inverses, que nous avons caractérisées tant d’un point de vue géométrique qu’analytique, – l’utilisation des coordonnées barycentriques généralisées pour approcher la composition de deux transformations d’un maillage. Cet algorithme donne des résultats similaires à celui d’appariement hexagonal de Nakaya et Harashima tout en étant plus rapide. / We deal with object tracking in videos of non-rigid scenes with two main purposes. We aim at determining the transformations of an object, from one frame to the next, when it may be distorted or moved and when the camera focus may change (movement, zoom...). To do this, we were inspired by the Jurie and Dhome algorithm, which enables the tracking of plane rigid objects. On the one hand, we improve its performance. On the other hand, we generalize it to non-rigid objects. The first goal consists in improving the performance of the Jurie and Dhome algorithm, in terms of accuracy and robustness. The tracking is based on a set of interest points, which has a great effect on the algorithm’s performance. These interest points come from a selection among the points extracted with some common detectors: SIFT, KLT, SUSAN, HARRIS, and MORAVEC.With various pictures classes, we have studied and implemented some selection heuristics based on statistical or algebraic approaches. We show that : • there is no universal detector, • the statistical approach is the best in all cases. The second goal is a proposal of a new tracking algorithm based on a 2D mesh of the video frames. This algorithm generalizes the Jurie and Dhome one for non-rigid scenes. It is based on : • elementary (nodal), direct or inverse, mesh transformations that we geometrically and analytically characterize, • generalized barycentric coordinates to approximate the composition of two mesh transformations. This algorithm gives similar results to the hexagonal matching algorithm of Nakaya and Harashima while being faster.

No description available.

Ce manuscrit est dédié à la détection et la caractérisation de points d'intérêt dans les maillages. Nous montrons tout d'abord les limitations de la mesure de courbure sur des contours francs, mesure habituellement utilisée dans le domaine de l'analyse de maillages. Nous présentons ensuite une généralisation de l'opérateur SUSAN pour les maillages, nommé SUSAN-3D. La mesure de saillance proposée quantifie les variations locales de la surface et classe directement les points analysés en cinq catégories : saillant, crête, plat, vallée et creux. Les maillages considérés sont à variété uniforme avec ou sans bords et peuvent être réguliers ou irréguliers, denses ou non et bruités ou non. Nous étudions ensuite les performances de SUSAN-3D en les comparant à celles de deux opérateurs de courbure : l'opérateur de Meyer et l'opérateur de Stokely. Deux méthodes de comparaison des mesures de saillance et courbure sont proposées et utilisées sur deux types d’objets : des sphères et des cubes. Les sphères permettent l'étude de la précision sur des surfaces différentiables et les cubes sur deux types de contours non-différentiables : les arêtes et les coins. Nous montrons au travers de ces études les avantages de notre méthode qui sont une forte répétabilité de la mesure, une faible sensibilité au bruit et la capacité d'analyser les surfaces peu denses. Enfin, nous présentons une extension multi-échelle et une automatisation de la détermination des échelles d'analyse qui font de SUSAN-3D un opérateur générique et autonome d’analyse et de caractérisation pour les maillages / This manuscript is dedicated to the detection and caracterization of interest points for 3D meshes. First of all, we show the limitations of the curvature measure on sharp edges, the measure usually used for the analysis of meshes. Then, we present a generalization of the SUSAN operator for meshes, named SUSAN-3D. The saliency measure proposed quantify the local variation of the surface and classify directly the analysed vertices in five classes: salient, crest, flat, valley and cavity. The meshes under consideration are manifolds and can be closed or non-closed, regulars or irregulars, dense or not and noised or not. The accuracy of the SUSAN-3D operator is compared to two curvature operators: the Meyer's operator and the Stokely's operator. Two comparison methods of saliency and curvature measures are described and used on two types of objects: spheres and cubes. The spheres allow the study of the accuracy for differentiable surfaces and the cubes for two types of sharp edges: crests and corners. Through these studies, we show the benefits of our method that are a strong repeatability of the measure, high robustness to noise and capacity to analyse non dense meshes. Finally, we present a multi-scale scheme and automation of the determination of the analysis scales that allow SUSAN-3D to be a general and autonomous operator for the analysis and caracterization of meshes

Les imageurs des hôpitaux produisent de plus en plus d'images 3D et il y a un nombre croissant d'études de cohortes. Afin d'ouvrir la voie à des méthodes utilisant de larges bases de données, il est nécessaire de développer des approches permettant de rendre ces bases cohérentes en recalant les images. Les principales méthodes actuelles de recalage de groupes utilisent des données denses (voxels) et sélectionnent une référence pour mettre en correspondance l'ensemble des images. Nous proposons une approche de recalage par groupes, sans image de référence, en utilisant seulement des points d'intérêt (Surf3D), applicable à des bases de plusieurs centaines d'images médicales. Nous formulons un problème global fondé sur l'appariement de points d'intérêt. La variabilité inter-individu étant grande, le taux de faux positifs (paires aberrantes) peut être très important (70\%). Une attention particulière est portée sur l'élimination des appariements erronés. Une première contribution effectue le recalage rigide de groupes d'images. Nous calculons les recalages de toutes les paires d'images. En s'appuyant sur le graphe complet de ces recalages, nous formulons le problème global en utilisant l'opérateur laplacien. Des expérimentations avec 400 images scanner CT 3D hétérogènes illustrent la robustesse de notre méthode et sa vitesse d'exécution. Une seconde contribution calcule le recalage déformable de groupes d'images. Nous utilisons des demi-transformations, paramétrées par des pyramides de B-splines, entre chaque image et un espace commun. Des comparaisons sur un jeu de données de référence montrent que notre approche est compétitive avec la littérature tout en étant beaucoup plus rapide. Ces résultats montrent le potentiel des approches basées sur des points d'intérêt pour la mise en correspondance de grandes bases d'images. Nous illustrons les perspectives de notre approche par deux applications : la segmentation multi-atlas et l'anthropologie. / The ever-increasing amount of medical images stored in hospitals offers a great opportunity for big data analysis. In order to pave the way for huge image groups screening, we need to develop methods able to make images databases consistent by group registering those images. Currently, group registration methods generally use dense, voxel-based, representations for images and often pick a reference to register images. We propose a group registration framework, without reference image, by using only interest points (Surf3D), able to register hundreds of medical images. We formulate a global problem based on interest point matching. The inter-patient variability is high, and the outliers ratio can be large (70\%). We pay a particular attention on inhibiting outliers contribution. Our first contribution is a two-step rigid groupwise registration. In the first step, we compute the pairwise rigid registration of each image pair. In a second step, a complete graph of those registrations allows us to formulate a global problem using the laplacian operator. We show experimental results for groups of up to 400 CT-scanner 3D heterogeneous images highlighting the robustness and speed of our approach. In our second contribution, we compute a non-rigid groupwise registration. Our approach involves half-transforms, parametrized by a b-spline pyramid, between each image and a common space. A reference dataset shows that our algorithm provides competitive results while being much faster than previous methods. Those results show the potential of our interest point based registration method for huge datasets of 3D medical images. We also provide to promising perspectives: multi-atlas based segmentation and anthropology.

Cette thèse s’inscrit dans le contexte de la reconnaissance des activités à partir de séquences vidéo qui est une des préoccupations majeures dans le domaine de la vision par ordinateur. Les domaines d'application pour ces systèmes de vision sont nombreux notamment la vidéo surveillance, la recherche et l'indexation automatique de vidéos ou encore l'assistance aux personnes âgées. Cette tâche reste problématique étant donnée les grandes variations dans la manière de réaliser les activités, l'apparence de la personne et les variations des conditions d'acquisition des activités. L'objectif principal de ce travail de thèse est de proposer une méthode de reconnaissance efficace par rapport aux différents facteurs de variabilité. Les représentations basées sur les points d'intérêt ont montré leur efficacité dans les travaux d'art; elles ont été généralement couplées avec des méthodes de classification globales vue que ses primitives sont temporellement et spatialement désordonnées. Les travaux les plus récents atteignent des performances élevées en modélisant le contexte spatio-temporel des points d'intérêts par exemple certains travaux encodent le voisinage des points d'intérêt à plusieurs échelles. Nous proposons une méthode de reconnaissance des activités qui modélise explicitement l'aspect séquentiel des activités tout en exploitant la robustesse des points d'intérêts dans les conditions réelles. Nous commençons par l'extractivité des points d'intérêt dont a montré leur robustesse par rapport à l'identité de la personne par une étude tensorielle. Ces primitives sont ensuite représentées en tant qu'une séquence de sac de mots (BOW) locaux: la séquence vidéo est segmentée temporellement en utilisant la technique de fenêtre glissante et chacun des segments ainsi obtenu est représenté par BOW des points d'intérêt lui appartenant. Le premier niveau de notre système de classification séquentiel hybride consiste à appliquer les séparateurs à vaste marge (SVM) en tant que classifieur de bas niveau afin de convertir les BOWs locaux en des vecteurs de probabilités des classes d'activité. Les séquences de vecteurs de probabilité ainsi obtenues sot utilisées comme l'entrées de classifieur séquentiel conditionnel champ aléatoire caché (HCRF). Ce dernier permet de classifier d'une manière discriminante les séries temporelles tout en modélisant leurs structures internes via les états cachés. Nous avons évalué notre approche sur des bases publiques ayant des caractéristiques diverses. Les résultats atteints semblent être intéressant par rapport à celles des travaux de l'état de l'art. De plus, nous avons montré que l'utilisation de classifieur de bas niveau permet d'améliorer la performance de système de reconnaissance vue que le classifieur séquentiel HCRF traite directement des informations sémantiques des BOWs locaux, à savoir la probabilité de chacune des activités relativement au segment en question. De plus, les vecteurs de probabilités ont une dimension faible ce qui contribue à éviter le problème de sur apprentissage qui peut intervenir si la dimension de vecteur de caractéristique est plus importante que le nombre des données; ce qui le cas lorsqu'on utilise les BOWs qui sont généralement de dimension élevée. L'estimation les paramètres du HCRF dans un espace de dimension réduite permet aussi de réduire le temps d'entrainement / Human activity recognition (HAR) from video sequences is one of the major active research areas of computer vision. There are numerous application HAR systems, including video-surveillance, search and automatic indexing of videos, and the assistance of frail elderly. This task remains a challenge because of the huge variations in the way of performing activities, in the appearance of the person and in the variation of the acquisition conditions. The main objective of this thesis is to develop an efficient HAR method that is robust to different sources of variability. Approaches based on interest points have shown excellent state-of-the-art performance over the past years. They are generally related to global classification methods as these primitives are temporally and spatially disordered. More recent studies have achieved a high performance by modeling the spatial and temporal context of interest points by encoding, for instance, the neighborhood of the interest points over several scales. In this thesis, we propose a method of activity recognition based on a hybrid model Support Vector Machine - Hidden Conditional Random Field (SVM-HCRF) that models the sequential aspect of activities while exploiting the robustness of interest points in real conditions. We first extract the interest points and show their robustness with respect to the person's identity by a multilinear tensor analysis. These primitives are then represented as a sequence of local "Bags of Words" (BOW): The video is temporally fragmented using the sliding window technique and each of the segments thus obtained is represented by the BOW of interest points belonging to it. The first layer of our hybrid sequential classification system is a Support Vector Machine that converts each local BOW extracted from the video sequence into a vector of activity classes’ probabilities. The sequence of probability vectors thus obtained is used as input of the HCRF. The latter permits a discriminative classification of time series while modeling their internal structures via the hidden states. We have evaluated our approach on various human activity datasets. The results achieved are competitive with those of the current state of art. We have demonstrated, in fact, that the use of a low-level classifier (SVM) improves the performance of the recognition system since the sequential classifier HCRF directly exploits the semantic information from local BOWs, namely the probability of each activity relatively to the current local segment, rather than mere raw information from interest points. Furthermore, the probability vectors have a low-dimension which prevents significantly the risk of overfitting that can occur if the feature vector dimension is relatively high with respect to the training data size; this is precisely the case when using BOWs that generally have a very high dimension. The estimation of the HCRF parameters in a low dimension allows also to significantly reduce the duration of the HCRF training phase

Dans le domaine de la vision par ordinateur l'utilisation de points d'intérêt (PI) est récurrente pour les problématiques de reconnaissance et de suivi d'objets. Plusieurs études ont prouvé l'utilité de ces techniques, associant robustesse et un temps de calcul pouvant être compatible avec le temps réel. Cette thèse propose d'étudier et d'exploiter ces descripteurs de statistiques de l'image sous un tout autre regard. Ainsi, nous avons menée une étude sur le lien entre les PI et la saillance visuelle humaine. De cette étude nous avons pu développer une méthode de prédiction de carte de saillance exploitant la rapidité d'exécution de ces détecteurs. Nous avons également exploité le pouvoir descriptif de ces PI afin de développer de nouvelles métriques de qualité d'images. Grâce à des résultats encourageant en terme de prédiction de qualité perçue et la faible quantité d'information utilisée, nous avons pu intégrer notre métrique "QIP" dans une chaîne de transmission d'images sur réseau sans fil de type MIMO. L'ajout de cette métrique permet d'augmenter la qualité d'expérience en garantissant la meilleure qualité malgré les erreurs introduites par la transmission sans fil. Nous avons étendu cette étude, par l'analyse fine des statistiques structurelles de l'image et des migrations d'attributs afin de proposer un modèle générique de prédiction des dégradations. Enfin, nous avons été amenés à conduire diverses expériences psychovisuelles, pour valider les approches proposées ou dans le cadre de la normalisation de nouveaux standards du comité JPEG. Ce qui a mené à développer une application web dédiée à l'utilisation et la comparaison des métriques de qualité d'images. / In the field of computer vision, the use of interest points (IP) is very frequent for objects tracking and recognition. Several studies have demonstrated the usefulness of these techniques, combining robustness and complexity that can be compatible with the real time. This thesis proposes to explore and exploit these image statistical descriptors under a different angle. Thus, we conducted a study on the relationship between IP and human visual saliency. In this study, we developed a method for predicting saliency maps relying on the efficiency of the descriptors. We also used the descriptive power of the PI to develop new metrics for image quality. With encouraging results in terms of prediction of perceived quality and the reduced amount of used information, we were able to integrate our metric "QIP" in an image transmission framework over a MIMO wireless network. The inclusion of this metric can improve the quality of experience by ensuring the best visual quality despite the errors introduced by the wireless transmission. We have extended this study by deeply analyzing structural statistics of the image and migration attributes to provide a generic model for predicting impairments. Finally, we conducted various psychovisual experiments to validate the proposed approaches or to contribute to JPEG standard committee. This led to develop a web application dedicated to the benchmark of image quality metrics.

This thesis deals with model-based approach to 3D tracking from monocular video. The 3D model pose dynamically estimated through minimization of objective function by particle filter. Objective function is based on rendered scene to real video similarity.

This document deals with an image points of interest detection possibilities, especially corner detectors. Many applications which are interested in computer vision needs these points as their necessary step in the image processing. It describes the reasons why it is so useful to find these points and shows some basic methods to find them. There are compared features of these methods at the end.