Je présenterai mes activités de recherche en vision par ordinateur effectuées au sein des équipes MOVI et LEAR du laboratoire GRAVIR depuis l'année 2000, sur l'estimation de la pose et du mouvement articulaire humain à partir d'images monoculaires, et sur d'autres sujets liés au traitement d'image, à la vision géométrique et à l'apprentissage statistique. Les travaux sur le mouvement humain se divisent en trois parties : l'approche par modélisation 3-D explicite, où notre contribution porte sur l'optimisation non-convexe de la pose ; l'approche 2-D où nous contribuons un détecteur de personnes et un modèle dynamique du mouvement ; et une approche 3-D par apprentissage, sans modèle explicite.

Cette thèse s'intéresse au problème de la reconnaissance d'objets dans les images vidéo et plus particulièrement à celui de leur localisation. Elle a été conduite dans le contexte d'une collaboration scientifique entre l'INRIA Rhône-Alpes et MBDA France. De ce fait, une attention particulière a été accordée à l'applicabilité des approches proposées aux images infra-rouges. La méthode de localisation proposée repose sur l'utilisation d'une fenêtre glissante incluant une cascade à deux étages qui, malgré sa simplicité, permet d'allier rapidité et précision. Le premier étage est un étage de filtrage rejetant la plupart des faux positifs au moyen d'un classifieur SVM linéaire. Le deuxième étage élimine les fausses détections laissées par le premier étage avec un classifieur SVM non-linéaire plus lent, mais plus performant. Les fenêtres sont représentées par des descripteurs HOG et Bag-of-words. La seconde contribution de la thèse réside dans une méthode permettant de combiner localisation d'objets et catégorisation d'images. Ceci permet, d'une part, de prendre en compte le contexte de l'image lors de la localisation des objets, et d'autre part de s'appuyer sur la structure géométrique des objets lors de la catégorisation des images. Cette méthode permet d'améliorer les performances pour les deux tâches et produit des détecteurs et classifieurs dont la performance dépasse celle de l'état de l'art. Finalement, nous nous penchons sur le problème de localisation de catégories d'objets similaires et proposons de décomposer la tâche de localisation d'objets en deux étapes. Une première étape de détection permet de trouver les objets sans déterminer leurs positions tandis qu'une seconde étape d'identification permet de prédire la catégorie de l'objet. Nous montrons que cela permet de limiter les confusions entre les classes, principal problème observé pour les catégories d'objets visuellement similaires. La thèse laisse une place importante à la validation expérimentale, conduites sur la base PASCAL VOC ainsi que sur des bases d'images spécifiquement réalisées pour la thèse.

Cette thèse s'intéresse au problème de la reconnaissance d'objets dans les images vidéo et plus particulièrement à celui de leur localisation. Elle a été conduite dans le contexte d'une collaboration scientifique entre l'INRIA Rhône-Alpes et MBDA France. De ce fait, une attention particulière a été accordée à l'applicabilité des approches proposées aux images infra-rouges. La méthode de localisation proposée repose sur l'utilisation d'une fenêtre glissante incluant une cascade à deux étages qui, malgré sa simplicité, permet d'allier rapidité et précision. Le premier étage est un étage de filtrage rejetant la plupart des faux positifs au moyen d'un classifieur SVM linéaire. Le deuxième étage élimine les fausses détections laissées par le premier étage avec un classifieur SVM non-linéaire plus lent, mais plus performant. Les fenêtres sont représentées par des descripteurs HOG et Bag-of-words. La seconde contribution de la thèse réside dans une méthode permettant de combiner localisation d'objets et catégorisation d'images. Ceci permet, d'une part, de prendre en compte le contexte de l'image lors de la localisation des objets, et d'autre part de s'appuyer sur la structure géométrique des objets lors de la catégorisation des images. Cette méthode permet d'améliorer les performances pour les deux tâches et produit des détecteurs et classifieurs dont la performance dépasse celle de l'état de l'art. Finalement, nous nous penchons sur le problème de localisation de catégories d'objets similaires et proposons de décomposer la tâche de localisation d'objets en deux étapes. Une première étape de détection permet de trouver les objets sans déterminer leurs positions tandis qu'une seconde étape d'identification permet de prédire la catégorie de l'objet. Nous montrons que cela permet de limiter les confusions entre les classes, principal problème observé pour les catégories d'objets visuellement similaires. La thèse laisse une place importante à la validation expérimentale, conduites sur la base PASCAL VOC ainsi que sur des bases d'images spécifiquement réalisées pour la thèse.

Ce manuscrit présente les travaux réalisés pour la mise au point d'un nouvel outil dédié à la détection temps-réelle assistée par ordinateur pour la détection des polypes colorectaux en vidéocoloscopie dans le cadre du dépistage précoce du cancer colorectal. Ce cancer reste aujourd'hui associé à un taux de mortalité important lorsque détecté trop tardivement. Un tel outil pourrait donc permettre d'améliorer la prise en charge.Tout d'abord, une analyse de l'état de l'art permet de mettre en évidence les limitations des méthodes actuelles. Il est alors possible de déterminer le positionnement scientifique et technique à adopter pour créer un outil innovant dédié à cette tâche de détection.Une première phase dédiée à l'analyse d'images fixes permet de confirmer ou d'infirme les choix scientifiques possibles et ainsi de développer une approche en accord avec les contraintes imposées par une utilisation clinique (temps de traitement, performances en particulier). Cette première méthode est ainsi capable de détecter les polypes en moins de 40 millisecondes par image, soit compatible avec le temps réel, en ayant de bonnes performances (F1 Score de 47.55%).Logiquement, on s'intéresse ensuite à la détection des polypes dans les vidéos, qui permet de se rapprocher d'examens réels. En particulier, on propose plusieurs optimisations (comme la cohérence temporelle) permettant de tirer bénéfice de la vidéo. L'outil est alors capable d'alerter le médecin sur la présence de polypes dans 97.6% des cas (36 vidéos) en temps-réel avec, en moyenne, seulement 23 millisecondes pour traiter une image.Au final, cet outil, capable d'alerter le médecin sur la présence de polypes colorectaux en temps-réel durant l'examen, pourrait donc s'intégrer dans la routine clinique de la vidéocoloscopie. Des essais cliniques à venir permettront d'identifier les possibles limitations à lever. / This manuscript presents the work carried out for the development of a new tool dedicated to real-time computer-assisted detection for the detection of colorectal polyps in videocoloscopy, in the context of early detection of colorectal cancer. This cancer remains today associated with a high mortality rate when detected too late. A such tool could help to improve medical care.First of all, an analysis of the state of the art makes it possible to highlight the limitations of current methods. It is then possible to determine the scientific and technical positioning to adopt in order to create an innovative tool dedicated to this detection task.A first phase dedicated to the analysis of still frames confirms or invalidates the possible scientific choices and thus develops an approach in accordance with the constraints imposed by clinical use (processing time, performance in particular). This first method is able to detect polyps in less than 40 milliseconds per image, which is compatible with real time, with good performance (F1 Score of 47.55%).Logically, we are interested in the detection of polyps in videos, which allows to get closer to real exams. In particular, several optimizations (such as temporal coherence) are proposed to benefit from video. The tool is then able to alert the doctor about the presence of polyps in 97.6% of cases (on a set of 36 videos) in real time with only an average processing time of 23 milliseconds per frame.In the end, this tool, which can alert the doctor of the presence of colorectal polyps in real time during the examination, could therefore be part of the clinical routine of videocoloscopy. Future clinical trials will identify possible limitations to be overcome.

La detection, le suivi de cible et la reconnaissance de primitives visuelles constituent des problèmes fondamentaux de la vision robotique. Ces problématiques sont réputés difficiles et sources de défis. Malgré les progrès en puissance de calcul des machines, le gain en résolution et en fréquence des capteurs, l’état-de-l’art de la vision robotique peine à atteindre des performances en coût d’énergie et en robustesse qu’offre la vision biologique. L’apparition des nouveaux capteurs, appelés "rétines de silicium” tel que le DVS (Dynamic Vision Sensor) et l’ATIS (Asynchronous Time-based Imaging Sensor) reproduisant certaines fonctionnalités des rétines biologiques, ouvre la voie à de nouveaux paradigmes pour décrire et modéliser la perception visuelle, ainsi que pour traiter l’information visuelle qui en résulte. Les tâches de suivi et de reconnaissance de formes requièrent toujours la caractérisation et la mise en correspondance de primitives visuelles. La détection de ces dernières et leur description nécessitent des approches fondamentalement différentes de celles employées en vision robotique traditionnelle. Cette thèse développe et formalise de nouvelles méthodes de détection et de caractérisation de primitives spatio-temporel des signaux acquis par les rétines de silicium (plus communément appelés capteurs “event-based”). Une structure théorique pour les tâches de détection, de suivi, de reconnaissance et de classification de primitives est proposée. Elle est ensuite validée par des données issues de ces capteurs “event-based”,ainsi que par des bases données standard du domaine de la reconnaissance de formes, convertit au préalable à un format compatible avec la representation “événement”. Les résultats présentés dans cette thèse démontrent les potentiels et l’efficacité des systèmes "event-based”. Ce travail fournit une analyse approfondie de différentes méthodes de reconnaissance de forme et de classification “event-based". Cette thèse propose ensuite deux solutions basées sur les primitives. Deux mécanismes d’apprentissage, un purement événementiel et un autre, itératif, sont développés puis évalués pour leur capacité de classification et de robustesse. Les résultats démontrent la validité de la classification “event-based” et souligne l’importance de la dynamique de la scène dans les tâches primordiales de définitions des primitives et de leur détection et caractétisation. / One of the fundamental tasks underlying much of computer vision is the detection, tracking and recognition of visual features. It is an inherently difficult and challenging problem, and despite the advances in computational power, pixel resolution, and frame rates, even the state-of-the-art methods fall far short of the robustness, reliability and energy consumption of biological vision systems. Silicon retinas, such as the Dynamic Vision Sensor (DVS) and Asynchronous Time-based Imaging Sensor (ATIS), attempt to replicate some of the benefits of biological retinas and provide a vastly different paradigm in which to sense and process the visual world. Tasks such as tracking and object recognition still require the identification and matching of local visual features, but the detection, extraction and recognition of features requires a fundamentally different approach, and the methods that are commonly applied to conventional imaging are not directly applicable. This thesis explores methods to detect features in the spatio-temporal information from event-based vision sensors. The nature of features in such data is explored, and methods to determine and detect features are demonstrated. A framework for detecting, tracking, recognising and classifying features is developed and validated using real-world data and event-based variations of existing computer vision datasets and benchmarks. The results presented in this thesis demonstrate the potential and efficacy of event-based systems. This work provides an in-depth analysis of different event-based methods for object recognition and classification and introduces two feature-based methods. Two learning systems, one event-based and the other iterative, were used to explore the nature and classification ability of these methods. The results demonstrate the viability of event-based classification and the importance and role of motion in event-based feature detection.

L'objectif de cette thèse est de développer des algorithmes d'apprentissage adaptés aux grandes masses de données. Dans un premier temps, nous considérons le problème de la classification avec un grand nombre de classes. Afin d'obtenir un algorithme adapté à la grande dimension, nous proposons un algorithme qui transforme le problème multi-classes en un problème de classification binaire que nous sous-échantillonnons de manière drastique. Afin de valider cette méthode, nous fournissons une analyse théorique et expérimentale détaillée.Dans la seconde partie, nous approchons le problème de l'apprentissage sur données distribuées en introduisant un cadre asynchrone pour le traitement des données. Nous appliquons ce cadre à deux applications phares : la factorisation de matrice pour les systèmes de recommandation en grande dimension et la classification binaire. / This thesis focuses on developing scalable algorithms for large scale machine learning. In this work, we present two perspectives to handle large data. First, we consider the problem of large-scale multiclass classification. We introduce the task of multiclass classification and the challenge of classifying with a large number of classes. To alleviate these challenges, we propose an algorithm which reduces the original multiclass problem to an equivalent binary one. Based on this reduction technique, we introduce a scalable method to tackle the multiclass classification problem for very large number of classes and perform detailed theoretical and empirical analyses.In the second part, we discuss the problem of distributed machine learning. In this domain, we introduce an asynchronous framework for performing distributed optimization. We present application of the proposed asynchronous framework on two popular domains: matrix factorization for large-scale recommender systems and large-scale binary classification. In the case of matrix factorization, we perform Stochastic Gradient Descent (SGD) in an asynchronous distributed manner. Whereas, in the case of large-scale binary classification we use a variant of SGD which uses variance reduction technique, SVRG as our optimization algorithm.

Dans cette thèse, je présente des résultats sur la factorisation de matrice et de tenseur. Les matrices étant un objet omniprésent en mathématique, un grand nombre de problèmes d'apprentissage machine peuvent être transcrits en un problème de factorisation de matrice de petit rang. C'est une des méthodes les plus basiques utilisée dans les méthodes d'apprentissage non supervisé et les problèmes de réduction dimensionnelle. Les résultats présentés dans cette thèse ont pour la plupart déjà été inclus dans des publications antérieures [LKZ 2015]. Le problème de la factorisation de matrice de petit rang devient de plus en plus difficile quand on rajoute des contraintes additionnelles, comme par exemple la positivité d'un des facteurs. Nous présentons ici un cadre dans lequel analyser ce problème sous un angle Bayésien où les priors sur les facteurs peuvent être génériques et où l'output channel à travers duquel la matrice est observée peut être générique aussi. Nous tracerons un parallèle entre le problème de factorisation matricielle et les problèmes de verre de spin vectoriel. Ce cadre permet d'aborder d'une façon unifiée des problèmes qui étaient abordés de façon séparée dans des publications précédentes. Nous dérivons en détail la forme générale des équations de Low-rank Approximate Message Passing (Low-RAMP) ce qui donnera un algorithme de factorisation. Ces équations sont connues en physique statistique sous le nom des équations TAP. Nous dérivons ces équations dans différents cas, pour le modèle de Sherrington-Kirkpatrick, les restricted Boltzmann machine, le modèle de Hopfield ou encore le modèle xy. La dynamique des équations Low-RAMP peut être analysée en utilisant les équations de State Evolution; ces équations sont équivalentes à un calcul des répliques symétriques. Dans la section dévolue aux résultats nous étudierons de nombreux diagrammes de phase et transition de phase dans le cas Bayes-optimale. Nous présenterons différentes typologies de diagrammes de phase et leurs interprétations en terme de performances algorithmiques. / In this thesis we present the result on low rank matrix and tensor factorization. Matrices being such an ubiquitous mathematical object a lot of machine learning can be mapped to a low-rank matrix factorization problem. It is for example one of the basic methods used in data analysis for unsupervised learning of relevant features and other types of dimensionality reduction. The result presented in this thesis have been included in previous work [LKZ 201].The problem of low rank matrix becomes harder once one adds constraint to the problem like for instance the positivity of one of the factor of the factorization. We present a framework to study the constrained low-rank matrix estimation for a general prior on the factors, and a general output channel through which the matrix is observed. We draw a paralel with the study of vector-spin glass models -- presenting a unifying way to study a number of problems considered previously in separate statistical physics works. We present a number of applications for the problem in data analysis. We derive in detail ageneral form of the low-rank approximate message passing (Low-RAMP) algorithm that is known in statistical physics as the TAP equations. We thus unify the derivation of the TAP equations for models as different as the Sherrington-Kirkpatrick model, the restricted Boltzmann machine, the Hopfield model or vector (xy, Heisenberg and other) spin glasses. The state evolution of the Low-RAMP algorithm is also derived, and is equivalent to the replica symmetric solution for the large class of vector-spin glass models. In the section devoted to result we study in detail phase diagrams and phase transitions for the Bayes-optimal inference in low-rank matrix estimation. We present a typology of phase transitions and their relation to performance of algorithms such as the Low-RAMP or commonly used spectral methods.

La simulation numérique, c'est-à-dire l'utilisation des ordinateurs pour exécuter un programme physique, est une partie importante du monde technologique actuel. Elle est nécessaire dans de nombreux domaines scientifiques et techniques pour étudier le comportement de systèmes dont les modèles mathématiques sont trop complexes pour fournir des solutions analytiques et elle rend possible l'évaluation virtuelle des réponses des systèmes (jumeaux virtuels). Cela réduit considérablement le nombre de tests expérimentaux nécessaires à la conception précise du système réel que le modèle numérique représente. Cependant, ces jumeaux virtuels, basés sur des méthodes classiques qui utilisent une représentation fine du système (ex. méthode des éléments finis), permettent rarement une rétroaction en temps réel, même dans un contexte de calcul haute performance, fonctionnant sur des plateformes puissantes. Dans ces circonstances, les performances en temps réel requises dans certaines applications sont compromises. En effet, les jumeaux virtuels sont statiques, c'est-à-dire qu'ils sont utilisés dans la conception de systèmes complexes et de leurs composants, mais on ne s'attend pas à ce qu'ils prennent en compte ou assimilent des données affin de définir des systèmes d'application dynamiques pilotés par les données. De plus, des écarts significatifs entre la réponse observée et celle prévue par le modèle sont généralement constatés en raison de l'imprécision des modèles employés, de la détermination des paramètres du modèle ou de leur évolution dans le temps. Dans cette thèse, nous proposons différentes méthodes pour résoudre ces handicaps affin d'effectuer une surveillance et un contrôle en temps réel. Dans la première partie, les techniques de Réduction de Modèles sont utilisées pour tenir compte des contraintes en temps réel; elles calculent une bonne approximation de la solution en simplifiant la procédure de résolution plutôt que le modèle. La précision de la solution n'est pas compromise et des simulations e-caces peuvent être réalisées (jumeaux numériquex). Dans la deuxième partie, la modélisation pilotée par les données est utilisée pour combler l'écart entre la solution paramétrique calculée, en utilisant des techniques de réduction de modèles non intrusives, et les champs mesurés, affin de rendre possibles des systèmes d'application dynamiques basés sur les données (jumeaux hybrides). / Numerical simulation, the use of computers to run a program which implements a mathematical model for a physical system, is an important part of today technological world. It is required in many scientific and engineering fields to study the behavior of systems whose mathematical models are too complex to provide analytical solutions and it makes virtual evaluation of systems responses possible (virtual twins). This drastically reduces the number of experimental tests for accurate designs of the real system that the numerical model represents. However these virtual twins, based on classical methods which make use of a rich representations of the system (e.g. finite element method), rarely allows real-time feedback, even when considering high performance computing, operating on powerful platforms. In these circumstances, the real-time performance required in some applications are compromised. Indeed the virtual twins are static, that is, they are used in the design of complex systems and their components, but they are not expected to accommodate or accommodate or assimilate data so as to define dynamic data-driven application systems. Moreover significant deviations between the observed response and the one predicted by the model are usually noticed due to inaccuracy in the employed models, in the determination of the model parameters or in their time evolution. In this thesis we propose different methods to solve these handicaps in order to perform real-time monitoring and control. In the first part Model Order Reduction (MOR) techniques are used to accommodate real-time constraints; they compute a good approximation of the solution by simplifying the solution procedure instead of the model. The accuracy of the predicted solution is not compromised and efficient simulations can be performed (digital twins). In the second part data-driven modeling are employed to fill the gap between the parametric solution, computed by using non-intrusive MOR techniques, and the measured fields, in order to make dynamic data-driven application systems possible (hybrid twins).

Un problème central contribuant à la grande difficulté du traitement du langage naturel par des méthodes statistiques est celui de la parcimonie des données, à savoir le fait que dans un corpus d'apprentissage donné, la plupart des évènements linguistiques n'ont qu'un nombre d'occurrences assez faible, et que par ailleurs un nombre infini d'évènements permis par une langue n'apparaitront nulle part dans le corpus. Les modèles neuronaux ont déjà contribué à partiellement résoudre le problème de la parcimonie en inférant des représentations continues de mots. Ces représentations continues permettent de structurer le lexique en induisant une notion de similarité sémantique ou syntaxique entre les mots. Toutefois, les modèles neuronaux actuellement les plus répandus n'offrent qu'une solution partielle au problème de la parcimonie, notamment par le fait que ceux-ci nécessitent une représentation distribuée pour chaque mot du vocabulaire, mais sont incapables d'attribuer une représentation à des mots hors vocabulaire. Ce problème est particulièrement marqué dans des langues morphologiquement riches, ou des processus de formation de mots complexes mènent à une prolifération des formes de mots possibles, et à une faible coïncidence entre le lexique observé lors de l’entrainement d’un modèle, et le lexique observé lors de son déploiement. Aujourd'hui, l'anglais n'est plus la langue majoritairement utilisée sur le Web, et concevoir des systèmes de traduction automatique pouvant appréhender des langues dont la morphologie est très éloignée des langues ouest-européennes est un enjeu important. L’objectif de cette thèse est de développer de nouveaux modèles capables d’inférer de manière non-supervisée les processus de formation de mots sous-jacents au lexique observé, afin de pouvoir de pouvoir produire des analyses morphologiques de nouvelles formes de mots non observées lors de l’entraînement. / A crucial issue in statistical natural language processing is the issue of sparsity, namely the fact that in a given learning corpus, most linguistic events have low occurrence frequencies, and that an infinite number of structures allowed by a language will not be observed in the corpus. Neural models have already contributed to solving this issue by inferring continuous word representations. These continuous representations allow to structure the lexicon by inducing semantic or syntactic similarity between words. However, current neural models only partially solve the sparsity issue, due to the fact that they require a vectorial representation for every word in the lexicon, but are unable to infer sensible representations for unseen words. This issue is especially present in morphologically rich languages, where word formation processes yield a proliferation of possible word forms, and little overlap between the lexicon observed during model training, and the lexicon encountered during its use. Today, several languages are used on the Web besides English, and engineering translation systems that can handle morphologies that are very different from western European languages has become a major stake. The goal of this thesis is to develop new statistical models that are able to infer in an unsupervised fashion the word formation processes underlying an observed lexicon, in order to produce morphological analyses of new unseen word forms.

Au vu des changements globaux actuels engendrés en grande partie par l'être humain, il devient nécessaire de comprendre les moteurs de la stabilité des communautés d'êtres vivants. La synchronie des séries temporelles d'abondances fait partie des mécanismes les plus importants. Cette thèse propose trois angles différents permettant de répondre à différentes questions en lien avec la synchronie interspécifique ou spatiale. Les travaux présentés trouvent des applications en dehors du cadre écologique. Un premier chapitre est consacré à l'estimation du rang effectif de matrices à valeurs dans ℝ ou ℂ. Nous apportons ainsi des outils permettant de mesurer le taux de synchronisation d'une matrice d'observations. Dans le deuxième chapitre, nous nous basons sur les travaux existants sur le problème de détection de ruptures sur les chaînes afin de proposer plusieurs algorithmes permettant d'adapter ce problème au cas des arbres. Les méthodes présentées peuvent être utilisées sur la plupart des données nécessitant d'être représentées sous la forme d'un arbre. Afin d'étudier les liens entre la synchronie interspécifique et les tendances à long termes ou les traits d'espèces de papillons, nous proposons dans le dernier chapitre d'adapter des méthodes de clustering et d'apprentissage supervisé comme les Random Forest ou les Réseaux de Neurones artificiels à des données écologiques. / In the view of actual global changes widely caused by human activities, it becomes urgent to understand the drivers of communities' stability. Synchrony between time series of abundances is one of the most important mechanisms. This thesis offers three different angles in order to answer different questions linked to interspecific and spatial synchrony. The works presented find applications beyond the ecological frame. A first chapter is dedicated to the estimation of effective rank of matrices in ℝ or ℂ. We offer tools allowing to measure the synchronisation rate of observations matrices. In the second chapter, we base on the existing work on change-points detection problem on chains in order to offer algorithms which detects change-points on trees. The methods can be used with most data that have to be represented as a tree. In order to study the link between interspecific synchrony and long term tendencies or traits of butterflies species, we offer in the last chapter adaptation of clustering and supervised machine learning methods, such as Random Forest or Artificial Neural Networks to ecological data.