La production agricole doit augmenter plus rapidement pour répondre à la demande alimentaire mondiale dans un avenir proche. Le phénotypage, c'est-à-dire la surveillance quantitative des variables de l'état des cultures et du fonctionnement quantitatif de la canopée, a été reconnu comme le goulot d'étranglement pour accélérer le progrès génétique et augmenter le rendement. Le phénotypage sur le terrain est obligatoire car il permet d'évaluer les génotypes dans des conditions naturelles de champ. Les progrès technologiques des capteurs, de la communication et de l'informatique favorisent le développement de systèmes de phénotypage à haut débit au cours de la dernière décennie. Toutefois, l'interprétation des mesures de phénotypage n' a fait l'objet que d'une attention limitée, ce qui a entraîné une sous-exploitation des potentiels des systèmes actuels. Cette thèse se concentre sur l'interprétation des mesures de phénotypage au champ sur les cultures de blé. Il comprend trois aspects complémentaires qui illustrent les potentiels du traitement d'image avancé, de l'inversion du modèle et de l'assimilation des données pour l'interprétation des mesures de phénotypage afin d'accéder à de nouveaux caractères ou d'améliorer la précision avec laquelle les caractères déjà accessibles ont été récupérés. Plusieurs plateformes (phénotypette, phénomobile, drones) et capteurs (caméras haute résolution RVB, LiDAR) ont été utilisés tout au long de cette étude. Les positions précises des plantes le long et à travers la rangée ont été décrites à partir d'images RVB haute résolution. Des modèles statistiques pour l'espacement des plantes le long du rang et la distance au centre du rang ont ensuite été proposés et calibrés. L'influence du profil de semis sur la fraction verte, facilement mesurable avec les techniques de phénotypage, a ensuite été évaluée. Le modèle statistique utilisé pour décrire la distribution de l'espacement des plantes le long de la rangée a été utilisé pour étudier la taille d'échantillonnage optimale et la méthode d'estimation de la densité des plantes. Enfin, une méthode a été mise au point pour estimer automatiquement la densité végétale à partir des images RVB haute résolution. Les résultats montrent une précision relativement élevée lorsque la résolution spatiale est suffisamment élevée et lorsque les observations sont effectuées avant que les plantes n'aient atteint trois stades de feuilles. Il est relativement facile d'obtenir une estimation précise du DG en utilisant des observations passives à un stade précoce. Toutefois, les performances se dégradent en cas de conditions DG élevées en raison du problème de saturation. L'utilisation du LiDAR avec sa capacité à apporter des informations sur la troisième dimension a été étudiée comme un moyen possible d'atténuer l'effet de saturation basé sur les régularités entre les couches supérieures et plus profondes de la canopée, comme décrit par le modèle ADEL_Wheat. Le LiDAR utilisé équipe la plate-forme de phénotypage phénomobile. Les résultats montrent une amélioration significative des performances lors de l'utilisation des observations LiDAR par rapport à l'estimation classique basée sur la fraction verte, assimilation de l'évolution temporelle des fractions vertes dans le modèle ADEL-Wheat. La surveillance de la dynamique de l'architecture de la canopée pour obtenir les premiers traits de vigueur de la culture est très recherchée par les sélectionneurs. Les résultats montrent que peu de paramètres du modèle ADEL-Wheat sont effectivement accessibles à partir de cette technique d'assimilation. De plus, il permet également d'estimer avec une bonne précision les propriétés émergentes de la canopée telles que le GAI et le nombre de tiges avec plus de 3 feuilles. Sur la base de ces résultats novateurs, des conclusions sont finalement tirées sur les limites de cette étude et sur les travaux futurs à entreprendre pour un phénotypage efficace sur le terrain à haut débit. / Crop production has to increase faster to meet the global food demand in the near future. Phenotyping, i.e. the monitoring crop state variables and canopy functioning quantitatively, was recognized as the bottleneck to accelerate genetic progress to increase the yield. Field phenotyping is mandatory since it allows evaluating the genotypes under natural field conditions. The technological advances of sensors, communication and computing foster the development of high-throughput phenotyping systems during the last decade. However, only limited attentions was paid in the interpretation of phenotyping measurements, leading to an under-exploitation of the potentials of current systems. This thesis focuses on advancing the interpretation of field phenotyping measurements over wheat crops. It includes three complementary aspects that illustrate the potentials of advanced image processing, model inversion and data assimilation for the interpretation of phenotyping measurements to access new traits or improve the accuracy with which already accessible traits have been retrieved. Several platforms (phenotypette, phenomobile, UAV) and sensors (RGB high resolution cameras, LiDAR) were used along this study.Characterization of the sowing pattern and density. The precise plant positions along and across the row was described from high resolution RGB images. Statistical models for the spacing of plants along the row and distance to the row center were then proposed and calibrated. The influence of the sowing pattern on the green fraction that can be easily measured with phenotyping techniques was then evaluated. The statistical model used to describe the distribution of plant spacing along the row was exploited to investigate the optimal sampling siz and method for plant density estimation. Finally, a method was developed to automatically estimate the plant density from the high resolution RGB images. Results show a relatively high accuracy when the spatial resolution is high enough and when observations are made before plants have reached 3 leaves stages.ADEL-Wheat model assisted Estimation of GAI from LiDAR measurements. It is relatively easy to achieve accurate GAI estimate using passive observations at early stages. However, the performances degrade for high GAI conditions due to the saturation problem. The use of LiDAR with its capacity to bring information on the third dimension was investigated as a possible way to alleviate the saturation effect based on the regularities between top and deeper canopy layers as described by the ADEL_Wheat model. The LiDAR used is equipping the phenomobile phenotyping platform. Focus was put on the stage of maximum GAI development when saturation effects are the largest. Results show a significant improvement of performances when using LiDAR observations as compared to classical green fraction based estimation.Assimilation of green fractions temporal evolution into ADEL-Wheat model. Monitoring the dynamics of canopy architecture to get early vigor traits of the crop is highly desired by breeders. The feasibility and interest of a phenotyping data assimilation approach was evaluated based on in silico experiments using the ADEL_Wheat model simulations. The green fraction observed from several view directions and dates is the variable that is assimilated. A sensitivity analysis was conducted to evaluate the effect of the number and spacing of the observation dates as well as the number of view directions used. Results show that few parameters of the ADEL-Wheat model are actually accessible from this assimilation technique. Further, it allows also estimating with a good accuracy emerging canopy properties such as the GAI and the number of stems with more than 3 leaves. Based on these innovative results, conclusions are finally drawn on the limits of this study and on the future work to undertake for efficient field high-throughput phenotyping

Dans cette thèse nous intéressons à la conception d'un robot mobile capable d’analyser le comportement et le mouvement d’une personne en environnement intérieur et encombré, par exemple le domicile d’une personne âgée. Plus précisément, notre objectif est de doter le robot des capacités de perception visuelle de la posture humaine de façon à mieux maîtriser certaines situations qui nécessitent de comprendre l’intention des personnes avec lesquelles le robot interagit, ou encore de détecter des situations à risques comme les chutes ou encore d’analyser les capacités motrices des personnes dont il a la garde. Le suivi de la posture dans un environnement dynamique et encombré relève plusieurs défis notamment l'apprentissage en continue du fond de la scène et l'extraction la silhouette qui peut être partiellement observable lorsque la personne est dans des endroits occultés. Ces difficultés rendent le suivi de la posture une tâche difficile. La majorité des méthodes existantes, supposent que la scène est statique et la personne est toujours visible en entier. Ces approches ne sont pas adaptées pour fonctionner dans des conditions réelles. Nous proposons, dans cette thèse, un nouveau système de suivi capable de suivre la posture de la personne dans ces conditions réelles. Notre approche utilise une grille d'occupation avec un modèle de Markov caché pour apprendre en continu l'évolution de la scène et d'extraire la silhouette, ensuite un algorithme de filtrage particulaire hiérarchique est utilisé pour reconstruire la posture. Nous proposons aussi un nouvel algorithme de gestion d'occlusion capable d'identifier et d'exclure les parties du corps cachées du processus de l'estimation de la pose. Finalement, nous avons proposé une base de données contenant des images RGB-D avec la vérité-terrain dans le but d'établir une nouvelle référence pour l'évaluation des systèmes de capture de mouvement dans un environnement réel avec occlusions. La vérité-terrain est obtenue à partir d'un système de capture de mouvement à base de marqueur de haute précision avec huit caméras infrarouges. L'ensemble des données est disponible en ligne. La deuxième contribution de cette thèse, est le développement d'une méthode de localisation visuelle à partir d'une caméra du type RGB-D montée sur un robot qui se déplace dans un environnement dynamique. En effet, le système de capture de mouvement que nous avons développé doit équiper un robot se déplaçant dans une scène. Ainsi, l'estimation de mouvement du robot est importante pour garantir une extraction de silhouette correcte pour le suivi. La difficulté majeure de la localisation d'une caméra dans un environnement dynamique, est que les objets mobiles de la scène induisent un mouvement supplémentaire qui génère des pixels aberrants. Ces pixels doivent être exclus du processus de l'estimation du mouvement de la caméra. Nous proposons ainsi une extension de la méthode de localisation dense basée sur le flux optique pour isoler les pixels aberrants en utilisant l'algorithme de RANSAC. / In this thesis we are interested in designing a mobile robot able to analyze the behavior and movement of a a person in indoor and cluttered environment. Our goal is to equip the robot by visual perception capabilities of the human posture to better analyze situations that require understanding of person with which the robot interacts, or detect risk situations such as falls or analyze motor skills of the person. Motion capture in a dynamic and crowded environment raises multiple challenges such as learning the background of the environment and extracting the silhouette that can be partially observable when the person is in hidden places. These difficulties make motion capture difficult. Most of existing methods assume that the scene is static and the person is always fully visible by the camera. These approaches are not able to work in such realistic conditions. In this thesis, We propose a new motion capture system capable of tracking a person in realistic world conditions. Our approach uses a 3D occupancy grid with a hidden Markov model to continuously learn the changing background of the scene and to extract silhouette of the person, then a hierarchical particle filtering algorithm is used to reconstruct the posture. We propose a novel occlusion management algorithm able to identify and discards hidden body parts of the person from process of the pose estimation. We also proposed a new database containing RGBD images with ground truth data in order to establish a new benchmark for the assessment of motion capture systems in a real environment with occlusions. The ground truth is obtained from a motion capture system based on high-precision marker with eight infrared cameras. All data is available online. The second contribution of this thesis is the development of a new visual odometry method to localize an RGB-D camera mounted on a robot moving in a dynamic environment. The major difficulty of the localization in a dynamic environment, is that mobile objects in the scene induce additional movement that generates outliers pixels. These pixels should be excluded from the camera motion estimation process in order to produce accurate and precise localization. We thus propose an extension of the dense localization method based on the optical flow method to remove outliers pixels using the RANSAC algorithm.

Dans ce travail, nous avons abordé le problème d’estimation automatique du regard dans des environnements utilisateur sans contraintes. Ce travail s’inscrit dans la vision par ordinateur appliquée à l’analyse automatique du comportement humain. Plusieurs solutions industrielles sont aujourd’hui commercialisées et donnent des estimations précises du regard. Certaines ont des spécifications matérielles très complexes (des caméras embarquées sur un casque ou sur des lunettes qui filment le mouvement des yeux) et présentent un niveau d’intrusivité important, ces solutions sont souvent non accessible au grand public. Cette thèse vise à produire un système d’estimation automatique du regard capable d’augmenter la liberté du mouvement de l’utilisateur par rapport à la caméra (mouvement de la tête, distance utilisateur-capteur), et de réduire la complexité du système en utilisant des capteurs relativement simples et accessibles au grand public. Dans ce travail, nous avons exploré plusieurs paradigmes utilisés par les systèmes d’estimation automatique du regard. Dans un premier temps, Nous avons mis au point deux systèmes basés sur deux approches classiques: le premier basé caractéristiques et le deuxième basé semi apparence. L’inconvénient majeur de ces paradigmes réside dans la conception des systèmes d'estimation du regard qui supposent une indépendance totale entre l'image d'apparence des yeux et la pose de la tête. Pour corriger cette limitation, Nous avons convergé vers un nouveau paradigme qui unifie les deux blocs précédents en construisant un espace regard global, nous avons exploré deux directions en utilisant des données réelles et synthétiques respectivement. / In this thesis, we tackled the automatic gaze estimation problem in unconstrained user environments. This work takes place in the computer vision research field applied to the perception of humans and their behaviors. Many existing industrial solutions are commercialized and provide an acceptable accuracy in gaze estimation. These solutions often use a complex hardware such as range of infrared cameras (embedded on a head mounted or in a remote system) making them intrusive, very constrained by the user's environment and inappropriate for a large scale public use. We focus on estimating gaze using cheap low-resolution and non-intrusive devices like the Kinect sensor. We develop new methods to address some challenging conditions such as head pose changes, illumination conditions and user-sensor large distance. In this work we investigated different gaze estimation paradigms. We first developed two automatic gaze estimation systems following two classical approaches: feature and semi appearance-based approaches. The major limitation of such paradigms lies in their way of designing gaze systems which assume a total independence between eye appearance and head pose blocks. To overcome this limitation, we converged to a novel paradigm which aims at unifying the two previous components and building a global gaze manifold, we explored two global approaches across the experiments by using synthetic and real RGB-D gaze samples.

Dans ce travail, nous avons abordé le problème d’estimation automatique du regard dans des environnements utilisateur sans contraintes. Ce travail s’inscrit dans la vision par ordinateur appliquée à l’analyse automatique du comportement humain. Plusieurs solutions industrielles sont aujourd’hui commercialisées et donnent des estimations précises du regard. Certaines ont des spécifications matérielles très complexes (des caméras embarquées sur un casque ou sur des lunettes qui filment le mouvement des yeux) et présentent un niveau d’intrusivité important, ces solutions sont souvent non accessible au grand public. Cette thèse vise à produire un système d’estimation automatique du regard capable d’augmenter la liberté du mouvement de l’utilisateur par rapport à la caméra (mouvement de la tête, distance utilisateur-capteur), et de réduire la complexité du système en utilisant des capteurs relativement simples et accessibles au grand public. Dans ce travail, nous avons exploré plusieurs paradigmes utilisés par les systèmes d’estimation automatique du regard. Dans un premier temps, Nous avons mis au point deux systèmes basés sur deux approches classiques: le premier basé caractéristiques et le deuxième basé semi apparence. L’inconvénient majeur de ces paradigmes réside dans la conception des systèmes d'estimation du regard qui supposent une indépendance totale entre l'image d'apparence des yeux et la pose de la tête. Pour corriger cette limitation, Nous avons convergé vers un nouveau paradigme qui unifie les deux blocs précédents en construisant un espace regard global, nous avons exploré deux directions en utilisant des données réelles et synthétiques respectivement. / In this thesis, we tackled the automatic gaze estimation problem in unconstrained user environments. This work takes place in the computer vision research field applied to the perception of humans and their behaviors. Many existing industrial solutions are commercialized and provide an acceptable accuracy in gaze estimation. These solutions often use a complex hardware such as range of infrared cameras (embedded on a head mounted or in a remote system) making them intrusive, very constrained by the user's environment and inappropriate for a large scale public use. We focus on estimating gaze using cheap low-resolution and non-intrusive devices like the Kinect sensor. We develop new methods to address some challenging conditions such as head pose changes, illumination conditions and user-sensor large distance. In this work we investigated different gaze estimation paradigms. We first developed two automatic gaze estimation systems following two classical approaches: feature and semi appearance-based approaches. The major limitation of such paradigms lies in their way of designing gaze systems which assume a total independence between eye appearance and head pose blocks. To overcome this limitation, we converged to a novel paradigm which aims at unifying the two previous components and building a global gaze manifold, we explored two global approaches across the experiments by using synthetic and real RGB-D gaze samples.

L'imagerie numérique, de la synthèse d'images à la vision par ordinateur est en train de connaître une forte évolution, due entre autres facteurs à la démocratisation et au succès commercial des caméras 3D. Dans le même contexte, l'impression 3D grand public, qui est en train de vivre un essor fulgurant, contribue à la forte demande sur ce type de caméra pour les besoins de la numérisation 3D. L'objectif de cette thèse est d'acquérir et de maîtriser un savoir-faire dans le domaine de la capture/acquisition de modèles 3D en particulier sur l'aspect rendu réaliste. La réalisation d'un scanner 3D à partir d'une caméra RGB-D fait partie de l'objectif. Lors de la phase d'acquisition, en particulier pour un dispositif portable, on est confronté à deux problèmes principaux, le problème lié au référentiel de chaque capture et le rendu final de l'objet reconstruit. / Digital imaging, from the synthesis of images to computer vision isexperiencing a strong evolution, due among other factors to the democratization and commercial success of 3D cameras. In the same context, the consumer 3D printing, which is experiencing a rapid rise, contributes to the strong demand for this type of camera for the needs of 3D scanning. The objective of this thesis is to acquire and master a know-how in the field of the capture / acquisition of 3D models in particular on the rendered aspect. The realization of a 3D scanner from a RGB-D camera is part of the goal. During the acquisition phase, especially for a portable device, there are two main problems, the problem related to the repository of each capture and the final rendering of the reconstructed object.