La détection et le suivi de piétons sont devenus des thèmes phares en recherche en Vision Artificielle, car ils sont impliqués dans de nombreuses applications. La détection de piétons dans des foules très denses est une extension naturelle de ce domaine de recherche, et l’intérêt croissant pour ce problème est lié aux évènements de grande envergure qui sont, de nos jours, des scenarios à risque d’un point de vue de la sûreté publique. Par ailleurs, les foules très denses soulèvent des problèmes inédits pour la tâche de détection. De par le fait que les caméras ont le champ de vision le plus grand possible pour couvrir au mieux la foule les têtes sont généralement très petites et non texturées. Dans ce manuscrit nous présentons un système complet pour traiter les problèmes de détection et de suivi en présence des difficultés spécifiques à ce contexte. Ce système utilise plusieurs caméras, pour gérer les problèmes de forte occultation. Nous proposons une méthode robuste pour l’estimation de la position relative entre plusieurs caméras dans le cas des environnements requérant une surveillance. Ces environnements soulèvent des problèmes comme la grande distance entre les caméras, le fort changement de perspective, et la pénurie d’information en commun. Nous avons alors proposé d’exploiter le flot vidéo pour effectuer la calibration, avec l’objectif d’obtenir une solution globale de bonne qualité. Nous proposons aussi une méthode non supervisée pour la détection des piétons avec plusieurs caméras, qui exploite la consistance visuelle des pixels à partir des différents points de vue, ce qui nous permet d’effectuer la projection de l’ensemble des détections sur le plan du sol, et donc de passer à un suivi 3D. Dans une troisième partie, nous revenons sur la détection supervisée des piétons dans chaque caméra indépendamment en vue de l’améliorer. L’objectif est alors d’effectuer la segmentation des piétons dans la scène en partant d’une labélisation imprécise des données d’apprentissage, avec des architectures de réseaux profonds. Comme dernière contribution, nous proposons un cadre formel original pour une fusion de données efficace dans des espaces 2D. L’objectif est d’effectuer la fusion entre différents capteurs (détecteurs supervisés en chaque caméra et détecteur non supervisé en multi-vues) sur le plan du sol, qui représente notre cadre de discernement. nous avons proposé une représentation efficace des hypothèses composées qui est invariante au changement de résolution de l’espace de recherche. Avec cette représentation, nous sommes capables de définir des opérateurs de base et des règles de combinaison efficaces pour combiner les fonctions de croyance. Enfin, notre approche de fusion de données a été évaluée à la fois au niveau spatial, c’est à dire en combinant des détecteurs de nature différente, et au niveau temporel, en faisant du suivi évidentiel de piétons sur de scènes à grande échelle dans des conditions de densité variable. / Pedestrian detection and tracking have become important fields in Computer Vision research, due to their implications for many applications, e.g. surveillance, autonomous cars, robotics. Pedestrian detection in high density crowds is a natural extension of such research body. The ability to track each pedestrian independently in a dense crowd has multiple applications: study of human social behavior under high densities; detection of anomalies; large event infrastructure planning. On the other hand, high density crowds introduce novel problems to the detection task. First, clutter and occlusion problems are taken to the extreme, so that only heads are visible, and they are not easily separable from the moving background. Second, heads are usually small (they have a diameter of typically less than ten pixels) and with little or no textures. This comes out from two independent constraints, the need of one camera to have a field of view as high as possible, and the need of anonymization, i.e. the pedestrians must be not identifiable because of privacy concerns.In this work we develop a complete framework in order to handle the pedestrian detection and tracking problems under the presence of the novel difficulties that they introduce, by using multiple cameras, in order to implicitly handle the high occlusion issues.As a first contribution, we propose a robust method for camera pose estimation in surveillance environments. We handle problems as high distances between cameras, large perspective variations, and scarcity of matching information, by exploiting an entire video stream to perform the calibration, in such a way that it exhibits fast convergence to a good solution. Moreover, we are concerned not only with a global fitness of the solution, but also with reaching low local errors.As a second contribution, we propose an unsupervised multiple camera detection method which exploits the visual consistency of pixels between multiple views in order to estimate the presence of a pedestrian. After a fully automatic metric registration of the scene, one is capable of jointly estimating the presence of a pedestrian and its height, allowing for the projection of detections on a common ground plane, and thus allowing for 3D tracking, which can be much more robust with respect to image space based tracking.In the third part, we study different methods in order to perform supervised pedestrian detection on single views. Specifically, we aim to build a dense pedestrian segmentation of the scene starting from spatially imprecise labeling of data, i.e. heads centers instead of full head contours, since their extraction is unfeasible in a dense crowd. Most notably, deep architectures for semantic segmentation are studied and adapted to the problem of small head detection in cluttered environments.As last but not least contribution, we propose a novel framework in order to perform efficient information fusion in 2D spaces. The final aim is to perform multiple sensor fusion (supervised detectors on each view, and an unsupervised detector on multiple views) at ground plane level, that is, thus, our discernment frame. Since the space complexity of such discernment frame is very large, we propose an efficient compound hypothesis representation which has been shown to be invariant to the scale of the search space. Through such representation, we are capable of defining efficient basic operators and combination rules of Belief Function Theory. Furthermore, we propose a complementary graph based description of the relationships between compound hypotheses (i.e. intersections and inclusion), in order to perform efficient algorithms for, e.g. high level decision making.Finally, we demonstrate our information fusion approach both at a spatial level, i.e. between detectors of different natures, and at a temporal level, by performing evidential tracking of pedestrians on real large scale scenes in sparse and dense conditions.

Cette thèse se situe dans le cadre de l'interprétation d'images satellite à haute résolution, et concerne plus spécifiquement la mise à jour de bases de données cartographiques grâce à des images optique et radar à haute résolution. Cette étude présente une chaîne de traitement générique pour la création ou la mise à jour de bases de données représentant les routes ou les bâtiments en milieu urbain. En fonction des données disponibles, différents scénarios sont envisagés. Le traitement est effectué en deux étapes. D'abord nous cherchons les objets qui doivent être retirés de la base de données. La seconde étape consiste à rechercher dans les images de nouveaux objets à ajouter dans la base de données. Pour réaliser ces deux étapes, des descripteurs sont construits dans le but de caractériser les objets d'intérêt dans les images d'entrée. L'inclusion ou élimination des objets dans la base de données est basée sur un score obtenu après fusion des descripteurs dans le cadre de la théorie de Dempster-Shafer. Les résultats présentés dans cette thèse illustrent l'intérêt d'une fusion multi-capteurs. De plus l'intégration aisée de nouveaux descripteurs permet à la chaîne d'être améliorable et adaptable à d'autres objets. / This work takes place in the framework of high resolution remote sensing image analysis. It focuses on the issue of cartographic database creation or updating with optical and SAR images. The goal of this work is to build a generic processing chain to update or create a cartographic database representing roads and buildings in built-up areas. According to available data, various scenarios are foreseen. The proposed processing chain is composed of two steps. First, if a database is available, the presence of each database object is checked in the images. The second step consist of looking for new objects that should be included in the database. To determine if an object should be present in the updated database, relevant features are extracted from images in the neighborhood of the considered object. Those features are based on caracteristics of roads and buildings in SAR and optical images. The object removal/inclusion in the DB is based on a score obtained by the fusion of features in the framework of the Dempster-Shafer evidence theory. Results highlight the interest of multi sensor fusion. Moreover the chosen framework allows the easy integration of new features in the processing chain.

Cette thèse constitue une nouvelle approche pour la prédiction des maladies des plantes dans une plantation par combinaison de fusion de données et modélisation spatio-temporelle. La maladie des plantes est un problème majeur dans le monde de l'agriculture. Par exemple en Malaisie, la maladie de la pourriture de basal de la tige (BSR) causée par le champignon Ganoderma Boninense est la maladie la plus grave pour les plantations de palmiers à huile. Le champignon infecte les palmiers à huile,causant des pertes de rendement et détruisant au final les arbres. Divers facteurs ont été précédemment signalés, qui influencent l'incidence de la BSR, tels que les cultures précédentes, les techniques de replantation, les types de sols et l'âge des arbres. Une gestion efficace et durable des stratégies pour contrôler le BSR se heurte principalement à un manque de compréhension des mécanismes d'établissement de la maladie, de son développement et de sa propagation. La présente recherche est une tentative d'appliquer la technique de fusion de données et la modélisation temporelle en système d'Information géographique (SIG) pour étudier le comportement des maladies des plantes dans un domaine particulier (zone artisanale). Cette recherche portera sur comment les SIG peuvent aider à évaluer la distribution des maladies des plantes dans une plantation de petite échelle. Avec les progrès simultanés dans les systèmes de positionnement global (GPS) et l'utilisation des systèmes d'Information géographique, ces techniques ont fourni de puissants outils d'analyse pour l'agriculture de précision. Les données pour l'analyse proviennent de palmiers à huile des expériences de densité de plantation aux stations de recherche MPOB à Teluk Intan, Perak, Malaisie.Dans le cas de la maladie de la BSR, les résultats de l'émission de modélisation prédictive ont observé une corrélation entre les maladies BSR prédites avec celles visuellement données par le BSR. Il a été constaté que la modélisation prédictive proposée a bien prédit la présence de la maladie de la BSR. Même si au début d'infection des maladies BSR, le modèle n'a pas fixé exactement la distribution de la maladie, la performance du modèle sera améliorée avec la sélection de la source de données. Dans l'ensemble, le modèle a bien prédit la présence de maladies avec une précision allant jusqu'à 98,9 %. / This thesis represents a new approach for predicting plant disease in a plantation through combination of data fusion and spatio-temporal modelling. Plant disease is a major problem in the world of agriculture. Example in Malaysia, basalstem rot disease (BSR) caused by Ganoderma Boinense is the most serious disease for oil palm plantation in Malaysia. The fungus infects oil palm trees, initially causing yield loss and finally killing the trees. Various factors were previously reported to influence incidence of BSR, such as previous crops, techniques for replanting, types of soils and the age of trees. At present effective and sustainable management strategies to control BSR are hampered mainly by a lack of understanding of mechanisms of disease establishment, development and spread. The present research is an attempt to apply data fusion technique and temporal modelling in Geographical Information System (GIS) to investigate the behaviour of plant disease in a specific area (small skill area). This research will focus on how GIS can help to assess the distribution plant disease in a small scale plantation. With concurrent advances in global positioning systems (GPS) and the use of geographical Information Systems(GIS) techniques have provided powerful analysis tools for precision agriculture. Data for analysis were obtained from oil palm planting density experiments at MPOB research stations at Teluk Intan, Perak, Malaysia. In the case of BSR disease, the results of the predictive modelling show a significance correlation between predicted BSR diseases with visually observed BSR data. It found that the proposed predictive modelling has well predicted the presence of BSR disease. Although at the beginning stage of BSR diseases infection, the model has not fitted exactly the distribution of the disease, we believe that with the proper selection of the source of data, the performance of the model will be improved.Overall, the model has well predicted the presence of diseases with accuracy up to 98.9%.

Cette thèse porte sur l'étude des techniques de fusion de données réparties et incertaines au sein d’un réseau de véhicules pour gérer la confiance dans les autres véhicules ou dans les données reçues. L'algorithme de fusion distribuée proposé est basé sur les fonctions de croyance et est appliqué par chaque nœud à la réception des messages. In se base sur la gestion d'une connaissance directe, locale à chaque nœud et d'une connaissance distribuée diffusée dans le réseau. Cette dernière résulte de la fusion des messages par un opérateur adapté prenant en compte les cycles éventuels et limitant l'effet de "data incest". Chaque nœud peut être autonome pour estimer la confiance mais la coopération entre les véhicules permet d'améliorer et de rendre plus robuste cette estimation. L'algorithme peut être adapté au cas d'étude en considérant un ou plusieurs éléments d'observation et en prenant en compte l'obsolescence des données. Lorsqu'il y a plusieurs éléments d'observation, se pose le problème de l'association de données nécessaire avant l'étape de combinaison. Un nouvel algorithme d'association a été formalisé dans le cadre des fonctions de croyance. Il a été démontré que ce problème est équivalent à un problème d'affectation linéaire, qui peut être résolu en temps polynomial. Cette solution est à la fois optimale et beaucoup plus efficace que d'autres approches développées dans ce formalisme. La gestion de la confiance dans les nœuds et dans les données échangées ont été illustrées par la mise en œuvre de deux applications : la détection de faux nœuds dans une attaque Sybil et la gestion de la confiance dans les cartes dynamiques pour la perception augmentée. / This thesis focuses on the study of fusion techniques for distributed and uncertain data in a vehicle network in order to manage the confidence in other vehicles or in received data. The proposed distributed fusion algorithm is based on belief functions and is applied by each node when it receives messages. It is based on the management of direct knowledge, local for each node, and the management of a distributed knowledge broadcasted over the network. The distributed knowledge is the result of the fusion of messages by a suitable operator taking into account the possible cycles and limiting the effect of "data incest". Each node can be autonomous to estimate confidence but cooperation between vehicles can improve and make more robust this estimation. The algorithm can be adapted to the case of study by considering one or more elements of observation and taking into account the data obsolescence. When there are multiple elements of observation, the data association is necessary before the combination step. A new association algorithm was formalized in the framework of belief functions.It has been shown that this problem is equivalent to a linear assignment problem which can be solved in polynomial time. This solution is both optimal and more effective than other approaches developed in this formalism. The confidence management in the nodes and in the received data were illustrated by the implementation of two applications : the detection of false nodes in a Sybil attack and the distributed dynamic maps for enhanced perception

Cette thèse traite de la localisation de véhicule. Plusieurs méthodes sont utilisées pour résoudre ce type de problème. Elles peuvent être classées en deux grandes catégories d’approches : les approches probabilistes et les approches déterministes.Ce travail aborde les approches déterministes et plus précisément l'approche ensembliste basée sur l'analyse par intervalles. Les travaux ont été conduits sur des jeux de données réelles collectées en environnements d'extérieur comprenant des capteurs proprioceptifs et extéroceptifs.Lorsque l'on met en jeu plusieurs capteurs fournissant des informations complémentaires ou redondantes, il est important de fusionner les données afin d'améliorer la pose estimée. L'approche détaillée dans ce document utilise les méthodes intervalles et présente le problème de la localisation sous la forme d'un problème de satisfaction de contraintes.La résolution se fait à l'aide d’un solveur à intervalles. Plusieurs algorithmes ont été comparés. Un constat s'est dégagé : les algorithmes de consistance locale ne corrigent pas l'incertitude sur l’orientation. Cette thèse propose une méthode de localisation utilisable dans des applications temps réel et qui corrige l'incertitude sur le cap du véhicule. Nous avons comparé nos résultats à ceux du filtre de Kalman étendu (méthode probabiliste de référence) et mis en avant un des intérêts de notre méthode : l'assurance d'une consistance de la pose (position et orientation du mobile).Cette thèse propose deux contributions. La première est d'ordre méthodologique. Dans l'état de l'art tous les travaux affirment la nécessité (voire l'obligation) d'une décomposition préalable des contraintes du problème avant l'étape de résolution. Nos travaux permettent de prouver le contraire. La deuxième contribution concerne la réduction du domaine de l'incertitude en orientation en couplant la propagation de contraintes et une approche de bissection. / This thesis deals with the vehicle locationand addresses the problem of SLAM (simultaneous localization and mapping). Several methods are used to solve this kind of problem. They can be classified into two broad categories of approaches: probabilistic approach and deterministic approaches. This work addresses the deterministic approaches and more precisely the approach based on interval analysis. The work has been conducted on real data sets collected in outdoor environments with proprioceptive and exteroceptive sensors.When multiple sensors providing complementary or redundant information are put into play, it is important to merge the data to improve the estimated pose. The approach detailed in this document uses the intervals methods and presents the localization problem as a constraint satisfaction problem.The resolution is done using a solver interval. Several solvers were compared. One thing is clear: local consistency algorithms do not address the uncertainty of the orientation. This thesis proposes a method of locating usable in real time applications and corrects the uncertainty in the heading of the vehicle. We compared our results with those of the extended Kalman filter (probabilistic reference method) and highlighted one of the interests of our method: the assurance of consistency of the pose (position and orientation of the mobile).This thesis proposes two contributions. The first is methodological. In the state of the art all works affirm the need (or obligation) to pre-decompose the constraints of the problem before the resolution step. Our work allows to prove otherwise. The second contribution relates to the reduction of the orientation uncertainty by combining constraint propagation and a bisection approach.

L'hypovigilance du conducteur (que ce soit provoquée par la distraction ou la somnolence) est une des menaces principales pour la sécurité routière. Cette thèse s'encadre dans le projet Toucango, porté par la start-up Innov+, qui vise à construire un détecteur d'hypovigilance en temps réel basé sur la fusion d'un flux vidéo en proche infra-rouge et d'informations environnementales. L'objectif de cette thèse consiste donc à proposer des techniques d'extraction des indices pertinents ainsi que des algorithmes de fusion multimodale qui puissent être embarqués sur le système pour un fonctionnement en temps réel. Afin de travailler dans des conditions proches du terrain, une base de données en conduite réelle a été créée avec la collaboration de plusieurs sociétés de transports. Dans un premier temps, nous présentons un état de l'art scientifique et une étude des solutions disponibles sur le marché pour la détection de l'hypovigilance. Ensuite, nous proposons diverses méthodes basées sur le traitement d'images (pour la détection des indices pertinents sur la tête, yeux, bouche et visage) et de données (pour les indices environnementaux basés sur la géolocalisation). Nous réalisons une étude sur les facteurs environnementaux liés à l'hypovigilance et développons un système d'estimation du risque contextuel. Enfin, nous proposons des techniques de fusion multimodale de ces indices avec l'objectif de détecter plusieurs comportements d'hypovigilance : distraction visuelle ou cognitive, engagement dans une tâche secondaire, privation de sommeil, micro-sommeil et somnolence. / Driver hypovigilance (whether caused by distraction or drowsiness) is one of the major threats to road safety. This thesis is part of the Toucango project, hold by the start-up Innov+, which aims to build a real-time hypovigilance detector based on the fusion of near infra-red video evidence and environmental information. The objective of this thesis is therefore to propose techniques for extracting relevant indices as well as multimodal fusion algorithms that can be embedded in the system for real-time operation. In order to work near ground truth conditions, a naturalistic driving database has been created with the collaboration of several transport companies. We first present a scientific state of the art and a study of the solutions available on the market for hypovigilance detection. Then, we propose several methods based on image (for the detection of relevant indices on the head, eyes, mouth and face) and data processing (for environmental indices based on geolocation). We carry out a study on the environmental factors related to hypovigilance and develop a contextual risk estimation system. Finally, we propose multimodal fusion techniques of these indices with the objective of detecting several hypovigilance behaviors: visual or cognitive distraction, engagement in a secondary task, sleep deprivation, microsleep and drowsiness.

La caractérisation de la structure du cerveau humain et les motifs fonctionnelles qu’il fait apparaitre est un défi central pour une meilleure compréhension des pathologies du réseau cérébral telle que l’épilepsie du lobe temporal. Cette caractérisation pourrait aider à améliorer la prédictibilité clinique des résultats d’une chirurgie visant à traiter l’épilepsie.Le fonctionnement du cerveau peut être étudié par l’électroencéphalographie (EEG) ou par l’imagerie de résonance magnétique fonctionnelle (IRMf), alors que la structure peut être caractérisé par l’IRM de diffusion (IRMd). Nous avons utilisé ces modalités pour mesurer le fonctionnement du cerveau pendant une tache de reconnaissance de visages et pendant le repos dans le but de faire le lien entre les modalités d’une façon optimale en termes de résolution temporale et spatiale. Avec cette approche on a mis en évidence une perturbation des relations structure-fonction chez les patients épileptiques.Ce travail a contribué à améliorer la compréhension de l’épilepsie comme une maladie de réseau qui affecte le cerveau à large échelle et non pas au niveau d’un foyer épileptique local. Dans le futur, ces résultats pourraient être utilisés pour guider des interventions chirurgicales mais ils fournissent également des approches nouvelles pour évaluer des traitements pharmacologiques selon ses implications fonctionnelles à l’échelle du cerveau entier. / The understanding human brain structure and the function patterns arising from it is a central challenge to better characterize brain network pathologies such as temporal lobe epilepsies, which could help to improve the clinical predictability of epileptic surgery outcome.Brain functioning can be accessed by both electroencephalography (EEG) or functional magnetic resonance imaging (fMRI), while brain structure can be measured with diffusion MRI (dMRI). We use these modalities to measure brain functioning during a face recognition task and in rest in order to link the different modalities in an optimal temporal and spatial manner. We discovered disruption of the network processing famous faces as well a disruption of the structure-function relation during rest in epileptic patients.This work broadened the understanding of epilepsy as a network disease that changes the brain on a large scale not limited to a local epileptic focus. In the future these results could be used to guide clinical intervention during epilepsy surgery but also they provide new approaches to evaluate pharmacological treatment on its functional implications on a whole brain scale.

Cette thèse présente nos travaux à la fois théoriques et techniques sur la fourniture de la qualité de service dans les réseaux de capteurs sans fil, travaux développés principalement pour la détection en temps réel d'événements.Le premier problème fondamental pour assurer une qualité de service est la connectivité d'un réseau. La probabilité de non-isolation de noeud est donnée garantissant une borne supérieure de 1-connectivité du réseau. Un deuxième problème traité concerne la considération conjointe du problème de connectivité de communication et de couverture de détection. Ce problème étant formalisé comme un problème d'optimisation multi-objectif, un algorithme heuristique du type génétique a été développé, permettant ainsi d'aider au déploiement. Pour assurer la communication des données en temps réel et de façon fiable, un protocole de routage basé sur SPEED a été développé. Les simulations ont montré une amélioration notable de performances par rapport aux solutions existantes. Afin d'assurer la fiabilité de l'information finale, un ensemble de règles de fusion de décision a été proposé. Quant à son implémentation réelle avec moins de complexité sur des noeuds de ressources limitées, trois alternatives sous-optimales ont été proposées et qui donnent des performances satisfaisantes dans des plages de rapport signal sur bruit / The fundamental theories and key technologies of QoS support for event detection in wireless sensor networks are studied in this dissertation.Firstly, to ensure the quality of connectivity, an explicit expression of node non-isolation probability is derived as the upper bound of one-connectivity. A tight lower bound for the minimum node density is also given for obtaining an almost surely connected network. Secondly, to meet the quality of coverage and connectivity together, a fine deployment strategy is developed. The deployment problem is formulated as a multi-objective optimization problem. Heuristic methods based on tabu search and generic algorithms are proposed. Thirdly, to satisfy real-time and reliable delivery requirement, a two-hop neighborhood information based real-time routing protocol is proposed. The simulations show that the proposed routing protocol has a significant improvement in performance compared to existing solutions. Finally, decision fusion rules under fading channel are investigated to ensure high quality of information. We propose three sub-optimal alternatives to the optimal likelihood ratio rule. They have less computation cost and require less a priori information and perform well in their respective SNR ranges

Cette thèse s’inscrit dans le cadre de l’ANR ReVeRIES dont l’objectif est d’utiliser les technologies mobiles pour aider l’homme à mieux connaître son environnement et notamment les végétaux qui l’entourent. Plus précisément, le projet ReVeRIES s’appuie sur une application mobile, nommée Folia développée dans le cadre du projet ANR ReVeS, capable de reconnaître les espèces d’arbres et arbustes à partir de photos de leurs feuilles. Ce prototype se différencie des autres outils car il est capable de simuler le comportement du botaniste. Dans le contexte du projet ReVeRIES, nous nous proposons d’aller beaucoup plus loin en développant de nouveaux aspects : la reconnaissance multimodale d’espèces, l’apprentissage par le jeu et les sciences citoyennes. L’objet de cette thèse porte sur le premier de ces trois aspects, à savoir l’analyse d’images d’organes de végétaux en vue de l’identification.Plus précisément, nous considérons les principaux arbres et arbustes, endémiques ou exotiques, que l’on trouve en France métropolitaine. L’objectif de cette thèse est d’étendre l’algorithme de reconnaissance en prenant en compte d’autres organes que la feuille. Cette multi-modalité est en effet essentielle si nous souhaitons que l’utilisateur apprenne et s’entraîne aux différentes méthodes de reconnaissance, pour lesquelles les botanistes utilisent la variété des organes (i.e. les feuilles, les fleurs, les fruits et les écorces). La méthode utilisée par Folia pour la reconnaissance des feuilles étant dédiée, car simulant le botaniste, ne peut s’appliquer directement aux autres organes. Ainsi, de nouveaux verrous se posent, tant au niveau dutraitement des images qu’au niveau de la fusion de données.Une première partie de la thèse a été consacrée à la mise en place de méthodes de traitement d’images pour l’identification des espèces végétales. C’est l’identification des espèces d’arbres à partir d’images d’écorces qui a été étudiée en premier. Les descripteurs développés prennent en compte la structure de l’écorce en s’inspirant des critères utilisés par les botanistes. Les fruits et les fleurs ont nécessité une étape de segmentation avant leur description. Une nouvelle méthode de segmentation réalisable sur smartphone a été développée pour fonctionner sur la grande variabilité des fleurs et des fruits. Enfin, des descripteurs ont été extraits sur les fruits et les fleurs après l’étape de segmentation. Nous avons décidé de ne pas faire de séparation entre les fleurs et les fruits car nous avons montré qu’un utilisateur novice en botanique ne sait pas toujours faire la différence entre ces deux organes sur des arbres dits «d’ornement» (non fruitiers). Pour les fruits et les fleurs, la prédiction n’est pas seulement faite sur les espèces mais aussi sur les genres et les familles, groupes botaniques traduisant d’une similarité entre ces organes.Une deuxième partie de la thèse traite de la combinaison des descripteurs des différents organes que sont les feuilles, les écorces, les fruits et les fleurs. En plus des méthodes de combinaison basiques, nous proposons de prendre en compte la confusion entre les espèces, ainsi que les prédictions d’appartenance aux taxons botaniques supérieurs à l’espèce.Enfin, un chapitre d’ouverture est consacré au traitement de ces images par des réseaux de neurones à convolutions. En effet, le Deep-Learning est de plus en plus utilisé en traitement d’images, notamment appliqué aux organes végétaux. Nous proposons dans ce contexte de visualiser les filtres de convolution extrayant de l’information, afin de faire le lien entre lesinformations extraites par ces réseaux et les éléments botaniques. / This thesis is part of the ANR ReVeRIES, which aims to use mobile technologies to help people better understand their environment and in particular the plants that surround them. More precisely, the ReVeRIES project is based on a mobile application called Folia developed as part of the ANR ReVeS project and capable of recognising tree and shrub species based on photos of their leaves. This prototype differs from other tools in that it is able to simulate the behaviour of the botanist. In the context of the ReVeRIES project, we propose to go much further by developing new aspects: multimodal species recognition, learning through play and citizen science. The purpose of this thesis is to focus on the first of these three aspects, namelythe analysis of images of plant organs for identification.More precisely, we consider the main trees and shrubs, endemic or exotic, found in metropolitan France. The objective of this thesis is to extend the recognition algorithm by taking into account other organs in addition to the leaf. This multi-modality is indeed essential if we want the user to learn and practice the different methods of recognition for which botanists use the variety of organs (i.e. leaves, flowers, fruits and bark). The method used by Folia for leaf recognition being dedicated, because simulating the work of a botanist on the leaf, cannot be applied directly to other organs. Thus, new challenges are emerging, both in terms of image processing and data fusion.The first part of the thesis was devoted to the implementation of image processing methods for the identification of plant species. The identification of tree species from bark images was the first to be studied. The descriptors developed take into account the structure of the bark inspired from the criteria used by botanists. Fruits and flowers required a segmentation step before their description. A new segmentation method that can be used on smartphones has been developed to work in spite of the high variability of flowers and fruits. Finally, descriptors were extracted on fruits and flowers after the segmentation step. We decided not to separate flowers and fruits because we showed that a user new to botany does not always know the difference between these two organs on so-called "ornamental" trees (not fruit trees). For fruits and flowers, prediction is not only made on their species but also on their genus and family, botanical groups reflecting a similarity between these organs.The second part of the thesis deals with the combination of descriptors of the different organs: leaves, bark, fruits and flowers. In addition to basic combination methods, we propose to consider the confusion between species, as well as predictions of affiliations in botanical taxa higher than the species.Finally, an opening chapter is devoted to the processing of these images by convolutional neural networks. Indeed, Deep Learning is increasingly used in image processing, particularly for plant organs. In this context, we propose to visualize the learned convolution filters extracting information, in order to make the link between the information extracted by these networks and botanical elements.

La navigation inertielle grâce aux capteurs intégrés dans les smartphones permet d’assurer une géolocalisation continue même en absence de signal GNSS. Ces capteurs bas coût délivrent néanmoins des mesures bruitées qui engendrent une dérive de la trajectoire. La technique PDR qui est une technique de navigation inertielle par détection de pas souffre de deux limites principales. La première est l’estimation de la longueur de pas car cette dernière dépend des caractéristiques physiques de chaque utilisateur, et la seconde est le résultat d’une dérive angulaire combinée avec un biais lié au portage du capteur à la main. Dans le contexte du projet HAPPYHAND, ce travail s’intéresse à l’exploitation de la carte pour corriger ces différentes erreurs. Un réseau de navigation topologique est exploité pour corriger à la fois les erreurs angulaires et calibrer le modèle de longueur de pas. Ce modèle est ensuite augmenté par un processus de mise à jour de position par détection de points d’intérêt. / Smartphone navigation using the low-cost embedded sensors in off the shelf smartphones can provide a continuous solution in GNSS-denied environments. The most widely adopted approach is Pedestrian Dead Reckoning (PDR) that uses acceleration and angular velocity to estimate the user’s position. Yet, consumer grade sensors deliver noisy measurements that may result into a drift in the estimated trajectory. One major challenge is to estimate accurately step length information since it depends on physiological features that are specific to each user. In addition, angular biases are more likely to be introduced in the orientation estimation process with handheld devices. This is mainly due to the high degree of freedom of hand motion. In the context of a national project called HAPPYHAND, the main goal of this work is to exploit map information as far as possible in order to mitigate the previous inherent limitations to the PDR approach. First, a topological network extracted from the map is proposed in order to correct the angular errors and calibrate the step length model. Second, context awareness is adopted in order to provide regular and frequent position updates thanks to a point of interest online detection scheme.