<p>Six methods are used for clustering data containing two different objects: sugar-beet plants </p><p>and weed. These objects are described by 19 different features, i.e. shape and color features. </p><p>There is also information about the distance between sugar-beet plants that is used for </p><p>labeling clusters. The methods that are evaluated: k-means, k-medoids, hierarchical clustering, </p><p>competitive learning, self-organizing maps and fuzzy c-means. After using the methods on </p><p>plant data, clusters are formed. The clusters are labeled with three different proposed </p><p>methods: expert, database and context method. Expert method is using a human for giving </p><p>initial cluster centers that are labeled. The database method is using a database as an expert </p><p>that provides initial cluster centers. The context method is using information about the </p><p>environment, which is the distance between sugar-beet plants, for labeling the clusters. </p><p> </p><p>The algorithms that were tested, with the lowest achieved corresponding error, are: k-means </p><p>(3.3%), k-medoids (3.8%), hierarchical clustering (5.3%), competitive learning (6.8%), self- </p><p>organizing maps (4.9%) and fuzzy c-means (7.9%). Three different datasets were used and the </p><p>lowest error on dataset0 is 3.3%, compared to supervised learning methods where it is 3%. </p><p>For dataset1 the error is 18.7% and for dataset2 it is 5.8%. Compared to supervised methods, </p><p>the error on dataset1 is 11% and for dataset2 it is 5.1%. The high error rate on dataset1 is due </p><p>to the samples are not very well separated in different clusters. The features from dataset1 are </p><p>extracted from lower resolution on images than the other datasets, and another difference </p><p>between the datasets are the sugar-beet plants that are in different growth stages. </p><p> </p><p>The performance of the three methods for labeling clusters is: expert method (6.8% as the </p><p>lowest error achieved), database method (3.7%) and context method (6.8%). These results </p><p>show the clustering results by competitive learning where the real error is 6.8%. </p><p> </p><p>Unsupervised-learning methods for clustering can very well be used for plant identification. </p><p>Because the samples are not classified, an automatic labeling technique must be used if plants </p><p>are to be identified. The three proposed techniques can be used for automatic labeling of </p><p>plants.</p>

Six methods are used for clustering data containing two different objects: sugar-beet plants and weed. These objects are described by 19 different features, i.e. shape and color features. There is also information about the distance between sugar-beet plants that is used for labeling clusters. The methods that are evaluated: k-means, k-medoids, hierarchical clustering, competitive learning, self-organizing maps and fuzzy c-means. After using the methods on plant data, clusters are formed. The clusters are labeled with three different proposed methods: expert, database and context method. Expert method is using a human for giving initial cluster centers that are labeled. The database method is using a database as an expert that provides initial cluster centers. The context method is using information about the environment, which is the distance between sugar-beet plants, for labeling the clusters. The algorithms that were tested, with the lowest achieved corresponding error, are: k-means (3.3%), k-medoids (3.8%), hierarchical clustering (5.3%), competitive learning (6.8%), self- organizing maps (4.9%) and fuzzy c-means (7.9%). Three different datasets were used and the lowest error on dataset0 is 3.3%, compared to supervised learning methods where it is 3%. For dataset1 the error is 18.7% and for dataset2 it is 5.8%. Compared to supervised methods, the error on dataset1 is 11% and for dataset2 it is 5.1%. The high error rate on dataset1 is due to the samples are not very well separated in different clusters. The features from dataset1 are extracted from lower resolution on images than the other datasets, and another difference between the datasets are the sugar-beet plants that are in different growth stages. The performance of the three methods for labeling clusters is: expert method (6.8% as the lowest error achieved), database method (3.7%) and context method (6.8%). These results show the clustering results by competitive learning where the real error is 6.8%. Unsupervised-learning methods for clustering can very well be used for plant identification. Because the samples are not classified, an automatic labeling technique must be used if plants are to be identified. The three proposed techniques can be used for automatic labeling of plants.

Cette thèse s’inscrit dans le cadre de l’ANR ReVeRIES dont l’objectif est d’utiliser les technologies mobiles pour aider l’homme à mieux connaître son environnement et notamment les végétaux qui l’entourent. Plus précisément, le projet ReVeRIES s’appuie sur une application mobile, nommée Folia développée dans le cadre du projet ANR ReVeS, capable de reconnaître les espèces d’arbres et arbustes à partir de photos de leurs feuilles. Ce prototype se différencie des autres outils car il est capable de simuler le comportement du botaniste. Dans le contexte du projet ReVeRIES, nous nous proposons d’aller beaucoup plus loin en développant de nouveaux aspects : la reconnaissance multimodale d’espèces, l’apprentissage par le jeu et les sciences citoyennes. L’objet de cette thèse porte sur le premier de ces trois aspects, à savoir l’analyse d’images d’organes de végétaux en vue de l’identification.Plus précisément, nous considérons les principaux arbres et arbustes, endémiques ou exotiques, que l’on trouve en France métropolitaine. L’objectif de cette thèse est d’étendre l’algorithme de reconnaissance en prenant en compte d’autres organes que la feuille. Cette multi-modalité est en effet essentielle si nous souhaitons que l’utilisateur apprenne et s’entraîne aux différentes méthodes de reconnaissance, pour lesquelles les botanistes utilisent la variété des organes (i.e. les feuilles, les fleurs, les fruits et les écorces). La méthode utilisée par Folia pour la reconnaissance des feuilles étant dédiée, car simulant le botaniste, ne peut s’appliquer directement aux autres organes. Ainsi, de nouveaux verrous se posent, tant au niveau dutraitement des images qu’au niveau de la fusion de données.Une première partie de la thèse a été consacrée à la mise en place de méthodes de traitement d’images pour l’identification des espèces végétales. C’est l’identification des espèces d’arbres à partir d’images d’écorces qui a été étudiée en premier. Les descripteurs développés prennent en compte la structure de l’écorce en s’inspirant des critères utilisés par les botanistes. Les fruits et les fleurs ont nécessité une étape de segmentation avant leur description. Une nouvelle méthode de segmentation réalisable sur smartphone a été développée pour fonctionner sur la grande variabilité des fleurs et des fruits. Enfin, des descripteurs ont été extraits sur les fruits et les fleurs après l’étape de segmentation. Nous avons décidé de ne pas faire de séparation entre les fleurs et les fruits car nous avons montré qu’un utilisateur novice en botanique ne sait pas toujours faire la différence entre ces deux organes sur des arbres dits «d’ornement» (non fruitiers). Pour les fruits et les fleurs, la prédiction n’est pas seulement faite sur les espèces mais aussi sur les genres et les familles, groupes botaniques traduisant d’une similarité entre ces organes.Une deuxième partie de la thèse traite de la combinaison des descripteurs des différents organes que sont les feuilles, les écorces, les fruits et les fleurs. En plus des méthodes de combinaison basiques, nous proposons de prendre en compte la confusion entre les espèces, ainsi que les prédictions d’appartenance aux taxons botaniques supérieurs à l’espèce.Enfin, un chapitre d’ouverture est consacré au traitement de ces images par des réseaux de neurones à convolutions. En effet, le Deep-Learning est de plus en plus utilisé en traitement d’images, notamment appliqué aux organes végétaux. Nous proposons dans ce contexte de visualiser les filtres de convolution extrayant de l’information, afin de faire le lien entre lesinformations extraites par ces réseaux et les éléments botaniques. / This thesis is part of the ANR ReVeRIES, which aims to use mobile technologies to help people better understand their environment and in particular the plants that surround them. More precisely, the ReVeRIES project is based on a mobile application called Folia developed as part of the ANR ReVeS project and capable of recognising tree and shrub species based on photos of their leaves. This prototype differs from other tools in that it is able to simulate the behaviour of the botanist. In the context of the ReVeRIES project, we propose to go much further by developing new aspects: multimodal species recognition, learning through play and citizen science. The purpose of this thesis is to focus on the first of these three aspects, namelythe analysis of images of plant organs for identification.More precisely, we consider the main trees and shrubs, endemic or exotic, found in metropolitan France. The objective of this thesis is to extend the recognition algorithm by taking into account other organs in addition to the leaf. This multi-modality is indeed essential if we want the user to learn and practice the different methods of recognition for which botanists use the variety of organs (i.e. leaves, flowers, fruits and bark). The method used by Folia for leaf recognition being dedicated, because simulating the work of a botanist on the leaf, cannot be applied directly to other organs. Thus, new challenges are emerging, both in terms of image processing and data fusion.The first part of the thesis was devoted to the implementation of image processing methods for the identification of plant species. The identification of tree species from bark images was the first to be studied. The descriptors developed take into account the structure of the bark inspired from the criteria used by botanists. Fruits and flowers required a segmentation step before their description. A new segmentation method that can be used on smartphones has been developed to work in spite of the high variability of flowers and fruits. Finally, descriptors were extracted on fruits and flowers after the segmentation step. We decided not to separate flowers and fruits because we showed that a user new to botany does not always know the difference between these two organs on so-called "ornamental" trees (not fruit trees). For fruits and flowers, prediction is not only made on their species but also on their genus and family, botanical groups reflecting a similarity between these organs.The second part of the thesis deals with the combination of descriptors of the different organs: leaves, bark, fruits and flowers. In addition to basic combination methods, we propose to consider the confusion between species, as well as predictions of affiliations in botanical taxa higher than the species.Finally, an opening chapter is devoted to the processing of these images by convolutional neural networks. Indeed, Deep Learning is increasingly used in image processing, particularly for plant organs. In this context, we propose to visualize the learned convolution filters extracting information, in order to make the link between the information extracted by these networks and botanical elements.

Les espèces végétales, et en particulier les espèces d'arbres, forment un cadre de choix pour un processus de reconnaissance automatique basé sur l'analyse d'images. Les critères permettant de les identifier sont en effet le plus souvent des éléments morphologiques visuels, bien décrits et référencés par la botanique, qui laissent à penser qu'une reconnaissance par la forme est envisageable. Les feuilles constituent dans ce contexte les organes végétaux discriminants les plus faciles à appréhender, et sont de ce fait les plus communément employés pour ce problème qui connaît actuellement un véritable engouement. L'identification automatique pose toutefois un certain nombre de problèmes complexes, que ce soit dans le traitement des images ou dans la difficulté même de la classification en espèces, qui en font une application de pointe en reconnaissance de formes.Cette thèse place le problème de l'identification des espèces d'arbres à partir d'images de leurs feuilles dans le contexte d'une application pour smartphones destinée au grand public. Les images sur lesquelles nous travaillons sont donc potentiellement complexes et leur acquisition peu supervisée. Nous proposons alors des méthodes d'analyse d'images dédiées, permettant la segmentation et l'interprétation des feuilles d'arbres, en se basant sur une modélisation originale de leurs formes, et sur des approches basées modèles déformables. L'introduction de connaissances a priori sur la forme des objets améliore ainsi de façon significative la qualité et la robustesse de l'information extraite de l'image. Le traitement se déroulant sur l'appareil, nous avons développé ces algorithmes en prenant en compte les contraintes matérielles liées à leur utilisation.Nous introduisons également une description spécifique des formes des feuilles, inspirée par les caractéristiques déterminantes recensées dans les ouvrages botaniques. Ces différents descripteurs fournissent des informations de haut niveau qui sont fusionnées en fin de processus pour identifier les espèces, tout en permettant une interprétation sémantique intéressante dans le cadre de l'interaction avec un utilisateur néophyte. Les performances obtenues en termes de classification, sur près de 100 espèces d'arbres, se situent par ailleurs au niveau de l'état de l'art dans le domaine, et démontrent une robustesse particulière sur les images prises en environnement naturel. Enfin, nous avons intégré l'implémentation de notre système de reconnaissance dans l'application Folia pour iPhone, qui constitue une validation de nos approches et méthodes dans un cadre réel. / Plant species, and especially tree species, constitute a well adapted target for an automatic recognition process based on image analysis. The criteria that make their identification possible are indeed often morphological visual elements, which are well described and referenced by botany. This leads to think that a recognition through shape is worth considering. Leaves stand out in this context as the most accessible discriminative plant organs, and are subsequently the most often used for this problem recently receiving a particular attention. Automatic identification however gives rise to a fair amount of complex problems, linked with the processing of images, or in the difficult nature of the species classification itself, which make it an advanced application for pattern recognition.This thesis considers the problem of tree species identification from leaf images within the framework of a smartphone application intended for a non-specialist audience. The images on which we expect to work are then potentially very complex scenes and their acquisition rather unsupervised. We consequently propose dedicated methods for image analysis, in order to segment and interpret tree leaves, using an original shape modelling and deformable templates. The introduction on prior knowledge on the shape of objects enhances significatively the quality and the robustness of the information we extract from the image. All processing being carried out on the mobile device, we developed those algorithms with concern towards the material constraints of their exploitation. We also introduce a very specific description of leaf shapes, inspired by the determining characteristics listed in botanical references. These different descriptors constitute independent sources of high-level information that are fused at the end of the process to identify species, while providing the user with a possible semantic interpretation. The classification performance demonstrated over approximately 100 tree species are competitive with state-of-the-art methods of the domain, and show a particular robustness to difficult natural background images. Finally, we integrated the implementation of our recognition system into the \textbf{Folia} application for iPhone, which constitutes a validation of our approaches and methods in a real-world use.