Cette thèse s’inscrit dans le cadre de l’ANR ReVeRIES dont l’objectif est d’utiliser les technologies mobiles pour aider l’homme à mieux connaître son environnement et notamment les végétaux qui l’entourent. Plus précisément, le projet ReVeRIES s’appuie sur une application mobile, nommée Folia développée dans le cadre du projet ANR ReVeS, capable de reconnaître les espèces d’arbres et arbustes à partir de photos de leurs feuilles. Ce prototype se différencie des autres outils car il est capable de simuler le comportement du botaniste. Dans le contexte du projet ReVeRIES, nous nous proposons d’aller beaucoup plus loin en développant de nouveaux aspects : la reconnaissance multimodale d’espèces, l’apprentissage par le jeu et les sciences citoyennes. L’objet de cette thèse porte sur le premier de ces trois aspects, à savoir l’analyse d’images d’organes de végétaux en vue de l’identification.Plus précisément, nous considérons les principaux arbres et arbustes, endémiques ou exotiques, que l’on trouve en France métropolitaine. L’objectif de cette thèse est d’étendre l’algorithme de reconnaissance en prenant en compte d’autres organes que la feuille. Cette multi-modalité est en effet essentielle si nous souhaitons que l’utilisateur apprenne et s’entraîne aux différentes méthodes de reconnaissance, pour lesquelles les botanistes utilisent la variété des organes (i.e. les feuilles, les fleurs, les fruits et les écorces). La méthode utilisée par Folia pour la reconnaissance des feuilles étant dédiée, car simulant le botaniste, ne peut s’appliquer directement aux autres organes. Ainsi, de nouveaux verrous se posent, tant au niveau dutraitement des images qu’au niveau de la fusion de données.Une première partie de la thèse a été consacrée à la mise en place de méthodes de traitement d’images pour l’identification des espèces végétales. C’est l’identification des espèces d’arbres à partir d’images d’écorces qui a été étudiée en premier. Les descripteurs développés prennent en compte la structure de l’écorce en s’inspirant des critères utilisés par les botanistes. Les fruits et les fleurs ont nécessité une étape de segmentation avant leur description. Une nouvelle méthode de segmentation réalisable sur smartphone a été développée pour fonctionner sur la grande variabilité des fleurs et des fruits. Enfin, des descripteurs ont été extraits sur les fruits et les fleurs après l’étape de segmentation. Nous avons décidé de ne pas faire de séparation entre les fleurs et les fruits car nous avons montré qu’un utilisateur novice en botanique ne sait pas toujours faire la différence entre ces deux organes sur des arbres dits «d’ornement» (non fruitiers). Pour les fruits et les fleurs, la prédiction n’est pas seulement faite sur les espèces mais aussi sur les genres et les familles, groupes botaniques traduisant d’une similarité entre ces organes.Une deuxième partie de la thèse traite de la combinaison des descripteurs des différents organes que sont les feuilles, les écorces, les fruits et les fleurs. En plus des méthodes de combinaison basiques, nous proposons de prendre en compte la confusion entre les espèces, ainsi que les prédictions d’appartenance aux taxons botaniques supérieurs à l’espèce.Enfin, un chapitre d’ouverture est consacré au traitement de ces images par des réseaux de neurones à convolutions. En effet, le Deep-Learning est de plus en plus utilisé en traitement d’images, notamment appliqué aux organes végétaux. Nous proposons dans ce contexte de visualiser les filtres de convolution extrayant de l’information, afin de faire le lien entre lesinformations extraites par ces réseaux et les éléments botaniques. / This thesis is part of the ANR ReVeRIES, which aims to use mobile technologies to help people better understand their environment and in particular the plants that surround them. More precisely, the ReVeRIES project is based on a mobile application called Folia developed as part of the ANR ReVeS project and capable of recognising tree and shrub species based on photos of their leaves. This prototype differs from other tools in that it is able to simulate the behaviour of the botanist. In the context of the ReVeRIES project, we propose to go much further by developing new aspects: multimodal species recognition, learning through play and citizen science. The purpose of this thesis is to focus on the first of these three aspects, namelythe analysis of images of plant organs for identification.More precisely, we consider the main trees and shrubs, endemic or exotic, found in metropolitan France. The objective of this thesis is to extend the recognition algorithm by taking into account other organs in addition to the leaf. This multi-modality is indeed essential if we want the user to learn and practice the different methods of recognition for which botanists use the variety of organs (i.e. leaves, flowers, fruits and bark). The method used by Folia for leaf recognition being dedicated, because simulating the work of a botanist on the leaf, cannot be applied directly to other organs. Thus, new challenges are emerging, both in terms of image processing and data fusion.The first part of the thesis was devoted to the implementation of image processing methods for the identification of plant species. The identification of tree species from bark images was the first to be studied. The descriptors developed take into account the structure of the bark inspired from the criteria used by botanists. Fruits and flowers required a segmentation step before their description. A new segmentation method that can be used on smartphones has been developed to work in spite of the high variability of flowers and fruits. Finally, descriptors were extracted on fruits and flowers after the segmentation step. We decided not to separate flowers and fruits because we showed that a user new to botany does not always know the difference between these two organs on so-called "ornamental" trees (not fruit trees). For fruits and flowers, prediction is not only made on their species but also on their genus and family, botanical groups reflecting a similarity between these organs.The second part of the thesis deals with the combination of descriptors of the different organs: leaves, bark, fruits and flowers. In addition to basic combination methods, we propose to consider the confusion between species, as well as predictions of affiliations in botanical taxa higher than the species.Finally, an opening chapter is devoted to the processing of these images by convolutional neural networks. Indeed, Deep Learning is increasingly used in image processing, particularly for plant organs. In this context, we propose to visualize the learned convolution filters extracting information, in order to make the link between the information extracted by these networks and botanical elements.

De nos jours les algorithmes de vision par ordinateur abondent dans les applications de vidéo-surveillance, de reconstruction 3D, de véhicules autonomes, d'imagerie médicale, etc… La détection et la mise en correspondance d'objets dans les images constitue une étape clé dans ces algorithmes.Les méthodes les plus communes pour la mise en correspondance d'objets ou d'images sont basées sur des descripteurs locaux, avec tout d'abord la détection de points d'intérêt, puis l'extraction de caractéristiques de voisinages des points d'intérêt, et enfin la construction des descripteurs d'image.Dans cette thèse, nous présentons des contributions au domaine de la mise en correspondance d'images par l'utilisation de demi filtres tournants. Nous suivons ici trois approches : la première présente un nouveau descripteur à faible débit et une stratégie de mise en correspondance intégrés à une plateforme vidéo. Deuxièmement, nous construisons un nouveau descripteur local en intégrant la réponse de demi filtres tournant dans un histogramme de gradient orienté (HOG) ; enfin nous proposons une nouvelle approche pour la construction d'un descripteur utilisant des statistiques du second ordre. Toutes ces trois approches apportent des résultats intéressants et prometteurs.Mots-clés : Demi filtres tournants, descripteur local d'image, mise en correspondance, histogramme de gradient orienté (HOG), Différence de gaussiennes. / Nowadays computer vision algorithms can be found abundantly in applications relatedto video surveillance, 3D reconstruction, autonomous vehicles, medical imaging etc. Image/object matching and detection forms an integral step in many of these algorithms.The most common methods for Image/object matching and detection are based on localimage descriptors, where interest points in the image are initially detected, followed byextracting the image features from the neighbourhood of the interest point and finally,constructing the image descriptor. In this thesis, contributions to the field of the imagefeature matching using rotating half filters are presented. Here we follow three approaches:first, by presenting a new low bit-rate descriptor and a cascade matching strategy whichare integrated on a video platform. Secondly, we construct a new local image patch descriptorby embedding the response of rotating half filters in the Histogram of Orientedgradient (HoG) framework and finally by proposing a new approach for descriptor constructionby using second order image statistics. All the three approaches provides aninteresting and promising results by outperforming the state of art descriptors.Key-words: Rotating half filters, local image descriptor, image matching, Histogram of Orientated Gradients (HoG), Difference of Gaussian (DoG).

Ce travail s’inscrit dans une tentative de liaison entre la communauté classique de la Vision par ordinateur et la communauté du traitement d’images de documents, analyse être connaissance (DAR). Plus particulièrement, nous abordons la question des détecteurs de points d’intérêts et des descripteurs locaux dans une image. Ceux-ci ayant été conçus pour des images issues du monde réel, ils ne sont pas adaptés aux problématiques issues du document dont les images présentent des caractéristiques visuelles différentes.Notre approche se base sur la résolution du problème de la confusion entre les descripteurs,ceux-ci perdant leur pouvoir discriminant. Notre principale contribution est un algorithme de réduction de la confusion potentiellement présente dans un ensemble de vecteurs caractéristiques d’une même image, ceci par une approche probabiliste en filtrant les vecteurs fortement confusifs. Une telle conception nous permet d’appliquer des algorithmes d’extractions de descripteurs sans avoir à les modifier ce qui constitue une passerelle entre ces deux mondes. / This work tries to establish a bridge between the field of classical computer vision and document analysis and recognition. Specificaly, we tackle the issue of keypoints detection and associated local features computation in the image. These are not suitable for document images since they were designed for real-world images which have different visual characteristic. Our approach is based on resolving the issue of reducing the confusion between feature vectors since they usually lose their discriminant power with document images. Our main contribution is an algorithm reducing the confusion between local features by filtering the ones which present a high confusing risk. We are tackling this by using tools from probability theory. Such a method allows us to apply features extraction algorithms without having to modify them, thus establishing a bridge between these two worlds.

La neurophysiologie et la biomécanique constituent deux approches complémentaires à la compréhension globale de la régulation posturale. Le corps humain est considéré comme un système mécanique poly-articulé régulé par le système nerveux central. Ses entrées sont les couples articulaires et ses sorties les positions des segments corporels. Au vu des stratégies posturales employées en station debout, un modèle non linéaire en double pendule inversé est adopté. Il dépend de paramètres pouvant être estimés par des tables anthropométriques standards. Pour ajuster le modèle à un individu particulier, un recuit simulé est utilisé. Les couples articulaires sont classiquement estimés par des techniques de dynamique inverse sensibles aux incertitudes de mesure. Une méthode alternative issue du domaine de l'automatique, basée l'utilisation d'observateurs à entrées inconnues, est proposée. L'étude d'une classe d'observateurs flous de type Takagi-Sugeno basés sur une forme descripteur est proposée. Les conditions de convergence sont obtenues par une fonction de Lyapunov quadratique et peuvent être conservatives. Quatre approches, admettant une écriture sous la forme de problèmes LMI ou BMI, sont alors proposées afin de relâcher ces conditions. La mise en œuvre d'un observateur flou à entrées inconnues dans le cas de l'homme en station debout est proposée. Les résultats obtenus sont confrontés à ceux des différentes approches de la dynamique inverse. L'observateur flou semble mieux adapté à l'estimation des caractéristiques du mouvement en station debout. De plus son caractère temps réel est souligné et conduit à de nombreuses perspectives en rééducation.

L'évaluation de la qualité d'image est un élément critique dans de nombreuses applications multimédias et en particulier lorsque l'observateur est le juge ultime. En général, le contrôle de la qualité des systèmes d'acquisitions de données est réalisé à partir de l'évaluation de la qualité d'image subjective. Cependant, les méthodes d'évaluation psycho-visuelle sont complexes, non reproductibles et dépendent de nombreux facteurs. Ces contraintes ont conduit alors à l'élaboration de nouvelles approches objectives basées sur des techniques d'analyse du signal image. Ainsi, au cours des deux dernières décennies, de nombreuses méthodes d'évaluation de la qualité d'image ont été proposées. Cependant, il n'existe pas actuellement de métrique de qualité d'image standard. L'objectif de ce travail de thèse est de proposer une approche multidimensionnelle de l'évaluation de la qualité d'image. Nous avons ainsi développé un nouveau système d'estimation de la qualité d'image (avec et sans référence) basée sur l'identification et la classification des artefacts. Cette connaissance a priori est ensuite utilisée pour sélectionner la métrique la plus appropriée. Les résultats obtenus sont très encourageants et invitent à progresser selon la démarche proposée en enrichissant le système développé par l'étude d'autres distorsions.

Avec le développement du numérique, le nombre d'images stockées dans les bases de données a beaucoup augmenté. L'indexation des images et la recherche d'information dans les bases d'images sont plus compliquées que dans le cas de documents textuels Des méthodes d'indexation déjà utilisées en analyse de données textuelles sont proposées pour traiter des images. Pour transférer les résultats de l'analyse de données textuelles aux images, il est nécessaire d'utiliser de nouvelles caractéristiques : les mots visuels et on considère les images comme documents. Nous nous intéressons au problème d'indexation et de recherche d'information dans des grandes bases de données d'images à l'aide de méthodes d'analyse de données comme l'Analyse Factorielle des Correspondances (AFC). Nous proposons d'abord une utilisation astucieuse des indicateurs de l'AFC pour accélérer la recherche après l'avoir adaptée aux images. Nous nous intéressons ensuite au problème du passage à l'échelle de l'AFC. Pour ce faire, nous proposons un algorithme d'AFC incrémentale pour traiter de grands tableaux de données et la parallélisation de cet algorithme sur processeurs graphiques (GPU). Nous développons aussi une version parallèle de notre algorithme de recherche qui utilise les indicateurs de l'AFC sur GPU. Puis nous associons l'AFC à d'autres méthodes comme la Mesure de Dissimilarité Contextuelle ou les forêts aléatoires pour améliorer la qualité de la recherche. Enfin, nous présentons un environnement de visualisation, CAViz, pour accompagner les traitements précédents.

Ces dernières années, l'extraction de motifs locaux (itemsets fréquents et règles d'association) a suscité beaucoup d'entrain pour la classification supervisée. Cette thèse traite du calcul et de l'usage de motifs sous contraintes pour la classification supervisée. Nous nous attaquons à deux problèmes difficiles en classification supervisée à base de motifs et proposons deux contributions méthodologiques : D'un côté, lorsque les attributs sont bruités, les performances des classifieurs peuvent être désastreuses. Les méthodes existantes consistent à corriger les valeurs d'attributs ou supprimer les objets bruités -- ce qui génère une perte d'information. Dans ce mémoire, nous proposons une méthode générique de construction de descripteurs robustes au bruit d'attributs -- sans modifier les valeurs d'attributs ni supprimer les objets bruités. Notre approche se déroule en deux étapes : premièrement nous extrayons l'ensemble des règles delta-fortes de caractérisation. Ces règles offrent des propriétés de corps minimal, de non-redondance et sont basées sur les itemsets delta-libres et leur delta-fermeture -- qui ont déjà fait leur preuve pour la caractérisation de groupements dans des contextes bruités. Deuxièmement, nous construisons un nouveau descripteur numérique robuste pour chaque règle extraite. Les expérimentations menées dans des données bruitées, montrent que des classifieurs classiques sont plus performants en terme de précision sur les données munies des nouveaux descripteurs que sur les données avec les attributs originaux. D'autre part, lorsque la distribution des classes est inégale, les approches existantes de classification à base de motifs ont tendance à être biaisées vers la classe majoritaire. La précision sur la (ou les) classe(s) majoritaire(s) est alors élevée au détriment de la précision sur la (ou les) classe(s) minoritaire(s). Nous montrons que ce problème est dû au fait que les approches existantes ne tiennent pas compte de la répartition des classes et/ou de la fréquence relative des motifs dans chacune des classes de la base. Pour pallier ce problème, nous proposons un nouveau cadre de travail dans lequel nous extrayons un nouveau type de motifs : les règles de caractérisation One-Versus-Each (OVE-règles). Ce nouveau cadre de travail nécessite le paramétrage d'un nombre conséquent de seuils de fréquence et d'infréquence. Pour ce faire, nous proposons un algorithme d'optimisation de paramètres, fitcare ainsi qu'un algorithme d'extraction d'OVE-règles. Les expérimentations menées sur des données UCI multi-classes disproportionnées et sur des données de diagnostic de méningite aigüe, montrent que notre approche fitcare est plus performante que les approches existantes en terme de précision sur les classes mineures. L'application de notre méthode de classification associative à l'analyse de données d'érosion des sols en Nouvelle-Calédonie a mis en évidence l'intérêt de notre proposition pour caractériser les phénomènes d'érosion.

<p>Cette thèse s'intéresse à la reconnaissance des actions humaines dans des données vidéo réalistes, tels que les films. À cette fin, nous développons des algorithmes d'extraction de caractéristiques visuelles pour la classification et la localisation d'actions.</p> <p>Dans une première partie, nous étudions des approches basées sur les sacs-de-mots pour la classification d'action. Dans le cas de vidéo réalistes, certains travaux récents qui utilisent le modèle sac-de-mots pour la représentation d'actions ont montré des résultats prometteurs. Par conséquent, nous effectuons une comparaison approfondie des méthodes existantes pour la détection et la description des caractéristiques locales. Ensuite, nous proposons deux nouvelles approches pour la descriptions des caractéristiques locales en vidéo. La première méthode étend le concept d'histogrammes sur les orientations de gradient dans le domaine spatio-temporel. La seconde méthode est basée sur des trajectoires de points d'intérêt détectés spatialement. Les deux descripteurs sont évalués avec une représentation par sac-de-mots et montrent une amélioration par rapport à l'état de l'art pour la classification d'actions.</p> <p>Dans une seconde partie, nous examinons comment la détection de personnes peut contribuer à la reconnaissance d'actions. Tout d'abord, nous développons une approche qui combine la détection de personnes avec une représentation sac-de-mots. La performance est évaluée pour la classification d'actions à plusieurs niveaux d'échelle spatiale. Ensuite, nous explorons la localisation spatio-temporelle des actions humaines dans les films. Nous étendons une approche de suivi de personnes pour des vidéos réalistes. En outre, nous développons une représentation d'actions qui est adaptée aux détections de personnes. Nos expériences suggèrent que la détection de personnes améliore significativement la localisation d'actions. De plus, notre système montre une grande amélioration par rapport à l'état de l'art actuel.</p>

La reconnaissance faciale (RF) est un domaine de recherche très actif en raison de ses nombreuses applications dans le domaine de la vision par ordinateur en général et en biométrie en particulier. Cet intérêt est motivé par plusieurs raisons. D'abord, le visage est universel. Ensuite, il est le moyen le plus naturel par les êtres humains de s'identifier les uns des autres. Enfin, le visage en tant que modalité biométrique est présente un caractère non intrusif, ce qui le distingue d'autres modalités biométriques comme l'iris ou l'emprunte digitale. La RF représente aussi des défis scientifiques importants. D'abord parce que tous les visages humains ont des configurations similaires. Ensuite, avec les images faciales 2D que l'on peut acquérir facilement, la variation intra-classe, due à des facteurs comme le changement de poses et de conditions d'éclairage, les variations d'expressions faciales, le vieillissement, est bien plus importante que la variation inter-classe.Avec l'arrivée des systèmes d'acquisition 3D capables de capturer la profondeur d'objets, la reconnaissance faciale 3D (RF 3D) a émergé comme une voie prometteuse pour traiter les deux problèmes non résolus en 2D, à savoir les variations de pose et d'éclairage. En effet, les caméras 3D délivrent généralement les scans 3D de visages avec leurs images de texture alignées. Une solution en RF 3D peut donc tirer parti d'une fusion avisée d'informations de forme en 3D et celles de texture en 2D. En effet, étant donné que les scans 3D de visage offrent à la fois les surfaces faciales pour la modalité 3D pure et les images de texture 2D alignées, le nombre de possibilités de fusion pour optimiser le taux de reconnaissance est donc considérable. L'optimisation de stratégies de fusion pour une meilleure RF 3D est l'objectif principal de nos travaux de recherche menés dans cette thèse.Dans l'état d'art, diverses stratégies de fusion ont été proposées pour la reconnaissance de visages 3D, allant de la fusion précoce "early fusion" opérant au niveau de caractéristiques à la fusion tardive "late fusion" sur les sorties de classifieurs, en passant par de nombreuses stratégies intermédiaires. Pour les stratégies de fusion tardive, nous distinguons encore des combinaisons en parallèle, en cascade ou multi-niveaux. Une exploration exhaustive d'un tel espace étant impossible, il faut donc recourir à des solutions heuristiques qui constituent nos démarches de base dans le cadre des travaux de cette thèse.En plus, en s'inscrivant dans un cadre de systèmes biométriques, les critères d'optimalité des stratégies de fusion restent des questions primordiales. En effet, une stratégie de fusion est dite optimisée si elle est capable d'intégrer et de tirer parti des différentes modalités et, plus largement, des différentes informations extraites lors du processus de reconnaissance quelque soit leur niveau d'abstraction et, par conséquent, de difficulté.Pour surmonter toutes ces difficultés et proposer une solution optimisée, notre démarche s'appuie d'une part sur l'apprentissage qui permet de qualifier sur des données d'entrainement les experts 2D ou 3D, selon des critères de performance comme ERR, et d'autre part l'utilisation de stratégie d'optimisation heuristique comme le recuit simulé qui permet d'optimiser les mélanges des experts à fusionner. [...]

Dans cette thèse, nous nous intéressons à la reconnaissance d'images couleur à l'aide d'une nouvelle approche géométrique du domaine fréquentiel. La plupart des méthodes existantes ne traitent que les images en niveaux de gris au travers de descripteurs issus de la transformée de Fourier usuelle. L'extension de telles méthodes aux images multicanaux, comme par exemple les images couleur, consiste généralement à reproduire un traitement identique sur chacun des canaux. Afin d'éviter ce traitement marginal, nous étudions et mettons en perspective les différentes généralisations de la transformée de Fourier pour les images couleur. Ce travail nous oriente vers la transformée de Fourier Clifford pour les images couleur définie dans le cadre des algèbres géométriques. Une étude approfondie de celle-ci nous conduit à définir un algorithme de calcul rapide et à proposer une méthode de corrélation de phase pour les images couleur. Dans un deuxième temps, nous cherchons à généraliser à travers cette transformée de Fourier les définitions des descripteurs de Fourier de la littérature. Nous étudions ainsi les propriétés, notamment l'invariance à la translation, rotation et échelle, des descripteurs existants. Ce travail nous mène à proposer trois nouveaux descripteurs appelés "descripteurs de Fourier couleur généralisés"(GCFD) invariants en translation et en rotation.Les méthodes proposées sont évaluées sur des bases d'images usuelles afin d'estimer l'apport du contenu fréquentiel couleur par rapport aux méthodes niveaux de gris et marginales. Les résultats obtenus à l'aide d'un classifieur SVM montrent le potentiel des méthodes proposées ; les descripteurs GCFD se révèlent être plus compacts, de complexité algorithmique moindre pour des performances de classification au minimum équivalentes. Nous proposons également des heuristiques pour le choix du paramètre de la transformée de Fourier Clifford.Cette thèse constitue un premier pas vers une généralisation des méthodes fréquentielles aux images multicanaux.