Les systèmes de fusion d’informations permettent de combiner des données issues de différentes sources d’informations tout en tenant compte de leur qualité. La combinaison de données issues de sources hétérogènes permet de profiter de la complémentarité des données et donc d’avoir potentiellement des performances plus élevées que celles obtenues en utilisant une seule source d’informations. L’utilisation de ces systèmes s’avère intéressante dans le cadre de la reconnaissance d’espèces d’arbres à travers la fusion d’informations issues de deux modalités : les feuilles et les écorces.Une seule modalité représente éventuellement différentes sources d’informations décrivant chacune une des caractéristiques les plus pertinentes. Ceci permet de reproduire la stratégie adoptée par les botanistes qui se basent sur ces même critères lors de la reconnaissance. L’adoption de cette stratégie entre dans la mise en valeur de l’aspect éducatif. Dans ce cadre, un système de fusion est envisageable afin de combiner les données issues d’une même modalité ainsi que les différentes modalités disponibles. Dans le contexte de la reconnaissance d’espèces d’arbres, il s’agit d’un problème réel où les photos des feuilles et des écorces sont prises en milieu naturel. Le traitement de ce type de données est compliqué vue leurs spécificités dues d’une part à la nature des objets à reconnaître (âge, similarité inter-espèces et variabilité intra-espèce) et d’autre part à l’environnement.Des erreurs peuvent s’accumuler tout au long du processus précédant la fusion. L’intérêt de la fusion est de prendre en compte toutes les imperfections pouvant entacher les données disponibles et essayer de bien les modéliser. La fusion est d’autant plus efficace que les données sont bien modélisées. La théorie des fonctions de croyance représente l’un des cadres théoriques les plus aptes à gérer et représenter l’incertitude, l’imprécision, le conflit, etc. Cette théorie tire son importance de sa richesse en termes d’outils permettant de gérer les différentes sources d’imperfections ainsi que les spécificités des données disponibles. Dans le cadre de cette théorie, il est possible de modéliser les données à travers la construction de fonctions de masse. Il est également possible de gérer la complexité calculatoire grâce aux approximations permettant de réduire le nombre d’éléments focaux. Le conflit étant l’une des sources d’imperfections les plus présentes, peut être traité à travers la sélection de la règle de combinaison la mieux adaptée.En fusionnant des sources d’informations ayant des degrés de fiabilité différents, il est possible que la source la moins fiable affecte les données issues de la source la plus fiable. Une des solutions pour ce problème est de chercher à améliorer les performances de la source la moins fiable. Ainsi, en la fusionnant avec d’autres sources, elle apportera des informations utiles et contribuera à son tour à l’amélioration des performances du système de fusion. L’amélioration des performances d’une source d’informations peut s’effectuer à travers la correction des fonctions de masse. Dans ce cadre, la correction peut se faire en se basant sur des mesures de la pertinence ou de la sincérité de la source étudiée. Les matrices de confusion présentent une source de données à partir desquelles des méta-connaissances caractérisant l’état d’une source peuvent être extraites.Dans ce manuscrit, le système de fusion proposé est un système de fusion hiérarchique mis en place dans le cadre de la théorie des fonctions de croyance. Il permet de fusionner les données issues des feuilles et des écorces et propose à l’utilisateur une liste des espèces les plus probables tout en respectant l’objectif éducatif de l’application. La complexité calculatoire de ce système de fusion est assez réduite permettant, à long termes, d’implémenter l’application sur un Smart-phone. / Information fusion systems allow the combination of data issued from different sources of information while considering their quality. Combining data from heterogeneous sources makes it possible to take advantage of the complementarity of the data and thus potentially have higher performances than those obtained when using a single source of information.The use of these systems is interesting in the context of tree species recognition through the fusion of information issued from two modalities : leaves and barks. A single modality may represent different sources of information, each describing one of its most relevant characteristics. This makes it possible to reproduce the strategy adopted by botanists who base themselves on these same criteria. The adoption of this strategy is part of the enhancement of the educational aspect. In this context, a merger system is conceivable in order to combine the data issued from one modality as well as the data issued from different modalities. In the context of tree species recognition, we treat a real problem since the photos of leaves and bark are taken in the natural environment. The processing of this type of data is complicated because of their specificities due firstly to the nature of the objects to be recognized (age, inter-species similarity and intra-species variability) and secondly to the environment.Errors can be accumulated during the pre-fusion process. The merit of the fusion is to take into account all the imperfections that can taint the available data and try to model them well. The fusion is more effective if the data is well modeled. The theory of belief functions represents one of the best theoretical frameworks able to manage and represent uncertainty, inaccuracy, conflict, etc. This theory is important because of its wealth of tools to manage the various sources of imperfections as well as the specificities of the available data. In the framework of this theory, it is possible to model the data through the construction of mass functions. It is also possible to manage the computational complexity thanks to the approximations allowing to reduce the number of focal elements. Conflict being one of the most present sources of imperfections, can be dealt through the selection of the best combination rule.By merging sources of information with different degrees of reliability, it is possible that the least reliable source affects the data issued from the most reliable one. One of the solutions for this problem is to try to improve the performances of the least reliable source. Thus, by merging with other sources, it will provide useful information and will in turn contribute in improving the performance of the fusion system.The performance improvement of an information source can be effected through the correction of mass functions. In this context, the correction can be made based on measures of the relevance or sincerity of the studied source. The confusion matrices present a data source from which meta-knowledge characterizing the state of a source can be extracted. In this manuscript, the proposed fusion system is a hierarchical fusion system set up within the framework of belief function theory. It allows to merge data from leaves and barks and provides the user with a list of the most likely species while respecting the educational purpose of the application. The computational complexity of this fusion system is quite small allowing, in the long term, to implement the application on a Smart-phone.

Puisque les traits de biométrie douce peuvent fournir des preuves supplémentaires pour aider à déterminer précisément l’identité de l’homme, il y a eu une attention croissante sur la reconnaissance faciale basée sur les biométrie douce ces dernières années. Parmi tous les biométries douces, le sexe et l’ethnicité sont les deux caractéristiques démographiques importantes pour les êtres humains et ils jouent un rôle très fondamental dans l’analyse de visage automatique. En attendant, la reconnaissance des expressions faciales est un autre challenge dans le domaine de l’analyse de visage en raison de la diversité et de l’hybridité des expressions humaines dans différentes cultures, genres et contextes. Ce thèse est dédié à combiner la texture du visage 2D et la morphologie du visage 3D pour estimer les biométries douces: le sexe, l’ethnicité, etc., et reconnaître les expressions faciales. Pour la reconnaissance du sexe et de l’ethnicité, nous présentons une approche efficace en combinant à la fois des textures locales et des caractéristiques de forme extraites à partir des modèles de visage 3D, contrairement aux méthodes existantes qui ne dépendent que des textures ou des caractéristiques de forme. Afin de souligne exhaustivement la différence entre les groupes sexuels et ethniques, nous proposons un nouveau descripteur, à savoir local circular patterns (LCP). Ce descripteur améliore Les motifs binaires locaux (LBP) et ses variantes en remplaçant la quantification binaire par une quantification basée sur le regroupement, entraînant d’une puissance plus discriminative et une meilleure résistance au bruit. En même temps, l’algorithme Adaboost est engagé à sélectionner les caractéristiques discriminatives fortement liés au sexe et à l’ethnicité. Les résultats expérimentaux obtenus sur les bases de données FRGC v2.0 et BU-3DFE démontrent clairement les avantages de la méthode proposée. Pour la reconnaissance des expressions faciales, nous présentons une méthode automatique basée sur les multi-modalité 2D + 3D et démontrons sa performance sur la base des données BU-3DFE. Notre méthode combine des textures locales et des descripteurs de formes pour atteindre l’efficacité et la robustesse. Tout d’abord, un grand ensemble des points des caractéristiques d’images 2D et de modèles 3D sont localisés à l’aide d’un nouvel algorithme, à savoir la cascade parallèle incrémentielle de régression linéaire (iPar-CLR). Ensuite, on utilise un nouveau descripteur basé sur les histogrammes des gradients d’ordre secondaire (HSOG) en conjonction avec le descripteur SIFT pour décrire la texture locale autour de chaque point de caractéristique 2D. De même, la géométrie locale autour de chaque point de caractéristique 3D est décrite par deux nouveaux descripteurs de forme construits à l’aide des quantités différentielle de géométries de la surface au premier ordre et au second ordre, à savoir meshHOG et meshHOS. Enfin, les résultats de reconnaissance des descripteurs 2D et 3D fournis par le classifier SVM sont fusionnés à la fois au niveau de fonctionnalité et de score pour améliorer la précision. Les expérimentaux résultats démontrent clairement qu’il existe des caractéristiques complémentaires entre les descripteurs 2D et 3D. Notre approche basée sur les multi-modalités surpasse les autres méthodes de l’état de l’art en obtenant une précision de reconnaissance 86,32%. De plus, une bonne capacité de généralisation est aussi présentée sur la base de données Bosphorus. / Since soft biometrics traits can provide sufficient evidence to precisely determine the identity of human, there has been increasing attention for face based soft biometrics identification in recent years. Among those face based soft biometrics, gender and ethnicity are both key demographic attributes of human beings and they play a very fundamental and important role in automatic machine based face analysis. Meanwhile, facial expression recognition is another challenge problem in face analysis because of the diversity and hybridity of human expressions among different subjects in different cultures, genders and contexts. This Ph.D thesis work is dedicated to combine 2D facial Texture and 3D face morphology for estimating people’s soft biometrics: gender, ethnicity, etc., and recognizing facial expression. For the gender and ethnicity recognition, we present an effective and efficient approach on this issue by combining both boosted local texture and shape features extracted from 3D face models, in contrast to the existing ones that only depend on either 2D texture or 3D shape of faces. In order to comprehensively represent the difference between different genders or ethnics groups, we propose a novel local descriptor, namely local circular patterns (LCP). LCP improves the widely utilized local binary patterns (LBP) and its variants by replacing the binary quantization with a clustering based one, resulting in higher discriminative power as well as better robustness to noise. Meanwhile, the following Adaboost based feature selection finds the most discriminative gender- and ethnic-related features and assigns them with different weights to highlight their importance in classification, which not only further raises the performance but reduces the time and memory cost as well. Experimental results achieved on the FRGC v2.0 and BU-3DFE data sets clearly demonstrate the advantages of the proposed method. For facial expression recognition, we present a fully automatic multi-modal 2D + 3D feature-based facial expression recognition approach and demonstrate its performance on the BU–3DFE database. Our approach combines multi-order gradientbased local texture and shape descriptors in order to achieve efficiency a nd robustness. First, a large set of fiducial facial landmarks of 2D face images along with their 3D face scans are localized using a novel algorithm namely incremental Parallel Cascade of Linear Regression (iPar–CLR). Then, a novel Histogram of Second Order Gradients (HSOG) based local image descriptor in conjunction with the widely used first-order gradient based SIFT descriptor are employed to describe the local texture around each 2D landmark. Similarly, the local geometry around each 3D landmark is described by two novel local shape descriptors constructed using the first-order and the second-order surface differential geometry quantities, i.e., Histogram of mesh Gradients (meshHOG) and Histogram of mesh Shape index (curvature quantization, meshHOS). Finally, the Support Vector Machine (SVM) based recognition results of all 2D and 3D descriptors are fused at both featurelevel and score-level to further improve the accuracy. Comprehensive experimental results demonstrate that there exist impressive complementary characteristics between the 2D and 3D descriptors. We use the BU–3DFE benchmark to compare our approach to the state-of-the-art ones. Our multi-modal feature-based approach outperforms the others by achieving an average recognition accuracy of 86,32%. Moreover, a good generalization ability is shown on the Bosphorus database.

L'objectif de ce travail de recherche est le développement, la mise au point et la validation d'une méthode de spectroscopie multi-modalités en diffusion élastique et autofluorescence pour caractériser des tissus biologiques in vitro et in vivo. Ces travaux s'organisent en quatre axes.<br />La première partie des travaux présente l'instrumentation : développement, réalisation et caractérisation expérimentale d'un système de spectrométrie bimodale multi-points fibrée permettant l'acquisition de spectres in vivo (distances variables, acquisition rapide).<br />La deuxième partie porte sur la modélisation des propriétés optiques du tissu : développement et validation expérimentale sur fantômes d'un algorithme de simulation de propagation de photons en milieux turbides et multi-fluorescents.<br />La troisième partie propose une étude expérimentale conduite ex vivo sur des anneaux artériels frais et cryoconservés. Elle confirme la complémentarité des mesures spectroscopiques en diffusion élastique et autofluorescence et valide la méthode de spectroscopie multi-modalités et l'algorithme de simulation de propagation de photons. Les résultats originaux obtenus montrent une corrélation entre propriétés rhéologiques et optiques.<br />La quatrième partie développe une seconde étude expérimentale in vivo sur un modèle pré-clinique tumoral de vessie. Elle met en évidence une différence significative en réflectance diffuse et/ou en autofluorescence et/ou en fluorescence intrinsèque entre tissus sains, inflammatoires et tumoraux, sur la base de longueurs d'onde particulières. Les résultats de la classification non supervisée réalisée montrent que la combinaison de différentes approches spectroscopiques augmente la fiabilité du diagnostic.

AL’objectif de ce travail de recherche est le développement, la mise au point et la validation d’une méthode de spectroscopie multi-modalités en diffusion élastique et autofluorescence pour caractériser des tissus biologiques in vitro et in vivo. Ces travaux s’organisent en quatre axes. La première partie des travaux présente l’instrumentation : développement, réalisation et caractérisation expérimentale d’un système de spectrométrie bimodale multi-points fibrée permettant l’acquisition de spectres in vivo (distances variables, acquisition rapide). La deuxième partie porte sur la modélisation des propriétés optiques du tissu : développement et validation expérimentale sur fantômes d’un algorithme de simulation de propagation de photons en milieux turbides et multi-fluorescents. La troisième partie propose une étude expérimentale conduite ex vivo sur des anneaux artériels frais et cryoconservés. Elle confirme la complémentarité des mesures spectroscopiques en diffusion élastique et autofluorescence et valide la méthode de spectroscopie multi-modalités et l’algorithme de simulation de propagation de photons. Les résultats originaux obtenus montrent une corrélation entre propriétés rhéologiques et optiques. La quatrième partie développe une seconde étude expérimentale in vivo sur un modèle pré-clinique tumoral de vessie. Elle met en évidence une différence significative en réflectance diffuse et/ou en autofluorescence et/ou en fluorescence intrinsèque entre tissus sains, inflammatoires et tumoraux, sur la base de longueurs d’onde particulières. Les résultats de la classification non supervisée réalisée montrent que la combinaison de différentes approches spectroscopiques augmente la fiabilité du diagnostic. / This research activity aims at developing and validating a multimodal spectroscopy method in elastic scattering and autofluorescence to characterize biological tissues in vitro and in vivo. It is articulated in four axes. At first, instrumentation is considered with the development, the engineering and the experimental characterization of a fibers bimodal, multi-points spectrometry system allowing the acquisition of spectra in vivo (variable distances, fast acquisition). Secondly, the optical properties of tissues are modelled with the development and the experimental validation on phantoms of a photons propagation simulation algorithm in turbids media and multi-fluorescent. Thirdly, an experimental study has been conducted ex vivo on fresh and cryopreserved arterial rings. It confirms the complementarity of spectroscopic measurements in elastic scattering and autofluorescence, and validates the method of multi-modality spectroscopy and the simulation of photons propagation algorithm. Results have well proved a correlation between rheological and optical properties. Finally, one second experimental study in vivo related to a pre-clinical tumoral model of bladder has been carried out. It highlights a significant difference in diffuse reflectance and/or autofluorescence and/or intrinsic fluorescence between healthy, inflammatory and tumoral tissues, on the basis of specific wavelength. The results of not supervised classification show that the combination of various spectroscopic approaches increases the reliability of the diagnosis.

Ce manuscrit se compose de 3 grandes parties. La première présente d'une part, un court curriculum vitae et d'autre part, une notice exposant l'ensemble de mes activités en matière d'enseignement, de recherche, d'administration et autres responsabilités individuelles et collectives depuis 1997. La deuxième grande partie est consacrée à une description du projet de recherche mené au CRAN depuis 2002-2003, dans le domaine de la caractérisation de tissus biologiques à l'aide de méthodes d'imagerie et de spectroscopie optique UV-Visible, au travers d'une approche "multi-échelles" et "multi-modalités". Leurs applications notamment au photodiagnostic in vivo en cancérologie (vessie, peau) sont développée au travers de 2 axes de recherche en : - imagerie endoscopique panoramique en lumière blanche (LB) et fluorescence (F), avec la construction automatique et rapide d'images panoramiques de parois internes de vessies par recalage et mosaïquage des images cystoscopiques, les validations quantitatives et qualitatives des performances des algorithmes développés, et la validation de la superposition d'images panoramiques LB/F au moyen d'un système d'excitation et d'acquisition Visible/UV multiplexées dans le temps, - spectroscopie fibrée d'autofluorescence (AF) et de diffusion élastique (DE) résolue spatialement, avec le développement et la validation métrologique d'un système de multiple excitation d'AF 360- 460 nm et de DE 360-760 nm, le traitement des données spectroscopiques multi-dimensionnelles, l'extraction, la sélection et la classification supervisée / non-supervisée de caractéristiques spectrales, l'identification de paramètres optiques de tissus à l'aide de simulations statistiques (Monte Carlo, modèles multi-couches), enfin l'application de la méthode à plusieurs études de différenciation in vivo entre les états sains/inflammatoires/cancéreux de la vessie de rats et entre les états sains/hyperplasiques/dysplasiques de la peau de souris. Pour chacun de ces axes, les problématiques, objectifs, principaux résultats et perspectives sont précisées. Finalement, la troisième et dernière grande partie de ce manuscrit donne la production scientifique et la version intégrale de plusieurs articles représentatifs.