Cette thèse s'inscrit dans le cadre de PILE, un projet médical d'analyse du regard, des gestes, et des productions vocales d'enfants en bas âge. Dans ce contexte, nous avons conçu et développé des méthodes de détermination de l'orientation de la tête, pierre angulaire des systèmes d'estimation de la direction du regard. D'un point de vue méthodologique, nous avons proposé BISAR (Boosted Input Selection Algorithm for Regression), une méthode de sélection de caractéristiques adaptée aux problèmes de régression. Elle consiste à sélectionner itérativement les entrées d'un réseau de neurones incrémental. Chaque entrée est associée à un descripteur sélectionné à l'aide d'un critère original qui mesure la dépendance fonctionnelle entre un descripteur et les valeurs à prédire. La complémentarité des descripteurs est assurée par un processus de boosting qui modifie, à chaque itération, la distribution des poids associés aux exemples d'apprentissage. Cet algorithme a été validé expérimentalement au travers de deux méthodes d'estimation de la pose de la tête. La première approche apprend directement la relation entre l'apparence d'un visage et sa pose. La seconde aligne un modèle de visage dans une image, puis estime géométriquement l'orientation de ce modèle. Le processus d'alignement repose sur une fonction de coût qui évalue la qualité de l'alignement. Cette fonction est apprise par BISAR à partir d'exemples de modèles plus ou moins bien alignés. Les évaluations de ces méthodes ont donné des résultats équivalents ou supérieurs aux méthodes de l'état de l'art sur différentes bases présentant de fortes variations de pose, d'identité, d'illumination et de conditions de prise de vues.

Les travaux de cette thèse sont consacrés à la détection et le diagnostic des lésions vasculaires, particulièrement dans le cas la maladie coronaire. La maladie coronaire continue à être la première cause de mortalité dans les pays industrialisés. En général, l'identification des lésions vasculaires est abordée en essayant de modéliser les anormalités (lésions). Le principal inconvénient de cette approche est que les lésions sont très hétérogènes, ce qui rend difficile la détection de nouvelles lésions qui n'ont pas été prises en compte par le modèle. Dans cette thèse, nous proposons de ne pas modéliser directement les lésions, mais de supposer que les lésions sont des événements anormaux qui se manifestent comme points avec une faible densité de probabilité. Nous proposons l'utilisation de deux méthodes de classification basées sur les Machines à Vecteurs de Support (SVM) pour résoudre le problème de détection du niveau de densité. Le principal avantage de ces deux méthodes est que la phase d'apprentissage ne requiert pas de données étiquetées représentant les lésions. La première méthode est complètement non supervisée, alors que la seconde exige des étiquettes seulement pour les cas qu'on appelle sains ou normaux. L'utilisation des algorithmes de classification sélectionnés nécessite des descripteurs tels que les anomalies soient représentées comme des points avec une densité de probabilité faible. A cette fin, nous avons développé une métrique basée sur l'intensité de l'image, que nous avons appelée concentric rings. Cette métrique est sensible à la quasi-symétrie des profils d'intensité des vaisseaux sains, mais aussi aux écarts par rapport à cette symétrie, observés dans des cas pathologiques. De plus, nous avons sélectionné plusieurs autres descripteurs candidats à utiliser comme entrée pour les classifieurs. Des expériences sur des données synthétiques et des données de CT cardiaques démontrent que notre métrique a une bonne performance dans la détection d'anomalies, lorsqu'elle est utilisée avec les classifeurs retenus. Une combinaison de plusieurs descripteurs candidats avec la métrique concentric rings peut améliorer la performance de la détection. Nous avons défini un schéma non supervisé de sélection de descripteurs qui permet de déterminer un sous-ensemble optimal de descripteurs. Nous avons confronté les résultats de détection réalisée en utilisant le sous-ensemble de descripteurs sélectionné par notre méthode avec les performances obtenues avec des sous-ensembles sélectionnés par des méthodes supervisées existantes. Ces expériences montrent qu'une combinaison de descripteurs bien choisis améliore effectivement les performances des classifieurs et que les meilleurs résultats s'obtiennent avec le sous-ensemble sélectionné par notre méthode, en association avec les algorithmes de détection retenus. Finalement, nous proposons de réaliser un recalage local entre deux images représentant différentes phases du cycle cardiaque, afin de confronter les résultats de détection dans ces images (phases). L'objectif ici est non seulement d'attirer l'attention du praticien sur les anomalies détectées comme lésions potentielles, mais aussi de l'aider à conforter son diagnostic en visualisant automatiquement la même région reconstruite à différents instants du cycle cardiaque.

Cette thèse de doctorat est consacrée à un sujet de recherche très porteur : la Catégorisation générique d’objets Visuels (VOC). En effet, les applications possibles sont très nombreuses, incluant l’indexation d’images et de vidéos, la vidéo surveillance, le contrôle d’accès de sécurité, le soutien à la conduite automobile, etc. En raison de ses nombreux verrous scientifiques, ce sujet est encore considéré comme l’un des problèmes les plus difficiles en vision par ordinateur et en reconnaissance de formes. Dans ce contexte, nous avons proposé dans ce travail de thèse plusieurs contributions, en particulier concernant les deux principaux éléments des méthodes résolvant les problèmes de VOC, notamment la sélection des descripteurs et la représentation d’images. Premièrement, un algorithme nomme "Embedded Sequential Forward feature Selection"(ESFS) a été proposé pour VOC. Son but est de sélectionner les descripteurs les plus discriminants afin d’obtenir une bonne performance pour la catégorisation. Il est principalement basé sur la méthode de recherche sous-optimale couramment utilisée "Sequential Forward Selection" (SFS), qui repose sur le principe simple d’ajouter progressivement les descripteurs les plus pertinents. Cependant, ESFS non seulement ajoute progressivement les descripteurs les plus pertinents à chaque étape mais de plus les fusionne d’une manière intégrée grâce à la notion de fonctions de masses combinées empruntée à la théorie de l’évidence qui offre également l’avantage d’obtenir un coût de calcul beaucoup plus faible que celui de SFS original. Deuxièmement, nous avons proposé deux nouvelles représentations d’images pour modéliser le contenu visuel d’une image : la Représentation d’Image basée sur la Modélisation Polynomiale et les Mesures Statistiques, appelées respectivement PMIR et SMIR. Elles permettent de surmonter l’inconvénient principal de la méthode populaire "bag of features" qui est la difficulté de fixer la taille optimale du vocabulaire visuel. Elles ont été testées avec nos descripteurs bases région ainsi que les descripteurs SIFT. Deux stratégies différentes de fusion, précoce et tardive, ont également été considérées afin de fusionner les informations venant des "canaux «différents représentés par les différents types de descripteurs. Troisièmement, nous avons proposé deux approches pour VOC en s’appuyant sur la représentation sparse. La première méthode est reconstructive (R_SROC) alors que la deuxième est reconstructive et discriminative (RD_SROC). En effet, le modèle de représentation sparse a été utilisé originalement dans le domaine du traitement du signal comme un outil puissant pour acquérir, représenter et compresser des signaux de grande dimension. Ainsi, nous avons proposé une adaptation de ces principes intéressants au problème de VOC. R_SROC repose sur l’hypothèse intuitive que l’image peut être représentée par une combinaison linéaire des images d’apprentissage de la même catégorie. [...] / This thesis is dedicated to the active research topic of generic Visual Object Categorization(VOC), which can be widely used in many applications such as videoindexation and retrieval, video monitoring, security access control, automobile drivingsupport etc. Due to many realistic difficulties, it is still considered to be one ofthe most challenging problems in computer vision and pattern recognition. In thiscontext, we have proposed in this thesis our contributions, especially concerning thetwo main components of the methods addressing VOC problems, namely featureselection and image representation.Firstly, an Embedded Sequential Forward feature Selection algorithm (ESFS)has been proposed for VOC. Its aim is to select the most discriminant features forobtaining a good performance for the categorization. It is mainly based on thecommonly used sub-optimal search method Sequential Forward Selection (SFS),which relies on the simple principle to add incrementally most relevant features.However, ESFS not only adds incrementally most relevant features in each stepbut also merges them in an embedded way thanks to the concept of combinedmass functions from the evidence theory which also offers the benefit of obtaining acomputational cost much lower than the one of original SFS.Secondly, we have proposed novel image representations to model the visualcontent of an image, namely Polynomial Modeling and Statistical Measures basedImage Representation, called PMIR and SMIR respectively. They allow to overcomethe main drawback of the popular "bag of features" method which is the difficultyto fix the optimal size of the visual vocabulary. They have been tested along withour proposed region based features and SIFT. Two different fusion strategies, earlyand late, have also been considered to merge information from different "channels"represented by the different types of features.Thirdly, we have proposed two approaches for VOC relying on sparse representation,including a reconstructive method (R_SROC) as well as a reconstructiveand discriminative one (RD_SROC). Indeed, sparse representation model has beenoriginally used in signal processing as a powerful tool for acquiring, representingand compressing the high-dimensional signals. Thus, we have proposed to adaptthese interesting principles to the VOC problem. R_SROC relies on the intuitiveassumption that an image can be represented by a linear combination of trainingimages from the same category. Therefore, the sparse representations of images arefirst computed through solving the ℓ1 norm minimization problem and then usedas new feature vectors for images to be classified by traditional classifiers such asSVM. To improve the discrimination ability of the sparse representation to betterfit the classification problem, we have also proposed RD_SROC which includes adiscrimination term, such as Fisher discrimination measure or the output of a SVMclassifier, to the standard sparse representation objective function in order to learna reconstructive and discriminative dictionary. Moreover, we have also proposedChapter 0. Abstractto combine the reconstructive and discriminative dictionary and the adapted purereconstructive dictionary for a given category so that the discrimination power canfurther be increased.The efficiency of all the methods proposed in this thesis has been evaluated onpopular image datasets including SIMPLIcity, Caltech101 and Pascal2007.

La reconnaissance des émotions est l'un des domaines scientifiques les plus complexes. Ces dernières années, de plus en plus d'applications tentent de l'automatiser. Ces applications innovantes concernent plusieurs domaines comme l'aide aux enfants autistes, les jeux vidéo, l'interaction homme-machine. Les émotions sont véhiculées par plusieurs canaux. Nous traitons dans notre recherche les expressions émotionnelles faciales en s'intéressant spécifiquement aux six émotions de base à savoir la joie, la colère, la peur, le dégoût, la tristesse et la surprise. Une étude comparative de deux méthodes de reconnaissance des émotions l'une basée sur les descripteurs géométriques et l'autre basée sur les descripteurs d'apparence est effectuée sur la base CK+, base d'émotions simulées, et la base FEEDTUM, base d'émotions spontanées. Différentes contraintes telles que le changement de résolution, le nombre limité d'images labélisées dans les bases d'émotions, la reconnaissance de nouveaux sujets non inclus dans la base d'apprentissage sont également prises en compte. Une évaluation de différents schémas de fusion est ensuite réalisée lorsque de nouveaux cas, non inclus dans l'ensemble d'apprentissage, sont considérés. Les résultats obtenus sont prometteurs pour les émotions simulées (ils dépassent 86%), mais restent insuffisant pour les émotions spontanées. Nous avons appliqué également une étude sur des zones locales du visage, ce qui nous a permis de développer des méthodes hybrides par zone. Ces dernières améliorent les taux de reconnaissance des émotions spontanées. Finalement, nous avons développé une méthode de sélection des descripteurs d'apparence basée sur le taux d'importance que nous avons comparée avec d'autres méthodes de sélection. La méthode de sélection proposée permet d'améliorer le taux de reconnaissance par rapport aux résultats obtenus par deux méthodes reprises de la littérature. / Emotion recognition is one of the most complex scientific domains. In the last few years, various emotion recognition systems are developed. These innovative applications are applied in different domains such as autistic children, video games, human-machine interaction… Different channels are used to express emotions. We focus on facial emotion recognition specially the six basic emotions namely happiness, anger, fear, disgust, sadness and surprise. A comparative study between geometric method and appearance method is performed on CK+ database as the posed emotion database, and FEEDTUM database as the spontaneous emotion database. We consider different constraints in this study such as different image resolutions, the low number of labelled images in learning step and new subjects. We evaluate afterward various fusion schemes on new subjects, not included in the training set. Good recognition rate is obtained for posed emotions (more than 86%), however it is still low for spontaneous emotions. Based on local feature study, we develop local features fusion methods. These ones increase spontaneous emotions recognition rates. A feature selection method is finally developed based on features importance scores. Compared with two methods, our developed approach increases the recognition rate.

Nous présentons ici un système de classification audio parole/musique tirant parti des excellentes propriétés statistiques des Machines à Vecteurs de Support. Ce problème pose les trois questions suivantes : comment exploiter efficacement les SVM, méthode d'essence discriminatoire, sur un problème à plus de deux classes, comment caractériser un signal audio de manière pertinente, et enfin comment traiter l'aspect temporel du problème ? Nous proposons un système hybride de classification multi-classes tirant parti des approches un-contre-un et par dendogramme, et permettant l'estimation de probabilités a posteriori. Ces dernières sont exploitées pour l'application de méthodes de post-traitement prenant en compte les interdépendances entre trames voisines. Nous proposons ainsi une méthode de classification par l'application de Modèles de Markov Cachés (HMM) sur les probabilités a posteriori, ainsi qu'une approche basée sur la détection de rupture entre segments au contenu acoustique "homogène". Par ailleurs, la caractérisation du signal audio étant opérée par une grande collection des descripteurs audio, nous proposons de nouveaux algorithmes de sélection de descripteurs basés sur le récent critère d'Alignement du noyau ; critère que nous avons également exploité pour la sélection de noyau dans le processus de classification. Les algorithmes proposés sont comparés aux méthodes les plus efficaces de l'état de l'art auxquelles elles constituent une alternative pertinente en termes de coût de calcul et de stockage. Le système construit sur ces contributions a fait l'objet d'une participation à la campagne d'évaluation ESTER 2, que nous présentons, accompagnée de nos résultats.

Les travaux de cette thèse sont consacrés à la détection et le diagnostic des lésions vasculaires, particulièrement dans le cas la maladie coronaire. La maladie coronaire continue à être la première cause de mortalité dans les pays industrialisés. En général, l'identification des lésions vasculaires est abordée en essayant de modéliser les anormalités (lésions). Le principal inconvénient de cette approche est que les lésions sont très hétérogènes, ce qui rend difficile la détection de nouvelles lésions qui n'ont pas été prises en compte par le modèle. Dans cette thèse, nous proposons de ne pas modéliser directement les lésions, mais de supposer que les lésions sont des événements anormaux qui se manifestent comme points avec une faible densité de probabilité. Nous proposons l'utilisation de deux méthodes de classification basées sur les Machines à Vecteurs de Support (SVM) pour résoudre le problème de détection du niveau de densité. Le principal avantage de ces deux méthodes est que la phase d'apprentissage ne requiert pas de données étiquetées représentant les lésions. La première méthode est complètement non supervisée, alors que la seconde exige des étiquettes seulement pour les cas qu'on appelle sains ou normaux. L'utilisation des algorithmes de classification sélectionnés nécessite des descripteurs tels que les anomalies soient représentées comme des points avec une densité de probabilité faible. A cette fin, nous avons développé une métrique basée sur l'intensité de l'image, que nous avons appelée concentric rings. Cette métrique est sensible à la quasi-symétrie des profils d'intensité des vaisseaux sains, mais aussi aux écarts par rapport à cette symétrie, observés dans des cas pathologiques. De plus, nous avons sélectionné plusieurs autres descripteurs candidats à utiliser comme entrée pour les classifieurs. Des expériences sur des données synthétiques et des données de CT cardiaques démontrent que notre métrique a une bonne performance dans la détection d'anomalies, lorsqu'elle est utilisée avec les classifeurs retenus. Une combinaison de plusieurs descripteurs candidats avec la métrique concentric rings peut améliorer la performance de la détection. Nous avons défini un schéma non supervisé de sélection de descripteurs qui permet de déterminer un sous-ensemble optimal de descripteurs. Nous avons confronté les résultats de détection réalisée en utilisant le sous-ensemble de descripteurs sélectionné par notre méthode avec les performances obtenues avec des sous-ensembles sélectionnés par des méthodes supervisées existantes. Ces expériences montrent qu'une combinaison de descripteurs bien choisis améliore effectivement les performances des classifieurs et que les meilleurs résultats s'obtiennent avec le sous-ensemble sélectionné par notre méthode, en association avec les algorithmes de détection retenus. Finalement, nous proposons de réaliser un recalage local entre deux images représentant différentes phases du cycle cardiaque, afin de confronter les résultats de détection dans ces images (phases). L'objectif ici est non seulement d'attirer l'attention du praticien sur les anomalies détectées comme lésions potentielles, mais aussi de l'aider à conforter son diagnostic en visualisant automatiquement la même région reconstruite à différents instants du cycle cardiaque / This thesis presents a framework for the detection and diagnosis of vascular lesions with a special emphasis on coronary heart disease. Coronary heart disease remains to be the first cause of mortality worldwide. Typically, the problem of vascular lesion identification has been solved by trying to model the abnormalities (lesions). The main drawback of this approach is that lesions are highly heterogeneous, which makes the detection of previously unseen abnormalities difficult. We have selected not to model lesions directly, but to treat them as anomalies which are seen as low probability density points. We propose the use of two classification frameworks based on support vector machines (SVM) for the density level detection problem. The main advantage of these two methods is that the learning stage does not require labeled data representing lesions, which is always difficult to obtain. The first method is completely unsupervised, whereas the second one only requires a limited number of labels for normality. The use of these anomaly detection algorithms requires the use of features such that anomalies are represented as points with low probability density. For this purpose, we developed an intensity based metric, denoted concentric rings, designed to capture the nearly symmetric intensity profiles of healthy vessels, as well as discrepancies with respect to the normal behavior. Moreover, we have selected a large set of alternative candidate features to use as input for the classifiers. Experiments on synthetic data and cardiac CT data demonstrated that our metric has a good performance in the detection of anomalies, when used with the selected classifiers. Combination of other features with the concentric rings metric has potential to improve the classification performance. We defined an unsupervised feature selection scheme that allows the definition of an optimal subset of features. We compared it with existent supervised feature selection methods. These experiments showed that, in general, the combination of features improves the classifiers performance, and that the best results are achieved with the combination selected by our scheme, associated with the proposed anomaly detection algorithms. Finally, we propose to use image registration in order to compare the classification results at different cardiac phases. The objective here is to match the regions detected as anomalous in different time-frames. In this way, more than attract the physician's attention to the anomaly detected as potential lesion, we want to aid in validating the diagnosis by automatically displaying the same suspected region reconstructed in different time-frames