This dissertation thesis deals with the automatic system for basic emotional facial expressions recognition from static images. Generally the system is divided into the three independent parts, which are linked together in some way. The first part deals with automatic face detection from color images. In this part they were proposed the face detector based on skin color and the methods for eyes and lips position localization from detected faces using color maps. A part of this is modified Viola-Jones face detector, which was even experimentally used for eyes detection. The both face detectors were tested on the Georgia Tech Face Database. Another part of the automatic system is features extraction process, which consists of two statistical methods and of one method based on image filtering using set of Gabor’s filters. For purposes of this thesis they were experimentally used some combinations of features extracted using these methods. The last part of the automatic system is mathematical classifier, which is represented by feed-forward neural network. The automatic system is utilized by adding an accurate particular facial features localization using active shape model. The whole automatic system was benchmarked on recognizing of basic emotional facial expressions using the Japanese Female Facial Expression database.

Dans cette thèse, nous nous sommes intéressés au problème de la classification à « grain fin » qui est une tâche de classification particulière où les classes peuvent être visuellement distinguables seulement à partir de détails subtils et où le contexte agit souvent comme une source de bruit. Ce travail est principalement motivé par le besoin de concevoir des représentations d'images plus « fines » pour adresser de telles tâches de classification qui nécessitent un encodage d’informations discriminantes très fines et localisées. L'originalité principale de notre approche est d’intégrer dans une représentation globale de haute dimension une mesure de consistance géométrique locale entre l’image à représenter et les images d’une base de référence (que nous considérons comme un vocabulaire visuel possiblement constitué d’un grand nombre d’images). Ceci nous permet d’encoder dans une représentation vectorielle des motifs très localisés et géométriquement consistant avec l’image (contrairement aux méthodes de codage traditionnelles comme les Bag-of-Visual-Word, les vecteurs de Fisher ou les vecteurs VLAD). Plus en détails : Nous proposons dans un premier temps une approche de classification d'instances d'entités visuelles basée sur un classificateur par plus proches voisins qui agrège les similarités entre l'image requête et celles de la base d'apprentissage. Les similarités sont calculées avec prise en compte de la consistance géométrique locale entre les descripteurs locaux de la requête et ceux des images de la base d'apprentissage. Cette base pouvant être constituée de nombreux descripteurs locaux, nous proposons de passer notre méthode à l’échelle en utilisant des méthodes de recherche approximatives de plus proches voisins. Par la suite, nous avons mis au point un nouveau noyau de similarité entre des images basé sur les descripteurs locaux qu'elles partagent dans une base de référence. Nous avons nommé ce noyau Shared Nearest Neighbors Kernel (SNN Kernel), qui peut être utilisé comme n'importe quel autre noyau dans les machines à noyau. Nous avons dérivé, à partir de ce dernier, une représentation explicite globale des images à décrire. Cette représentation encode la similarité de l'image considérée avec les différentes régions visuelles des images de la base correspondant au vocabulaire visuel. Nous avons également rendu possible l'intégration de l'information de consistance géométrique dans nos représentations à l'aide de l'algorithme RANSAC amélioré que nous avons proposé dans notre contribution précédente. La classification des images se fait ensuite par un modèle linéaire appris sur ces représentations. Finalement, nous proposons, comme troisième contribution, une stratégie permettant de considérablement réduire, jusqu'à deux ordres de grandeur, la dimension de la représentation d'image sur-complète précédemment présentée tout en conservant une performance de classification compétitive aux méthodes de l’état de l’art. Nous avons validé nos approches en conduisant une série d’expérimentations sur plusieurs tâches de classification impliquant des objets rigides comme FlickrsLogos32 ou Vehicles29, mais aussi sur des tâches impliquant des concepts visuels plus finement discriminables comme la base FGVC-Aircrafts, Oxford-Flower102 ou CUB-Birds200. Nous avons aussi démontré des résultats significatifs sur des tâches de classification audio à grain fin comme la tâche d'identification d'espèce d'oiseau de LifeCLEF2015 en proposant une extension temporelle de notre représentation d'image. Finalement, nous avons montré que notre technique de réduction de dimension permet d’obtenir un vocabulaire visuel très interprétable composé des régions d'image les plus représentatives pour les concepts visuels représentés dans la base d’apprentissage. / This thesis focuses on the issue of fine-grained classification which is a particular classification task where classes may be visually distinguishable only from subtle localized details and where background often acts as a source of noise. This work is mainly motivated by the need to devise finer image representations to address such fine-grained classification tasks by encoding enough localized discriminant information such as spatial arrangement of local features.To this aim, the main research line we investigate in this work relies on spatially localized similarities between images computed thanks to efficient approximate nearest neighbor search techniques and localized parametric geometry. The main originality of our approach is to embed such spatially consistent localized similarities into a high-dimensional global image representation that preserves the spatial arrangement of the fine-grained visual patterns (contrary to traditional encoding methods such as BoW, Fisher or VLAD Vectors). In a nutshell, this is done by considering all raw patches of the training set as a large visual vocabulary and by explicitly encoding their similarity to the query image. In more details:The first contribution proposed in this work is a classification scheme based on a spatially consistent k-nn classifier that relies on pooling similarity scores between local features of the query and those of the similar retrieved images in the vocabulary set. As this set can be composed of a lot of local descriptors, we propose to scale up our approach by using approximate k-nearest neighbors search methods. Then, the main contribution of this work is a new aggregation-based explicit embedding derived from a newly introduced match kernel based on shared nearest neighbors of localized feature vectors combined with local geometric constraints. The originality of this new similarity-based representation space is that it directly integrates spatially localized geometric information in the aggregation process.Finally, as a third contribution, we proposed a strategy to drastically reduce, by up to two orders of magnitude, the high-dimensionality of the previously introduced over-complete image representation while still providing competitive image classification performance.We validated our approaches by conducting a series of experiments on several classification tasks involving rigid objects such as FlickrsLogos32 or Vehicles29 but also on tasks involving finer visual knowledge such as FGVC-Aircrafts, Oxford-Flower102 or CUB-Birds200. We also demonstrated significant results on fine-grained audio classification tasks such as the LifeCLEF 2015 bird species identification challenge by proposing a temporal extension of our image representation. Finally, we notably showed that our dimensionality reduction technique used on top of our representation resulted in highly interpretable visual vocabulary composed of the most representative image regions for different visual concepts of the training base.

The aim of this work is to develop research on 3D building modeling. In particular, the research in aerial-based 3D building reconstruction is a topic very developed since 1990. However, it is necessary to pursue the research since the actual approaches for 3D massive building reconstruction (although efficient) still encounter problems in generalization, coherency, accuracy. Besides, the recent developments of street acquisition systems such as Mobile Mapping Systems open new perspectives for improvements in building modeling in the sense that the terrestrial data (very dense and accurate) can be exploited with more performance (in comparison to the aerial investigation) to enrich the building models at facade level (e.g., geometry, texturing).Hence, aerial and terrestrial based building modeling approaches are individually proposed. At aerial level, we describe a direct and featureless approach for simple polyhedral building reconstruction from a set of calibrated aerial images. At terrestrial level, several approaches that essentially describe a 3D urban facade modeling pipeline are proposed, namely, the street point cloud segmentation and classification, the geometric modeling of urban facade and the occlusion-free facade texturing

Το αντικείμενο της μελέτης αυτής είναι η οργάνωση (ταξινόμηση, αναγνώριση, ανάκτηση κλπ.) βάσεων που περιλαμβάνουν εικόνες (φωτογραφίες) φύλλων δένδρων. Η οργάνωση βασίζεται στο σχήμα των φύλλων και περιλαμβάνει διάφορα στάδια. Το πρώτο στάδιο είναι η εξαγωγή του περιγράμματος και γίνεται με διαδικασίες επεξεργασίας εικόνας που περιλαμβάνουν τεχνικές ομαδοποίησης και κατάτμησης. Από το περίγραμμα του φύλλου εξάγονται χαρακτηριστικά που δίνουν την δυνατότητα αξιόπιστης περιγραφής κάθε φύλλου. Μελετήθηκαν στη διατριβή αυτή οι παρακάτω γνωστές μέθοδοι: Centroid Contour Distance, Angle code (histogram), Chain Code Fourier Descriptors. Προτάθηκαν επίσης και καινούριες μέθοδοι: Pecstrum (pattern spectrum), Multidimension Sequence Similarity Measure (MSSM). Οι παραπάνω μέθοδοι υλοποιήθηκαν. Παράχθηκε κατάλληλο λογισμικό και εφαρμόσθηκαν σε μία βάση εικόνων φύλλων επιλεγμένη από το διαδίκτυο. Η αξιολόγηση των μεθόδων έγινε μέσα από έλεγχο της συνολικής ακρίβειας κατηγοριοποίησης (με τον confusion matrix). H μέθοδος MSSM έδωσε τα καλύτερα αποτελέσματα. Μία οπτική αξιολόγηση έγινε σε αναπαράσταση 2 διαστάσεων (biplot) μέσα απο διαδικασία Multidimensional Scaling. / The objective of this thesis is the leaf images data base organization (i.e classification, recognition, retrieval etc.). The database organization is based on the leaf shape and is accomplished in a few stages. The contour recognition and recording consist the first stage and is performed with image processing operations namely clustering and segmentation. From the leaf contour several features are extracted appropriate for a reliable description of each leaf type. The following well known techniques were studied in this thesis: Centroid Contour Distance, Angle code (histogram), Chain Code, Fourier Descriptors. Two new metods were also proposed: Pecstrum (pattern spectrum), Multidimension Sequence Similarity Measure. In the experimental study appropriate software was produced to realize all the above methods which was applied to the leaf data base downloaded from internet. The overall evaluation of the methods was done by means of the classification in precision and using the confusion matrix. Best results were produced by the MSSM method.

This work focuses on classification and recognition of traffic signs in image. It describes briefly some used methods a deeply describes chosen system including extensions and method for creating models needed for classification. There's described implementation of library and demonstration program including important pieces of knowledge discovered during development. There're also results of some experiments and possible enhancements in conclusion.

Afin de poursuivre et d'améliorer la tâche de détection qui est en cours à l'INSA, nous nous sommes concentrés sur la fusion des informations visibles et infrarouges du point de vue de reconnaissance des obstacles, ainsi distinguer entre les véhicules, les piétons, les cyclistes et les obstacles de fond. Les systèmes bimodaux ont été proposées pour fusionner l'information à différents niveaux: des caractéristiques, des noyaux SVM, ou de scores SVM. Ils ont été pondérés selon l'importance relative des capteurs modalité pour assurer l'adaptation (fixe ou dynamique) du système aux conditions environnementales. Pour évaluer la pertinence des caractéristiques, différentes méthodes de sélection ont été testés par un PPV, qui fut plus tard remplacée par un SVM. Une opération de recherche de modèle, réalisée par 10 fois validation croisée, fournit le noyau optimisé pour SVM. Les résultats ont prouvé que tous les systèmes bimodaux VIS-IR sont meilleurs que leurs correspondants monomodaux. / To continue and improve the detection task which is in progress at INSA laboratory, we focused on the fusion of the information provided by visible and infrared cameras from the view point of an Obstacle Recognition module, this discriminating between vehicles, pedestrians, cyclists and background obstacles. Bimodal systems have been proposed to fuse the information at different levels:of features, SVM's kernels, or SVM’s matching-scores. These were weighted according to the relative importance of the modality sensors to ensure the adaptation (fixed or dynamic) of the system to the environmental conditions. To evaluate the pertinence of the features, different features selection methods were tested by a KNN classifier, which was later replaced by a SVM. An operation of modelsearch, performed by 10 folds cross-validation, provides the optimized kernel for the SVM. The results have proven that all bimodal VIS-IR systems are better than their corresponding monomodal ones.

De nombreuses substances chimiques sont utilisées par l’industrie cosmétique pour entrer dans la composition de formules. En dehors de la nécessité d’évaluer leur efficacité, l’industrie cosmétique se doit surtout d’évaluer la sécurité de leurs substances pour l’humain. L'évaluation toxicologique des substances chimiques est réalisée dans le but de révéler un effet toxique potentiel de la substance testée. Parmi les effets potentiels que l’on souhaite détecter, la toxicité du développement (tératogénicité), c’est-à-dire la capacité d’une substance à provoquer l’apparition d’anomalies lors du développement embryonnaire, est fondamentale. En accord avec les législations internationales qui interdisent à l’industrie cosmétique d’avoir recours à des tests sur animaux de laboratoire pour l’évaluation de leurs substances, l’évaluation toxicologique de ces substances se base sur les résultats de tests in silico, in vitro et de tests faits sur des modèles alternatifs aux animaux de laboratoire. Pour le moment cependant, peu de méthodes alternatives existent et ont été validées pour la toxicologie du développement. Le développement de nouvelles méthodes alternatives est donc requis. D'autre part, en plus de l’évaluation de la sécurité des substances chez l’humain, l’évaluation de la toxicité pour l’environnement est nécessaire. L’usage de la plupart des produits cosmétiques et d’hygiène corporelle conduit, après lavage et rinçage, à un rejet à l’égout et donc dans les cours d’eau. Il en résulte que les environnements aquatiques (eaux de surface et milieux marins côtiers) sont parfois exposés aux substances chimiques incluses dans les formules cosmétiques. Ainsi, l’évaluation toxicologique environnementale des cosmétiques et de leurs ingrédients nécessite de connaître leur toxicité sur des organismes représentatifs de chaînes alimentaires aquatiques. Dans ce contexte, le modèle embryon de poisson présente un double avantage pour l’industrie cosmétique. Ce modèle, jugé par les législations internationales comme étant éthiquement acceptable pour les évaluations toxicologiques réalisées par l’industrie cosmétique, est représentatif des organismes aquatiques. Il est donc pertinent pour évaluer la toxicité environnementale des substances chimiques. D'autre part, ce modèle apparaît prometteur pour évaluer l’effet tératogène de substances chimiques chez l’humain. Pour ces raisons, un test d’analyse de la tératogénicité des substances chimiques est actuellement développé. Ce test se base sur l’analyse d’embryons de medaka (Oryzias Latipes) à 9 jours post fertilisation, après exposition des embryons par balnéation à des substances à concentrations déterminées. L’analyse de paramètres fonctionnels et morphologiques conduit au calcul d’un indice tératogène, qui permet de tirer une conclusion quant à l’effet tératogène de la substance testée. Cet indice est calculé à partir des mesures du taux de mortalité et du taux de malformations chez les embryons. L’objectif de ce projet est d’automatiser le test d’analyse de la tératogénicité, par classification automatique des embryons faite à partir d’image et de vidéo. La première méthode développée concerne la détection des battements cardiaques à partir de séquences vidéos, dans le but de calculer le taux de mortalité. Nous nous sommes ensuite concentrés sur deux types de malformations courantes qui sont les malformations axiales, et l'absence de vessie natatoire, en utilisant une méthode d'apprentissage automatique. Cette analyse doit être complétée par l'analyse d'autres malformations et conduire à un calcul du taux de malformations et de l’indice tératogène pour la substance testée / Numerous chemicals are used as ingredients by the cosmetics industry and are included in cosmetics formula. Aside from the assessment of their efficacy, the cosmetics industry especially needs to assess the safety of their chemicals for human. Toxicological screening of chemicals is performed with the aim of revealing the potential toxic effect of the tested chemical. Among the potential effects we want to detect, the developmental toxicity of the chemical (teratogenicity), meaning its capability of provoking abnormalities during the embryonic development, is crucial. With respect to the international regulations that forbid the use of animal testing for the safety assessment of cosmetics, the toxicological assessment of chemicals must base on an ensemble of in silico assays, in vitro assays and alternative models based assays. For now, a few alternative methods have been validated in the field of developmental toxicology. The development of new alternative methods is thus required. In addition to the safety assessment, the environmental toxicity assessment is also required. The use of most of cosmetics and personal care products leads to their rejection in waterways after washing and rince. This results in the exposition of some aquatic environments (surface waters and coastal marine environments) to chemicals included in cosmetics and personal care products. Thus, the environmental assessment of cosmetics and of their ingredients requires the knowledge of their toxicity on organisms that are representative of aquatic food chains. In this context, the fish embryo model, which is ethically acceptable according to international regulations, presents a dual advantage for the cosmetics industry. Firstly, as a model representative of aquatic organisms, it is accurate for the environmental assessment of chemicals. Secondly, this model is promising for the assessment of the teratogenic effect of chemicals on human. For this reason, a teratogenicity assessment test is developed. This test is based on the analysis of medaka fish embryos (Oryzias Latipes) at 9 days post fertilization, after balneation in a predetermined concentration of the chemical under study. The analysis of functional and morphological parameters allows to calculate a teratogenicity index, that depends on both rates of dead and malformed embryos. This index allows to to draw a conclusion concerning the teratogenic effect of the chemical.The objective of this project is to automate the teratogenicity test, by automated image and video classification. A first method is developed that aims to automatically detect embryo heart beats from acquired video sequences. This method will allow to calculate the proportion of dead embryos. We then focus on the detection of two common malformations: axial malformations and absence of a swim bladder, based on a machine learning classification. This analysis must be completed by the detection of other malformations so that we can measure the rate of malformed embryos and thus, calculate the teratogenicity index of the tested chemical

This thesis investigates protein markers linked to pulmonary embolism risk using proteomics and statistical methods, employing unsupervised and supervised machine learning techniques. The research analyzes existing datasets, identifies significant features, and observes gender differences through MANOVA. Principal Component Analysis reduces variables from 378 to 59, and Random Forest achieves 70% accuracy. These findings contribute to our understanding of pulmonary embolism and may lead to diagnostic biomarkers. MANOVA reveals significant gender differences, and applying proteomics holds promise for clinical practice and research.

L'objectif principal de ce travail est le développement de recherches en modélisation 3D du bâti. En particulier, la recherche en reconstruction 3D de bâtiment est un sujet très développé depuis les années 90. Malgré tout, il paraît nécessaire de poursuivre les recherches dans cet axe étant données que les approches actuelles consacrées à la reconstruction 3D de bâtiment (bien qu'efficaces) rencontrent encore des difficultés en terme de généralisation, de cohérence et de précision. Par ailleurs, les récents développements des systèmes d'acquisitions de rues tel que les systèmes de cartographie mobile ouvrent de nouvelles perspectives d'amélioration de la modélisation des bâtiments dans le sens ou les données terrestres (très précises et résolus) peuvent être exploitées avec davantage de cohérence (en comparaison à l'aérien) pour enrichir les modèles de bâtiments au niveau des façades (la géométrie, la texture).Ainsi, des approches de modélisation aériennes et terrestres sont individuellement proposées. Au niveau aérien, nous décrivons une approche directe et dépourvu d'extraction et d'assemblage de primitives géométriques en vue de la reconstruction 3D de modèles polyédriques simples de bâtiments à partir d'un jeu d'images aériennes calibrées. Au niveau terrestre, plusieurs approches qui décrivent essentiellement un pipeline pour la modélisation 3D des façades urbaines sont proposées; à savoir, la segmentation et classification de nuage de rues urbaines, la modélisation géométrique des façades urbaines et le texturage des façades urbaines comportant des occultations causées par d'autres objets du mobilier urbains / The aim of this work is to develop research on 3D building modeling. In particular, the research in aerial-based 3D building reconstruction is a topic very developed since 1990. However, it is necessary to pursue the research since the actual approaches for 3D massive building reconstruction (although efficient) still encounter problems in generalization, coherency, accuracy. Besides, the recent developments of street acquisition systems such as Mobile Mapping Systems open new perspectives for improvements in building modeling in the sense that the terrestrial data (very dense and accurate) can be exploited with more performance (in comparison to the aerial investigation) to enrich the building models at facade level (e.g., geometry, texturing).Hence, aerial and terrestrial based building modeling approaches are individually proposed. At aerial level, we describe a direct and featureless approach for simple polyhedral building reconstruction from a set of calibrated aerial images. At terrestrial level, several approaches that essentially describe a 3D urban facade modeling pipeline are proposed, namely, the street point cloud segmentation and classification, the geometric modeling of urban facade and the occlusion-free facade texturing

Les interfaces Cerveau Machine représentent une solution pour rétablir plusieurs fonctions comme le mouvement, la parole, etc. La construction de BCI se compose de quatre phases principales: "Collecte des données", "Prétraitement du signal", "Extraction et sélection de caractéristiques", "Classification". Dans ce rapport nous présentons un nouveau système de reconnaissance de mots imaginées basé sur une technique d’acquisition non invasive (EEG) et portable pour faciliter aux personnes ayant des handicaps spécifiques, leurs communications avec le monde extérieur. Cette thèse inclut un système nommé FEASR pour la construction d’une base de données pertinente et optimisée. Cette base a été testée avec plusieurs méthodes de classification pour obtenir un taux maximal de reconnaissance de 83.4% pour cinq mots imaginés en arabe. De plus, on discute de l’impact des algorithmes d’optimisations (Sélection des capteurs de Wernicke, Analyse en composante principale et sélection de sous bandes résultant de la décomposition en ondelette) sur les pourcentages de reconnaissance en fonction de la taille de notre base de données et de sa réduction. / The Brain Machine interfaces represent a solution to restore several human issues such as movement, speech, etc. The construction of BCI consists of four main phases: "Data Recording", "Signal preprocessing", "Extraction and Selection of Characteristics", and "Classification". In this report we present a new imagery recognition system based on a non-invasive (EEG) and portable acquisition technique to facilitate communication with the outside world for people with specific disabilities.This thesis includes a system called FEASR for the construction of a relevant and optimized database. This database has been tested with several classification methods to obtain a maximum recognition rate of 83.4% for five words imagined in Arabic. In addition, we discuss the impact of optimization algorithms (Wernicke sensor selection, principal component analysis algorithm and the selection of subbands resulting from the discrete wavelet transform decomposition) on recognition percentages according to the size of our database and its reduction.