La sécurité des infrastructures critiques a suscité l'attention des chercheurs récemment avec l'augmentation du risque des cyber-attaques et des menaces terroristes contre ces systèmes. La majorité des infrastructures est contrôlée par des systèmes SCADA (Supervisory Control And Data Acquisition) permettant le contrôle à distance des processus industriels, comme les réseaux électriques, le transport de gaz, la distribution d'eau potable, les centrales nucléaires, etc. Les systèmes traditionnels de détection d'intrusions sont incapables de détecter les nouvelles attaques ne figurant pas dans leurs bases de données. L'objectif de cette thèse est d'apporter une aide supplémentaire à ces systèmes pour assurer une meilleure protection contre les cyber-attaques.La complexité et la diversité des attaques rendent leur modélisation difficile. Pour surmonter cet obstacle, nous utilisons des méthodes d'apprentissage statistique mono-classes. Ces méthodes élaborent une fonction de décision à partir de données d'apprentissage, pour classer les nouveaux échantillons en données aberrantes ou données normales. La fonction de décision définie l’enveloppe d’une région de l’espace de données contenant la majeure partie des données d’apprentissage. Cette thèse propose des méthodes de classification mono-classe, des formulations parcimonieuses de ces méthodes, et une méthode en ligne pour la détection temps réel. Les performances de ces méthodes sont montrées sur des données benchmark de différents types d’infrastructures critiques / The security of critical infrastructures has been an interesting topic recently with the increasing risk of cyber-attacks and terrorist threats against these systems. The majority of these infrastructures is controlled via SCADA (Supervisory Control And Data Acquisition) systems, which allow remote monitoring of industrial processes such as electrical power grids, gas pipelines, water distribution systems, wastewater collection systems, nuclear power plants, etc. Traditional intrusion detection systems (IDS) cannot detect new types of attacks not listed in their databases, so they cannot ensure maximum protection for these infrastructures.The objective of this thesis is to provide additional help to IDS to ensure better protection for industrial systems against cyber-attacks and intrusions. The complexity of studied systems and the diversity of attacks make modeling these attacks very difficult. To overcome this difficulty, we use machine learning, especially one-class classification. Based on training samples, these methods develop decision rules to classify new samples as outliers or normal ones. This dissertation proposes specific one-class classification approaches, sparse formulations of these approaches, and an online approach to improve the real-time detection. The relevance of these approaches is illustrated on benchmark data from three different types of critical infrastructures

La classification non supervisée consiste à regrouper des objets afin de former des groupes homogènes au sens d’une mesure de similitude. C’est un outil utile pour explorer la structure d’un ensemble de données non étiquetées. Par ailleurs, les méthodes à noyau, introduites initialement dans le cadre supervisé, ont démontré leur intérêt par leur capacité à réaliser des traitements non linéaires des données en limitant la complexité algorithmique. En effet, elles permettent de transformer un problème non linéaire en un problème linéaire dans un espace de plus grande dimension. Dans ce travail, nous proposons un algorithme de classification hiérarchique ascendante utilisant le formalisme des méthodes à noyau. Nous avons tout d’abord recherché des mesures de similitude entre des distributions de probabilité aisément calculables à l’aide de noyaux. Parmi celles-ci, la maximum mean discrepancy a retenu notre attention. Afin de pallier les limites inhérentes à son usage, nous avons proposé une modification qui conduit au critère de Ward, bien connu en classification hiérarchique. Nous avons enfin proposé un algorithme itératif de clustering reposant sur la classification hiérarchique à noyau et permettant d’optimiser le noyau et de déterminer le nombre de classes en présence / Clustering, as a useful tool for unsupervised classification, is the task of grouping objects according to some measured or perceived characteristics of them and it has owned great success in exploring the hidden structure of unlabeled data sets. Kernel-based clustering algorithms have shown great prominence. They provide competitive performance compared with conventional methods owing to their ability of transforming nonlinear problem into linear ones in a higher dimensional feature space. In this work, we propose a Kernel-based Hierarchical Agglomerative Clustering algorithms (KHAC) using Ward’s criterion. Our method is induced by a recently arisen criterion called Maximum Mean Discrepancy (MMD). This criterion has firstly been proposed to measure difference between different distributions and can easily be embedded into a RKHS. Close relationships have been proved between MMD and Ward's criterion. In our KHAC method, selection of the kernel parameter and determination of the number of clusters have been studied, which provide satisfactory performance. Finally an iterative KHAC algorithm is proposed which aims at determining the optimal kernel parameter, giving a meaningful number of clusters and partitioning the data set automatically

Les algorithmes évolutionnaires (AE) constituent une famille d’algorithmes inspirés de l’évolution naturelle. Ces algorithmes sont particulièrement utiles pour la résolution de problèmes où les algorithmes classiques d’optimisation, d’apprentissage ou de conception automatique sont incapables de produire des résultats satisfaisants. On propose dans cette thèse une approche méthodologique pour le développement de systèmes intelligents basés sur les AE. Cette approche méthodologique repose sur cinq principes : 1) utiliser des algorithmes et des représentations adaptés au problème ; 2) développer des hybrides entre des AE et des heuristiques du domaine d’application ; 3) tirer profit de l’optimisation évolutionnaire à plusieurs objectifs ; 4) faire de la co-évolution pour résoudre simultanément plusieurs sous-problèmes d’une application ou favoriser la robustesse ; et 5) utiliser un outil logiciel générique pour le développement rapide d’AE non conventionnels. Cette approche méthodologique est illustrée par quatre applications des AE à des problèmes difficiles. De plus, le cinquième principe est appuyé par l’étude sur la généricité dans les outils logiciels d’AE. Le développement d’applications complexes avec les AE exige l’utilisation d’un outil logiciel générique. Six critères sont proposés ici pour évaluer la généricité des outils d’AE. De nombreux outils logiciels d’AE sont disponibles dans la communauté, mais peu d’entre eux peuvent être véritablement qualifiés de génériques. En effet, une évaluation de quelques outils relativement populaires nous indique que seulement trois satisfont pleinement à tous ces critères, dont la framework d’AE Open BEAGLE, développée durant le doctorat. Open BEAGLE est organisé en trois couches logicielles principales, avec à la base les fondations orientées objet, sur lesquelles s’ajoute une framework gén érique comprenant les mécanismes généraux de l’outil, ainsi que plusieurs frameworks spécialisées qui implantent différentes saveurs d’AE. L’outil comporte également deux extensions servant à distribuer des calculs sur plusieurs ordinateurs et à visualiser des résultats. Ensuite, trois applications illustrent différentes approches d’utilisation des AE dans un contexte de reconnaissance des formes. Premièrement, on optimise des classifieurs basés sur la règle du plus proche voisin avec la sélection de prototypes par un algorithme génétique, simultanément à la construction de mesures de voisinage par programmation génétique (PG). À cette co-évolution coopérative à deux espèces, on ajoute la co-évolution compétitive d’une troisième espèce pour la sélection de données de test, afin d’améliorer la capacité de généralisation des solutions. La deuxième application consiste en l’ingénierie de représentations par PG pour la reconnaissance de caractères manuscrits. Cette ingénierie évolutionnaire s’effectue par un positionnement automatique de régions dans la fenêtre d’attention jumelé à la sélection d’ensembles flous pour l’extraction de caractéristiques. Cette application permet d’automatiser la recherche de représentations de caractères, opération généralement effectuée par des experts humains suite à un processus d’essais et erreurs. Pour la troisième application en reconnaissance des formes, on propose un système extensible pour la combinaison hiérarchique de classifieurs dans un arbre de décision flou. Dans ce système, la topologie des arbres est évoluée par PG alors que les paramètres numériques des unités de classement sont détermin és par des techniques d’apprentissage spécialisées. Le système est testé avec trois types simples d’unités de classement. Pour toutes ces applications en reconnaissance des formes, on utilise une mesure d’adéquation à deux objectifs afin de minimiser les erreurs de classement et la complexité des solutions. Une dernière application démontre l’efficacité des AE pour la conception de syst` emes de lentilles. On utilise des stratégies d’évolution auto-adaptatives hybridées avec une technique d’optimisation locale spécialisée pour la résolution de deux problèmes complexes de conception optique. Dans les deux cas, on démontre que les AE hybrides sont capables de générer des résultats comparables ou supérieurs à ceux produits par des experts humains. Ces résultats sont prometteurs dans la perspective d’une automatisation plus poussée de la conception optique. On présente également une expérience supplémentaire avec une mesure à deux objectifs servant à maximiser la qualité de l’image et à minimiser le coût du système de lentilles. / Evolutionary Algorithms (EA) encompass a family of robust search algorithms loosely inspired by natural evolution. These algorithms are particularly useful to solve problems for which classical algorithms of optimization, learning, or automatic design cannot produce good results. In this thesis, we propose a common methodological approach for the development of EA-based intelligent systems. This methodological approach is based on five principles : 1) to use algorithms and representations that are problem specific ; 2) to develop hybrids between EA and heuristics from the application field ; 3) to take advantage of multi-objective evolutionary optimization ; 4) to do co-evolution for the simultaneous resolution of several sub-problems of a common application and for promoting robustness ; and 5) to use generic software tools for rapid development of unconventional EA. This methodological approach is illustrated on four applications of EA to hard problems. Moreover, the fifth principle is explained in the study on genericity of EA software tools. The application of EA to complex problems requires the use of generic software tool, for which we propose six genericity criteria. Many EA software tools are available in the community, but only a few are really generic. Indeed, an evaluation of some popular tools tells us that only three respect all these criteria, of which the framework Open BEAGLE, developed during the Ph.D. Open BEAGLE is organized into three main software layers. The basic layer is made of the object oriented foundations, over which there is the generic framework layer, consisting of the general mechanisms of the tool, and then the final layer, containing several specialized frameworks implementing different EA flavors. The tool also includes two extensions, respectively to distribute the computations over many computers and to visualize results. Three applications illustrate different approaches for using EA in the context of pattern recognition. First, nearest neighbor classifiers are optimized, with the prototype selection using a genetic algorithm simultaneously to the Genetic Programming (GP) of neighborhood metrics. We add to this cooperative two species co-evolution a third coevolving competitive species for selecting test data in order to improve the generalization capability of solutions. A second application consists in designing representations with GP for handwritten character recognition. This evolutionary engineering is conducted with an automatic positioning of regions in a window of attention, combined with the selection of fuzzy sets for feature extraction. This application is used to automate character representation search, which is usually conducted by human experts with a trial and error process. For the third application in pattern recognition, we propose an extensible system for the hierarchical combination of classifiers into a fuzzy decision tree. In this system, the tree topology is evolved with GP while the numerical parameters of classification units are determined by specialized learning techniques. The system is tested with three simple types of classification units. All of these applications in pattern recognition have been implemented using a two-objective fitness measure in order to minimize classification errors and solutions complexity. The last application demonstrate the efficiency of EA for lens system design. Selfadaptative evolution strategies, hybridized with a specialized local optimisation technique, are used to solve two complex optical design problems. In both cases, the experiments demonstrate that hybridized EA are able to produce results that are comparable or better than those obtained by human experts. These results are encouraging from the standpoint of a fully automated optical design process. An additional experiment is also conducted with a two-objectives fitness measure that tries to maximize image quality while minimizing lens system cost.

Cette thèse présente un ensemble d'outils ou cadre de développement (paradigme) pour suivre le mouvement de personnages humains dans les films. Beaucoup d'applications en forte demande, telle que la surveillance pour la sécurité ou l'interaction homme-machine, profiteraient d'un système qui pourrait détecter et suivre automatiquement des humains. L'exécution de séquences de film réelles pose un défi particulier compte tenu de la non-rigidité du mouvement du corps humains, ainsi que l'influence qu'ont plusieurs facteurs sur son apparence. Parmi eux se trouvrent la différence dans la gamme de conditions d'acquisition, la variation de l'environnement et de l'illumination, le mouvement de caméra et le peu de connaissances a priori dans le positionnement de la caméra. En tant que complément à l'analyse du mouvement humain, ce système vise à aider son utilisateur à détecter de façon automatique le mouvement de la caméra, à diviser la séquence de film en petits segments appelés "prises de vue" et à extraire des informations du mouvement humain en présence d'un arrière-scène complexe. Pour atteindre cet objectif, une estimation précise du flux optique est employée. Un processus d'image par image peut identifier six différents mouvements de la caméra, incluant une camera statique, en utilisant des gabarits prédéterminés. Il peut ensuite fournir une base de données de mouvements de caméra pour la séquence du film. Ces données sont très utiles pour l'annotation, l'indexage et la recherche de séquences vidéos. De plus, une Mixture de Gaussiennes (MoG) dotée d'un espace de couleur RGB normalisé est utilisée pour soustraire un arrière-scène statique, qui permet d'éviter les effets d'ombres. Lors d'un mouvement de caméra, nous optons pour une technique appelée "codage de couleur" pour convertir les champs de vecteurs de mouvement en image colorée et appliquer la soustraction d'arrière-plan conventionnelle à cette image de flux optique de couleurs. Ceci dit, un système de suivi multicouches déployé dans deux directions (d'ordre chronologique et d'ordre anti-chronologique) est aussi décrit dans la thèse. Finalement, l'évaluation de la performance du système est réalisée sur plusieurs séquences extraites des films réels. Les séquences ont été entièrement analysées indépendamment par un observateur humain pour fournir une base de référence réelle sur les mouvements de caméra aussi bien que sur le mouvement humain dans les séquences vidéos. La comparaison entre les résultats et la base de référence indique une performance très prometteuse des approches proposées tant par l'analyse de films que par les applications de surveillance.

La problématique scientifique abordée concerne la reconnaissance visuelle d'objets s'inscrivant dans une scène observée. Nous proposons une méthodologie qui va de la définition et la construction du modèle de l'objet, jusqu'à la définition de la stratégie pour la reconnaissance ultérieure de celui-ci. Du point de vue de la représentation, cette approche est capable de modéliser aussi bien la structure de l'objet que son apparence ; à partir de caractéristiques multiples. Celles-ci servent d'indices d'attention lors de la phase de reconnaissance. Dans ce cadre, reconnaître l'objet revient à " instancier " ce modèle dans la scène courante. La tâche de reconnaissance correspond à un processus actif de génération/vérification d'hypothèses régi par le principe de focalisation. Ce dernier agissant sur quatre niveaux du " spectre attentionnel " : la sélection des opérateurs pour le traitement bas niveau, la sélection de l'intervalle d'action de ceux-ci, la sélection de la résolution et la sélection de la région d'intérêt dans l'image. Le fait d'agir sur tous ces niveaux, entraîne une diminution de la combinatoire implicite dans une problématique de recherche visuelle. Sous un regard plutôt unifié, le mécanisme de contrôle de l'attention, du type bottom-up$top-down, reste implicite dans la stratégie globale de reconnaissance. La " focalisation progressive " et la représentation hybride du modèle, permettent de tirer profit des deux types de représentation classiques. D'une part, la structure de l'objet permet de focaliser le processus de reconnaissance à partir d'observations locales, d'autre part, une fois détectée la région probable de l'objet, la décision finale est faite à partir de l'apparence de celui-ci. Dans le cadre proposé, en intégrant des connaissances sur la structure de la scène (paramètres 3D), d'autres tâches comme celles de la localisation et du suivi sont intégrées d'une façon naturelle. La prise en compte de ces paramètres permet d'estimer l'évolution de la zone d'intérêt dans l'image, lorsque l'objet évolue dans le monde 3D. La méthodologie proposée a été testée pour la reconnaissance, la localisation et le suivi de visages et de piétons.

Cette thèse s'intéresse à l'application des méthodes à noyaux sur graphes pour la prédiction de propriétés moléculaires. Dans ce manuscrit, nous présentons un état de l'art des méthodes à noyaux sur graphes définies dans le cadre de la chémoinformatique et plus particulièrement les noyaux sur graphes basés sur les sacs de motifs. Dans ce cadre, nous proposons un nouveau noyau sur graphes basé sur un ensemble explicite de sous-arbres, appelés treelets, permettant d'encoder une grande partie de l'information structurelle acyclique des graphes moléculaires. Nous proposons également de combiner ce noyau avec des méthodes d'apprentissage à noyaux multiples afin d'extraire un ensemble de motifs pertinents. Cette contribution est ensuite étendue en incluant l'information cyclique encodée par deux représentations moléculaires définies par le graphe de cycles pertinents et l'hypergraphe de cycles pertinents. Le graphe des cycles pertinents permet d'encoder le système cyclique d'une molécule. L'hypergraphe de cycles pertinents correspond à une nouvelle représentation moléculaire permettant d'encoder à la fois le système cyclique d'une molécule ainsi que les relations d'adjacence entre les cycles et les parties acycliques. Nous proposons également deux noyaux sur graphes utilisant ces représentations. Enfin, la dernière partie vise à définir des noyaux sur graphes pour la chémoinformatique basés sur la distance d'édition. Un premier noyau est basé sur un opérateur de régularisation utilisant la distance d'édition entre graphes moléculaires. Le second noyau introduit la comparaison de treelets dissimilaires basée sur un algorithme de calcul de la distance d'édition entre treelets.

Ce manuscrit de thèse présente une méthode innovante brevetée pour la détection de comportements collectifs. En utilisant des procédés de fusion sur les données issues d'un réseau multi-capteurs, les récents systèmes de surveillance obtiennent les séquences d'observations des personnes surveillées. Ce bas niveau d'évaluation de la situation a été mesuré insuffisant pour aider les forces de sécurité lors des événements de foule. Afin d'avoir une plus haute évaluation de la situation dans ces environnements asymétriques, nous proposons une approche multi-agents qui réduit la complexité du problème par des agents sur trois niveaux - macro, méso et micro - d'observations. Nous utilisons un nouvel état relatif dans les approches de l'état de l'art pour nous permettre la détection, en temps réel, des groupes, de leurs comportements, objectifs et intentions. Dans le cadre de projets européens, nous avons utilisé un serious game simulant une foule dans des scénarios asymétriques. Les résultats montrent un meilleur accord avec les prédictions théoriques et une amélioration significative des travaux précédents. Le travail présenté ici pourrait être utilisé dans de futures études de détection de comportements multi-agents et pourrait un jour aider à résoudre les problèmes liés aux événements catastrophiques de foules incontrôlables.