As the Internet becomes an ubiquitous medium of communication, it carries more and more malicious activities like spam, worms or denial of service attacks. One solution to detect and collect such malicious traffic is to use honeypots. They are devices or pieces of information that are not part of the usual production system. Their goals are to lure the attackers into a trap to study them, divert their attention from another target or collect statistics. In this work, we propose a lightweight framework to build honeytanks, which are very efficient low-interaction honeypots. We present and evaluate techniques and algorithms to simulate the presence of a large number of hosts with various degrees of realism and scalability, from a completely stateless approach to a stateful approach able, amongst other things, to mimic the behavior of various TCP/IP stacks. Our framework is based on ASAX, a generic and lightweight data stream analyzer. We instantiate ASAX to build powerful traffic handlers. We introduce several extensions to ASAX and to RUSSEL, its programming language. These extensions allow us to develop new concurrent programming techniques to simulate hosts and protocols in a simple and modular way. We use a recently optimized version of ASAX that makes it possible to simulate tens of thousands hosts while keeping the simulation at a high level of realism. To show the benefits of our approach, i.e., greater simplicity, flexibility, and independence of other technologies, we compare our honeytanks to Honeyd and Nepenthes, two well-known low-interaction honeypots.

La virtualisation est une technologie dont la popularité ne cesse d’augmenter dans le monde de l’entreprise, et ce pour l’efficacité et la facilité de gestion qu’elle apporte. Cependant, le problème majeur de cette technologie est la sécurité. Dans cette thèse, nous proposons de renforcer la sécurité des systèmes virtualisés et nous introduisons de nouvelles approches pour répondre aux différents besoins en sécurité de cette technologie et aussi aux aspects liés à à son fonctionnement et son déploiement. Nous proposons une nouvelle architecture de supervision qui permet de contrôler la totalité de la plateforme virtualisée en temps réel. L’idée est de simuler une supervision décentralisée (plusieurs postes) sur un seul poste physique. Nous étudions les avantages et les limites de cette approche et nous montrons que cette solution est incapable de réagir é à un certain nombre d’attaques nouvelles. Comme remède, nous introduisons une nouvelle procédure qui permet de sécuriser les ressources critiques d’un système virtualisé pour s’assurer que des familles d’attaques ne peuvent être exécutées en ayant accès à ces ressources. Nous introduisons une variante de LTL avec de nouveaux opérateurs de passé et nous démontrons comment des politiques de sécurité formulées à l’aide de ce langage peuvent être facilement traduites en signatures d’attaques qui sont indispensables à la détection des intrusions dans le système. Nous analysons aussi l’impact d’une communication réseau non sécurisée entre machines virtuelles sur la sécurité globale du système virtualisé. Nous proposons un modèle d’une politique de sécurité multi-niveaux qui couvre la majorité des opérations liées au réseau et qui peuvent être exécutées par une machine virtuelle. Notre modèle couvre aussi des opérations de gestion de l’infrastructure virtualisée et étudie les contraintes de sécurité qui doivent être satisfaites. / Virtual machine technology is rapidly gaining acceptance as a fundamental building block in enterprise data centers. It is most known for improving efficiency and ease of management. However, the central issue of this technology is security. We propose in this thesis to enforce the security of virtualized systems and introduce new approaches that deal with different security aspects related not only to the technology itself but also to its deployment and maintenance. We first propose a new architecture that offers real-time supervision of a complete virtualized architecture. The idea is to implement decentralized supervision on one single physical host. We study the advantages and the limits of this architecture and show that it is unable to react according to some new stealthy attacks. As a remedy, we introduce a new procedure that permits to secure the sensitive resources of a virtualized system and make sure that families of attacks can not be run at all. We introduce a variant of the LTL language with new past operators and show how policies written in this language can be easily translated to attack signatures that we use to detect attacks on the system. We also analyse the impact that an insecure network communication between virtual machines can have on the global security of the virtualized system. We propose a multilevel security policy model that covers almost all the network operations that can be performed by a virtual machine. We also deal with some management operations and introduce the related constraints that must be satisfied when an operation is performed.

De nos jours, les systèmes de production sont confrontés à leur 4e révolution. Celle-ci est numérique avec des réseaux toujours plus denses et complexes s’ouvrant sur l’extérieur. Cette ouverture rend ces systèmes plus vulnérables. Les menaces sur ces Systèmes Cyber-Physiques de Production (SCPP) ne sont plus seulement théoriques. L’attaque sur l’aciérie allemande ou le cryptovirus Wannacry en sont de parfaits exemples. Ce travail propose un outil contribuant à la sécurité des SCPP. Nos contributions sont triples : La conception d'un Système de Détection et Réaction aux Anomalies (SDRA) placé sur le réseau de terrain. Celui-ci intègre des méthodes de détection comportementales et informationnelles. Il comprend également des capacités de réaction à la fois passives, mettant en œuvre de la remontée d'information vers l'humain ou vers des systèmes de niveaux supérieurs, et actives intégrant du filtrage d'ordre ou de la mise en repli. L'application des méthodes proposées entraîne naturellement un effort de conception supplémentaire qui doit être réduit. Nous avons donc mis au point une démarche permettant d’assister les concepteurs pour la configuration de notre SDRA. Cette dernière se base sur une approche hybride (composant/opération) et étend un flot de conception existant. Plusieurs transformations raffinent des vues surveillance/supervision des composants alors que d’autres génèrent la configuration du SDRA. Une troisième contribution propose un démonstrateur réaliste basé sur un environnement virtuel de test. Ce dernier intègre la simulation conjointe de la partie opérative et de la partie commande et permet de montrer les qualités fonctionnelles des solutions face à des scénarios d’attaque ou de défaillance. / Today, production systems are facing their 4th revolution. This revolution is digital with increasingly dense and complex networks opening on the outside. This openness makes these systems more vulnerable. The threats on these Cyber-Physical Production Systems (CPPS) are no longer just theoretical. The attacks on the German steel mill or the Wannacry crypto virus are perfect examples. This work proposes a tool contributing to the security of the SCPP. Our contributions are threefold: The design of an Anomaly Detection and Response System (ADRS) placed on the field network. It integrates behavioral and informational detection methods. It also includes passive response capabilities, implementing feedback to the human or to higher level systems, and active integrating order filtering or fallback. The application of the proposed methods naturally entails an additional design effort which must be reduced. We have therefore developed an approach to assist designers in the configuration of our ADRS. It is based on a hybrid approach (component / operation) and extends an existing design flow. Several transformations refine monitoring / supervision views of the components while others generate the configuration of the ADRS. A third contribution proposes a realistic demonstrator based on a virtual test environment. It integrates the joint simulation of the operative part and the control part and makes it possible to show the functional qualities of the solutions in the face of attack or failure scenarios.

Il est difficilement concevable de construire les systèmes de sécurité sans avoir une bonne connaissance préalable des activités malveillantes pouvant survenir dans le réseau. Malheureusement, celle-ci n'est pas aisément disponible, ou du moins elle reste anecdotique et souvent biaisée. Cette thèse a pour objectif principal de faire progresser l'acquisition de ce savoir par une solide méthodologie. Dans un premier temps, il convient de travailler sur un ensemble intéressant de données. Nous avons déployé un réseau distribué de sondes, aussi appelées pots de miel, à travers le monde. Ces pots de miel sont des machines sans activité particulière, qui nous ont permis de capturer un gros volume de données suspectes sur plusieurs mois. Nous présentons dans cette thèse une méthodologie appelée HoRaSis (pour Honeypot Traffic Analysis), qui a pour but d'extraire automatiquement des informations originales et intéressantes à partir de cet ensemble remarquable de données. Elle est formée de deux étapes distinctes: i) la discrimination puis ii) l'analyse corrélative du trafic collecté. Plus précisément, nous discriminons d'abord les activités observées qui partagent une empreinte similaire sur les sondes. La solution proposée s'appuie sur des techniques de classification et de regroupement. Puis, dans une seconde phase, nous cherchons à identifier les précédentes empreintes qui manifestent des caractéristiques communes. Ceci est effectué sur les bases d'une technique de graphes et de recherche de cliques. Plus qu'une technique, l'approche HoRaSis que nous proposons témoigne de la richesse des informations pouvant être récupérées à partir de cette vision originale du trafic malicieux de l'Internet. Elle prouve également la nécessité d'une analyse rigoureuse et ordonnée du trafic pour parvenir à l'obtention de cette base de connaissances susmentionnée.

Dans cette thèse, nous nous intéressons à la garantie des propriétés d'intégrité et de confidentialité d'un système d'information.<br />Nous proposons tout d'abord un langage de description des activités système servant de base à la définition d'un ensemble de propriétés de sécurité.<br />Ce langage repose sur une notion de dépendance causale entre appels système et sur des opérateurs de corrélation.<br />Grâce à ce langage, nous pouvons définir toutes les propriétés de sécurité système classiquement rencontrées dans la littérature, étendre ces propriétés et en proposer de nouvelles.<br />Afin de garantir le respect de ces propriétés, une implantation de ce langage est présentée.<br />Nous prouvons que cette implantation capture toutes les dépendances perceptibles par un système.<br />Cette méthode permet ainsi d'énumérer l'ensemble des violations possibles des propriétés modélisables par notre langage.<br />Notre solution exploite la définition d'une politique de contrôle d'accès afin de calculer différents graphes.<br />Ces graphes contiennent les terminaux du langage et permettent de garantir le respect des propriétés exprimables.<br />Nous utilisons alors cette méthode pour fournir un système de détection d'intrusion qui détecte les violations effectives des propriétés.<br />L'outil peut réutiliser les politiques de contrôle d'accès disponibles pour différents systèmes cibles DAC (Windows, Linux) ou MAC tels que SELinux et grsecurity.<br />Cet outil a été expérimenté sur un pot de miel durant plusieurs mois et permet de détecter les violations des propriétés souhaitées.

Le sujet de la classification de trafic r'eseau est d'une grande importance pourla planification de r'eseau efficace, la gestion de trafic 'a base de r'egles, la gestionde priorit'e d'applications et le contrˆole de s'ecurit'e. Bien qu'il ait re¸cu une atten-tion consid'erable dans le milieu de la recherche, ce th'eme laisse encore de nom-breuses questions en suspens comme, par exemple, les m'ethodes de classificationdes flux de trafics chiffr'es. Cette th'ese est compos'ee de quatre parties. La premi'erepr'esente quelques aspects th'eoriques li'es 'a la classification de trafic et 'a la d'etec-tion d'intrusion. Les trois parties suivantes traitent des probl'emes sp'ecifiques declassification et proposent des solutions pr'ecises.Dans la deuxi'eme partie, nous proposons une m'ethode d''echantillonnage pr'ecisepour d'etecter les attaques de type "SYN flooding"et "portscan". Le syst'eme examineles segments TCP pour trouver au moins un des multiples segments ACK provenantdu serveur. La m'ethode est simple et 'evolutive, car elle permet d'obtenir unebonne d'etection avec un taux de faux positif proche de z'ero, mˆeme pour des tauxd''echantillonnage tr'es faibles. Nos simulations bas'ees sur des traces montrent quel'efficacit'e du syst'eme propos'e repose uniquement sur le taux d''echantillonnage,ind'ependamment de la m'ethode d''echantillonnage.Dans la troisi'eme partie, nous consid'erons le probl'eme de la d'etection et de laclassification du trafic de Skype et de ses flux de services tels que les appels vocaux,SkypeOut, les vid'eo-conf'erences, les messages instantan'es ou le t'el'echargement defichiers. Nous proposons une m'ethode de classification pour le trafic Skype chiffr'ebas'e sur le protocole d'identification statistique (SPID) qui analyse les valeurs statis-tiques de certains attributs du trafic r'eseau. Nous avons 'evalu'e notre m'ethode surun ensemble de donn'ees montrant d'excellentes performances en termes de pr'eci-sion et de rappel. La derni'ere partie d'efinit un cadre fond'e sur deux m'ethodescompl'ementaires pour la classification des flux applicatifs chiffr'es avec TLS/SSL.La premi'ere mod'elise des 'etats de session TLS/SSL par une chaˆıne de Markov ho-mog'ene d'ordre 1. Les param'etres du mod'ele de Markov pour chaque applicationconsid'er'ee diff'erent beaucoup, ce qui est le fondement de la discrimination entreles applications. La seconde m'ethode de classification estime l''ecart d'horodatagedu message Server Hello du protocole TLS/SSL et l'instant d'arriv'ee du paquet.Elle am'eliore la pr'ecision de classification des applications et permet l'identificationviiefficace des flux Skype. Nous combinons les m'ethodes en utilisant une ClassificationNaive Bay'esienne (NBC). Nous validons la proposition avec des exp'erimentationssur trois s'eries de donn'ees r'ecentes. Nous appliquons nos m'ethodes 'a la classificationde sept applications populaires utilisant TLS/SSL pour la s'ecurit'e. Les r'esultatsmontrent une tr'es bonne performance.

Modern organisations rely intensively on information and communication technology infrastruc- tures. Such infrastructures offer a range of services from simple mail transport agents or blogs to complex e-commerce platforms, banking systems or service hosting, and all of these depend on distributed systems. The security of these systems, with their increasing complexity, is a chal- lenge. Cloud services are replacing traditional infrastructures by providing lower cost alternatives for storage and computational power, but at the risk of relying on third party companies. This risk becomes particularly critical when such services are used to host privileged company information and applications, or customers' private information. Even in the case where companies host their own information and applications, the advent of BYOD (Bring Your Own Device) leads to new security related issues. In response, our research investigated the characterization and detection of malicious activities at the operating system level and in distributed systems composed of multiple hosts and services. We have shown that intrusions in an operating system spawn abnormal information flows, and we developed a model of dynamic information flow tracking, based on taint marking techniques, in order to detect such abnormal behavior. We track information flows between objects of the operating system (such as files, sockets, shared memory, processes, etc.) and network packets flowing between hosts. This approach follows the anomaly detection paradigm. We specify the legal behavior of the system with respect to an information flow policy, by stating how users and programs from groups of hosts are allowed to access or alter each other's information. Illegal information flows are considered as intrusion symptoms. We have implemented this model in the Linux kernel4 , as a Linux Security Module (LSM), and we used it as the basis for practical demonstrations. The experimental results validated the feasibility of our new intrusion detection principles. This research is part of a joint research project between Supélec (École supérieure d'éléctricité) and QUT (Queensland University of Technology).

Cette thèse vise à contribuer à l'amélioration des méthodes d'évaluation des systèmes de détection d'intrusion (en anglais, Intrusion Detection Systems ou IDS). Ce travail est motivé par deux problèmes actuels : tout d'abord, l'augmentation du nombre et de la complexité des attaques que l'on observe aujourd'hui nécessite de faire évoluer les IDS pour leur permettre de les détecter. Deuxièmement, les IDS actuels génèrent de trop fréquentes fausses alertes, ce qui les rend inefficaces voir inutiles. Des moyens de test et d'évaluation sont nécessaires pour déterminer la qualité de détection des IDS et de leurs algorithmes de détection. Malheureusement, il n'existe pas actuellement de méthode d'évaluation satisfaisante. En effet, les méthodes employées jusqu'ici présentent trois défauts majeurs : 1) une absence de méthodologie rigoureuse, 2) l'utilisation de données de test non représentatives, et 3) l'utilisation de métriques incorrectes. Partant de ce constat, nous proposons une démarche rigoureuse couvrant l'ensemble de l'évaluation des IDS. Premièrement, nous proposons une méthodologie d'évaluation qui permet d'organiser l'ensemble du processus d'évaluation. Deuxièmement, afin d'obtenir des données de test représentatives, nous avons défini une classification des types d'attaques en fonction des moyens de détection utilisés par les IDS. Cela permet non seulement de choisir les attaques à inclure dans les données de test mais aussi d'analyser les résultats de l'évaluation selon les types d'attaques plutôt que sur chaque attaque individuellement. Troisièmement, nous avons analysé un grand nombre d'attaques réelles et de " maliciels " connus, tels que les virus et les vers. Grâce à cette analyse, nous avons pu construire un modèle générique de processus d'attaques qui met en évidence la dynamique des activités d'attaque. Ce modèle permet de générer un nombre important de scénarios d'attaques à la fois réalistes et variés. Les méthodes proposées ont été expérimentées su r deux systèmes de détection d'intrusion très différents, pour montrer la généralité de notre démarche. Les résultats montrent que l'approche proposée permet de surmonter les deux défauts principaux des évaluations existantes, à savoir l'absence de méthodologie et l'utilisation de données non représentatives. Elle permet en particulier de mieux gérer le processus d'évaluation et de choisir les cas de test pertinents pour les types d'IDS et les objectifs de l'évaluation, tout en couvrant une large partie de l'espace d'attaques.

La Voix sur IP (VoIP) est devenue un paradigme majeur pour fournir des services de télécommunications flexibles tout en réduisant les coûts opérationnels. Le déploiement à large échelle de la VoIP est soutenu par l'accès haut débit à l'Internet et par la standardisation des protocoles dédiés. Cependant, la VoIP doit également faire face à plusieurs risques comprenant des vulnérabilités héritées de la couche IP auxquelles s'ajoutent des vulnérabilités spécifiques. Notre objectif est de concevoir, implanter et valider de nouveaux modèles et architectures pour assurer une défense préventive, permettre le monitorage et la détection d'intrusion dans les réseaux VoIP. Notre travail combine deux domaines: celui de la sécurité des réseaux et celui de l'intelligence artificielle. Nous renforçons les mécanismes de sécurité existants en apportant des contributions sur trois axes : Une approche basée sur des mécanismes d'apprentissage pour le monitorage de trafic de signalisation VoIP, un pot de miel spécifique, et un modèle de corrélation des événements pour la détection d'intrusion. Pour l'évaluation de nos solutions, nous avons développés des agents VoIP distribués et gérés par une entité centrale. Nous avons développé un outil d'analyse des traces réseaux de la signalisation que nous avons utilisé pour expérimenter avec des traces de monde réel. Enfin, nous avons implanté un prototype de détection d'intrusion basé sur des règles de corrélation des événements. / Voice over IP (VoIP) has become a major paradigm for providing flexible telecommunication services and reducing operational costs. The large-scale deployment of VoIP has been leveraged by the high-speed broadband access to the Internet and the standardization of dedicated protocols. However, VoIP faces multiple security issues including vulnerabilities inherited from the IP layer as well as specific ones. Our objective is to design, implement and validate new models and architectures for performing proactive defense, monitoring and intrusion detection in VoIP networks. Our work combines two domains: network security and artificial intelligence. We reinforce existent security mechanisms by working on three axes: a machine learning approach for VoIP signaling traffic monitoring, a VoIP specific honeypot and a security event correlation model for intrusion detection. In order to experiment our solutions, we have developed VoIP agents which are distributed and managed by a central entity. We have developed an analyzer of signaling network traces and we used it to analyze real-world traces. Finally, we have implemented a prototype of a rule-based event-driven intrusion detection system.

Les réseaux maillés sans fil (WMNs - Wireless Mesh Networks) sont une technologie émergente qui prend de l'importance parmi les traditionnels systèmes de communication sans fil. Toutefois, WMNs sont particulièrement vulnérables à des attaques externes et internes en raison de leurs attributs inhérents tels que le moyen de communication ouverte et l'architecture décentralisée. Dans cette recherche, nous proposons un système complet de détection d'intrusion distribué et coopératif qui détecte efficacement et effectivement des attaques au WMN en temps réel. Notre mécanisme de détection d'intrusion est basé sur l'échange fiable des événements du réseau et la coopération active entre les nœuds participants. Dans notre approche distribuée, systèmes de détection d'intrusion (IDS - Intrusion Detection System,) sont indépendamment installé dans chaque nœud mesh pour surveiller passivement le comportement de routage du nœud et en même temps surveiller le comportement de son voisinage. Sur cette base, nous avons d'abord développé un Analyseur de Protocole de Routage (APR) qui génère avec précision des événements de routage à partir du trafic observée, qui sont ensuite traités par le propre nœud et échangés entre les nœuds voisins. Deuxièmement, nous proposons un Mécanisme de Détection d'Intrusion Distribué (MDID) pratique, qui calcule périodiquement des Métriques de mal comportement précises en faisant usage des événements de routage générés et des Contraintes de Routage prédéfinies qui sont extraites à partir du comportement du protocole. Troisièmement, nous proposons un Mécanisme de Consensus Coopérative, qui est déclenché parmi les nœuds voisins si tout comportement malveillant est détecté. Le Mécanisme de Consensus Coopérative analyse les Métriques de mal comportement et partage les Résultats de Détection d'Intrusion parmi les voisins pour traquer la source de l'intrusion. Pour valider notre recherche, nous avons mis en œuvre la solution de détection d'intrusion distribuée en utilisant une plate-forme de réseau mesh virtualisée composé de machines virtuelles (VM - Virtual Machines) interconnectés. Nous avons également implémenté plusieurs attaques de routage pour évaluer la performance des mécanismes de détection d'intrusion / Wireless Mesh Network (WMN) is an emerging technology that is gaining importance among traditional wireless communication systems. However, WMNs are particularly vulnerable to external and insider attacks due to their inherent attributes such as open communication medium and decentralized architecture. In this research, we propose a complete distributed and cooperative intrusion detection system for efficient and effective detection of WMN attacks in real-time. Our intrusion detection mechanism is based on reliable exchange of network events and active cooperation between the participating nodes. In our distributed approach, Intrusion Detection Systems (IDSs) are independently placed at each mesh node to passively monitor the node routing behavior and concurrently monitor the neighborhood behavior. Based on that, we first implement a Routing Protocol Analyzer (RPA) that accuracy generates Routing Events from the observed traffic, which are then processed by the own node and exchanged between neighboring nodes. Second, we propose a practical Distributed Intrusion Detection Engine (DIDE) component, which periodically calculates accurate Misbehaving Metrics by making use of the generated Routing Events and pre-defined Routing Constraints that are extracted from the protocol behavior. Third, we propose a Cooperative Consensus Mechanism (CCM), which is triggered among the neighboring nodes if any malicious behavior is detected. The CCM module analyzes the Misbehaving Metrics and shares Intrusion Detection Results among the neighbors to track down the source of intrusion. To validate our research, we implemented the distributed intrusion detection solution using a virtualized mesh network platform composed of virtual machines (VMs) interconnected. We also implemented several routing attacks to evaluate the performance of the intrusion detection mechanisms