Notre thèse stipule qu'au vu de l'ampleur des agissements malveillants dans l'Internet, les logiciels d'extrémité doivent être surveillés. Pour limiter le nombre de points de surveillance, nous proposons de surveiller les logiciels depuis un point d'interconnexion. Nous avons dans ce but conçu Luth, un outil permettant de composer et de paralléliser un ensemble d'inspecteurs de points d'interconnexion (appelés MI) qui implémentent des mini IDS, IPS ou pare-feux, tout en vérifiant la correction et l'optimalité de ces derniers, à l'aide d'un langage de configuration et des algorithmes associés. Nous utilisons ensuite cet outil pour surveiller des logiciels d'extrémité permettant l'observation de trafic malveillant. Premièrement, après avoir démontré la nécessité de surveiller des pots de miels collecteurs de logiciels malveillants en concevant une attaque originale, nous montrons comment nous configurons Luth pour bloquer les attaques précédemment créées tout en laissant passer les attaques émulées par le pot de miel. Dans un second temps, nous utilisons Luth pour implémenter un bac-à-sable permettant d'analyser dynamiquement et aussi sûrement que voulu, les communications réseaux des logiciels malveillants. Nous montrons comment les informations obtenues par cette analyse permettent de regrouper ces logiciels et ainsi de limiter le nombre de binaires à analyser manuellement. Ensuite nous montrons comment nous générons automatiquement des signatures permettant la détection de ces virus depuis un point d'interconnexion.

As the Internet becomes an ubiquitous medium of communication, it carries more and more malicious activities like spam, worms or denial of service attacks. One solution to detect and collect such malicious traffic is to use honeypots. They are devices or pieces of information that are not part of the usual production system. Their goals are to lure the attackers into a trap to study them, divert their attention from another target or collect statistics. In this work, we propose a lightweight framework to build honeytanks, which are very efficient low-interaction honeypots. We present and evaluate techniques and algorithms to simulate the presence of a large number of hosts with various degrees of realism and scalability, from a completely stateless approach to a stateful approach able, amongst other things, to mimic the behavior of various TCP/IP stacks. Our framework is based on ASAX, a generic and lightweight data stream analyzer. We instantiate ASAX to build powerful traffic handlers. We introduce several extensions to ASAX and to RUSSEL, its programming language. These extensions allow us to develop new concurrent programming techniques to simulate hosts and protocols in a simple and modular way. We use a recently optimized version of ASAX that makes it possible to simulate tens of thousands hosts while keeping the simulation at a high level of realism. To show the benefits of our approach, i.e., greater simplicity, flexibility, and independence of other technologies, we compare our honeytanks to Honeyd and Nepenthes, two well-known low-interaction honeypots.

Le développement de méthodes permettant l'observation et la caractérisation d'attaques sur Internet est important pour améliorer notre connaissance sur le comportement des attaquants. En particulier, les informations issues de ces analyses sont utiles pour établir des hypothèses réalistes et mettre en oeuvre des mécanismes de protection pour y faire face. Les travaux présentés dans cette thèse s'inscrivent dans cette optique en utilisant des pots de miel comme moyen pour collecter des données caractérisant des activités malveillantes sur Internet. Les pots de miel sont des systèmes informatiques volontairement vulnérables et visant à attirer les attaquants afin d'étudier leur comportement. Nos travaux et contributions portent sur deux volets complémentaires. Le premier concerne le développement d'une méthodologie et de modèles stochastiques permettant de caractériser la distribution des intervalles de temps entre attaques, la propagation et les corrélations entre les processus d'attaques observés sur plusieurs environnements, en utilisant comme support les données issues de pots de miel basse interaction d'eployés dans le cadre du projet Leurré.com. Le deuxième volet de nos travaux porte sur le développement et le déploiement d'un pot de miel haute interac- tion permettant d'étudier aussi la progression d'une attaque au sein d'un système, en considérant comme exemple des attaques visant le service ssh. L'analyse des données collectées nous a permis d'observer différentes étapes du processus d'intrusion et de montrer la pertinence de notre d'approche.

La Voix sur IP (VoIP) est devenue un paradigme majeur pour fournir des services de télécommunications flexibles tout en réduisant les coûts opérationnels. Le déploiement à large échelle de la VoIP est soutenu par l'accès haut débit à l'Internet et par la standardisation des protocoles dédiés. Cependant, la VoIP doit également faire face à plusieurs risques comprenant des vulnérabilités héritées de la couche IP auxquelles s'ajoutent des vulnérabilités spécifiques. Notre objectif est de concevoir, implanter et valider de nouveaux modèles et architectures pour assurer une défense préventive, permettre le monitorage et la détection d'intrusion dans les réseaux VoIP. Notre travail combine deux domaines: celui de la sécurité des réseaux et celui de l'intelligence artificielle. Nous renforçons les mécanismes de sécurité existants en apportant des contributions sur trois axes : Une approche basée sur des mécanismes d'apprentissage pour le monitorage de trafic de signalisation VoIP, un pot de miel spécifique, et un modèle de corrélation des événements pour la détection d'intrusion. Pour l'évaluation de nos solutions, nous avons développés des agents VoIP distribués et gérés par une entité centrale. Nous avons développé un outil d'analyse des traces réseaux de la signalisation que nous avons utilisé pour expérimenter avec des traces de monde réel. Enfin, nous avons implanté un prototype de détection d'intrusion basé sur des règles de corrélation des événements. / Voice over IP (VoIP) has become a major paradigm for providing flexible telecommunication services and reducing operational costs. The large-scale deployment of VoIP has been leveraged by the high-speed broadband access to the Internet and the standardization of dedicated protocols. However, VoIP faces multiple security issues including vulnerabilities inherited from the IP layer as well as specific ones. Our objective is to design, implement and validate new models and architectures for performing proactive defense, monitoring and intrusion detection in VoIP networks. Our work combines two domains: network security and artificial intelligence. We reinforce existent security mechanisms by working on three axes: a machine learning approach for VoIP signaling traffic monitoring, a VoIP specific honeypot and a security event correlation model for intrusion detection. In order to experiment our solutions, we have developed VoIP agents which are distributed and managed by a central entity. We have developed an analyzer of signaling network traces and we used it to analyze real-world traces. Finally, we have implemented a prototype of a rule-based event-driven intrusion detection system.

Les communautés de la sécurité informatique parlent de "pirates informatiques", mais en réalité, très peu est connu au sujet de leurs compétences. Durant la dernière décennie, le nombre d'attaques a augmenté de façon exponentielle et les pots de miels ont été alors introduits afin de recueillir des informations sur les attaquants. Ces pots de miel viennent en des saveurs différentes en fonction de leur potentiel d'interaction. Cette thèse abordera le paradigme des pots de miel adaptatifs pouvant changer leur comportement dans l’intention de tromper les attaquants en dévoilant le plus de renseignements possibles sur eux-mêmes. Plutôt que d'être autorisé simplement pour effectuer des attaques, les attaquants sont confrontés à des interférences stratégiques. En utilisant des critères mesurables, les compétences et les capacités de l'attaquant peuvent être évaluées par des pots de miel adaptatifs. Nous avons modélisé les interactions des attaquants. L'idée clé derrière la modélisation des interactions des attaquants élaborée dans cette thèse est d'utiliser la théorie des jeux pour définir la configuration d'un pot de miel adaptatif. Nous avons utilisé des mécanismes d'apprentissage par renforcement dans le but de trouver le meilleur comportement face à des attaquants. Un pot de miel adaptatif est capable d'adopter des stratégies comportementales au niveau de l’exécution de commandes par l'attaquant. Nos résultats expérimentaux montrent que ces stratégies dépendent des paramètres contextuels qui peuvent ainsi servir pour construire des pots de miel intelligents / Information security communities are always talking about "attackers" but in reality very little is known about their skills.In the last decade the number of attacks has increased exponentially and honeypots were introduced in order to gather information about attackers. Honeypots come in different flavors with respect to their interaction potential. Choosing the best trade-off between attacker freedom and honeypot restrictions is challenging. In this dissertation, we address the issue ofself-adaptive honeypots that can change their behavior and lure attackers into revealing as much information as possible about themselves. Rather than being allowed simply to carry out attacks, attackers are challenged by strategic interference from adaptive honeypots. The observation of the attackers' reactions is particularly interesting and, using derivedmeasurable criteria, the attacker's skills and capabilities can be assessed by the honeypot operator. We formally model the interactions of attackers with a compromised system. The key idea is to leverage game-theoretic concepts to define the configuration and reciprocal actions of high-interaction honeypots. We have also leveraged reinforcement learningmachine learning in order to arrive at the best behavior when facing attackers. Our experimental results show that behavioral strategies are dependent on contextual parameters and can serve as advanced building blocks forintelligent honeypots

La Voix sur IP (VoIP) est devenue un paradigme majeur pour fournir des services de télécommunications flexibles tout en réduisant les coûts opérationnels. Le déploiement à large échelle de la VoIP est soutenu par l'accès haut débit à l'Internet et par la standardisation des protocoles dédiés. Cependant, la VoIP doit également faire face à plusieurs risques comprenant des vulnérabilités héritées de la couche IP auxquelles s'ajoutent des vulnérabilités spécifiques. Notre objectif est de concevoir, implanter et valider de nouveaux modèles et architectures pour assurer une défense préventive, permettre le monitorage et la détection d'intrusion dans les réseaux VoIP.<br /><br />Notre travail combine deux domaines: celui de la sécurité des réseaux et celui de l'intelligence artificielle. Nous renforcons les mécanismes de sécurité existants en apportant des contributions sur trois axes : Une approche basée sur des mécanismes d'apprentissage pour le monitorage de trafic de signalisation VoIP, un pot de miel spécifique, et un modèle de corrélation des évenements pour la détection d'intrusion. Pour l'évaluation de nos solutions, nous avons développés des agents VoIP distribués et gérés par une entité centrale. Nous avons développé un outil d'analyse des traces réseaux de la signalisation que nous avons utilisé pour expérimenter avec des traces de monde réel. Enfin, nous avons implanté un prototype de détection d'intrusion basé sur des règles de corrélation des événements.