Cette thèse s'est attaquée sous diverses formes au test automatique des services Web : une première partie est consacrée au test fonctionnel à travers le test de robustesse. La seconde partie étend les travaux précédents pour le test de propriétés non fonctionnelles, telles que les propriétés de testabilité et de sécurité. Nous avons abordé ces problématiques à la fois d'un point de vue théorique et pratique. Nous avons pour cela proposé une nouvelle méthode de test automatique de robustesse des services Web non composés, à savoir les services Web persistants (stateful) et ceux non persistants. Cette méthode consiste à évaluer la robustesse d'un service Web par rapport aux opérations déclarées dans sa description WSDL, en examinant les réponses reçues lorsque ces opérations sont invoquées avec des aléas et en prenant en compte l'environnement SOAP. Les services Web persistants sont modélisés grâce aux systèmes symboliques. Notre méthode de test de robustesse dédiée aux services Web persistants consiste à compléter la spécification du service Web afin de décrire l'ensemble des comportements corrects et incorrects. Puis, en utilisant cette spécification complétée, les services Web sont testés en y intégrant des aléas. Un verdict est ensuite rendu. Nous avons aussi réalisé une étude sur la testabilité des services Web composés avec le langage BPEL. Nous avons décrit précisément les problèmes liés à l'observabilité qui réduisent la faisabilité du test de services Web. Par conséquent, nous avons évalué des facteurs de la testabilité et proposé des solutions afin d'améliorer cette dernière. Pour cela, nous avons proposé une approche permettant, en premier lieu, de transformer la spécification ABPEL en STS. Cette transformation consiste à convertir successivement et de façon récursive chaque activité structurée en un graphe de sous-activités. Ensuite, nous avons proposé des algorithmes d'améliorations permettant de réduire ces problèmes de testabilité. Finalement, nous avons présenté une méthode de test de sécurité des services Web persistants. Cette dernière consiste à évaluer quelques propriétés de sécurité, tel que l'authentification, l'autorisation et la disponibilité, grâce à un ensemble de règles. Ces règles ont été crée, avec le langage formel Nomad. Cette méthodologie de test consiste d'abord à transformer ces règles en objectifs de test en se basant sur la description WSDL, ensuite à compléter, en parallèle, la spécification du service Web persistant et enfin à effectuer le produit synchronisé afin de générer les cas de test.

L'activité de test est une partie de plus en plus importante dans les développements logiciels. Cette activité de test est souvent longue et répétitive, les travaux entrepris dans cette thèse ont pour objectif de décharger l'ingénieur de test des tâches les plus répétitives de la synthèse de tests. Notre approche, dans le cadre du test de conformité, se base sur le fait qu'il existe différents niveaux d'abstraction pour définir des tests les tests exécutables pour une cible technologique, les tests abstraits qui sont indépendants de la technologie et les objectifs de test qui ne représentent que partiellement le chemin d'un test dans la spécification. Nos travaux portent sur deux points. le premier point vise à réduire l'effort alloué à la conception des tests. Pour cela nous définissons un nouveau niveau d'abstraction : les schémas de test qui offrent une abstraction supplémentaire sur les instances et valeurs manipulées. L'outil TObiAs a été développé au cours de la thèse pour aider à la conception des schémas de test, les déplier en objectifs de test ou en cas de test, puis concrétiser ces cas de test. le deuxième point étudie la portée d'un schéma de test en mesurant sa couverture de la spécification, au niveau d'abstraction du schém de test. Pour ce faire nous étudions les relations entre les niveaux d'abstraction de test et la spécification. Nous présentons l'intérêt de proposer une notion de couverture au niveau des schémas de test en construisant une abstraction de la spécification ainsi que l'outil CoPAS que nous avons créé pour calculer la couverture a priori.

Ces dernières années ont vu l'émergence d'architectures orientées services (SOA) conçues pour faciliter la création, l'exposition, l'interconnexion et la réutilisation d'applications à base de services. Les services Web sont la réalisation la plus importante de cette architecture SOA. Ce sont des applications auto descriptives et modulaires fournissant un modèle simple de programmation et de déploiement d'applications. La composition de services Web, en particulier l'orchestration, est au coeur de l'ingénierie à base de services (SOC pour Service Oriented Computing) puisque elle supporte la construction de nouveaux services composés à partir de services de base. De son côté, WS-BPEL (ou BPEL) s'est imposé depuis 2005 comme le langage standard d'orchestration de services Web. Cette thèse de Doctorat s'articule autour du test fonctionnel de l'orchestration de services décrite en langage BPEL, qui consiste à établir la conformité de l'implantation d'un service composé par rapport à sa spécification. Nos activités de recherche ont été motivées par les caractéristiques spécifiques de la composition de services surtout celle décrite en BPEL, et par la nécessité d'automatisation des tests. L'objectif de cette thèse est double : d'une part, proposer une modélisation formelle de l'orchestration de services, et d'autre part, proposer une méthode de test complète de l'orchestration de services, allant de la modélisation formelle de l'orchestration à l'exécution des tests, incluant la génération automatique de cas de test. Notre modèle formel (appelé WS-TEFSM) permet de décrire une grande partie de BPEL et prend en considération les propriétés temporelles de la composition de service. La modélisation formelle est la première phase de notre approche de test. Par conséquent, nous utilisons le modèle formel résultant pour la génération de cas de test satisfaisant un ensemble d'objectifs de test. L'automatisation de la génération de cas de test a été mise en oeuvre par l'implémentation d'une stratégie efficace d'exploration partielle de l'espace d'états (i.e. Hit-Or-Jump) dans le simulateur IF. Pour se focaliser seulement sur les erreurs potentielles du service orchestrateur (service composé), nous proposons une approche de test boîte grise consistant à simuler les services partenaires de cet orchestrateur. Nous avons abordé ces problématiques à la fois d'un point de vue théorique et pratique. En plus de la proposition d'une modélisation formelle de l'orchestration de services et d'un algorithme de génération de cas de test temporisés, nous avons implémenté ces deux concepts en développant deux prototypes. BPEL2IF permet de transformer une orchestration de services décrite en BPEL en une spécification formelle à base d'automates temporisés (spécification IF). TestGen-IF permet de dériver automatiquement des cas de test temporisés. Enfin, pour valider notre démarche, nous avons appliqué notre approche de test à des cas d'études de taille réelle.

Cette thèse s’est attaquée sous diverses formes au test automatique des services Web : une première partie est consacrée au test fonctionnel à travers le test de robustesse. La seconde partie étend les travaux précédents pour le test de propriétés non fonctionnelles, telles que les propriétés de testabilité et de sécurité. Nous avons abordé ces problématiques à la fois d’un point de vue théorique et pratique. Nous avons pour cela proposé une nouvelle méthode de test automatique de robustesse des services Web non composés, à savoir les services Web persistants (stateful) et ceux non persistants. Cette méthode consiste à évaluer la robustesse d’un service Web par rapport aux opérations déclarées dans sa description WSDL, en examinant les réponses reçues lorsque ces opérations sont invoquées avec des aléas et en prenant en compte l’environnement SOAP. Les services Web persistants sont modélisés grâce aux systèmes symboliques. Notre méthode de test de robustesse dédiée aux services Web persistants consiste à compléter la spécification du service Web afin de décrire l’ensemble des comportements corrects et incorrects. Puis, en utilisant cette spécification complétée, les services Web sont testés en y intégrant des aléas. Un verdict est ensuite rendu. Nous avons aussi réalisé une étude sur la testabilité des services Web composés avec le langage BPEL. Nous avons décrit précisément les problèmes liés à l’observabilité qui réduisent la faisabilité du test de services Web. Par conséquent, nous avons évalué des facteurs de la testabilité et proposé des solutions afin d’améliorer cette dernière. Pour cela, nous avons proposé une approche permettant, en premier lieu, de transformer la spécification ABPEL en STS. Cette transformation consiste à convertir successivement et de façon récursive chaque activité structurée en un graphe de sous-activités. Ensuite, nous avons proposé des algorithmes d’améliorations permettant de réduire ces problèmes de testabilité. Finalement, nous avons présenté une méthode de test de sécurité des services Web persistants. Cette dernière consiste à évaluer quelques propriétés de sécurité, tel que l’authentification, l’autorisation et la disponibilité, grâce à un ensemble de règles. Ces règles ont été crée, avec le langage formel Nomad. Cette méthodologie de test consiste d’abord à transformer ces règles en objectifs de test en se basant sur la description WSDL, ensuite à compléter, en parallèle, la spécification du service Web persistant et enfin à effectuer le produit synchronisé afin de générer les cas de test. / This PhD thesis focuses on diverse forms of automated Web services testing : on the one hand, is dedicated to functional testing through robustness testing. On the other hand, is extends previous works on the non-functional properties testing, such as the testability and security properties. We have been exploring these issues both from a theoretical and practical perspective. We proposed a robustness testing method which generates and executes test cases automatically from WSDL descriptions. We analyze the Web service over hazards to find those which may be used for testing. We show that few hazards can be really handled and then we improve the robustness issue detection by separating the SOAP processor behavior from the Web service one. Stateful Web services are modeled with Symbolic Systems. A second method dedicated to stateful Web services consists in completing the Web service specification to describe correct and incorrect behaviors. By using this completed specification, the Web services are tested with relevant hazards and a verdict is returned. We study the BPEL testability on a well-known testability criterion called observability. To evaluate, we have chosen to transform ABPEL specifications into STS to apply existing methods. Then, from STS testability issues, we deduce some patterns of ABPEL testability degradation. These latter help to finally propose testability enhancement methods of ABPEL specifications. Finally, we proposed a security testing method for stateful Web Services. We define some specific security rules with the Nomad language. Afterwards, we construct test cases from a symbolic specification and test purposes derived from the previous rules. Moreover, to validate our proposal, we have applied our testing approach on real size case studies.

Cette thèse concerne l'utilisation de modèles fonctionnels dans le test de circuits intégrés complexes. Dans la première partie, des vecteurs de test sont générés pour les automates d'états finis a partir de leurs spécifications de synthèse. Un premier ensemble de vecteurs de test est calcule en parcourant tous les arcs du graphe de contrôle. Les valeurs d'entrées non spécifiées sur les transitions sont fixées afin d'accroitre la couverture. Il est montre que ce test a une excellente couverture par rapport a sa longueur. Les fautes résiduelles sont détectées par une methode de distinction sur les modèles machine juste machine fausse. La deuxième partie est consacrée au test hiérarchisé de circuits complexes. Les vecteurs de test locaux aux blocs sont justifies vers les entrées primaires et propages en avant vers les sorties primaires en utilisant des variables symboliques et des modèles fonctionnels pour les blocs traverses. Des techniques originale de propagation retardée permettent de restreindre le nombre d'échecs des propagations. Un prototype en prolog a été expérimenté

Dans le domaine des télécommunications, il est indispensable de valider rigoureusement les protocoles avant de les mettre en service. Ainsi, il faut non seulement tester la conformité d'un protocole, mais il s'avère aussi nécessaire de tester sa robustesse face à<br />des événements imprévus. La littérature concernant le test de robustesse est beaucoup moins conséquente que le test de conformité. A travers ce document, nous considérons la définition de la robustesse suivante : "la capacité d'un système, conforme à sa spécification nominale, à adopter un comportement acceptable en présence d'aléas". Notre approche se fonde sur l'analyse du comportement du système face à des aléas. On considérera comme aléa tout événement non prévu amenant le système à une impossibilité temporaire ou définitive d'exécuter une action. Les contributions principales de ce document sont brièvement présentées ci-dessous :<br /><br />(1) Proposition d'un cadre formel comportant une approche, une relation de robustesse et méthode pour générer les cas de test de robustesse d'un système modélisé sous forme d'IOLTS. Notre approche comporte deux méthodes :<br /><br />- La méthode TRACOR (Test de Robustesse en présence d'Aléas COntrôlables et Représentables) consiste à vérifier la robustesse d'un système en présence d'aléas contrôlables et représentables. Cette méthode intègre les entrées invalides, entrées inopportunes, sorties<br />acceptables et traces de blocage dans la spécification nominale, pour obtenir une spécification augmentée. Cette dernière servira de base pour la génération de séquences de test de robustesse.<br /><br />- La méthode TRACON (Test de Robustesse en présence d'Aléas COntrôlables et Non représentables) est focalisée sur le test de robustesse en présence d'aléas contrôlables et non représentables. Elle consiste à enrichir la spécification nominale par les sorties acceptables et les traces de suspension afin d'obtenir la spécification semi-augmentée. Cette dernière servira de base pour la génération de séquences de test de robustesse.<br /><br />(2) Pour formaliser la robustesse d'une implémentation vis-à-vis de la spécification augmentée (ou la spécification semi-augmentée), nous proposons une relation binaire, appelée "Robust", basée sur l'observation des sorties et blocages de l'implémentation après l'exécution de traces comportant les aléas.<br /><br />(3) Afin de générer les cas de test de robustesse, nous proposons une méthode basée sur un coloriage de la spécification augmentée (ou la spécification semi-augmentée) et un ensemble d'objectifs de test de robustesse.<br /><br />(4) Les fondements de notre approche sont implémentés dans l'outil RTCG. Cette application offre trois interfaces. La première et la deuxième permettent d'automatiser la méthode TRACOR. La troisième interface permet d'automatiser la méthode TRACON.<br /><br />(5) Une étude de cas, sur les protocoles SSL handshake et TCP, montrant une évaluation<br />pratique de notre approche.