L'objectif des travaux que j'ai mené depuis ma thèse est de rendre possible l'exécution efficace d'applications sur les infrastructures parallèles. Ce document présente donc les problématiques scientifiques essentiellement centrées sur les modèles, les algorithmes et les protocoles pour les services de gestion des ressources. Plus précisément, nous développerons deux types de services qui doivent être particulièrement bien conçus pour atteindre une efficacité optimale. Il s'agit des services d'ordonnancement (chapitre 2), et des services de transfert de données (chapitre 3). Une fois mis au point les modèles, les algorithmes et les protocoles, la question de leur validation se pose. Or, compte tenu de la complexité des environnements que nous étudions, il n'est pas toujours possible de prouver analytiquement les propriétés des algorithmes et des protocoles. Une validation expérimentale s'impose alors. Il en va de même pour les modèles que seule l'expérimentation peut valider. Nous détaillons dans le chapitre 4 quelle est l'importance de la validation expérimentale des modèles et des algorithmes dans les infrastructures distribuées, ainsi que les différentes méthodologies pour l'expérience dont, en particulier, Grid'5000.

Thèse doctorat : Informatique : Rennes 1 : 2006. / Bibliogr. p. [143]-152.

Thèse doctorat : Informatique : Rennes 1 : 2007. / Bibliogr. p. 153-166.

Thèse doctorat : Informatique : Rennes 1 : 2006. / Bibliogr. p.

Reproduction de : Thèse de doctorat : Informatique : Lille 1 : 2005. / N° d'ordre (Lille 1) : 3775. Résumé en français et en anglais. Titre provenant de la page de titre du document numérisé. Bibliogr. p. [121]-133.

Reproduction de : Habilitation à driger des recherches : Sciences mathématiques. Informatique : Lille 1 : 2005. / N° d'ordre (Lille 1) : 476. Titre provenant de la page de titre du document numérisé. Bibliogr. p. 99-107. Liste des publications.

Reproduction de : Thèse de doctorat : Informatique : Lille 1 : 2006. / N° d'ordre (Lille 1) : 3776. Résumé en français et en anglais. Titre provenant de la page de titre du document numérisé. Bibliogr. p. 161-[170].

Thèse doctorat : Informatique : Villeurbanne, INSA : 2005. / Thèse bilingue français-anglais. Glossaire. Titre provenant de l'écran-titre. Bibliogr. p. 173-183.

Ce document présente SCOOP, un nouveau cadriciel Python pour la distribution automatique de hiérarchies de tâches dynamiques axé sur la simplicité. Une hiérarchie de tâches réfère à des tâches qui peuvent récursivement générer un nombre arbitraire de sous-tâches. L’infrastructure de calcul sous-jacente consiste en une simple liste de ressources de calcul. Le cas d’utilisation typique est l’exécution d’un programme principal sous la tutelle du module SCOOP, qui devient alors la tâche racine pouvant générer des sous-tâches au travers de l’interface standard des « futures » de Python. Ces sous-tâches peuvent elles-mêmes générer d’autres sous-sous-tâches, etc. La hiérarchie de tâches complète est dynamique dans le sens où elle n’est potentiellement pas entièrement connue jusqu’à la fin de l’exécution de la dernière tâche. SCOOP distribue automatiquement les tâches parmi les ressources de calcul disponibles en utilisant un algorithme de répartition de charge dynamique. Une tâche n’est rien de plus qu’un objet Python pouvant être appelé en conjonction avec ses arguments. L’utilisateur n’a pas à s’inquiéter de l’implantation du passage de message ; toutes les communications sont implicites. / This paper presents SCOOP, a new Python framework for automatically distributing dynamic task hierarchies focused on simplicity. A task hierarchy refers to tasks that can recursively spawn an arbitrary number of subtasks. The underlying computing infrastructure consists of a simple list of resources. The typical use case is to run the user’s main program under the umbrella of the SCOOP module, where it becomes a root task that can spawn any number of subtasks through the standard “futures” API of Python, and where these subtasks may themselves spawn other subsubtasks, etc. The full task hierarchy is dynamic in the sense that it is unknown until the end of the last running task. SCOOP automatically distributes tasks amongst available resources using dynamic load balancing. A task is nothing more than a Python callable object in conjunction with its arguments. The user need not worry about message passing implementation details; all communications are implicit.

Contrairement aux modèles déterministes, le déroulement d'un modèle stochastique est conditionné par la réalisation de variables aléatoires. L'utilisation de hasard permet d'approcher un résultat le plus souvent incalculable de manière déterministe. En contrepartie, il est nécessaire d'estimer les paramètres des distributions associées aux quantités aléatoires en sortie du modèle stochastique. Ce calcul requiert l'exécution de multiples réplications indépendantes de la même expérience et de ce fait, d'une importante quantité de calcul. Toutes les simulations stochastiques comportent par conception un aspect naturellement parallèle. Elles représentent ainsi une des applications phares pour l'utilisation d'environnements de calculs distribués permettant de partager de la puissance de calcul à l'échelle mondiale, appelée grille de calcul. Bien que 50% des cycles des plus gros supercalculateurs de la planète soient consommés par des calculs stochastiques, les techniques de génération parallèle de nombres pseudoaléatoires sont méconnues. Il existe de ce fait un risque bien réel de produire et de publier des résultats de simulations stochastiques erronés. Cette thèse présente l'état de l'art des méthodes pour la distribution des réplications de simulations stochastiques et contribue à leur développement. Elle propose ainsi des méthodes novatrices permettant d'assurer une traçabilité dans le processus complexe de distribution de simulations stochastiques. Elle expose enfin des applications dans les domaines de l'imagerie médicale nucléaire et des simulations environnementales totalisant plus de 70 années de calcul sur un ordinateur séquentiel.