Si la sécurité est une notion essentielle aux applications, particulièrement aux applications distribuées, ses nombreux concepts représentent une étape difficile de leur développement. Les intergiciels actuels intègrent un grand nombre de technologies relatives aux concepts de sécurité. Cependant, ils laissent aux développeurs la tâche de choisir la technologie la plus adaptée ainsi que la gestion des processus sous-jacents. Cet exercice se révèle d'autant plus difficile lorsque l'application évolue dans un environnement dynamique tel que celui des grilles de calcul. Afin de faciliter le déploiement d'applications distribuées et sécurisées, cette thèse présente un modèle de sécurité décentralisé permettant aux divers acteurs (administrateurs, fournisseurs de ressources, utilisateur) d'exprimer leurs politiques de sécurité. Son utilisation se veut totalement transparente au code métier des applications. La configuration de la politique de sécurité d'une application est exprimée dans des fichiers externes en dehors du code source de cette dernière. Il est ainsi possible d'adapter la sécurité de l'application en fonction de son déploiement. Notre mécanisme de sécurité est conçu pour s'adapter dynamiquement aux situations survenant dans le cycle de vie d'une application distribuée, notamment l'acquisition de nouvelles ressources et la création de nouveaux objets. L'implantation du modèle au sein d'une bibliothèque pour le calcul distribué a permis de démontrer la faisabilité de l'approche et ses avantages. En effet, son implantation transparente a permis son intégration immédiate avec les autres modules de la bibliothèque (communications de groupe, mobilité, composants, pair-à-pair). Les tests de performance réalisés afin d'évaluer son surcoût ont confirmé la validité de l'approche.

L'émergence des grilles de calcul permet à la communauté scientifique d'envisager l'accès à une puissance de calcul jusqu'à présent inégalée. Toutefois, les caractéristiques d'une grille telles que la grande échelle, la volatilité des nœuds qui la composent ou encore leur hétérogénéité rendent son utilisation complexe. Cette thèse étudie la conception de services de niveau système pour l'exécution d'applications distribuées dans des grilles de très grande taille. Grâce à une approche complètement distribuée et générique, notre système peut fédérer les ressources de n'importe quel type de grille, même ceux composés de ressources volatiles et hétérogènes. Afin de simplifier l'utilisation d'une grille, nous proposons d'offrir aux utilisateurs une vue de type système à image unique qui permet d'occulter la distribution des ressources. Nous proposons également des services permettant d'exécuter une large gamme d'applications distribuées de façon efficace et fiable.

Les applications scientifiques d'aujourd'hui, telles les simulations de grands phénomènes naturels, requièrent une grande puissance de calcul ainsi qu'une importante capacité de stockage. Les grilles de calcul apparaissent comme une solution permettant d'atteindre cette puissance par la mise en commun de ressources de différentes organisations. Ces architectures présentent en revanche des caractéristiques rendant leur programmation complexe: elles sont dynamiques, hétérogènes, réparties à grande échelle. Cette thèse s'intéresse aux problématiques liées à la conception d'un service de partage de données pour les grilles de calcul. L'objectif est de permettre un accès transparent aux données, en automatisant la localisation, le transfert, la gestion de la persistance et de la cohérence des données partagées. Nous nous sommes plus particulièrement concentrés sur la gestion de la cohérence et de la persistance des données en environnement dynamique. Dans un tel contexte, assurer la persistance nécessite la mise en place de mécanismes de tolérance aux fautes. Nous proposons une approche pour gérer conjointement ces deux aspects via une architecture logicielle multiprotocole permettant de coupler différents protocoles de cohérence avec différents mécanismes de tolérance aux fautes. Nous proposons une conception hiérarchique de cette architecture, adaptée à la topologie réseau des grilles de calcul. Ces contributions ont été mises en oeuvre au sein du service de partage de données pour grilles JUXMEM. Les expérimentations menées sur la grille expérimentale Grid'5000 montrent que notre conception hiérarchique permet d'améliorer les performances des accès aux données partagées.

L'environnement d'exécution est un composant clé de l'environnement de programmation et d'exécution d'applications parallèles. Il fournit des services aux processus de l'application parallèle. Parmi ces services, les plus fondamentaux sont la mise en relation des processus entre eux et la transmission des signaux et des entrées-sorties. Cette thèse porte sur l'étude des environnements d'exécution à grande échelle et les services rendus à l'application sur des systèmes de grande taille. La première partie étudie les performances de l'environnement d'exécution à grande échelle et propose une approche centrée sur les topologies pour supporter l'application de manière efficace. La seconde partie étudie un rôle supplémentaire rempli par l'environnement d'exécution dans des systèmes constitué d'un grand nombre de composants avec le support de la tolérance aux défaillances. La troisième et la quatrième partie concernent un type particulier de systèmes à grande échelle avec les grilles de calcul. Ces systèmes présentent des particularités spécifiques à l'utilisation de ressources géographiquement distantes et à l'hétérogénéité de ces ressources. Les problématiques de connectivité sur les grilles de calcul et une extension de l'environnement d'exécution conçue pour y faire face sont présentées dans la troisième partie de cette thèse. La quatrième partie présente une méthode de conception d'applications destinées aux grilles de calcul et des exemples d'applications typiques présentant de bonnes performances.

Ce mémoire aborde différents travaux sur les couches logicielles nécessaires à l'utilisation d'une plate-forme distribuée pour mettre en place de nouveaux usages. Il sagit danalyser la performance au sens large que ce soit la performance d'exécution d'applications parallèles, de programmation parallèle, de consommation énergétique ou de coût financier. Les contributions concernent les outils et les algorithmes d'ordonnancement (qualité de service, impact du réseau, coût économique), la simulation fine des ressources informatiques ainsi que la gestion du cSur de réseau sous des contraintes de qualité de service et de consommation énergétique. Les environnements de programmation parallèle, la gestion de performance dans un environnement autonomique tout comme la gridification et l'analyse de codes applicatifs ont également été abordés.

Le passage de l'échelle des nouvelles plates-formes de calcul parallèle et distribué soulève de nombreux défis scientifiques. À terme, il est envisageable de voir apparaître des applications composées d'un milliard de processus exécutés sur des systèmes à un million de coeurs. Cette augmentation fulgurante du nombre de processeurs pose un défi de résilience incontournable, puisque ces applications devraient faire face à plusieurs pannes par jours. Pour assurer une bonne exécution dans ce contexte hautement perturbé par des interruptions, de nombreuses techniques de tolérance aux pannes telle que l'approche de sauvegarde et reprise (checkpoint) ont été imaginées et étudiées. Cependant, l'intégration de ces approches de tolérance aux pannes dans le couple formé par l'application et la plate-forme d'exécution soulève des problématiques d'optimisation pour déterminer le compromis entre le surcoût induit par le mécanisme de tolérance aux pannes d'un coté et l'impact des pannes sur l'exécution d'un autre coté. Dans la première partie de cette thèse nous concevons deux modèles de performance stochastique (minimisation de l'impact des pannes et du surcoût des points de sauvegarde sur l'espérance du temps de complétion de l'exécution en fonction de la distribution d'inter-arrivées des pannes). Dans la première variante l'objectif est la minimisation de l'espérance du temps de complétion en considérant que l'application est de nature préemptive. Nous exhibons dans ce cas de figure tout d'abord une expression analytique de la période de sauvegarde optimale quand le taux de panne et le surcoût des points de sauvegarde sont constants. Par contre dans le cas où le taux de panne ou les surcoûts des points de sauvegarde sont arbitraires nous présentons une approche numérique pour calculer l'ordonnancement optimal des points de sauvegarde. Dans la deuxième variante, l'objectif est la minimisation de l'espérance de la quantité totale de temps perdu avant la première panne en considérant les applications de nature non-préemptive. Dans ce cas de figure, nous démontrons tout d'abord que si les surcoûts des points sauvegarde sont arbitraires alors le problème du meilleur ordonnancement des points de sauvegarde est NP-complet. Ensuite, nous exhibons un schéma de programmation dynamique pour calculer un ordonnancement optimal. Dans la deuxième partie de cette thèse nous nous focalisons sur la conception des stratégies d'ordonnancement tolérant aux pannes qui optimisent à la fois le temps de complétion de la dernière tâche et la probabilité de succès de l'application. Nous mettons en évidence dans ce cas de figure qu'en fonction de la nature de la distribution de pannes, les deux objectifs à optimiser sont tantôt antagonistes, tantôt congruents. Ensuite en fonction de la nature de distribution de pannes nous donnons des approches d'ordonnancement avec des ratios de performance garantis par rapport aux deux objectifs.

Les applications Monte-Carlo sont facilement parallélisables, mais une parallélisation efficace sur des grilles de calcul est difficile à réaliser. Des stratégies avancées d'ordonnancement et de parallélisation sont nécessaires pour faire face aux taux d'erreur élevés et à l'hétérogénéité des ressources sur des architectures distribuées. En outre, la fusion des résultats partiels est également une étape critique. Dans ce contexte, l'objectif principal de notre travail est de proposer de nouvelles stratégies pour une exécution plus rapide et plus fiable des applications Monte-Carlo sur des grilles de calcul. Ces stratégies concernent à la fois le phase de calcul et de fusion des applications Monte-Carlo et visent à être utilisées en production. Dans cette thèse, nous introduisons une approche de parallélisation basée sur l'emploi des tâches pilotes et sur un nouvel algorithme de partitionnement dynamique. Les résultats obtenus en production sur l'infrastructure de grille européenne (EGI) en utilisant l'application GATE montrent que l'utilisation des tâches pilotes apporte une forte amélioration par rapport au système d'ordonnancement classique et que l'algorithme de partitionnement dynamique proposé résout le problème d'équilibrage de charge des applications Monte-Carlo sur des systèmes distribués hétérogènes. Puisque toutes les tâches finissent presque simultanément, notre méthode peut être considérée comme optimale à la fois en termes d'utilisation des ressources et de temps nécessaire pour obtenir le résultat final (makespan). Nous proposons également des stratégies de fusion avancées avec plusieurs tâches de fusion. Une stratégie utilisant des sauvegardes intermédiaires de résultat (checkpointing) est utilisée pour permettre la fusion incrémentale à partir des résultats partiels et pour améliorer la fiabilité. Un modèle est proposé pour analyser le comportement de la plateforme complète et aider à régler ses paramètres. Les résultats expérimentaux montrent que le modèle correspond à la réalité avec une erreur relative de 10% maximum, que l'utilisation de plusieurs tâches de fusion parallèles réduit le temps d'exécution total de 40% en moyenne, que la stratégie utilisant des sauvegardes intermédiaires permet la réalisation de très longues simulations sans pénaliser le makespan. Pour évaluer notre équilibrage de charge et les stratégies de fusion, nous mettons en œuvre une simulation de bout-en-bout de la plateforme décrite ci-dessus. La simulation est réalisée en utilisant l'environnement de simulation SimGrid. Les makespan réels et simulés sont cohérents, et les conclusions tirées en production sur l'influence des paramètres tels que la fréquence des sauvegardes intermédiaires et le nombre de tâches de fusion sont également valables en simulation. La simulation ouvre ainsi la porte à des études paramétriques plus approfondies.

Le passage de l'échelle des nouvelles plates-formes de calcul parallèle et distribué soulève de nombreux défis scientifiques. À terme, il est envisageable de voir apparaître des applications composées d'un milliard de processus exécutés sur des systèmes à un million de coeurs. Cette augmentation fulgurante du nombre de processeurs pose un défi de résilience incontournable, puisque ces applications devraient faire face à plusieurs pannes par jours. Pour assurer une bonne exécution dans ce contexte hautement perturbé par des interruptions, de nombreuses techniques de tolérance aux pannes telle que l'approche de sauvegarde et reprise (checkpoint) ont été imaginées et étudiées. Cependant, l'intégration de ces approches de tolérance aux pannes dans le couple formé par l'application et la plate-forme d'exécution soulève des problématiques d'optimisation pour déterminer le compromis entre le surcoût induit par le mécanisme de tolérance aux pannes d'un coté et l'impact des pannes sur l'exécution d'un autre coté. Dans la première partie de cette thèse nous concevons deux modèles de performance stochastique (minimisation de l'impact des pannes et du surcoût des points de sauvegarde sur l'espérance du temps de complétion de l'exécution en fonction de la distribution d'inter-arrivées des pannes). Dans la première variante l'objectif est la minimisation de l'espérance du temps de complétion en considérant que l'application est de nature préemptive. Nous exhibons dans ce cas de figure tout d'abord une expression analytique de la période de sauvegarde optimale quand le taux de panne et le surcoût des points de sauvegarde sont constants. Par contre dans le cas où le taux de panne ou les surcoûts des points de sauvegarde sont arbitraires nous présentons une approche numérique pour calculer l'ordonnancement optimal des points de sauvegarde. Dans la deuxième variante, l'objectif est la minimisation de l'espérance de la quantité totale de temps perdu avant la première panne en considérant les applications de nature non-préemptive. Dans ce cas de figure, nous démontrons tout d'abord que si les surcoûts des points sauvegarde sont arbitraires alors le problème du meilleur ordonnancement des points de sauvegarde est NP-complet. Ensuite, nous exhibons un schéma de programmation dynamique pour calculer un ordonnancement optimal. Dans la deuxième partie de cette thèse nous nous focalisons sur la conception des stratégies d'ordonnancement tolérant aux pannes qui optimisent à la fois le temps de complétion de la dernière tâche et la probabilité de succès de l'application. Nous mettons en évidence dans ce cas de figure qu'en fonction de la nature de la distribution de pannes, les deux objectifs à optimiser sont tantôt antagonistes, tantôt congruents. Ensuite en fonction de la nature de distribution de pannes nous donnons des approches d'ordonnancement avec des ratios de performance garantis par rapport aux deux objectifs. / The parallel computing platforms available today are increasingly larger. Typically the emerging parallel platforms will be composed of several millions of CPU cores running up to a billion of threads. This intensive growth of the number of parallel threads will make the application subject to more and more failures. Consequently it is necessary to develop efficient strategies providing safe and reliable completion for HPC parallel applications. Checkpointing is one of the most popular and efficient technique for developing fault-tolerant applications on such a context. However, checkpoint operations are costly in terms of time, computation and network communications. This will certainly affect the global performance of the application. In the first part of this thesis, we propose a performance model that expresses formally the checkpoint scheduling problem. Two variants of the problem have been considered. In the first variant, the objective is the minimization of the expected completion time. Under this model we prove that when the failure rate and the checkpoint cost are constant the optimal checkpoint strategy is necessarily periodic. For the general problem when the failure rate and the checkpoint cost are arbitrary we provide a numerical solution for the problem. In the second variant if the problem, we exhibit the tradeoff between the impact of the checkpoints operations and the lost computation due to failures. In particular, we prove that the checkpoint scheduling problem is NP-hard even in the simple case of uniform failure distribution. We also present a dynamic programming scheme for determining the optimal checkpointing times in all the variants of the problem. In the second part of this thesis, we design several fault tolerant scheduling algorithms that minimize the application makespan and in the same time maximize the application reliability. Mainly, in this part we point out that the growth rate of the failure distribution determines the relationship between both objectives. More precisely we show that when the failure rate is decreasing the two objectives are antagonist. In the second hand when the failure rate is increasing both objective are congruent. Finally, we provide approximation algorithms for both failure rate cases.

Les simulations Monte-Carlo SMC représentent actuellement en imagerie médicale nucléaire un outil puissant d'aide à la conception et à l'optimisation des détecteurs, et à l'évaluation des algorithmes de reconstruction et des méthodes de correction des effets physiques responsables de la dégradation des images reconstruites (atténuation, diffusion, etc...). L'inconvénient majeur des simulations Monte-Carlo réside dans le temps de calcul important qu'elles nécessitent. Au cours de cette thèse, nous avons tiré parti de la plate-forme de SMC GATE (Geant4 Application for Tomographic Emission) dédiée aux examens SPECT/PET pour une modélisation réaliste des phénomènes physiques, et de la grille de calcul légère CiGri (Ciment Grid) afin de réduire le temps de calcul. Le premier objectif de cette thèse consiste à modéliser la gamma-caméra Biospace dédiée à l'imagerie petit animal à l'aide du logiciel GATE. Le modèle de la gamma-caméra est validé en comparant les résultats issus des simulations GATE avec les données acquises expérimentalement. Les résultats des simulations reproduisent avec précision les performances mesurées de la gamma-caméra. Le modèle validé est ensuite utilisé pour l'évaluation de l'algorithme de Novikov-Natterer de reconstruction analytique de la transformée de Radon atténuée. Les résultats de cette étude montrent que l'algorithme de reconstruction de Novikov-Natterer permet d'améliorer les images d'un point de vue qualitatif et quantitatif par rapport à la méthode analytique standard FBP.

Résumé indisponible / The objective of this thesis focuses on the study and the development of bioinformatics platforms and tools on the grid. The second objective is to develop applications in molecular epidemiology and metagenomics based on these tools and platforms. Based on the studies of existing bioinformatics platforms and tools, we propose our solution: a platform and a portal for molecular epidemiology and high throughput metagenomics on the grid. The main idea of ​​our platform is to simplify the submission of jobs to the grid via the pilots jobs (jobs generic that can control and launch many real tasks) and the PULL model (tasks are retrieved and executed automatically). There are other platforms that have similar approaches but our platform focuses on the simplicity and the saving time for the submission of jobs. Bioinformatics tools chosen to deploy the platform are popular tools that can be used in many bioinformatics analyses. We apply a workflow engine in the platform so that users can make the analysis easier. Our platform can be seen as a generalized system that can be applied to both the epidemiological surveillance and metagenomics of which two use cases are deployed and tested on the grid. The first use case is used to monitor bird flu. The approach of this application is to federate data sequences of influenza viruses and provide a portal with tools on the grid to analyze these data. The second use case is used to apply the power of the grid in the analysis of high throughput sequencing of amplicon sequences. In this case, we prove the efficiency of the grid by using our platform to gridifier an existing application, which has much less performance than the gridified version.