De nombreuses applications de calcul haute performance requièrent une part importante de ressources. L'utilisation pour leur exécution de support de type cluster ou grille est alors intéressante. Cette thèse vise l'étude et la mise en place d'applications parallèles et séquentielles sur des grappes d'ordinateurs en assurant une gestion fine des ressources afin de définir une qualité de service prédéfinie. Elle aborde la modélisation du support d'exécution, l'expression des besoins des applications et enfin le placement. Deux approches sont proposées : un mode déterministe où tout ce qui s'exécute sur la machine est supposé contrôlé et un mode stochastique où une part de la charge des machines est inconnue. Toute application appartient à une des quatre classes de services définies ce qui détermine le niveau de qualité de service demandé. Des algorithmes de placement sont proposés sur un support de type cluster avec garantie de la qualité de service. Ils sont basés sur des simulations événementielles et des équations différentielles déduites de modèles markoviens. Une extension de l'algorithme au niveau grille est présentée. Les applications sont modélisées par un graphe de tâches communicantes. Les algorithmes ont été validés par simulation et sont intégrés dans un gestionnaire de ressources (AROMA scAlable Resources Manager and wAtcher). Un modèle économique simple est proposé permettant la facturation des clients.

L'origine de la masse des particules élémentaires est liée au mécanisme de brisure de la symétrie électrofaible. Son étude sera l'un des enjeux majeurs de l'expérience Atlas auprès du Large Hadron Collider, au Cern à partir de 2008. Dans la plupart des cas, les recherches seront limitées par notre connaissance des performances du détecteur, telles que la précision avec laquelle l'énergie des particules est reconstruite ou l'efficacité avec laquelle elles sont identifiées. Ce mémoire d'habilitation présente un travail portant sur la reconstruction des électrons dans Atlas avec des données simulées et des données prises durant le test en faisceau combiné qui s'est déroulé en 2004. L'analyse des données d'Atlas nécessite l'utilisation de ressources de calcul et de stockage importantes qui a impliqué le développement d'une grille de calcul mondiale dont un des noeuds est développé au laboratoire. Le manuscrit présente aussi l'effort effectué au LPNHE Paris pour la mise en place d'un Tier 2 en r\égion Ile de France.

La mutualisation des ressources physiques réparties dans les universités, les instituts et les entreprises a permis l'émergence des grilles de calcul. Ces infrastructures dynamiques sont bien adaptées aux applications scientifiques ayant de grands besoins en puissance de calcul et en espace de stockage. L'un des défis majeur pour les grilles de calcul reste la simplification de leur utilisation. Contrairement au déploiement d'applications sur une infrastructure centralisée, le déploiement sur une grille nécessite de nombreuses tâches pénibles pour l'utilisateur. La sélection des ressources, le transfert des programmes ainsi que la surveillance de l'exécution sont en effet laissés à sa charge. Aujourd'hui, de nombreux travaux proposent d'automatiser ces étapes dans des cas simples. En revanche très peu permettent de prendre en charge des déploiements plus complexes, comme par exemple le redéploiement d'une partie de l'application pendant son exécution ou encore le déploiement coordonné de plusieurs applications. <br /><br />Dans cette thèse, nous proposons un modèle pour prendre en charge le déploiement dynamique des applications sur les grilles de calcul. Ce modèle vise à offrir deux fonctionnalités principales. La première consiste en la traduction d'actions de haut niveau, spécifiques aux applications, en opérations de bas niveau, relatives à la gestion des ressources sur la grille. La deuxième consiste en la pré-planification des déploiements, redéploiements et codéploiements d'applications sur les ressources physiques. <br /><br />Le modèle satisfait trois propriétés. Il rend transparent la gestion des ressources à l'utilisateur. Il offre des actions spécifiques aux besoins de l'application. Enfin, il est non-intrusif en limitant les contraintes sur le modèle de programmation de l'application. <br /><br />Une proposition d'architecture nommée CORDAGE vient illustrer ce modèle pour le co-déploiement et le redéploiement d'applications. CORDAGE a été développé en lien avec l'outil de réservation OAR et l'outil de déploiement ADAGE. La validation du prototype s'est effectuée avec la plate-forme pair-à-pair JXTA, le service de partage de données JUXMEM ainsi que le système de fichiers distribué GFARM. Notre approche a été évaluée sur la grille expérimentale GRID' 5000.<br /><br />http://cordage.gforge.inria.fr/

Une des solutions les plus prometteuses actuellement à la course à la puissance de traitement consiste à créer des grilles. Néanmoins, leur utilisation optimale n'est pas encore atteinte dû notamment à la complexité que ce support d'exécution amène pour les administrateurs et utilisateurs. Cette thèse se concentre sur la gestion des ressources composant une grille de calcul. Nous montrons comment traiter ce problème à l'aide de paradigmes économiques. Nous définissons un modèle économique permettant de gérer les ressources d'une grille. Ce modèle propose d'associer un coût à chacune des machines de la grille. Le placement d'une application est assimilé à un problème d'optimisation non-linéaire sous contraintes et à variables entières, pour lequel le choix des machines à utiliser doit minimiser un compromis entre le temps d'exécution de l'application et son coût. Une implémentation de ce modèle à l'aide d'un algorithme génétique est proposée, de même que son intégration au sein de l'ordonnanceur OAR utilisé sur Grid'5000. Dans une seconde partie de la thèse, des travaux ont été effectués dans le domaine de la prédiction du temps d'exécution d'une application. Nous définissons une méthode hybride de prédiction basée à la fois sur le profil des applications ainsi que sur un historique d'exécutions passées, combinant une analyse de la structure du programme à une méthode d'apprentissage basé sur des instances. Nous montrons notamment que la prise en compte du profil des applications améliore les prédictions réalisées au moyen de méthodes classiques basées seulement sur des historiques d'exécutions passées.

Les travaux présentés dans cette thèse portent sur l'ordonnancement d'applications au sein d'un environnement de grille de calcul. Nous étudions comment mieux gérer les tâches au sein des intergiciels de grille, ceci dans l'objectif d'améliorer les performances globales de la plateforme. Les solutions que nous proposons se situent dans l'intergiciel, ce qui permet de conserver les architectures sous-jacentes sans les modifier. Dans un premier temps, nous proposons un mécanisme de réallocation permettant de prendre en compte dynamiquement les erreurs d'ordonnancement commises lors de la soumission de calculs. En effet, lors de la soumission sur une machine parallèle, il est souvent nécessaire de fournir une estimation du temps d'exécution afin que celle-ci puisse effectuer un ordonnancement. Cependant, les estimations ne sont pas précises et les décisions d'ordonnancement sont sans cesse remises en question. Le mécanisme de réallocation proposé permet de prendre en compte ces changements en déplaçant des calculs d'une machine parallèle à une autre. Le second point auquel nous nous intéressons dans cette thèse est l'ordonnancement d'une application de climatologie sur la grille. Afin de fournir les meilleures performances possibles nous avons modélisé l'application puis proposé des heuristiques spécifiques. Pour exécuter l'application sur une grille de calcul, l'intergiciel utilise ces connaissances sur l'application pour fournir le meilleur ordonnancement possible.

Ce travail se place dans le cadre du calcul haute performance sur des plateformes d'exécution de grande taille telles que les grilles de calcul. Les grilles de calcul sont notamment caractérisées par (1) des changements fréquents des conditions d'exécution et, en particulier, par (2) une probabilité importante de défaillance due au grand nombre de composants. Pour exécuter une application efficacement dans un tel environnement, il est nécessaire de prendre en compte ces paramètres. Nos travaux de recherche reposent sur la représentation abstraite de l'application sous forme d'un graphe de flot de données de l'environnement de programmation parallèle et distribuée Athapascan/Kaapi. Nous utilisons cette représentation abstraite pour apporter des solutions aux problèmes (1) de reconfiguration dynamique et (2) de tolérance aux fautes. - Tout d'abord, nous proposons un mécanisme de reconfiguration dynamique qui gère, de manière transparente pour le programmeur de la reconfiguration, les problèmes d'accès concurrents sur l'état de l'application et la cohérence mutuelle des états en cas de reconfiguration distribuée. - Ensuite, nous présentons un protocole de tolérance aux fautes original qui permet d'effectuer une reprise partielle de l'application en cas de panne. Pour cela, il détermine l'ensemble des tâches de calcul strictement nécessaires à la reprise de l'application. Ces contributions sont évaluées en utilisant les logiciels Kaapi et X-Kaapi sur la plateforme de calcul Grid'5000.

Cette thèse étudie un modèle de plate-forme de communication pour la programmation des grilles de calcul. Notre but est d'étendre la portée des grilles en permettant l'exécution d'applications parallèles et/ou réparties sans imposer de contrainte de programmation ou d'exécutif particulier. Le modèle proposé permet l'utilisation d'exécutifs variés, adaptés à l'application plutôt que ceux dictés par les réseaux disponibles. Notre approche est basée sur : un arbitrage des accès aux ressources, pour permettre plusieurs exécutifs simultanément ; une adaptation d'abstraction qui permet de voir les ressources selon le paradigme choisi par l'utilisateur ; une virtualisation des ressources, qui permet l'utilisation d'exécutifs existants sans les modifier. Nous avons mis en oeuvre ce modèle dans la plate-forme PadicoTM, et porté divers exécutifs sur cette plate-forme, tels que MPI, CORBA, et SOAP. Les réseaux utilisables vont des SAN jusqu'aux WAN. Les performances obtenues sont excellentes.

Les microorganismes constituent la plus grande diversité du monde vivant et restent encore largement méconnus. La compréhension du fonctionnement des écosystèmes et les rôles joués par les microorganismes reste un enjeu majeur de l'écologie microbienne. Le développement de nouvelles approches de génomique permet d'appréhender la complexité de ces systèmes. Dans ce contexte, les puces à ADN représentent des outils à haut débit de choix capables de suivre l'expression ou la présence de plusieurs milliers de gènes en une seule expérience. Cependant, l'une des étapes les plus difficiles, de part sa complexité et la quantité de données à traiter, est la sélection de sondes qui doivent être à la fois sensibles et spécifiques. Pour répondre à ces besoins en termes de performance et de qualité, d'une part, nous avons développé un algorithme de conception de sondes pour biopuces phylogénétiques que nous avons entièrement déployé sur la grille de calcul européenne EGEE, et d'autre part, nous avons proposé un deuxième algorithme pour biopuces fonctionnelles que nous avons déployé sur un cluster. Les deux algorithmes ont nécessité une phase importante d'ingénierie logicielle. Nous avons donc proposé une démarche d'ingénierie dirigée par les modèles (IDM) et notamment de transformation de modèle pour résoudre le problème de traduction inverse d'oligopeptide. Les deux algorithmes sont destinés à une utilisation massive et permettent de concevoir tout type de sondes

La recherche en physique des particules recouvre des activités diverses depuis la conception des expériences, la mise en route et le suivi des détecteurs, le traitement des données et leur analyse, jusqu'à la communication des résultats aux scientifiques et au grand public. Le document illustre différentes facettes de cette recherche via: la description de la grille de calcul et de stockage qui permet le traitement des données enregistrées par les expériences du LHC et en particulier par l'expérience ATLAS; une mesure de la section efficace top-antitop avec l'expérience D0 auprès du Tevatron; la description de quelques actions de diffusion des connaissances auprès du grand public.

Une grille de calcul regroupe un très grand nombre de ressources de calcul hétérogènes, pouvant appartenir à différents domaines d'administration. Les grille sont attractives car elles peuvent fournir à leurs utilisateurs les ressources nécessaires à l'exécution d'applications de calcul scientifique. Cependant exécuter une application sur la grille est une tâche difficile car la fréquence des défaillances matérielles y est élevés. Pour assurer l'exécution fiable d'applications distribuées dans les grilles de calcul, nous proposons tout d'abord un service de recouvrement arrière assurant le redémarrage automatique des applications défaillantes. Nous proposons ensuite une solution assurant la haute disponibilité et l'auto-réparation de services de grille. Enfin nous proposons un protocole de recouvrement arrière pour application à échange de messages passant à l'échelle.