• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 21
  • 8
  • 7
  • Tagged with
  • 36
  • 36
  • 17
  • 17
  • 10
  • 8
  • 8
  • 8
  • 8
  • 7
  • 7
  • 7
  • 7
  • 7
  • 6
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
21

Energy consumption optimization of parallel applications with Iterations using CPU frequency scaling / Optimisation de la consommation énergétique des applications parallèles avec des itérations en utilisant réduisant la fréquence des processeurs

Fanfakh, Ahmed Badri Muslim 17 October 2016 (has links)
Au cours des dernières années, l'informatique “green” est devenue un sujet important dans le calcul intensif. Cependant, les plates-formes informatiques continuent de consommer de plus en plus d'énergie en raison de l'augmentation du nombre de noeuds qui les composent. Afin de minimiser les coûts d'exploitation de ces plates-formes de nombreuses techniques ont été étudiées, parmi celles-ci, il y a le changement de la fréquence dynamique des processeurs (DVFS en anglais). Il permet de réduire la consommation d'énergie d'un CPU, en abaissant sa fréquence. Cependant, cela augmente le temps d'exécution de l'application. Par conséquent, il faut trouver un seuil qui donne le meilleur compromis entre la consommation d'énergie et la performance d'une application. Cette thèse présente des algorithmes développés pour optimiser la consommation d'énergie et les performances des applications parallèles avec des itérations synchrones et asynchrones sur des clusters ou des grilles. Les modèles de consommation d'énergie et de performance proposés pour chaque type d'application parallèle permettent de prédire le temps d'exécution et la consommation d'énergie d'une application pour toutes les fréquences disponibles.La contribution de cette thèse peut être divisé en trois parties. Tout d'abord, il s'agit d'optimiser le compromis entre la consommation d'énergie et les performances des applications parallèles avec des itérations synchrones sur des clusters homogènes. Deuxièmement, nous avons adapté les modèles de performance énergétique aux plates-formes hétérogènes dans lesquelles chaque noeud peut avoir des spécifications différentes telles que la puissance de calcul, la consommation d'énergie, différentes fréquences de fonctionnement ou encore des latences et des bandes passantes réseaux différentes. L'algorithme d'optimisation de la fréquence CPU a également été modifié en fonction de l'hétérogénéité de la plate-forme. Troisièmement, les modèles et l'algorithme d'optimisation de la fréquence CPU ont été complètement repensés pour prendre en considération les spécificités des algorithmes itératifs asynchrones.Tous ces modèles et algorithmes ont été appliqués sur des applications parallèles utilisant la bibliothèque MPI et ont été exécutés avec le simulateur Simgrid ou sur la plate-forme Grid'5000. Les expériences ont montré que les algorithmes proposés sont plus efficaces que les méthodes existantes. Ils n’introduisent qu’un faible surcoût et ne nécessitent pas de profilage au préalable car ils sont exécutés au cours du déroulement de l’application. / In recent years, green computing has become an important topic in the supercomputing research domain. However, the computing platforms are still consuming more and more energy due to the increase in the number of nodes composing them. To minimize the operating costs of these platforms many techniques have been used. Dynamic voltage and frequency scaling (DVFS) is one of them. It can be used to reduce the power consumption of the CPU while computing, by lowering its frequency. However, lowering the frequency of a CPU may increase the execution time of the application running on that processor. Therefore, the frequency that gives the best trade-off between the energy consumption and the performance of an application must be selected.This thesis, presents the algorithms developed to optimize the energy consumption and theperformance of synchronous and asynchronous message passing applications with iterations runningover clusters or grids. The energy consumption and performance models for each type of parallelapplication predicts its execution time and energy consumption for any selected frequency accordingto the characteristics of both the application and the architecture executing this application.The contribution of this thesis can be divided into three parts: Firstly, optimizing the trade-offbetween the energy consumption and the performance of the message passing applications withsynchronous iterations running over homogeneous clusters. Secondly, adapting the energy andperformance models to heterogeneous platforms where each node can have different specificationssuch as computing power, energy consumption, available frequency gears or network’s latency andbandwidth. The frequency scaling algorithm was also modified to suit the heterogeneity of theplatform. Thirdly, the models and the frequency scaling algorithm were completely rethought to takeinto considerations the asynchronism in the communication and computation. All these models andalgorithms were applied to message passing applications with iterations and evaluated over eitherSimGrid simulator or Grid’5000 platform. The experiments showed that the proposed algorithms areefficient and outperform existing methods such as the energy and delay product. They also introducea small runtime overhead and work online without any training or profiling.
22

Dosimétrie personnalisée par simulation Monte Carlo GATE sur grille de calcul. Application à la curiethérapie oculaire.

Maigne, Lydia 07 November 2005 (has links) (PDF)
Bien que souvent assez consommatrice en temps de calcul, la méthode Monte Carlo est l'algorithme de calcul qui modélise au plus près la physique liée aux processus de dépôts d'énergie. L'idée est d'utiliser les calculs Monte Carlo dans le traitement quotidien du cancer par rayonnement pour rivaliser avec les systèmes de planification de traitement (TPS) existants dans le but de délivrer une dose absorbée à la tumeur pour des traitements spécifiques. Pour atteindre cet objectif, deux points ont été particulièrement étudiés au cours de cette thèse : la validation de la plate-forme de simulation GATE pour des applications en dosimétrie utilisant des électrons, une étude particulière est faite concernant les traitements de curiethérapie oculaire utilisant des applicateurs ophtalmiques de 106Ru/106Rh, et le déploiement des simulations GATE dans un environnement de grille pour réduire les temps de calcul très élevés de ces simulations.<br />Des points kernels de dose d'électrons mono-énergétiques et poly-énergétiques ont été simulés en utilisant la plate-forme GATE et comparés à d'autres codes Monte Carlo. Trois versions des packages de librairies ont été utilisées pour les comparaisons (5.2, 6.2 et 7.0). Les résultats montrent que l'implémentation de la diffusion multiple est responsable des différences observées entre les codes. Les simulations de traitements de curiethérapie oculaire comparées avec d'autres Monte Carlo et des mesures montrent un bon accord. La transcription des unités Hounsfield, à partir des données scanner sur l'anatomie du patient, en paramètres tissulaires est l'autre étude présentée pour une utilisation prochaine de GATE sur des images voxélisées pour la dosimétrie personnalisée. Les infrastructures des projets DataGrid puis d'EGEE ont été utilisées pour déployer les simulations GATE afin de réduire leur temps de calcul dans le but de les utiliser en routine clinique.<br />La méthode utilisée pour paralléliser les simulations GATE est la division du générateur de nombres aléatoires (RNG) en séquences indépendantes. Des tests de temps de calcul réalisés sur des bancs tests de grille montrent qu'un gain significatif est obtenu. Les fonctionnalités pour diviser, lancer et contrôler les simulations GATE sur une infrastructure de grille ont été implémentées sur le portail web GENIUS. Un premier prototype de ce portail est accessible à partir d'un centre hospitalier pour l'utilisation de la précision des algorithmes Monte Carlo de manière transparente et sécurisée pour des traitements de cancer de l'œil.
23

Découverte automatique des caractéristiques et capacités d'une plate-forme de calcul distribué

Quinson, Martin 11 December 2003 (has links) (PDF)
Ce mémoire traite de l'obtention d'informations pertinentes, récentes et précises sur l'état courant des plates-formes de calcul modernes. Souvent dénommés grilles, ces environnements se différencient des machines parallèles les ayant précédés par leur nature intrinsèquement hétérogène et fortement dynamique.<br /> <br />Ce document est découpé en trois parties. La première présente les difficultés spécifiques à la grille en se basant sur une sélection de projets d'infrastructures pour la grille et en détaillant les solutions proposées dans ce cadre.<br /><br />La seconde partie montre comment obtenir efficacement des informations quantitatives sur les capacités de la grille et leur adéquation aux besoins des routines à ordonnancer. Après avoir détaillé les problèmes rencontrés dans ce cadre, nous explicitons notre approche, nommée macro-benchmarking. Nous présentons ensuite l'outil FAST, développé dans le cadre de cette thèse et mettant cette méthodologie en oeuvre. Nous étudions également comment cet outil est utilisé dans différents projets.<br /><br />La troisième partie traite de l'obtention d'une vision plus qualitative des caractéristiques de la grille, telle que la topologie d'interconnexion des machines la constituant. Après une étude des solutions classiques du domaine, nous présentons ALNeM, notre solution de cartographie automatique ne nécessitant pas de privilège d'exécution particulier. Cet outil est basé sur l'environnement GRAS, développé dans le cadre de ces travaux pour la mise au point des constituants de la grille.
24

Dosimétrie en radiothérapie et curiethérapie par simulation Monte-Carlo GATE sur grille informatique

Thiam, C.O. 12 October 2007 (has links) (PDF)
Les traitements de radiothérapie nécessitent la délivrance d'une dose précise au niveau de la tumeur et une bonne connaissance de la dose dans les zones avoisinantes. Ce calcul, habituellement réalisé par les TPS, exige des outils précis et rapides. La plate-forme de simulation Monte-Carlo GATE, basée sur le code GEANT4, offre un outil performant pour les applications de la médecine nucléaire mais aussi des fonctionnalités permettant de faire des calculs dosimétriques de façon fiable et rapide. Dans cette thèse, deux études ont été menées en parallèle: la validation de la plate-forme GATE pour la modélisation de sources d'électrons et de photons de basse énergie et l'exploitation optimisée des infrastructures de grille informatique pour réduire les temps de calculs des simulations. GATE a été validé pour le calcul de points kernels de dose d'électrons mono-énergétiques et comparé avec les résultats d'autres études Monte-Carlo. Une étude détaillée a été faite sur la gestion du dépôt d'énergie au cours du transport des électrons dans GEANT4. Nous nous sommes intéressés aussi à la validation de GATE concernant le dépôt de dose de photons de très basse énergie ( < 35 keV). Pour cela, trois modèles de sources radioactives utilisés en curiethérapie et contenant de l'iode 125 (modèle 2301 de Best Medical International ; Symmetra de UroMed/Bebig et 6711 d'Amersham) ont été simulés. Plusieurs caractéristiques dosimétriques ont été étudiées selon les recommandations du groupe de travail N°43 de l'AAPM (American Association of Physicists in Medecine). Les résultats obtenus montrent une bonne concordance entre GATE et les études prises comme référence et recommandées par l'AAPM. L'utilisation de simulations Monte-Carlo dans les applications médicales pour une meilleure définition de la dose déposée dans un volume tumoral, nécessite des temps de calculs longs. Afin de réduire ces temps, nous avons exploité l'infrastructure de la grille EGEE sur laquelle nos simulations sont distribuées en utilisant des techniques novatrices pour la prise en compte de l'état de la grille de calcul. Les temps nécessaires pour la simulation d'une radiothérapie utilisant des électrons ont été réduits jusqu'à un facteur 30. Une plate-forme web basée sur le portail GENIUS a été développée pour rendre accessible de façon simple toutes les modalités de soumission et de gestion des simulations ainsi que la gestion de données médicales (informations sur les patients, images CT, IRM...) sur les ressources de la grille. L'objectif final visé est de faire de GATE un outil fiable et utilisé en clinique pour des planifications de traitements de radiothérapie avec des temps de calculs acceptables (pas plus de 12 heures de calcul).
25

Epidémiologie moléculaire et métagénomique à haut débit sur la grille

Doan, Trung-Tung 17 December 2012 (has links) (PDF)
Résumé indisponible
26

Gestion autonome des services dirigée par des accords au niveau des services

Lage Freitas, André 29 March 2012 (has links) (PDF)
Les services numériques sont utilisés pour concevoir des applications reparties en abstrayant des logiciels et ressources virtuelles. La relation entre les services est définie par des accords au niveau de service (SLA) qui décrivent la qualité de service (QoS). Dans ce contexte, le défi est de gérer l'exécution des services en respectant la QoS. En premier lieu, ces services s'exécutent sur des environnements dynamiques et distribués. Ensuite, des buts de haut-niveau tels que la QoS et le prix de service doivent être traduits afin de configurer le système. Cette thèse propose une solution autonome pour gérer l'exécution des services sur des infrastructures distribuées. Plus précisément, l'exécution des services vise à garantir la QoS ainsi que l'augmentation du gain du fournisseur. Cette thèse décrit la conception et la mise en oeuvre du canevas Qu4DS qui supporte le cycle de vie des SLA. De plus, Qu4DS offre un support de haut-niveau pour des développeurs de services. Les résultats expérimentaux sur la grille Grid'5000 valident la contribution de cette thèse.
27

Modélisation électromagnétique des surfaces sélectives en fréquence finies uniformes et non-uniformes par la technique de changement d'échelle (SCT)

Tchikaya, Euloge Budet 22 October 2010 (has links) (PDF)
Les structures planaires de tailles finies sont de plus en plus utilisées dans les applications des satellites et des radars. Deux grands types de ces structures sont les plus utilisés dans le domaine de la conception RF à savoir Les Surfaces Sélectives en Fréquence (FSS) et les Reflectarrays. Les FSSs sont un élément clé dans la conception de systèmes multifréquences. Elles sont utilisées comme filtre en fréquence, et trouvent des applications telles que les radômes, les réflecteurs pour antenne Cassegrain, etc. Les performances des FSSs sont généralement évaluées en faisant l'hypothèse d'une FSS de dimension infinie et périodique en utilisant les modes de Floquet, le temps de calcul étant alors réduit quasiment à celui de la cellule élémentaire. Plusieurs méthodes permettant la prise en compte de la taille finie des FSSs ont été développées. La méthode de Galerkin basée sur l'approche rigoureuse permet la prise en compte des interactions entre les différents éléments du réseau, mais cette technique ne fonctionne que pour les FSSs de petite taille, typiquement 3x3 éléments. Pour les grands réseaux, cette méthode n'est plus adaptée, car le temps de calcul et l'exigence en mémoire deviennent trop grands. Donc, une autre approche est utilisée, celle basée sur la décomposition spectrale en onde plane. Elle permet de considérer un réseau fini comme un réseau périodique infini, illuminé partiellement par une onde plane. Avec cette approche, des FSSs de grande taille sont simulées, mais elle ne permet pas dans la plupart des cas, de prendre en compte les couplages qui existent entre les différentes cellules du réseau, les effets de bord non plus. La simulation des FSSs par les méthodes numériques classiques basées sur une discrétisation spatiale (méthode des éléments finis, méthode des différences finies, méthode des moments) ou spectrale (méthodes modales) aboutit souvent à des matrices mal conditionnées, des problèmes de convergence numérique et/ou des temps de calcul e xcessifs. Pour éviter tous ces problèmes, une technique appelée technique par changements d'échelle tente de résoudre ces problèmes. Elle est basée sur le partitionnement de la géométrie du réseau en plusieurs sous-domaines imbriqués, définis à différents niveaux d'échelle du réseau. Le multi-pôle de changement d'échelle, appelé Scale-Changing Networks (SCN), modélise le couplage électromagnétique entre deux échelles successives. La cascade de ces multi-pôles de changement d'échelle, permet le calcul de la matrice d'impédance de surface de la structure complète et donc la modélisation globale du réseau. Ceci conduit à une réduction significative en termes de temps de calcul et d'espace mémoire par rapport aux méthodes numériques classiques. Comme le calcul des multi-pôles de changement d'échelle est mutuellement indépendant, les temps d'exécution peuvent encore être réduits de manière significative en parallélisant le calcul. La SCT permet donc de modéliser des FSSs Finies tout en prenant en compte le couplage entre les éléments adjacents du réseau.
28

Passage à l'échelle d'applications java distribuées auto-adaptatives

Olejnik, Richard 26 June 2011 (has links) (PDF)
L'évolution rapide des réseaux, des stations de travail, des gros calculateurs sans oublier les ordinateurs personnels, donne naissance à de nouvelles alternatives architecturales pour les traitements parallèles et distribués. Les Grappes, les grilles de calcul et plus récemment le calcul en nuages (Cloud Computing) répondent aux besoins en calcul sans cesse croissants, grâce à des nouveaux paradigmes et concepts logiciels et systèmes basés sur la programmation distribuée. Les principales caractéristiques des applications développées dans ce cadre sont d'être hétérogènes, irrégulières et imprévisibles. Pour permettre une exécution efficace des applications réparties en Java, nous proposons un environnement de programmation et un environnement d'exécution (ADAJ : Adaptative Distributed Applications in Java) qui optimise le placement dynamique des objets de l'application sur les grappes et les grilles d'ordinateurs. Cette répartition s'appuie sur de nouveaux mécanismes d'observation de l'activité des objets et des relations entre eux. Le gain de cette distribution flexible et adaptative des objets se traduit par une meilleure efficacité de l'exécution et la possibilité d'utiliser au mieux la puissance des différents calculateurs, tout en minimisant les coûts de communication et les surcoûts liés au contrôle de l'application. Munie de ces mécanismes, la plate-forme logicielle ADAJ assure une répartition adaptative et automatique des éléments de l'application sur la plateforme d'exécution, répondant de cette façon, aux évolutions du calcul et aux modifications de la disponibilité des ressources. Ce fonctionnement est basé sur un procédé de vol de cycle et permet de contrôler la granularité du traitement. Le programmeur n'a plus en principe, à s'en préoccuper. Les mécanismes ont été implémentés pour diverses plateformes et technologies. Dans un premier temps, ils ont été conçus pour fonctionner sur des grappes de stations de travail. Nous avons ensuite fait évoluer les solutions adoptées pour fonctionner sur des réseaux plus vastes (passage à l'échelle). En particulier, nous avons introduit un framework basé sur des composants logiciels, qui aide le concepteur à bâtir des applications pour grilles d'ordinateurs. Puis, ces travaux ont été étendus, de sorte que la plateforme ADAJ est aujourd'hui, un intergiciel à part entière. Elle est basée sur des web services et son système d'information, sur des systèmes à agents. Les mécanismes d'ADAJ peuvent maintenant gérer des plateformes d'exécution de type grille composées, à priori de milliers de machines. Nous avons finalement testé cette approche pour des problèmes de fouille de données à l'aide d'algorithmes distribués, spécifiquement développés. De cette façon nous avons répondu à la problématique actuelle concernant la mise en oeuvre et l'exploitation d'architecture de grille par des systèmes de type SOKU (Service Oriented Knowledge Utilities). Pour conclure, nous montrons comment nos travaux pourraient être utilisés dans l'environnement des systèmes-sur-puce de nouvelle génération.
29

Efficient large electromagnetic simulation based on hybrid TLM and modal approach on grid computing and supercomputer / Parallélisation, déploiement et adaptation automatique de la simulation électromagnétique sur une grille de calcul

Alexandru, Mihai 14 December 2012 (has links)
Dans le contexte des Sciences de l’Information et de la Technologie, un des challenges est de créer des systèmes de plus en plus petits embarquant de plus en plus d’intelligence au niveau matériel et logiciel avec des architectures communicantes de plus en plus complexes. Ceci nécessite des méthodologies robustes de conception afin de réduire le cycle de développement et la phase de prototypage. Ainsi, la conception et l’optimisation de la couche physique de communication est primordiale. La complexité de ces systèmes rend difficile leur optimisation notamment à cause de l’explosion du nombre des paramètres inconnus. Les méthodes et outils développés ces dernières années seront à terme inadéquats pour traiter les problèmes qui nous attendent. Par exemple, la propagation des ondes dans une cabine d’avion à partir des capteurs ou même d’une antenne, vers le poste de pilotage est grandement affectée par la présence de la structure métallique des sièges à l’intérieur de la cabine, voir les passagers. Il faut, donc, absolument prendre en compte cette perturbation pour prédire correctement le bilan de puissance entre l’antenne et un possible récepteur. Ces travaux de recherche portent sur les aspects théoriques et de mise en oeuvre pratique afin de proposer des outils informatiques pour le calcul rigoureux de la réflexion des champs électromagnétiques à l’intérieur de très grandes structures . Ce calcul implique la solution numérique de très grands systèmes inaccessibles par des ressources traditionnelles. La solution sera basée sur une grille de calcul et un supercalculateur. La modélisation électromagnétique des structures surdimensionnées par plusieurs méthodes numériques utilisant des nouvelles ressources informatiques, hardware et software, pour dérouler des calculs performants, représente le but de ce travail. La modélisation numérique est basée sur une approche hybride qui combine la méthode Transmission-Line Matrix (TLM) et l’approche modale. La TLM est appliquée aux volumes homogènes, tandis que l’approche modale est utilisée pour décrire les structures planaires complexes. Afin d’accélérer la simulation, une implémentation parallèle de l’algorithme TLM dans le contexte du paradigme de calcul distribué est proposé. Le sous-domaine de la structure qui est discrétisé avec la TLM est divisé en plusieurs parties appelées tâches, chacune étant calculée en parallèle par des processeurs différents. Pour accomplir le travail, les tâches communiquent entre elles au cours de la simulation par une librairie d’échange de messages. Une extension de l’approche modale avec plusieurs modes différents a été développée par l’augmentation de la complexité des structures planaires. Les résultats démontrent les avantages de la grille de calcul combinée avec l’approche hybride pour résoudre des grandes structures électriques, en faisant correspondre la taille du problème avec le nombre de ressources de calcul utilisées. L’étude met en évidence le rôle du schéma de parallélisation, cluster versus grille, par rapport à la taille du problème et à sa répartition. En outre, un modèle de prédiction a été développé pour déterminer les performances du calcul sur la grille, basé sur une approche hybride qui combine une prédiction issue d’un historique d’expériences avec une prédiction dérivée du profil de l’application. Les valeurs prédites sont en bon accord avec les valeurs mesurées. L’analyse des performances de simulation a permis d’extraire des règles pratiques pour l’estimation des ressources nécessaires pour un problème donné. En utilisant tous ces outils, la propagation du champ électromagnétique à l’intérieur d’une structure surdimensionnée complexe, telle qu’une cabine d’avion, a été effectuée sur la grille et également sur le supercalculateur. Les avantages et les inconvénients des deux environnements sont discutés. / In the context of Information Communications Technology (ICT), the major challenge is to create systems increasingly small, boarding more and more intelligence, hardware and software, including complex communicating architectures. This requires robust design methodologies to reduce the development cycle and prototyping phase. Thus, the design and optimization of physical layer communication is paramount. The complexity of these systems makes them difficult to optimize, because of the explosion in the number of unknown parameters. The methods and tools developed in past years will be eventually inadequate to address problems that lie ahead. Communicating objects will be very often integrated into cluttered environments with all kinds of metal structures and dielectric larger or smaller sizes compared to the wavelength. The designer must anticipate the presence of such barriers in the propagation channel to establish properly link budgets and an optimal design of the communicating object. For example, the wave propagation in an airplane cabin from sensors or even an antenna, towards the cockpit is greatly affected by the presence of the metal structure of the seats inside the cabin or even the passengers. So, we must absolutely take into account this perturbation to predict correctly the power balance between the antenna and a possible receiver. More generally, this topic will address the theoretical and computational electromagnetics in order to propose an implementation of informatics tools for the rigorous calculation of electromagnetic scattering inside very large structures or radiation antenna placed near oversized objects. This calculation involves the numerical solution of very large systems inaccessible by traditional resources. The solution will be based on grid computing and supercomputers. Electromagnetic modeling of oversized structures by means of different numerical methods, using new resources (hardware and software) to realize yet more performant calculations, is the aim of this work. The numerical modeling is based on a hybrid approach which combines Transmission-Line Matrix (TLM) and the mode matching methods. The former is applied to homogeneous volumes while the latter is used to describe complex planar structures. In order to accelerate the simulation, a parallel implementation of the TLM algorithm in the context of distributed computing paradigm is proposed. The subdomain of the structure which is discretized upon TLM is divided into several parts called tasks, each one being computed in parallel by different processors. To achieve this, the tasks communicate between them during the simulation by a message passing library. An extension of the modal approach to various modes has been developped by increasing the complexity of the planar structures. The results prove the benefits of the combined grid computing and hybrid approach to solve electrically large structures, by matching the size of the problem with the number of computing resources used. The study highlights the role of parallelization scheme, cluster versus grid, with respect to the size of the problem and its repartition. Moreover, a prediction model for the computing performances on grid, based on a hybrid approach that combines a historic-based prediction and an application profile-based prediction, has been developped. The predicted values are in good agreement with the measured values. The analysis of the simulation performances has allowed to extract practical rules for the estimation of the required resources for a given problem. Using all these tools, the propagation of the electromagnetic field inside a complex oversized structure such an airplane cabin, has been performed on grid and also on a supercomputer. The advantages and disadvantages of the two environments are discussed.
30

Exploitation d'infrastructures hétérogènes de calcul distribué pour la simulation Monte-Carlo dans le domaine médical / Exploiting Heterogeneous Distributed Systems for Monte-Carlo Simulations in the Medical Field

Pop, Sorina 21 October 2013 (has links)
Les applications Monte-Carlo sont facilement parallélisables, mais une parallélisation efficace sur des grilles de calcul est difficile à réaliser. Des stratégies avancées d'ordonnancement et de parallélisation sont nécessaires pour faire face aux taux d'erreur élevés et à l'hétérogénéité des ressources sur des architectures distribuées. En outre, la fusion des résultats partiels est également une étape critique. Dans ce contexte, l'objectif principal de notre travail est de proposer de nouvelles stratégies pour une exécution plus rapide et plus fiable des applications Monte-Carlo sur des grilles de calcul. Ces stratégies concernent à la fois le phase de calcul et de fusion des applications Monte-Carlo et visent à être utilisées en production. Dans cette thèse, nous introduisons une approche de parallélisation basée sur l'emploi des tâches pilotes et sur un nouvel algorithme de partitionnement dynamique. Les résultats obtenus en production sur l'infrastructure de grille européenne (EGI) en utilisant l'application GATE montrent que l'utilisation des tâches pilotes apporte une forte amélioration par rapport au système d'ordonnancement classique et que l'algorithme de partitionnement dynamique proposé résout le problème d'équilibrage de charge des applications Monte-Carlo sur des systèmes distribués hétérogènes. Puisque toutes les tâches finissent presque simultanément, notre méthode peut être considérée comme optimale à la fois en termes d'utilisation des ressources et de temps nécessaire pour obtenir le résultat final (makespan). Nous proposons également des stratégies de fusion avancées avec plusieurs tâches de fusion. Une stratégie utilisant des sauvegardes intermédiaires de résultat (checkpointing) est utilisée pour permettre la fusion incrémentale à partir des résultats partiels et pour améliorer la fiabilité. Un modèle est proposé pour analyser le comportement de la plateforme complète et aider à régler ses paramètres. Les résultats expérimentaux montrent que le modèle correspond à la réalité avec une erreur relative de 10% maximum, que l'utilisation de plusieurs tâches de fusion parallèles réduit le temps d'exécution total de 40% en moyenne, que la stratégie utilisant des sauvegardes intermédiaires permet la réalisation de très longues simulations sans pénaliser le makespan. Pour évaluer notre équilibrage de charge et les stratégies de fusion, nous mettons en œuvre une simulation de bout-en-bout de la plateforme décrite ci-dessus. La simulation est réalisée en utilisant l'environnement de simulation SimGrid. Les makespan réels et simulés sont cohérents, et les conclusions tirées en production sur l'influence des paramètres tels que la fréquence des sauvegardes intermédiaires et le nombre de tâches de fusion sont également valables en simulation. La simulation ouvre ainsi la porte à des études paramétriques plus approfondies. / Particle-tracking Monte-Carlo applications are easily parallelizable, but efficient parallelization on computing grids is difficult to achieve. Advanced scheduling strategies and parallelization methods are required to cope with failures and resource heterogeneity on distributed architectures. Moreover, the merging of partial simulation results is also a critical step. In this context, the main goal of our work is to propose new strategies for a faster and more reliable execution of Monte-Carlo applications on computing grids. These strategies concern both the computing and merging phases of Monte-Carlo applications and aim at being used in production. In this thesis, we introduce a parallelization approach based on pilots jobs and on a new dynamic partitioning algorithm. Results obtained on the production European Grid Infrastructure (EGI) using the GATE application show that pilot jobs bring strong improvement w.r.t. regular metascheduling and that the proposed dynamic partitioning algorithm solves the load-balancing problem of particle-tracking Monte-Carlo applications executed in parallel on distributed heterogeneous systems. Since all tasks complete almost simultaneously, our method can be considered optimal both in terms of resource usage and makespan. We also propose advanced merging strategies with multiple parallel mergers. Checkpointing is used to enable incremental result merging from partial results and to improve reliability. A model is proposed to analyze the behavior of the complete framework and help tune its parameters. Experimental results show that the model fits the real makespan with a relative error of maximum 10%, that using multiple parallel mergers reduces the makespan by 40% on average, that checkpointing enables the completion of very long simulations and that it can be used without penalizing the makespan. To evaluate our load balancing and merging strategies, we implement an end-to-end SimGrid-based simulation of the previously described framework for Monte-Carlo computations on EGI. Simulated and real makespans are consistent, and conclusions drawn in production about the influence of application parameters such as the checkpointing frequency and the number of mergers are also made in simulation. These results open the door to better and faster experimentation. To illustrate the outcome of the proposed framework, we present some usage statistics and a few examples of results obtained in production. These results show that our experience in production is significant in terms of users and executions, that the dynamic load balancing can be used extensively in production, and that it significantly improves performance regardless of the variable grid conditions.

Page generated in 0.1 seconds