The popularity of MPI-based middleware and applications has led to their wide deployment. Such systems, however, are not inherently reliable and cannot tolerate external faults. This thesis presents a novel model-based approach for exploiting application features and other characteristics to categorize and create AEMs (Application Execution Model). This work realizes MPI/FT(tm), a middleware derived by selective incorporation of fault-tolerant features into MPI/Pro(tm) for two relevant AEMs. This thesis proves the following hypothesis: it is possible to successfully complete select MPI applications even in the presence of external faults, and such fault-tolerance can be achieved with acceptable performance overhead. This work defines parameters to measure the impact of this middleware on performance through faultree and fault-injected overheads. The hypothesis is validated through experimentation and measurement of sample MPI applications for two AEMs.

No description available.

Depuis plusieurs années, le nombre de cœurs de calcul dans les processeurs ne cesse d'augmenter à chaque nouvelle génération. Les processeurs multi-cœurs sont maintenant très fréquents mais le développement de logiciels séquentiels reste une pratique très courante. Pour palier à ce problème, des outils de parallélisation automatique ont été proposés mais ils ne sont pas encore prêts pour une utilisation à grande échelle. Nous proposons d'étendre les outils existants dans trois directions différentes. Premièrement, on peut remarquer que le code source de certains programmes n'est pas disponible. Nous proposons donc un système de parallélisation statique de code binaire qui permet de paralléliser un application séquentielle déjà compilée. Ensuite, on peut s'apercevoir que la performance d'un programme dépend du contexte d'exécution dans lequel il s'exécute. Nous présentons donc un système qui permet de sélectionner une version d'un programme parmi plusieurs afin d'exploiter au mieux les particularités du contexte d'exécution courant. Enfin, étant donné que certains programmes sont difficiles à analyser statiquement, nous proposons un système de parallélisation spéculative permettant d'appliquer dynamiquement des transformations de code complexes sur ces programmes. Ces trois systèmes utilisent le modèles polyédrique comme une boîte à outil permettant d'analyser, de transformer ou de paralléliser les programmes. En travaillant à différentes phases de la vie des programmes, ils forment une approche globale qui étend les techniques de parallélisation existantes.

Les besoins croissants en ressources de calcul ont mené au parallélisme et au calcul distribué, qui exploitent des infrastructures de calcul large échelle de manière concurrente. Récemment, les technologies de virtualisation sont devenues plus populaires, grâce à l'amélioration des hyperviseurs, le passage vers des architectures multi-cœur, et la diffusion des services Internet. Cela a donné lieu à l'émergence de l'informatique en nuage, un paradigme qui offre des ressources de calcul de façon élastique et à la demande, en facturant uniquement les ressources consommées. Dans ce contexte, cette thèse propose quatre contributions pour tirer parti des capacités de multiples nuages informatiques. Elles suivent deux directions : la création de plates-formes d'exécution élastiques au-dessus de nuages fédérés, et la migration à chaud entre nuages pour les utiliser de façon dynamique. Nous proposons des mécanismes pour construire de façon efficace des plates-formes d'exécution élastiques au-dessus de plusieurs nuages utilisant l'approche de fédération sky computing. Resilin est un système pour créer et gérer des plates-formes d'exécution MapReduce au-dessus de nuages fédérés, permettant de facilement exécuter des calculs MapReduce sans interagir avec les interfaces bas niveau des nuages. Nous proposons des mécanismes pour reconfigurer des infrastructures réseau virtuelles lors de migrations à chaud entre nuages, mis en œuvre dans le réseau virtuel ViNe de l'Université de Floride. Enfin, Shrinker est un protocole de migration à chaud améliorant la migration de grappes de calcul virtuelles dans les réseaux étendus en éliminant les données dupliquées entre machines virtuelles.

Avec le développement de l'Internet des services, composer dynamiquement des services distribués faiblement couplés est devenu le nouveau challenge du calcul à large échelle. Alors que la composition de services est devenue un élément clef des plates-formes orientées service, les systèmes de composition de services suivent pour la plupart une approche centralisée connaissant l'ensemble des informations de flux de contrôle et de données du workflow, posant un certain nombre de problèmes, notamment de passage à l'échelle et de fiabilité. Dans un monde où les plates-formes sont de plus en plus dynamiques, de nouveaux mécanismes de coordination dynamiques sont requis. Dans ce contexte, des métaphores naturelles, et en particulier la méthapore chimique, ont gagné une attention particulière récemment, car elles fournissent des abstractions pour une coordination flexible d'entités. Dans cette thèse, nous présentons un système de gestion de workflow fondée sur la métaphore chimique, qui fournit un modèle d'exécution haut-niveau pour l'exécution centralisée et décentralisée de compositions (ou workflows). Selon ce modèle, les services sont vus comme des molécules qui flottent dans une solution chimique. La coordination de ces services est effectuée par un ensemble de réactions entre ces molécules exprimant l'exécution décentralisée d'un workflow. Par ailleurs, si le paradigme chimique est aujourd'hui considéré comme un modèle de coordination prometteur, il manque des résultats expérimentaux. Ainsi, nous avons développé un prototype logiciel. Des expériences ont été menées avec des workflows d'applications réelles pour montrer la viabilité de notre modèle.

A l'ère de Big Data, les applications de traitement intensif de données gèrent des volumes de données extrêmement grands. De plus, ils requièrent des temps de traitement très rapides. Une grande partie de ces applications sont déployées sur des clouds, afin de bénéficier des avantages de ces infrastructures. Dans ce contexte, la réplication est un moyen essentiel dans le cloud afin de surmonter les défis de Big Data. Cependant, la réplication introduit le problème important de la cohérence des données. La gestion de la cohérence est primordiale. Les modèles à cohérence forte induisent des coûts importants en terme de performance et ont des difficultés à passer à l'échelle à cause des besoins de synchronisation. A l'inverse, les modèles à cohérence faible (la cohérence à terme, par exemple) fournissent de meilleures performances ainsi qu'une meilleure disponibilité de données. Toutefois, ces derniers modèles peuvent tolérer, sous certaines conditions, trop d'incohérence temporaire. Dans le cadre du travail de cette thèse, nous abordons les problèmes liés aux compromis suscités par la gestion de la cohérence dans les systèmes de Big Data. Premièrement, nous proposons un modèle de cohérence auto-adaptative qui augmente et diminue de manière automatique le niveau de cohérence. Ceci permet de fournir de meilleures performances tout en satisfaisant les besoins des applications. En deuxième lieu, nous abordons les enjeux financiers liés à la gestion de cohérence dans le cloud. Par conséquent, nous proposons une gestion de la cohérence efficace en termes de coût. La troisième contribution consiste à étudier les effets de gestion de cohérence sur la consommation d'énergie des systèmes de stockage distribués. Cette étude nous mène à analyser les gains potentiels des reconfigurations adaptatives des systèmes de stockage en matière de réduction de la consommation. Afin de compléter notre travail au niveau système, nous abordons la gestion de cohérence au niveau de l'application. Nous introduisons une approche pour la modélisation du comportement de l'application lors de ses accès aux données. Le modèle proposé facilite la compréhension des besoins en cohérence. De plus, ce modèle est utilisé afin de gérer la cohérence de manière spécifique à l'application lors de l'exécution. Des évaluations approfondies sur les plates-formes Grid'5000 et Amazon EC2 démontrent l'efficacité des approches proposées.

Cette thèse cherche à optimiser les communications des applications de calcul intensif s'exécutant sur des grappes de PC. En raison de l'usage massif de processeurs multicoeurs, il est désormais impératif de gérer un grand nombre de flux de communication concurrents. Nous avons mis en évidence et analysé les performances décevantes des solutions actuelles dans un tel contexte. Nous avons ainsi proposé une architecture de communication centrée sur l'arbitrage de l'accès aux matériels. Son originalité réside dans la dissociation de l'activité de l'application de celle des cartes réseaux. Notre modèle exploite l'intervalle de temps introduit entre le dépot des requêtes de communication et la disponibilité des cartes réseaux pour appliquer des optimisations de manière opportuniste. NewMadeleine implémente ce concept et se révèle capable d'exploiter les réseaux les plus performants du moment. Des tests synthétiques et portages d'implémentations caractéristiques de MPI ont permis de valider l'architecture proposée. / The aim of this thesis is to optimize the communications of high performance applications, in the context of clusters computing. Given the massive use of multicore architectures, it is now crucial to handle a large number of concurrent communication flows. We highlighted and analyzed the shortcomings of existing solutions. We therefore designed a new way to schedule communication flows by focusing on the activity of the network cards. Its novelty consists in untying the activity of applications from that of the network cards. Our model takes advantage of the delay that exists between the deposal of the communication requests and the moment when the network cards become idle in order to apply some opportunistic optimizations. NewMadeleine implements this model, thus making possible to exploit last generation high speed networks. The approach of NewMadeleine is not only validated by synthetical tests but also by real applications.

A versatilidade e principalmente o poder de processamento dos atuais celulares, mais conhecidos como smartphones, e também dos tablets, impulsionam a computação de algorítimos complexos nesses dispositivos. Cada celular ou tablet pode fazer parte de uma grande rede de computadores com capacidade para processar uma enorme quantidade de dados com um consumo muito baixo de energia se comparado aos computadores convencionais. Um outro grande motivador é que muitos desses celulares possuem o sistema operacional Android, o qual é baseado no núcleo Linux. Isso facilita a migração de projetos já desenvolvidos em computadores para essa nova plataforma móvel, uma vez que é possível executar um sistema operacional completo GNU/Linux nesses dispositivos. O objetivo desse trabalho é avaliar e comparar o desempenho de um cluster híbrido formado por dispositivos móveis e computadores, mostrando que é possível desenvolver aplicativos utilizando MPI para processamento paralelo em celulares da mesma forma com que se desenvolve aplicativos para computadores em GNU/Linux. Os resultados mostram qual é a diferença de poder computacional entre os computadores de arquitetura x86 e os dispositivos móveis de tecnologia ARM. / Versatility and mainly processing power of nowadays smartphones and tablets boost complex algorithms computation on these devices. Each cellphone or tablet can be part of a big computer network capable of processing a huge amount of data with low power consumption compared to personal computers. A great motivator also is that these devices have the Android operational system that is based on Linux kernel, what facilitates developed projects to migrate easily to this new platform. The goal of this project is to evaluate and compare a hybrid cluster performance formed by mobile devices and computers, showing that is possible to develop software using MPI for parallel processing over smartphones and tablets the same way as for GNU/Linux computers. The results show what is the processing power difference between x86 architecture computers and mobile devices using ARM architecture.

A versatilidade e principalmente o poder de processamento dos atuais celulares, mais conhecidos como smartphones, e também dos tablets, impulsionam a computação de algorítimos complexos nesses dispositivos. Cada celular ou tablet pode fazer parte de uma grande rede de computadores com capacidade para processar uma enorme quantidade de dados com um consumo muito baixo de energia se comparado aos computadores convencionais. Um outro grande motivador é que muitos desses celulares possuem o sistema operacional Android, o qual é baseado no núcleo Linux. Isso facilita a migração de projetos já desenvolvidos em computadores para essa nova plataforma móvel, uma vez que é possível executar um sistema operacional completo GNU/Linux nesses dispositivos. O objetivo desse trabalho é avaliar e comparar o desempenho de um cluster híbrido formado por dispositivos móveis e computadores, mostrando que é possível desenvolver aplicativos utilizando MPI para processamento paralelo em celulares da mesma forma com que se desenvolve aplicativos para computadores em GNU/Linux. Os resultados mostram qual é a diferença de poder computacional entre os computadores de arquitetura x86 e os dispositivos móveis de tecnologia ARM. / Versatility and mainly processing power of nowadays smartphones and tablets boost complex algorithms computation on these devices. Each cellphone or tablet can be part of a big computer network capable of processing a huge amount of data with low power consumption compared to personal computers. A great motivator also is that these devices have the Android operational system that is based on Linux kernel, what facilitates developed projects to migrate easily to this new platform. The goal of this project is to evaluate and compare a hybrid cluster performance formed by mobile devices and computers, showing that is possible to develop software using MPI for parallel processing over smartphones and tablets the same way as for GNU/Linux computers. The results show what is the processing power difference between x86 architecture computers and mobile devices using ARM architecture.

Dans cet ouvrage nous allons résumer nos activités de recherche depuis l'obtention du titre de docteur à l'Université du Québec à Montréal. Ces recherches ont eu lieu auprès de et ont été possibles grâce à de nombreuses institutions que nous remercions : le BRICS à l'Université de Aarhus, le PIMS et le Département d'Informatique de l'Université de Calgary, le LaBRI de Bordeaux et, enfin, le Laboratoire d'Informatiqu Fondamentale de Marseille et l'Université de Provence. Nous souhaitons illustrer comment la notion de structure, algébrique et d'ordre, peut être un guide fructueux dans l'étude de sujets importants de l'informatique tels que les processus concurrents et les logiques modales et temporales pour la vérification des systèmes informatiques.