Comprendre les performances d'une application multi-thread est difficile. Les threads interfèrent quand ils accèdent à la même ressource, ce qui ralentit leur exécution. Malheureusement, les outils de profiling existants se focalisent sur l'identification des causes de l'interférence, et non pas sur ses effets.Le développeur ne peut donc pas conclure si l'optimisation d'une interférence identifiée par un outil de profiling peut mener à une meilleure performance. Dans cette thèse, on propose de compléter les outils existants par un outil orienté-effet capable de quantifier l'impact de l'interférence sur la performance, indépendamment de la cause de l'interférence. Avec une évaluation de 27 applications, on montre que notre outil réussit à identifier 12 bottlenecks causés par 6 types d'interférence différents / Understanding the performance of a multi-threaded application is difficult. The threads interfere when they access the same resource, which slows their execution down. Unfortunately, current profiling tools focus on identifying the interference causes, not their effects.The developer can thus not know if optimizing the interference reported by a profiling tool can lead to better performance. In this thesis, we propose to complete the profiling toolbox with an effect-oriented profiling tool able to indicate how much interference impacts performance, regardless of the interference cause. With an evaluation of 27 applications, we show that our tool successfully identifies 12 performance bottlenecks caused by 6 different kinds of interference

Na segunda metade dos anos 2000, foram desenvolvidos projetos de pesquisa para o desenvolvimento de plataformas visando facilitar a criação de aplicativos para o ambiente de nuvem. A partir de estudos sobre as soluções de elasticidade para nuvens de computação desenvolvidas, observou-se a concentração de soluções de elasticidade com foco no gerenciamento de recursos de processamento e armazenamento para aplicações do tipo cliente-servidor. Porém, no caso das aplicações de distribuição de conteúdo, os recursos de rede que são limitados e também devem ser gerenciados de forma a evitar desperdícios. Devido a estas características, é interessante o desenvolvimento de uma plataforma aberta para a criação de aplicações distribuídas que auxiliem o gerenciamento de recursos e elasticidade no contexto de computação em nuvem. Esta dissertação apresenta o Trade Wind, uma solução que permite o desenvolvimento de aplicações e serviços distribuídos para o gerenciamento automático de recursos e elasticidade em nuvens de computação. A solução é composta por um modelo de desenvolvimento de soluções elásticas, um modelo de composição de aplicações a partir da implementação de funcionalidades e serviços, uma arquitetura e um middleware. Para a avaliação e validação da solução proposta foi implementado um protótipo de testes e uma aplicação de distribuição de fluxos de vídeo em tempo real, com redução automática de fluxos redundantes. Os resultados obtidos validaram o funcionamento da aplicação de prova de conceito adaptada para o funcionamento em conjunto com o Trade Wind, assim como sua funcionalidade adicional de fornecimento de fluxos de vídeo em multicanais. A aplicação de redução de fluxos redundantes provou reduzir pela metade o consumo de banda no cenário de teste configurado, tendo potencial de maior economia no caso de aumento do número de fluxos redundantes. / Research projects have started working on cloud computing platforms to help cloud applications to be developed in an easiest manner, from year 2000 on. Studies about cloud computing elasticity solutions showed many works were focusing in processing and storage resource management for client-server applications. However, only a small number of research works explore the potential of application contexts regarding network resource management (e.g., content distribution applications). Therefore it is interesting to develop an open platform for distributed applications development helping to manage resources and elasticity in clouds. This dissertation presents Trade Wind, a solution to help the development of distributed applications and services for cloud computing resource and elasticity management. The solution is composed by an elastic application development model, an application compostion model from features and services development, an architecture and a middleware. In order to evaluate and validate the suggested solution, it was developed a test prototype implementing an application for real time video streams distribution utilizing an automatic redundant streams reduction feature. The results collected from the test executions validate Trade Wind solution running the adapted proof of concept application. The tests also showed the multichannel feature added working in a adequate manner. The redundant streams reduction application has proven to reduce bandwidth consumption by the half in the configured test scenarios. And it also has potential to save more bandwidth resources in a scenario with higher number of redundant video streams.

Técnicas e ferramentas (middlewares para desenvolvimento de aplicações distribuídas são utilizadas no caso dos recursos de um único computador não serem suficientes, ou para atender requisitos de qualidade de serviço, ou mesmo para abranger uma maior quantidade de usuários. A Realidade Virtual é uma das áreas da computação a sua complexidade, se beneficia de tais técnicas e middlewares, seja para proporcionar ambientes mais imersivos e/ou possibilitar a interação de múltiplos usuários. A Realidade Virtual engloba uma ampla diversidade de aplicações, incluindo infraestruturas de alta imersão, jogos multi-jogadores, e simuladores de voo, e cada classe de aplicação têm demandas específicas de distribuição, como escalabilidade, ou requisitos de tempo-real, entre outros. Devido à complexidade e a essa diversidade de aplicações de realidade virtual, as alternativas de middlewares disponíveis atendem requisitos específicos de uma única classe, ou, as genéricas, não fornecem modelos de objetos, comunicação ou execução favoráveis às aplicações de realidade virtual. Esse trabalho tem o objetivo de propor um novo modelo de objetos e arquitetura de um middleware para desenvolvimento de aplicações distribuídas de realidade virtual suficientemente flexível para atender diversas classes de aplicações. O modelo de objetos proposto une os modelos publicador/assinante e requisição/ resposta em uma única entidade similar aos objetos do paradigma de programação orientada a objetos, que, além de empregar conceitos intuitivos para desenvolvedores, possibilita o desacoplamento lógico entre os processos, simplificando o projeto e a implementação das aplicações distribuídas. O principal diferencial desta abordagem é a possibilidade de distribuir a implementação de cada membro dos objetos em diferentes processos. / Techniques and middlewares for distributed application development are used in cases the resources available in a single computer are not enough for the demanded complexity, to meet the required quality of services, or even to cover a greater number of users. The Virtual Reality is one of the computer fields that, because of its complexity, benefits from such techniques and tools, either to provide more immersive virtual environments, or to enable multi-user interaction. The Virtual Reality covers a wide range of applications, including high immersion infrastructures, multiplayer games, and full mission flight simulators. Each application class has specifics distribution demands, such as high scalability, or real-time requirements. Because of complexity and the diversity of virtual reality applications, the distribution solutions available meet the specific requirements of a single class, or the generic ones do not provide object, communication, or execution favorable for virtual reality applications. This work proposes a new model of objects and architecture of a middleware for distributed virtual reality applications that is flexible enough to suit several classes of applications. The proposed object model joins the publisher/subscriber and request/response models to a single logic entity similar to the objects of the object-oriented programming paradigm. Besides being an intuitive concept for developers, this entity enable logical decoupling between processes, simplifying the design and implementation of distributed applications. The main feature of this approach is the possibility to distribute the implementation of each member of the objects in different processes.

Este trabalho apresenta uma ferramenta de apoio ao desenvolvimento de aplicações distribuídas, baseadas em RPCs, para o ambiente Windows 95. Discute, ainda, algumas aplicações construídas para validar o sistema, as quais seguem o paradigma cliente-servidor. É feita uma revisão bibliográfica dos assuntos mais relevantes relacionados ao tema e apresentados os detalhes de implementação da ferramenta. Esta foi implementada com técnicas de orientação a objetos, sendo composta por um Gerador Automático de Stubs e uma Biblioteca RPC, além de possibilitar a utilização de um Serviço de Binding. As aplicações construídas procuram explorar as potencialidades da ferramenta, sendo fornecidas também orientações gerais para o desenvolvimento de aplicações distribuídas no ambiente Windows 95. / This work presents a tool to support the development of RPC-based distributed applications in the Windows 95 environment. It also discusses some applications built to validate the system, which follow the client-server model. A theoretical review of the most relevant topics related to the field is done and the tool’s implementation details are presented. This tool was implemented with object-oriented techniques and comprises an automatic Stub Generator and an RPC Library, together with a Binding Service. The distributed applications that were built try to explore the tool’s full potential. General guidelines regarding the development of distributed applications for the Windows 95 environment are also provided.

Na segunda metade dos anos 2000, foram desenvolvidos projetos de pesquisa para o desenvolvimento de plataformas visando facilitar a criação de aplicativos para o ambiente de nuvem. A partir de estudos sobre as soluções de elasticidade para nuvens de computação desenvolvidas, observou-se a concentração de soluções de elasticidade com foco no gerenciamento de recursos de processamento e armazenamento para aplicações do tipo cliente-servidor. Porém, no caso das aplicações de distribuição de conteúdo, os recursos de rede que são limitados e também devem ser gerenciados de forma a evitar desperdícios. Devido a estas características, é interessante o desenvolvimento de uma plataforma aberta para a criação de aplicações distribuídas que auxiliem o gerenciamento de recursos e elasticidade no contexto de computação em nuvem. Esta dissertação apresenta o Trade Wind, uma solução que permite o desenvolvimento de aplicações e serviços distribuídos para o gerenciamento automático de recursos e elasticidade em nuvens de computação. A solução é composta por um modelo de desenvolvimento de soluções elásticas, um modelo de composição de aplicações a partir da implementação de funcionalidades e serviços, uma arquitetura e um middleware. Para a avaliação e validação da solução proposta foi implementado um protótipo de testes e uma aplicação de distribuição de fluxos de vídeo em tempo real, com redução automática de fluxos redundantes. Os resultados obtidos validaram o funcionamento da aplicação de prova de conceito adaptada para o funcionamento em conjunto com o Trade Wind, assim como sua funcionalidade adicional de fornecimento de fluxos de vídeo em multicanais. A aplicação de redução de fluxos redundantes provou reduzir pela metade o consumo de banda no cenário de teste configurado, tendo potencial de maior economia no caso de aumento do número de fluxos redundantes. / Research projects have started working on cloud computing platforms to help cloud applications to be developed in an easiest manner, from year 2000 on. Studies about cloud computing elasticity solutions showed many works were focusing in processing and storage resource management for client-server applications. However, only a small number of research works explore the potential of application contexts regarding network resource management (e.g., content distribution applications). Therefore it is interesting to develop an open platform for distributed applications development helping to manage resources and elasticity in clouds. This dissertation presents Trade Wind, a solution to help the development of distributed applications and services for cloud computing resource and elasticity management. The solution is composed by an elastic application development model, an application compostion model from features and services development, an architecture and a middleware. In order to evaluate and validate the suggested solution, it was developed a test prototype implementing an application for real time video streams distribution utilizing an automatic redundant streams reduction feature. The results collected from the test executions validate Trade Wind solution running the adapted proof of concept application. The tests also showed the multichannel feature added working in a adequate manner. The redundant streams reduction application has proven to reduce bandwidth consumption by the half in the configured test scenarios. And it also has potential to save more bandwidth resources in a scenario with higher number of redundant video streams.

Técnicas e ferramentas (middlewares para desenvolvimento de aplicações distribuídas são utilizadas no caso dos recursos de um único computador não serem suficientes, ou para atender requisitos de qualidade de serviço, ou mesmo para abranger uma maior quantidade de usuários. A Realidade Virtual é uma das áreas da computação a sua complexidade, se beneficia de tais técnicas e middlewares, seja para proporcionar ambientes mais imersivos e/ou possibilitar a interação de múltiplos usuários. A Realidade Virtual engloba uma ampla diversidade de aplicações, incluindo infraestruturas de alta imersão, jogos multi-jogadores, e simuladores de voo, e cada classe de aplicação têm demandas específicas de distribuição, como escalabilidade, ou requisitos de tempo-real, entre outros. Devido à complexidade e a essa diversidade de aplicações de realidade virtual, as alternativas de middlewares disponíveis atendem requisitos específicos de uma única classe, ou, as genéricas, não fornecem modelos de objetos, comunicação ou execução favoráveis às aplicações de realidade virtual. Esse trabalho tem o objetivo de propor um novo modelo de objetos e arquitetura de um middleware para desenvolvimento de aplicações distribuídas de realidade virtual suficientemente flexível para atender diversas classes de aplicações. O modelo de objetos proposto une os modelos publicador/assinante e requisição/ resposta em uma única entidade similar aos objetos do paradigma de programação orientada a objetos, que, além de empregar conceitos intuitivos para desenvolvedores, possibilita o desacoplamento lógico entre os processos, simplificando o projeto e a implementação das aplicações distribuídas. O principal diferencial desta abordagem é a possibilidade de distribuir a implementação de cada membro dos objetos em diferentes processos. / Techniques and middlewares for distributed application development are used in cases the resources available in a single computer are not enough for the demanded complexity, to meet the required quality of services, or even to cover a greater number of users. The Virtual Reality is one of the computer fields that, because of its complexity, benefits from such techniques and tools, either to provide more immersive virtual environments, or to enable multi-user interaction. The Virtual Reality covers a wide range of applications, including high immersion infrastructures, multiplayer games, and full mission flight simulators. Each application class has specifics distribution demands, such as high scalability, or real-time requirements. Because of complexity and the diversity of virtual reality applications, the distribution solutions available meet the specific requirements of a single class, or the generic ones do not provide object, communication, or execution favorable for virtual reality applications. This work proposes a new model of objects and architecture of a middleware for distributed virtual reality applications that is flexible enough to suit several classes of applications. The proposed object model joins the publisher/subscriber and request/response models to a single logic entity similar to the objects of the object-oriented programming paradigm. Besides being an intuitive concept for developers, this entity enable logical decoupling between processes, simplifying the design and implementation of distributed applications. The main feature of this approach is the possibility to distribute the implementation of each member of the objects in different processes.

D’ici 2020, l’univers numérique atteindra 44 zettaoctets puisqu’il double tous les deux ans. Les données se présentent sous les formes les plus diverses et proviennent de sources géographiquement dispersées. L’explosion de données crée un besoin sans précédent en terme de stockage et de traitement de données, mais aussi en terme de logiciels de traitement de données capables d’exploiter au mieux ces ressources informatiques. Ces applications à grande échelle prennent souvent la forme de workflows qui aident à définir les dépendances de données entre leurs différents composants. De plus en plus de workflows scientifiques sont exécutés sur des clouds car ils constituent une alternative rentable pour le calcul intensif. Parfois, les workflows doivent être répartis sur plusieurs data centers. Soit parce qu’ils dépassent la capacité d’un site unique en raison de leurs énormes besoins de stockage et de calcul, soit car les données qu’ils traitent sont dispersées dans différents endroits. L’exécution de workflows multisite entraîne plusieurs problèmes, pour lesquels peu de solutions ont été développées : il n’existe pas de système de fichiers commun pour le transfert de données, les latences inter-sites sont élevées et la gestion centralisée devient un goulet d’étranglement. Cette thèse présente trois contributions qui visent à réduire l’écart entre les exécutions de workflows sur un seul site ou plusieurs data centers. Tout d’abord, nous présentons plusieurs stratégies pour le soutien efficace de l’exécution des workflows sur des clouds multisite en réduisant le coût des opérations de métadonnées. Ensuite, nous expliquons comment la manipulation sélective des métadonnées, classées par fréquence d’accès, améliore la performance des workflows dans un environnement multisite. Enfin, nous examinons une approche différente pour optimiser l’exécution de workflows sur le cloud en étudiant les paramètres d’exécution pour modéliser le passage élastique à l’échelle. / By 2020, the digital universe is expected to reach 44 zettabytes, as it is doubling every two years. Data come in the most diverse shapes and from the most geographically dispersed sources ever. The data explosion calls for applications capable of highlyscalable, distributed computation, and for infrastructures with massive storage and processing power to support them. These large-scale applications are often expressed as workflows that help defining data dependencies between their different components. More and more scientific workflows are executed on clouds, for they are a cost-effective alternative for intensive computing. Sometimes, workflows must be executed across multiple geodistributed cloud datacenters. It is either because these workflows exceed a single site capacity due to their huge storage and computation requirements, or because the data they process is scattered in different locations. Multisite workflow execution brings about several issues, for which little support has been developed: there is no common ile system for data transfer, inter-site latencies are high, and centralized management becomes a bottleneck. This thesis consists of three contributions towards bridging the gap between single- and multisite workflow execution. First, we present several design strategies to eficiently support the execution of workflow engines across multisite clouds, by reducing the cost of metadata operations. Then, we take one step further and explain how selective handling of metadata, classified by frequency of access, improves workflows performance in a multisite environment. Finally, we look into a different approach to optimize cloud workflow execution by studying some parameters to model and steer elastic scaling.

Este trabalho apresenta uma ferramenta de apoio ao desenvolvimento de aplicações distribuídas, baseadas em RPCs, para o ambiente Windows 95. Discute, ainda, algumas aplicações construídas para validar o sistema, as quais seguem o paradigma cliente-servidor. É feita uma revisão bibliográfica dos assuntos mais relevantes relacionados ao tema e apresentados os detalhes de implementação da ferramenta. Esta foi implementada com técnicas de orientação a objetos, sendo composta por um Gerador Automático de Stubs e uma Biblioteca RPC, além de possibilitar a utilização de um Serviço de Binding. As aplicações construídas procuram explorar as potencialidades da ferramenta, sendo fornecidas também orientações gerais para o desenvolvimento de aplicações distribuídas no ambiente Windows 95. / This work presents a tool to support the development of RPC-based distributed applications in the Windows 95 environment. It also discusses some applications built to validate the system, which follow the client-server model. A theoretical review of the most relevant topics related to the field is done and the tool’s implementation details are presented. This tool was implemented with object-oriented techniques and comprises an automatic Stub Generator and an RPC Library, together with a Binding Service. The distributed applications that were built try to explore the tool’s full potential. General guidelines regarding the development of distributed applications for the Windows 95 environment are also provided.

Alors que l'informatique est devenue omniprésente dans notre société actuelle, assurer la qualité d'un logiciel revêt une importance grandissante. Pour accroître cette qualité, l'une des conditions à respecter est la correction du système. Dans cette thèse, nous nous intéressons plus particulièrement aux systèmes distribués mettant en œuvre un ou plusieurs programmes exécutés sur plusieurs machines qui communiquent entre elles à travers le réseau. Dans ce contexte, assurer leur correction est rendu plus difficile par leur hétérogénéité mais également par leurs spécificités communes. Les algorithmes correspondants sont parfois complexes et la prédiction de leur comportement difficilement réalisable sans une étude avancée. Les travaux réalisés au cours de cette thèse mettent en œuvre la vérification dynamique formelle de propriétés temporelles sur des applications distribuées. Cette approche consiste à vérifier l'implémentation réelle d'une application à travers son exécution. L'enjeu majeur est de réussir à appliquer les techniques associées au Model checking dans le cadre d'une vérification sur des implémentations réelles d'applications distribuées et non plus sur des modèles abstraits. Pour cela, nous proposons dans un premier temps une analyse sémantique dynamique par introspection mémoire d'un état système permettant de détecter des états sémantiquement identiques. Puis, nous mettons en œuvre la vérification dynamique formelle de certaines propriétés temporelles : les propriétés de vivacité, formulées à l'aide de la logique LTL_X, et le déterminisme des communications dans les applications MPI. Une évaluation de chacune de ces contributions est réalisée à travers plusieurs expériences / While computers have become ubiquitous in our current society, ensuring the software quality takes on an increasing importance. One of the requirements to enhance this quality is the system correctness. In this thesis, we are particularly interested in distributed systems implementing one or more programs executed on several machines which communicate with each other through a network. Ensuring the system correctness is more difficult in this context, due to their heterogeneity but also their common characteristics. Corresponding algorithms are sometimes complex and the prediction of their behavior may be difficult to realize without an advanced study. The work done during this thesis implement the dynamic formal verification of some temporal properties on legacy distributed applications. This approach consists of checking the real implementation of an application by its systematic execution. The challenge in this approach is how to apply the methods derived from Model checking in the context of the verification of legacy distributed applications (without access to source code) and no longer on abstract models. For that, we propose in a first step a dynamic semantic analysis of a system state permitting the detection of identical states. Then, we implement the dynamic formal verification of some temporal properties: liveness properties, specified with the LTL_X logic, and the communications determinism in MPI applications. These contributions are experimentaly validated and evaluated with different series of experiments

Grids, multi-clusters, NUMA systems, and ad-hoc collections of distributed computing devices all present diverse environments in which distributed computing applications can be run. Due to the diversity of features provided by these environments a distributed application that is to perform well must be specifically designed and optimised for the environment in which it is deployed. Such optimisations generally affect the application's communication structure, its consistency protocols, and its communication protocols. This thesis explores approaches to improving the ability of distributed applications to share consistent data efficiently and with improved functionality over wide-area and diverse environments. We identify a fundamental separation of concerns for distributed applications. This is used to propose a new model, called the view model, which is a hybrid, cost-conscious approach to remote data sharing. It provides the necessary mechanisms and interconnects to improve the flexibility and functionality of data sharing without defining new programming models or protocols. We employ the view model to adapt distributed applications to their run-time environment without modifying the application or inventing new consistency or communication protocols. We explore the use of view model properties on several programming models and their consistency protocols. In particular, we focus on programming models used in distributed-shared-memory middleware and applications, as these can benefit significantly from the properties of the view model. Our evaluation demonstrates the benefits, side effects and potential short-comings of the view model by comparing our model with traditional models when running distributed applications across several multi-clusters scenarios. In particular, we show that the view model improves the performance of distributed applications while reducing resource usage and communication overheads.