CoordenaÃÃo de AperfeiÃoamento de Pessoal de NÃvel Superior / Na computaÃÃo em nuvem, a elasticidade e a capacidade de isolamento de carga permitem que seus recursos sejam aprovisionados e liberados em resposta a cargas de trabalho dinÃmicas com baixo tempo de inatividade. Tais caracterÃsticas sÃo tÃpicas de clusters hospedados em nuvem (cluster virtual - CV), de tal forma que estes recursos precisam ser gerenciados a fim de se garantir a minimizaÃÃo do desperdÃcio de recursos nos provedores e garantir que o desempenho dos recursos nÃo seja afetado negativamente. Este trabalho propÃe uma polÃtica para adaptaÃÃo dinÃmica de clusters virtuais (CVs) a fim de reduzir o nÃmero de recursos ociosos sem comprometer o desempenho dos serviÃos. O algoritmo proposto baseado em heurÃstica, realiza instanciaÃÃo e desligamento de mÃquinas virtuais nos CVs conforme variaÃÃo na demanda por recursos de aplicaÃÃes do tipo saco de tarefas (Bag-of-Tasks, BoT). O algoritmo foi especificado, verificado e validado atravÃs de simulaÃÃes em Redes de Petri (RdP). O desempenho da proposta à avaliado em trÃs cenÃrios distintos a partir das mÃtricas: quantidade total de mÃquinas iniciadas, quantidade de mÃquinas ociosas reutilizadas, tempo total de execuÃÃo da aplicaÃÃo e quantidade mÃdia de clusters iniciados. Os resultados mostraram que a polÃtica de adaptaÃÃo proposta à capaz reduzir a ociosidade e a sobrecarga de um CV e, consequentemente, melhorar o consumo de energia. / In cloud computing, elasticity and capacity of load isolation allow their resources to be provisioned and released in response to dynamic workloads with reduced downtime. These characteristics are typical of clusters hosted in a cloud (virtual cluster - VC), so that these resources need to be managed in order to minimize its waste in cloud providers and ensure that resource performance is not adversely affected. This work proposes a policy for dynamic adaptation of virtual clusters (VCs) to reduce the number of idle resources without compromising their performance of resources. The proposed algorithm, based on heuristics, performs instantiation/shut-down of the virtual machines (VMs) in virtual clusters according variation in demand for resources of applications of type Bag-of-Tasks, BoT. The algorithm has been specified, verified and validated using Petri Nets formalism. The selected metrics to evaluate the proposal performance in three different scenarios are the total amount of machine started, amount of idle machines reused, total time of execution the application and average number of clusters started. The results showed that the adaptation policy proposal is able to reduce idle and the overhead of a virtual cluster and thus improve power consumption.

Les avancées technologiques ont conduit les grandes organisations telles que les entreprises,les universités et les instituts de recherche à se doter d'intranets constitués de plusieurs serveurs etd'un grand nombre de postes de travail. Cependant dans certaines de ces organisations, les postes detravail sont très peu utilisés pendant la nuit, les week-ends et les périodes de congés, libérant ainsiune grande puissance de calcul disponible et inutilisée.Dans cette thèse, nous étudions l'exploitation de ces temps de jachère afin d'exécuter desapplications de calcul haute performance. A cet effet, nous supposons que les postes acquis sontrebootés et intégrés à des grappes virtuelles constituées dynamiquement. Toutefois, ces temps dejachère ne permettent pas toujours d'exécuter les applications jusqu'à leur terme. Les mécanismes desauvegarde/reprise (checkpointing) sont alors utilisés pour sauvegarder, dans un certain délai, lecontexte d'exécution des applications en vue d'une éventuelle reprise. Il convient de noter que lasauvegarde de tous les processus dans les délais impartis n'est pas toujours possible. Nousproposons un modèle d'ordonnancement des sauvegardes en parallèle, qui tient compte descontraintes temporelles imposées et des contraintes liées aux bandes passantes (réseau et disque),pour maximiser les temps de calcul déjà effectués pour les applications candidates à la sauvegarde. / The technological advances has led major organizations such as enterprises, universities andresearch institutes to acquire intranets consisting of several servers and many workstations.However, in some of these organizations, the resources are rarely used at nights, weekends and onholidays, thus releasing a large computing power available and unused.This thesis discusses the exploitation of the idle period of workstaions in order to run HPCapplications. The workstations retained are restarted and integrated in dynamically formed clusters.However, the idle periods do not always permit the complete carrying out of the computationsallocated to them. The checkpointing mechanisms are then used to save in a certain period, theexecution context of applications for a possible restart. It is worth nothing that checkpointing all theprocesses in the required period is not always possible. We propose a scheduling model ofcheckpointing in parallel, which takes into account the time constraints imposed and the bandwidthconstraints (network and disk) to maximize the computation time already taken for the applicationswhich are to be checkpointed.

Grid computing has been defined as an infrastructure integrator of distributed resources. Although it is already used on a large scale in many areas, this type of computational infrastructure is still an area of active research, with many open questions. Today, new research works investigate the application of resources virtualization techniques to perform the composition of virtual grids. These grids can be defined as a high level abstraction of resources (computing and network), through which users have a view of a wide range of interconnected computers, that can be selected and virtually organized. In a virtual grid, as well in a real grid, users and middleware must have tools that allow the composition and management of the infrastructure. Among these tools, there are languages for resource description that allow the specification of components that will be used in the infrastructure. In a virtualized environment, the resources descriptions languages should offer attributes that interact with some peculiarities, such as the possibility of allocate multiple virtual resources (computing and network) on the same physical resource. In this context, this work presents VXDL, a language developed for the interconnections and resources description in virtual grids. The innovations proposed in VXDL allow the description, classification and parameter specification of all desirable components, including network topology and virtual routers. VXDL also allow the specification of a execution timeline, which can assist grid middleware in the tasks of resources sharing and scheduling. To evaluate the proposed language, this work presentes I) a comparative study between VXDL and other resources description languages and II) an analysis of results obtained with the benchmarks execution in virtual infrastructures composed using different VXDL descriptions. / Grades de computadores vêm se afirmando como uma infra-estrutura integradora de recursos distribuídos. Embora já seja utilizado em grande escala, este tipo de infraestrutura computacional ainda constitui um campo de pesquisa ativo, com muitas questões em aberto. Pesquisas atuais investigam as chamadas grades virtuais, que tiram proveito de tecnologias de virtualização de recursos em sua composição. Essas grades podem ser definidas como uma abstração de alto nível dos recursos (computacionais e de comunicação), através da qual usuários têm uma visão de um amplo conjunto de computadores interligados, que podem ser selecionados e organizados virtualmente. Em grades virtuais, assim como em grades reais, usuários e middlewares devem dispor de ferramentas que permitam a composição e o gerenciamento das infra-estruturas. Dentre essas ferramentas, encontram-se as linguagens para descrição de recursos, que permitem a definição dos componentes que deverão ser utilizados na infra-estrutura. Em ambientes virtualizados, as linguagens descritivas devem oferecer atributos que interajam com peculiaridades, como a possibilidade de alocação de múltiplos recursos virtuais (computacionais e de rede) sobre um mesmo recurso físico. Neste contexto, este trabalho apresenta VXDL, uma linguagem projetada para a descrição de interconexões e recursos computacionais em grades virtuais. As inovações propostas em VXDL permitem a descrição, classificação e parametrização de todos os componentes desejáveis, bem como a definição de uma topologia de rede, inclusive informando a localização de roteadores virtuais. Permite-se também a definição de um cronograma de execução, que pode auxiliar middlewares nas tarefas de compartilhamento e escalonamento dos recursos. Para avaliar a linguagem proposta, apresenta-se I) um estudo comparativo entre VXDL e outras linguagens de descrição existentes, e II) uma análise de resultados obtidos com a execução de benchmarks sobre infra-estruturas compostas com diferentes descrições VXDL.

[EN] Modern data centers integrate a lot of computer and electronic devices. However, some reports state that the mean usage of a typical data center is around 50% of its peak capacity, and the mean usage of each server is between 10% and 50%. A lot of energy is destined to power on computer hardware that most of the time remains idle. Therefore, it would be possible to save energy simply by powering off those parts from the data center that are not actually used, and powering them on again as they are needed. Most data centers have computing clusters that are used for intensive computing, recently evolving towards an on-premises Cloud service model. Despite the use of low consuming components, higher energy savings can be achieved by dynamically adapting the system to the actual workload. The main approach in this case is the usage of energy saving criteria for scheduling the jobs or the virtual machines into the working nodes. The aim is to power off idle servers automatically. But it is necessary to schedule the power management of the servers in order to minimize the impact on the end users and their applications. The objective of this thesis is the elastic and efficient management of cluster infrastructures, with the aim of reducing the costs associated to idle components. This objective is addressed by automating the power management of the working nodes in a computing cluster, and also proactive stimulating the load distribution to achieve idle resources that could be powered off by means of memory overcommitment and live migration of virtual machines. Moreover, this automation is of interest for virtual clusters, as they also suffer from the same problems. While in physical clusters idle working nodes waste energy, in the case of virtual clusters that are built from virtual machines, the idle working nodes can waste money in commercial Clouds or computational resources in an on-premises Cloud. / [ES] En los Centros de Procesos de Datos (CPD) existe una gran concentración de dispositivos informáticos y de equipamiento electrónico. Sin embargo, algunos estudios han mostrado que la utilización media de los CPD está en torno al 50%, y que la utilización media de los servidores se encuentra entre el 10% y el 50%. Estos datos evidencian que existe una gran cantidad de energía destinada a alimentar equipamiento ocioso, y que podríamos conseguir un ahorro energético simplemente apagando los componentes que no se estén utilizando. En muchos CPD suele haber clusters de computadores que se utilizan para computación de altas prestaciones y para la creación de Clouds privados. Si bien se ha tratado de ahorrar energía utilizando componentes de bajo consumo, también es posible conseguirlo adaptando los sistemas a la carga de trabajo en cada momento. En los últimos años han surgido trabajos que investigan la aplicación de criterios energéticos a la hora de seleccionar en qué servidor, de entre los que forman un cluster, se debe ejecutar un trabajo o alojar una máquina virtual. En muchos casos se trata de conseguir equipos ociosos que puedan ser apagados, pero habitualmente se asume que dicho apagado se hace de forma automática, y que los equipos se encienden de nuevo cuando son necesarios. Sin embargo, es necesario hacer una planificación de encendido y apagado de máquinas para minimizar el impacto en el usuario final. En esta tesis nos planteamos la gestión elástica y eficiente de infrastructuras de cálculo tipo cluster, con el objetivo de reducir los costes asociados a los componentes ociosos. Para abordar este problema nos planteamos la automatización del encendido y apagado de máquinas en los clusters, así como la aplicación de técnicas de migración en vivo y de sobreaprovisionamiento de memoria para estimular la obtención de equipos ociosos que puedan ser apagados. Además, esta automatización es de interés para los clusters virtuales, puesto que también sufren el problema de los componentes ociosos, sólo que en este caso están compuestos por, en lugar de equipos físicos que gastan energía, por máquinas virtuales que gastan dinero en un proveedor Cloud comercial o recursos en un Cloud privado. / [CAT] En els Centres de Processament de Dades (CPD) hi ha una gran concentració de dispositius informàtics i d'equipament electrònic. No obstant això, alguns estudis han mostrat que la utilització mitjana dels CPD està entorn del 50%, i que la utilització mitjana dels servidors es troba entre el 10% i el 50%. Estes dades evidencien que hi ha una gran quantitat d'energia destinada a alimentar equipament ociós, i que podríem aconseguir un estalvi energètic simplement apagant els components que no s'estiguen utilitzant. En molts CPD sol haver-hi clusters de computadors que s'utilitzen per a computació d'altes prestacions i per a la creació de Clouds privats. Si bé s'ha tractat d'estalviar energia utilitzant components de baix consum, també és possible aconseguir-ho adaptant els sistemes a la càrrega de treball en cada moment. En els últims anys han sorgit treballs que investiguen l'aplicació de criteris energètics a l'hora de seleccionar en quin servidor, d'entre els que formen un cluster, s'ha d'executar un treball o allotjar una màquina virtual. En molts casos es tracta d'aconseguir equips ociosos que puguen ser apagats, però habitualment s'assumix que l'apagat es fa de forma automàtica, i que els equips s'encenen novament quan són necessaris. No obstant això, és necessari fer una planificació d'encesa i apagat de màquines per a minimitzar l'impacte en l'usuari final. En esta tesi ens plantegem la gestió elàstica i eficient d'infrastructuras de càlcul tipus cluster, amb l'objectiu de reduir els costos associats als components ociosos. Per a abordar este problema ens plantegem l'automatització de l'encesa i apagat de màquines en els clusters, així com l'aplicació de tècniques de migració en viu i de sobreaprovisionament de memòria per a estimular l'obtenció d'equips ociosos que puguen ser apagats. A més, esta automatització és d'interés per als clusters virtuals, ja que també patixen el problema dels components ociosos, encara que en este cas estan compostos per, en compte d'equips físics que gasten energia, per màquines virtuals que gasten diners en un proveïdor Cloud comercial o recursos en un Cloud privat. / Alfonso Laguna, CD. (2015). Efficient and elastic management of computing infrastructures [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/57187 / TESIS

Submitted by Maria Cristina (library@lncc.br) on 2015-09-03T17:53:55Z No. of bitstreams: 1 Dissertacao_Daniel_Yokoyama.pdf: 3080551 bytes, checksum: fb4afe8fd7691c5976810b6e1418b97f (MD5) / Approved for entry into archive by Maria Cristina (library@lncc.br) on 2015-09-03T17:54:16Z (GMT) No. of bitstreams: 1 Dissertacao_Daniel_Yokoyama.pdf: 3080551 bytes, checksum: fb4afe8fd7691c5976810b6e1418b97f (MD5) / Made available in DSpace on 2015-09-03T17:54:48Z (GMT). No. of bitstreams: 1 Dissertacao_Daniel_Yokoyama.pdf: 3080551 bytes, checksum: fb4afe8fd7691c5976810b6e1418b97f (MD5) Previous issue date: 2015-06-22 / Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) / Confronted by the increase in demand for computing power to solve scientific applications, the need to purchase and maintain a computing infrastructure becomes a must and a hindrance to research institutions. In this backdrop, the technological race and the need to purchase equipment, the cloud computing paradigm focusing on scientific computing emerges as a tool to aid in the advancement of scientific works. The following text presents a private cloud platform focused on the creation and management of computational clusters for application in solving high-performance computing tasks, specifically highly parallelizable processes using MPI. In addition to the system description cluster computing clouds, the work presents a scheduling model of virtual machines based on the affinity of the applications running on the hosts. This allocation model aims to allow better use of the resources available to the platform, increasing the flow of tasks performed. / Mediante a crescente demanda por poder computacional para a resolução de aplicações científicas, a necessidade de aquisição e manutenção de uma infraestrutura computacional torna-se uma obrigação e um empecilho para as instituições de pesquisa. Perante este cenário, de corrida tecnológica e a necessidade de aquisição de equipamentos, o paradigma de computação em nuvem voltado para a computação científica surge como uma ferramenta para auxiliar no avanço dos trabalhos científicos. O texto a seguir apresenta uma plataforma de nuvem privada voltada à criação e gerência de clusters computacionais para a aplicação na resolução de tarefas de computação de alto desempenho, especificamente processos altamente paralelizáveis utilizando MPI . Além da descrição do sistema para clusters computacionais em nuvem, o trabalho segue para apresentar um modelo de escalonamento de máquinas virtuais baseado na afinidade das aplicações em execução nos hospedeiros. Este modelo de alocação busca permitir um melhor aproveitamento dos recursos disponíveis à plataforma, aumentando a vazão de tarefas executadas.