Submitted by Setor de Tratamento da Informa??o - BC/PUCRS (tede2@pucrs.br) on 2016-10-27T13:30:38Z
No. of bitstreams: 1
DIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf: 2078809 bytes, checksum: aca87c1407ee47a427ded2bd7f57523f (MD5) / Made available in DSpace on 2016-10-27T13:30:38Z (GMT). No. of bitstreams: 1
DIS_KASSIANO_JOSE_MATTEUSSI_COMPLETO.pdf: 2078809 bytes, checksum: aca87c1407ee47a427ded2bd7f57523f (MD5)
Previous issue date: 2016-03-17 / Big Data applications need to process and analyze large data set in parallel, such as MR applications that perform intensive disk operations. In such context, we observed a trend on use container based virtualization to process high-performance applications as MapReduce. However, the use of containers to data-intensive processing brought back many already solved interference problems in the traditional virtualized environments, such as example the interference problem caused by concurrently disk resources usage, also known as disk contention. This work shows an experimental study to investigate the intensive and concurrent usage of write resources in disk: where are concentrated the main disk interference problems, being responsible for leading the virtualized environment that uses containers to process MapReduce application until disk contention. Our result presents a static and dynamic policy for disk resource management in order to minimize the contention between MapReduce applications. Finally, the Makespan metric was evaluated and the gains over the strategies are static 31% and dynamic 26%. / Aplica??es Big Data precisam analisar e processar grandes quantidades de dados em paralelo, como ? o caso das aplica??es MapReduce que s?o conhecidas pela utiliza??o intensiva de disco. Nesse contexto, observou-se a tend?ncia em utilizar a virtualiza??o baseada em cont?ineres para o processamento de aplica??es de alto desempenho, como o MapReduce. Entretanto, o uso de cont?ineres para o processamento intensivo de dados trouxe ? tona diversos problemas de interfer?ncia j? resolvidos para as tecnologias tradicionais de virtualiza??o, como por exemplo a interfer?ncia causada pela uso concorrente dos recursos de disco, problema esse tamb?m conhecido como conten??o de disco. Esse trabalho apresenta um estudo experimental que investiga o uso intensivo e concorrente dos recursos de escrita em disco: em que se concentram os principais problemas de interfer?ncia de disco, respons?veis por conduzir os ambientes virtualizados que utilizem cont?ineres para o processamento de aplica??es MapReduce ? conten??o de disco. Os resultados demonstram que ao utilizar pol?ticas tanto est?ticas quanto din?micas para o gerenciamento de recursos ? poss?vel minimizar os problemas de conten??o de disco e acelerar as aplica??es MapReduce processadas sobre cont?ineres. A m?trica Makespan foi avaliada e os ganhos sobre as estrat?gias s?o de: est?tica 31% e a din?mica 26%.
| Identifer | oai:union.ndltd.org:IBICT/oai:tede2.pucrs.br:tede/7013 |
| Date | 17 March 2016 |
| Creators | Matteussi, Kassiano Jos? |
| Contributors | De Rose, C?sar Augusto Fonticielha |
| Publisher | Pontif?cia Universidade Cat?lica do Rio Grande do Sul, Programa de P?s-Gradua??o em Ci?ncia da Computa??o, PUCRS, Brasil, Faculdade de Inform?tica |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | English |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Format | application/pdf |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da PUC_RS, instname:Pontifícia Universidade Católica do Rio Grande do Sul, instacron:PUC_RS |
| Rights | info:eu-repo/semantics/openAccess |
| Relation | 1974996533081274470, 600, 600, 600, -3008542510401149144, 3671711205811204509 |
Page generated in 0.002 seconds