PERICINI, Matheus Henrique Machado. Utilização de metaheurísticas para balanceamento de carga em ambientes MapReduce. 2017. 71 f. Dissertação (Mestrado em Ciência da Computação)-Universidade Federal do Ceará, Fortaleza, 2017. / Submitted by Jonatas Martins (jonatasmartins@lia.ufc.br) on 2017-10-19T17:17:01Z
No. of bitstreams: 1
2017_dis_mhmpericini.pdf: 2342022 bytes, checksum: 8bfd2d1fee199d87109de3ba41cb73df (MD5) / Approved for entry into archive by Jairo Viana (jairo@ufc.br) on 2017-10-30T17:13:30Z (GMT) No. of bitstreams: 1
2017_dis_mhmpericini.pdf: 2342022 bytes, checksum: 8bfd2d1fee199d87109de3ba41cb73df (MD5) / Made available in DSpace on 2017-10-30T17:13:30Z (GMT). No. of bitstreams: 1
2017_dis_mhmpericini.pdf: 2342022 bytes, checksum: 8bfd2d1fee199d87109de3ba41cb73df (MD5)
Previous issue date: 2017 / With the increase in the number of data obtained by large companies, it was necessary to elaborate new strategies for the processing of this data in order to maintain the relevance of the information that they contain. One of the strategies that has been widely used is based on a programming model, called MapReduce, which uses division and conquest to process the data in a cluster of machines. Hadoop is one of the most consolidated implementations of the MapReduce model. But even such a strategy is subject to improvement. In it, the runtime depends on all the machines causing any overloaded machine to generate a delay in the delivery of the result. This overhead is caused by a problem commonly called Data Skew which consists of an unequal division of data, either by the size of the data or by the way it is divided. In order to solve this problem, we have proposed the MALiBU, an improvement of the execution strategy of Hadoop, which partitions the data between the machines using a meta-heuristic among them Simulated Annealing, Local Beam Search or Stochastic Beam Search. Experimental results showed improvements in the performance of Hadoop when using metaheuristics to distribute the data among the processing elements of the model, as well as among the three meta-heuristics evaluated, which has the best results. / Com o aumento do número de dados obtidos por grandes empresas, foi necessário elaborar novas estratégias para o processamento desses dados de modo a manter sua relevância e aproveitar suas informações. Uma das estratégias que tem sido amplamente utilizada tem como base um modelo de programação, chamado MapReduce, que utiliza divisão e conquista para processar os dados em um cluster de máquinas. O Hadoop é uma das implementações mais consolidadas do modelo de MapReduce. Mas mesmo tal estratégia é passível de melhorias. Nela o tempo de execução é dependente de todas as máquinas fazendo com que qualquer máquina sobrecarregada gere um atraso na entrega do resultado. Essa sobrecarga é causada por um problema chamado comumente de Data Skew que consiste em uma divisão desigual dos dados causado pelo tamanho dos dados, o modo como eles são divididos, ou o processamento desigual dos dados. Visando resolver esse problema, propusemos o MALiBU, uma melhoria da estratégia de execução do MapReduce que particiona os dados entre as máquinas usando uma meta-heurística dentre elas Simulated Annealing, Local Beam Search ou Stochastic Beam Search. Resultados experimentais mostraram melhorias no desempenho do MapReduce quando se faz uso de meta-heurística para distribuir os dados entre as máquinas, bem como mostraram, dentre as três meta-heurísticas avaliadas, qual delas melhor balanceia a carga.
| Identifer | oai:union.ndltd.org:IBICT/oai:www.repositorio.ufc.br:riufc/27010 |
| Date | January 2017 |
| Creators | Pericini, Matheus Henrique Machado |
| Contributors | Machado, Javam de Castro |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | English |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/masterThesis |
| Source | reponame:Repositório Institucional da UFC, instname:Universidade Federal do Ceará, instacron:UFC |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0033 seconds