É um resultado conhecido que em Data Grids, onde o processamento envolve grandes quantidades de dados, pode ser mais eficaz escalonar os processos para execução nos sites que já dispõem dos dados do que transferir os dados para um site onde o processo que irá necessitar deles foi escalonado. Os estudos existentes se baseiam em pequenas quantidades de sites, com conhecimento centralizado sobre o estado dos diversos sites. Essa opção não é escalável para Grids com grande número de participantes. Este trabalho analisa versões distribuídas com informação local para os algoritmos de escalonamento de processo e replicação de dados, mostrando o efeito das topologias de interconexão de sites no desempenho desses. É observado que, considerando a existência apenas de informações locais devido às restrições topologicas, resultados diferentes quanto aos melhores algoritmos de escalonamento de processos e replicação de dados são encontrados. / It is a known result that in Data Grids, where the processing involves large amounts of data, can be more effective schedule processes to run on sites that already have the data than transfering data to a site where the process that will require them was installed. The existing studies are based on small numbers of sites, with centralized knowledge about the state of the various sites. This option is not scalable for grids with large numbers of participants. This paper will propose distributed versions with local information for process scheduling algorithms and data replication, showing the effect of interconnect topologies on the performance of these sites. It is observed that, considering the existence of only local information due to topological constraints, different results related to the best scheduling algorithms and data replication processes are found.

Pesquisas em sistemas paralelos e distribuídos de alto desempenho apresentam limitações no que se refere a análise, projeto, implementação e execução automática e transparente de aplicações. Essas limitações motivaram o projeto do MidHPC (do inglês Middleware for High Performance Computing, ou seja, Middleware para Computação de Alto Desempenho), que balanceia transparente e automaticamente cargas de trabalho considerando a capacidade dos recursos computacionais e o comportamento das aplicações envolvendo: processamento, acesso a disco, memória e rede. Para utilizar todo o potencial do MidHPC, aplicações devem ser escritas utilizando o modelo de programação concorrente, tal como o padrão POSIX de threads (pthreads). Aplicações desenvolvidas seguindo esse modelo de programação podem ser executadas em ambientes de Grid sem alteração de código fonte ou recompilação. Durante a execução, tarefas de uma mesma aplicação paralela comunicam-se, transparentemente, por meio de um sistema de memória compartilhada distribuída. O objetivo deste trabalho foi desenvolver alguns dos módulos do projeto MidHPC e integrar demais ferramentas que haviam sido previamente desenvolvidas pelo grupo. Este trabalho permite aplicar, em ambientes reais, todos os conceitos de escalonamento de processos estudados e desenvolvidos durante o projeto MidHPC / Current researches on parallel and distributed systems present limitations regarding the analysis, design, implementation and automatic execution of high performance applications. Those limitations motivated the design of MidHPC (Middleware for High Performance Computing), which transparently and automatically balances workloads considering computing resources capacities and application behavior such as: processing, network, memory and disc accesses. In order to use all of the MidHPC potential, applications must be developed following the concurrent programming model, using the POSIX thread standard (pthreads). Applications developed according to this programming model can be executed in the Grid environment with no source code modification nor recompilation. During the execution, tasks of the same application communicate, transparently, using a distributed shared memory system. The objective of this master thesis was to develop modules of the MidHPC project and integrate tools that were previously developed by the research group. This work allows applying, in real-world environments, all process scheduling concepts studied and developed during the MidHPC project

Este trabalho analisa o impacto causado no desempenho de uma simulação distribuída quando técnicas de particionamento convencionais são empregadas. Essas técnicas não levam em conta informações inerentes ao estado da simulação. Pelo fato da execução de uma simulação também estar sujeita a sofrer interferências da plataforma, informações sobre a potência computacional de cada recurso utilizado e sobre o tipo de simulação, podem ser aplicadas em seu particionamento. Foram utilizadas informações estáticas, geradas através da avaliação da plataforma com benchmarks, e dinâmicas, obtidas através de índices de carga. Os resultados obtidos da utilização destas técnicas se mostram atrativos, principalmente quando o objetivo é a execução das simulações em ambientes que não disponibilizam políticas de escalonamento específicas e sim políticas convencionais. Nos estudos de casos avaliados, observaram-se ganhos satisfatórios, como a redução de até 24% do tempo de execução, um aumento de até 22% de eficiência e 79% menos rollbacks causados. Percebe-se que dependendo do tempo que se dispõe e dos objetivos pretendidos, as técnicas convencionais podem ser empregadas em simulações distribuídas. Este trabalho também contribui com o aperfeiçoamento das duas ferramentas utilizadas: WARPED e AMIGO. Uma interface de comunicação entre as duas ferramentas foi desenvolvida, ampliando assim seus campos de utilização. / This work analyses the impact caused on distributed simulation performance when conventional partitioning techniques are employed. These techniques do not take into account inherent information about the state of the simulation. Since a simulation execution is subject to platform interference, information about the type of simulations and about the computational power of resources may be applied to the partitioning process. Static performance information, generated from evaluating the platform with benchmarks has been employed, as well as dynamic load information provided by load indices. The results obtained with this approach are attractive, mainly when the objective is to execute simulations on environments which make conventional scheduling policies available, instead of specific policies. The evaluated case studies show satisfactory performance gains of up to 24% of reduction in execution time, 22% of improvement in efficiency and reduction of up to 79% in rollbacks. So, depending on the available time and the aimed objectives, it is worth using conventional techniques to assist distributed simulation partitioning. This work also contributes to the improvement of both tools used in it: Warped and AMIGO. A communication interface has been developed to integrate the tools, extending their capabilities.

É um resultado conhecido que em Data Grids, onde o processamento envolve grandes quantidades de dados, pode ser mais eficaz escalonar os processos para execução nos sites que já dispõem dos dados do que transferir os dados para um site onde o processo que irá necessitar deles foi escalonado. Os estudos existentes se baseiam em pequenas quantidades de sites, com conhecimento centralizado sobre o estado dos diversos sites. Essa opção não é escalável para Grids com grande número de participantes. Este trabalho analisa versões distribuídas com informação local para os algoritmos de escalonamento de processo e replicação de dados, mostrando o efeito das topologias de interconexão de sites no desempenho desses. É observado que, considerando a existência apenas de informações locais devido às restrições topologicas, resultados diferentes quanto aos melhores algoritmos de escalonamento de processos e replicação de dados são encontrados. / It is a known result that in Data Grids, where the processing involves large amounts of data, can be more effective schedule processes to run on sites that already have the data than transfering data to a site where the process that will require them was installed. The existing studies are based on small numbers of sites, with centralized knowledge about the state of the various sites. This option is not scalable for grids with large numbers of participants. This paper will propose distributed versions with local information for process scheduling algorithms and data replication, showing the effect of interconnect topologies on the performance of these sites. It is observed that, considering the existence of only local information due to topological constraints, different results related to the best scheduling algorithms and data replication processes are found.

Este trabalho analisa o impacto causado no desempenho de uma simulação distribuída quando técnicas de particionamento convencionais são empregadas. Essas técnicas não levam em conta informações inerentes ao estado da simulação. Pelo fato da execução de uma simulação também estar sujeita a sofrer interferências da plataforma, informações sobre a potência computacional de cada recurso utilizado e sobre o tipo de simulação, podem ser aplicadas em seu particionamento. Foram utilizadas informações estáticas, geradas através da avaliação da plataforma com benchmarks, e dinâmicas, obtidas através de índices de carga. Os resultados obtidos da utilização destas técnicas se mostram atrativos, principalmente quando o objetivo é a execução das simulações em ambientes que não disponibilizam políticas de escalonamento específicas e sim políticas convencionais. Nos estudos de casos avaliados, observaram-se ganhos satisfatórios, como a redução de até 24% do tempo de execução, um aumento de até 22% de eficiência e 79% menos rollbacks causados. Percebe-se que dependendo do tempo que se dispõe e dos objetivos pretendidos, as técnicas convencionais podem ser empregadas em simulações distribuídas. Este trabalho também contribui com o aperfeiçoamento das duas ferramentas utilizadas: WARPED e AMIGO. Uma interface de comunicação entre as duas ferramentas foi desenvolvida, ampliando assim seus campos de utilização. / This work analyses the impact caused on distributed simulation performance when conventional partitioning techniques are employed. These techniques do not take into account inherent information about the state of the simulation. Since a simulation execution is subject to platform interference, information about the type of simulations and about the computational power of resources may be applied to the partitioning process. Static performance information, generated from evaluating the platform with benchmarks has been employed, as well as dynamic load information provided by load indices. The results obtained with this approach are attractive, mainly when the objective is to execute simulations on environments which make conventional scheduling policies available, instead of specific policies. The evaluated case studies show satisfactory performance gains of up to 24% of reduction in execution time, 22% of improvement in efficiency and reduction of up to 79% in rollbacks. So, depending on the available time and the aimed objectives, it is worth using conventional techniques to assist distributed simulation partitioning. This work also contributes to the improvement of both tools used in it: Warped and AMIGO. A communication interface has been developed to integrate the tools, extending their capabilities.

Pesquisas em sistemas paralelos e distribuídos de alto desempenho apresentam limitações no que se refere a análise, projeto, implementação e execução automática e transparente de aplicações. Essas limitações motivaram o projeto do MidHPC (do inglês Middleware for High Performance Computing, ou seja, Middleware para Computação de Alto Desempenho), que balanceia transparente e automaticamente cargas de trabalho considerando a capacidade dos recursos computacionais e o comportamento das aplicações envolvendo: processamento, acesso a disco, memória e rede. Para utilizar todo o potencial do MidHPC, aplicações devem ser escritas utilizando o modelo de programação concorrente, tal como o padrão POSIX de threads (pthreads). Aplicações desenvolvidas seguindo esse modelo de programação podem ser executadas em ambientes de Grid sem alteração de código fonte ou recompilação. Durante a execução, tarefas de uma mesma aplicação paralela comunicam-se, transparentemente, por meio de um sistema de memória compartilhada distribuída. O objetivo deste trabalho foi desenvolver alguns dos módulos do projeto MidHPC e integrar demais ferramentas que haviam sido previamente desenvolvidas pelo grupo. Este trabalho permite aplicar, em ambientes reais, todos os conceitos de escalonamento de processos estudados e desenvolvidos durante o projeto MidHPC / Current researches on parallel and distributed systems present limitations regarding the analysis, design, implementation and automatic execution of high performance applications. Those limitations motivated the design of MidHPC (Middleware for High Performance Computing), which transparently and automatically balances workloads considering computing resources capacities and application behavior such as: processing, network, memory and disc accesses. In order to use all of the MidHPC potential, applications must be developed following the concurrent programming model, using the POSIX thread standard (pthreads). Applications developed according to this programming model can be executed in the Grid environment with no source code modification nor recompilation. During the execution, tasks of the same application communicate, transparently, using a distributed shared memory system. The objective of this master thesis was to develop modules of the MidHPC project and integrate tools that were previously developed by the research group. This work allows applying, in real-world environments, all process scheduling concepts studied and developed during the MidHPC project

Orientadores: Edson Luiz Ursini, Paulo Sérgio Martins Pedro / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Tecnologia / Made available in DSpace on 2018-08-24T15:16:37Z (GMT). No. of bitstreams: 1 Santos_VlademirFazio_M.pdf: 4330659 bytes, checksum: a576d09102c26740d57f44a9686c5b76 (MD5) Previous issue date: 2014 / Resumo: Iniciativas industriais para finalizar a produção de multi-commodities embaladas sem formar estoque requerem inovação tecnológica constante. Atuam sincronizadamente com o múltiplo carregamento simultâneo diretamente em caminhões. Para isso desenvolvemos um modelo de simulação por eventos discretos e apresentamos seu modelo analítico de tráfego validado com Redes de Filas de Jackson e pela Lei de Conservação de Little. Descrevemos os limites do intervalo de variação de tempos máximos e médios de permanência de multi-commodities em sistemas de tempo real para três servidores paralelos. Esse sistema opera com mudanças dinâmicas de diferentes políticas de escalonamento. Um resultado é a confirmação do compromisso entre tempos máximos e médios independentemente de intensidade de tráfego e de políticas de escalonamento a que o modelo seja submetido. Outro é a identificação de uma faixa de relativa estabilidade operacional fora de regiões críticas. Assim, contribuímos com os princípios de um método que pode ser adotado como apoio às decisões de planejamento em ambientes industriais complexos submetidos a filas em tempo real / Abstract: The industrial initiatives for the production finalization of packed multi-commodities without forming stock require constant technological innovation. They operate a synchronous process to simultaneous multi-loading straightly into trucks. Regarding to this we developed a discrete event simulation model and present its traffic analytical model validated with the theory of Jackson Queueing Networks and the Little's Conservation Law. We describe the limits for the range of multi-commodities throuput-times and maximum waiting time in real-time systems with three parallel servers. This system operates with dynamical changes of different scheduling policies. A reached result is the confirmation of the average and maximum times mutual commitment despite of traffic intensity and scheduling policies that the model is submitted to. Another is the identification of a range of relative operational stability out of critical regions. As a contribution we offer the principles of a method that can be used to planning decision support in complex industrial environments subject to real-time queues / Mestrado / Tecnologia e Inovação / Mestre em Tecnologia

Orientadores: Paulo Sérgio Martins Pedro, Edson Luiz Ursini / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Tecnologia / Made available in DSpace on 2018-08-27T04:51:09Z (GMT). No. of bitstreams: 1 MassaroJunior_FlavioRubens_M.pdf: 3302871 bytes, checksum: aa117bbaac53f7ead30d1a21700e03aa (MD5) Previous issue date: 2015 / Resumo: Modos de operação e mudanças de modo são uma abstração útil para permitir que sistemas de tempo real sejam flexíveis e configuráveis. Trabalhos prévios em escalonamento preemptivo com prioridades fixas permitem que as tarefas passem de um modo de operação para outro provendo garantias de tempo real. No entanto, a configuração adequada dos parâmetros críticos, tais como o offset de uma tarefa, apesar de trabalhos anteriores terem abordado este assunto, permanece uma lacuna a ser explorada. Sem um método que automatize esta etapa do processo, garantindo ao mesmo tempo que os requisitos básicos sejam atendidos, a adoção plena de mudanças de modo em sistemas de tempo real permanece limitada a sistemas relativamente simples, com um conjuntos de tarefas limitado. Propomos um método para atribuir offsets às tarefas em uma mudança modo, através de uma abordagem Metaheurística (algoritmos genéticos). Este método permite a configuração e/ou a minimização da latência de pior caso de uma mudança modo. A latência de uma mudança de modo é um parâmetro crítico para ser minimizado, uma vez que durante a mudança de modo o sistema oferece funcionalidade limitada, uma vez que o conjunto de tarefas está parcialmente em operação. Também elaboramos uma classificação das mudanças de modo de acordo com as necessidades das aplicações. Esta classificação, quando aplicada a uma série de estudos de casos, permitiu validar a abordagem de minimização/configuração, estender a classificação anteriormente existente e demonstrar que o método é flexível, já que pode acomodar uma ampla variedade de tipos de mudanças de modo / Abstract: Modes of operation and mode-changes are a useful abstraction to enable configurable, flexible real-time systems. Substantial work on the fixed priority preemptive scheduling approach allowed tasks across a mode-change to be provided with real-time guarantees. However, the proper configuration of critical parameters such as task offsets, despite initial work, remains a gap in research. Without a method that automates this design step, while assuring that the basic requirements are met, the full adoption of mode-changes in real-time systems remains limited to relatively simple systems with limited task sets. We propose a method to assign offsets to tasks across a mode-change, using a metaheuristic approach (genetic algorithms). This method allows the configuration and/or the minimization of the worst-case latency of a mode-change. The latency of a mode change is a critical parameter to be minimized, since during the mode change the system offers limited functionality due to the fact that the task set is still incomplete. We also provide a classification of mode changes according to applications¿ requirements. This classification was useful, once applied to a number of case studies, both to validate the configuration approach and to a greater extent to show that the method is flexible in that it can accommodate a wide variety of types of mode-changes / Mestrado / Mestre em Tecnologia

Este trabalho propõe e descreve em detalhes o projeto do AMIGO (DynAMical FlexIble SchedulinG EnvirOnment), uma nova ferramenta de software capaz de viabilizar a união de diferentes algoritmos de escalonamento, de uma maneira completamente transparente ao usuário. O AMIGO é capaz de flexibilizar o escalonamento (em tempo de execução da aplicação) desde a sua configuração até a sua efetiva aplicação. Além da flexibilidade dinâmica e da transparência, o AMIGO também é modular: o seu projeto está dividido em módulos que, entre outras vantagens, facilitam sua execução em diferentes plataformas. Este trabalho também contribui apresentando uma análise crítica da literatura da área, apontando divergências e propondo pontos de convergência importantes. Assim, o levantamento bibliográfico apresentado atua como um material introdutório precioso para que os pesquisadores iniciantes formem um contexto geral sobre a área e, desse modo, aprofundem mais rapidamente seus estudos em outros trabalhos mais específicos. A avaliação de desempenho feita com o AMIGO demonstra que é possível a obtenção de ganhos de desempenho expressivos, com total transparência para o usuário final. Unindo-se desempenho, flexibilidade e transparência, espera-se contribuir para a redução da lacuna existente entre teoria e prática na área de escalonamento de processos / This thesis proposes and describes in details the design of the AMIGO (DynAMical FlexIble SchedulinG EnvirOnment), a novel software tool that makes possible the union of different scheduling algorithms, in a way completely transparent to the user. The AMIGO is able to make flexible the scheduling activity (at run-time), covering all the steps from its configuration up to its effective application. Besides the dynamic flexibility and transparency, AMIGO is also modular: it is split into modules that, among other advantages, facilitate its execution on different platforms. This work also contributes by presenting a critical analysis of the process-scheduling literature, pointing out the existing divergences and proposing important convergence points. Thus, the literature survey presented acts as a precious introductory material, which is able, on one hand, to give to the beginners a broad view of the process-scheduling area and, on the other hand, to facilitate the development of deeper studies in a quicker fashion when more specific works are needed. The performance evaluation of the AMIGO shows that is possible to have expressive performance gains, while having total user transparency. Joining flexibility and transparency it is hoped to contribute for the reduction of the existing gap between theory and practice in the scheduling process area

Made available in DSpace on 2015-05-14T12:36:29Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 2138461 bytes, checksum: b91d7f14f64fd9d32fd38aee2b19b970 (MD5) Previous issue date: 2010-07-16 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / This work approaches the problem of the tasks scheduling (Job Shop Scheduling) through the combination of the GRASP and Tabu Search metaheuristics. The study consists of using the GRASP (Greedy Randomized Adaptive Search Procedure) in the construction phase of the initial solution, suggesting for that, a specific procedure based on Coffman Gramah algorithm. However, such procedure was the great differential in this study, since it offers an initial solution qualitatively better, what allows the reduction of the local search time, where it was utilized the Tabu Search metaheuristic in the local search phase, which provided best results when it was compared with other metaheuristics that have the same structural base. The combination GRASP and Tabu Search were evaluated under two differentiated implementations, being one with Tabu Search in its form more simplified and another one with Tabu Search developing a process of optimized search, using an aditional mathematical model, which demonstrated great advancements in relation at processing time and the obtained results. The computational results, when compared with the existing ones in literature, they had shown that GRASP and Tabu Search combination are capable to produce good solutions. / Este trabalho aborda o problema de escalonamento de tarefas (Job Shop Scheduling) através da combinação das metaheurísticas GRASP e Busca Tabu. O estudo consiste em utilizar o GRASP na fase de construção da solução inicial, sugerindo, para tanto, um procedimento específico baseado no algoritmo de Coffman Gramah. Tal procedimento foi o grande diferencial deste trabalho, visto que oferece uma solução inicial qualitativamente superior, permitindo a redução do tempo de busca local, onde foi utilizada a metaheurística Busca Tabu, a qual demonstrou proporcionar melhores resultados, comparando-se com outras metaheurísticas que seguem a mesma base estrutural. A combinação GRASP e Busca Tabu foi avaliada sob duas implementações diferenciadas, sendo uma com a Busca Tabu em sua forma mais simplificada e outra com a Busca Tabu desenvolvendo um processo de busca otimizada com o auxílio de um modelo matemático , a qual demonstrou grandes progressos quanto ao tempo de processamento e a obtenção de resultados. Os resultados computacionais obtidos, quando comparados com os existentes na literatura, mostraram que a combinação GRASP e Busca Tabu é capaz de produzir boas soluções.