Este trabalho analisa os efeitos das propriedades dinâmicas de sistemas distribuídos de larga escala e seu impacto no desempenho, e introduz uma abordagem para o planejamento de experimentos de referência capazes de expor essa influência. Especialmente em aplicações complexas com múltiplas camadas de software (multi-tier), o efeito total de pequenos atrasos introduzidos por buffers, latência na comunicação e alocação de recursos, pode resultar gerando inércia significativa ao longo do funcionamento do sistema. A fim de detetar estas propriedade dinâmica, o experimento de execução do benchmark deve excitar o sistema com carga de trabalho não-estacionária sob um ambiente controlado. A presente pesquisa discorre sobre os elementos essenciais para este fim e ilustra a abordagem de desenvolvimento com um estudo de caso. O trabalho também descreve como a metodologia de instrumentação pode ser explorada em abordagens de modelagem dinâmica para sobrecargas transientes devido a distúrbios na carga de trabalho. / This work examines the effects of dynamic properties of large-scale distributed systems and their impact on the delivered performance, and introduces an approach to the design of benchmark experiments capable of exposing this influence. Specially in complex, multi-tier applications, the net effect of small delays introduced by buffers, communication latency and resource instantiation, may result in significant inertia along the input-output path. In order to bring out these dynamic property, the benchmark experiment should excite the system with non-stationary workload under controlled conditions. The present research report elaborates on the essentials for this purpose and illustrates the design approach through a case study. The work also outlines how the instrumentation methodology can be exploited in dynamic modeling approaches to model transient overloads due to workload disturbances.

Este trabalho analisa os efeitos das propriedades dinâmicas de sistemas distribuídos de larga escala e seu impacto no desempenho, e introduz uma abordagem para o planejamento de experimentos de referência capazes de expor essa influência. Especialmente em aplicações complexas com múltiplas camadas de software (multi-tier), o efeito total de pequenos atrasos introduzidos por buffers, latência na comunicação e alocação de recursos, pode resultar gerando inércia significativa ao longo do funcionamento do sistema. A fim de detetar estas propriedade dinâmica, o experimento de execução do benchmark deve excitar o sistema com carga de trabalho não-estacionária sob um ambiente controlado. A presente pesquisa discorre sobre os elementos essenciais para este fim e ilustra a abordagem de desenvolvimento com um estudo de caso. O trabalho também descreve como a metodologia de instrumentação pode ser explorada em abordagens de modelagem dinâmica para sobrecargas transientes devido a distúrbios na carga de trabalho. / This work examines the effects of dynamic properties of large-scale distributed systems and their impact on the delivered performance, and introduces an approach to the design of benchmark experiments capable of exposing this influence. Specially in complex, multi-tier applications, the net effect of small delays introduced by buffers, communication latency and resource instantiation, may result in significant inertia along the input-output path. In order to bring out these dynamic property, the benchmark experiment should excite the system with non-stationary workload under controlled conditions. The present research report elaborates on the essentials for this purpose and illustrates the design approach through a case study. The work also outlines how the instrumentation methodology can be exploited in dynamic modeling approaches to model transient overloads due to workload disturbances.

Este trabalho apresenta um método empírico para previsão de sobrecargas transientes em sistemas computacionais por meio de modelagem dinâmica. A técnica, baseada em aproximações lineares e invariantes no tempo, tem como objetivo identificar a capacidade de um sistema computacional absorver variações na carga de trabalho. Experimentalmente, a identificação dessa capacidade do sistema pode ser feita por meio de técnicas de avaliação de desempenho, em que a abordagem prevalente é a estimação da capacidade estática em regime estacionário de operação, observando-se o desempenho sob demanda constante. Entretanto, essa avaliação não considera o regime transiente do sistema, i.e durante o período de restabelecimento ao regime estacionário após uma perturbação, e durante o qual, o esforço exigido pode ser bastante diverso, e potencialmente acima daquele apurado sob condições de regime estacionário. A proposta deste trabalho é a formulação de uma metodologia para avaliação de desempenho em regime transiente em sistemas computacionais sob carga de trabalho variável e que forneça informação para o dimensionamento de recursos e políticas de controle de admissão que evitem sobrecargas por efeitos transitórios. A metodologia baseia-se na parametrização de um modelo dinâmico a partir de ensaios experimentais, considerando perturbações bruscas e de longa duração, e os resultados são avaliados por comparação das predições do modelo em relação aos objetivos por simulação ou aferição. / This research work introduces an empirical method for the prediction of transient overloads in computer systems by means of dynamical modeling. The technique, based on linear time-invariant approximations, aims at identifying the computer systems capacity in absorbing variations on the workload. Experimentally, this capacity identification can be carried out from performance evaluation methods, whose prevalent approach is the estimation of the static capacity under stationary operational regime, by observing the performance under constant demand. Nevertheless, this kind of evaluation does not take into account the systems transient regime, i.e. the period during of the restablishment to the stationary regime after the perturbation, and within which, the effort required from the systems may be diverse and potentially superior to that measured under the stationary condition. This work proposes the formulation of a methodology for performance evaluation in transient regime of computer systems submitted to variable workloads, aimed at providing information for dimensioning or resources and design of admission control policies capable of avoiding overloads due to transitory effects. The methodology relies on the parametrization of a dynamical model obtained from experimental procedures, considering abrupt, long-lasting distrubances, and the results are evaluated through comparison of the model prediction with the simulated system.

Este trabalho apresenta um método empírico para previsão de sobrecargas transientes em sistemas computacionais por meio de modelagem dinâmica. A técnica, baseada em aproximações lineares e invariantes no tempo, tem como objetivo identificar a capacidade de um sistema computacional absorver variações na carga de trabalho. Experimentalmente, a identificação dessa capacidade do sistema pode ser feita por meio de técnicas de avaliação de desempenho, em que a abordagem prevalente é a estimação da capacidade estática em regime estacionário de operação, observando-se o desempenho sob demanda constante. Entretanto, essa avaliação não considera o regime transiente do sistema, i.e durante o período de restabelecimento ao regime estacionário após uma perturbação, e durante o qual, o esforço exigido pode ser bastante diverso, e potencialmente acima daquele apurado sob condições de regime estacionário. A proposta deste trabalho é a formulação de uma metodologia para avaliação de desempenho em regime transiente em sistemas computacionais sob carga de trabalho variável e que forneça informação para o dimensionamento de recursos e políticas de controle de admissão que evitem sobrecargas por efeitos transitórios. A metodologia baseia-se na parametrização de um modelo dinâmico a partir de ensaios experimentais, considerando perturbações bruscas e de longa duração, e os resultados são avaliados por comparação das predições do modelo em relação aos objetivos por simulação ou aferição. / This research work introduces an empirical method for the prediction of transient overloads in computer systems by means of dynamical modeling. The technique, based on linear time-invariant approximations, aims at identifying the computer systems capacity in absorbing variations on the workload. Experimentally, this capacity identification can be carried out from performance evaluation methods, whose prevalent approach is the estimation of the static capacity under stationary operational regime, by observing the performance under constant demand. Nevertheless, this kind of evaluation does not take into account the systems transient regime, i.e. the period during of the restablishment to the stationary regime after the perturbation, and within which, the effort required from the systems may be diverse and potentially superior to that measured under the stationary condition. This work proposes the formulation of a methodology for performance evaluation in transient regime of computer systems submitted to variable workloads, aimed at providing information for dimensioning or resources and design of admission control policies capable of avoiding overloads due to transitory effects. The methodology relies on the parametrization of a dynamical model obtained from experimental procedures, considering abrupt, long-lasting distrubances, and the results are evaluated through comparison of the model prediction with the simulated system.