Orientador : Cecilia Mary Fischer Rubira / Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Matematica, Estatistica e Computação Cientifica / Made available in DSpace on 2018-10-23T18:21:29Z (GMT). No. of bitstreams: 1 Guerra_PauloAsteriodeCastro_D.pdf: 774171 bytes, checksum: 40bc6212afd47f471ea86c9fe796b23c (MD5) Previous issue date: 2004 / Resumo: Esse trabalho se concentra na inclusão do tratamento sistemático de requisitos de confiabilidade no desenvolvimento de sistemas críticos modernos como, por exemplo, automação bancária e comércio eletrônico. Tais sistemas evoluem rapidamente e estão sujeitos a fortes restrições de prazos e custos de desenvolvimento. Em conseqüência, o desenvolvimento desses sistemas críticos modernos geralmente é baseado em software de grande complexidade e que integra componentes de software já existentes. O desenvolvimento de sistemas confiáveis que dependem de software com tais características é um problema ainda em aberto. Esse trabalho contribui para a solução desse problema através de uma abordagem arquitetural para tolerância a falhas em sistemas de software baseados em componentes reutilizáveis. A abordagem proposta se desdobra em: (i) uma arquitetura de software baseada em componentes ideais tolerantes a falhas; (ii) uma solução arquitetural para transformar componentes de prateleira (Off-the-Shelf Components) em componentes ideais tolerantes a falhas; (iii) uma estratégia geral para tratamento de exceções em sistemas de software baseados em componentes; e (iv) a proposta de um ambiente integrado para desenvolvimento de software baseados em componentes, centrado na arquitetura do software e no processo de desenvolvimento. O presente trabalho inclui também a aplicação prática da abordagem proposta em diversos estudos de casos, incluindo sistemas de automação bancária reais desenvolvidos por uma empresa de software independente. Os resultados obtidos permitem concluir pela eficácia da abordagem proposta para elevar a confiabilidade de sistemas de software complexos e baseados em componentes reutilizáveis. Conclui-se também pela necessidade de um suporte de ferramentas especializadas que aumentem eficiência da abordagem proposta através da automação de métodos e sua melhor integração no processo de desenvolvimento de software / Abstract: This work concentrates on the systematic treatment of dependability requirements during the development of modern critical software systems, such as banking and electronic commerce. Such software systems constantly evolve and are constrained by short time-to-market and low development costs requirements. As a result, the development of these modern critical software systems is increasingly being based on the integration of preexisting components. The development of dependable systems built in this way is still an open problem. This work contributes to the solution of this problem by proposing an architectural approach for adding fault tolerance to software systems based on reusable components. The proposed approach includes: (i) a software architecture based on idealised fault tolerant components; (ii) an architectural solution for transforming off-the-shelf software components in idealised fault tolerant components; (iii) a general strategy for exception handling in component-based software systems; and (iv) a proposal for an integrated development environment for component-based software systems, which is processed- and architecture-centered. The present work also includes two case studies where the proposed approaches were applied, one of them being based on a banking software system developed by an independent software house. The results achieved during these case studies allow us to conclude that the approach proposed can increase the dependability properties of complex software systems built from reusable components. We also conclude about the need for more specialized tools to increase the effectiveness of the proposed approach and better integrate it within a software development process / Doutorado / Ciência da Computação / Doutor em Ciência da Computação

Orientadores: Mario Jino, Adalberto Nobiato Crespo / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-25T04:04:06Z (GMT). No. of bitstreams: 1 Silva_OdairJacintoda_M.pdf: 2238493 bytes, checksum: 120710575da3bbe9052b22a2df5a3a07 (MD5) Previous issue date: 2014 / Resumo: Diversos estudos publicados indicam que a capacidade preditiva dos modelos de confiabilidade de software, que utilizam a informação da cobertura observada durante os testes, é melhor do que a capacidade preditiva dos modelos baseados no domínio do tempo. E, por isso, têm sido propostos por pesquisadores da área como uma alternativa aos modelos baseados no domínio do tempo. Entretanto, para chegar a uma conclusão sobre a superioridade desta classe de modelos é necessário avaliar a sua sensibilidade a variações do perfil operacional. Uma qualidade desejável dos modelos de confiabilidade de software é a de que sua capacidade preditiva não seja afetada por variações no perfil operacional de um software. Esta dissertação avalia, por meio de um experimento, o comportamento de dois modelos de confiabilidade de software que se baseiam na informação de cobertura do código: "Modelo Binomial Baseado em Cobertura" e "Modelo de Falhas Infinitas Baseado em Cobertura". O experimento aplica os modelos nos dados de falhas observados durante a execução de um programa em três perfis operacionais estatisticamente distintos. Adicionalmente, seis modelos de confiabilidade de software tradicionais são utilizados para estimar a confiabilidade do software utilizando os mesmos dados de falhas. Os modelos escolhidos foram: Musa-Okumoto, Musa Básico, Littlewood-Verral Linear, Littlewood-Verral Quadrático, Jelinski-Moranda e Geométrico. Os resultados mostram que a capacidade preditiva dos modelos "Modelo Binomial Baseado em Cobertura" e "Modelo de Falhas Infinitas Baseado em Cobertura" não é afetada com a variação do perfil operacional do software. O mesmo resultado não foi observado nos modelos de confiabilidade de software baseados no domínio do tempo, ou seja, a alteração do perfil operacional influencia a capacidade preditiva desses modelos. Um resultado observado, por exemplo, é de que nenhum dos modelos tradicionais pôde ser utilizado para estimar a confiabilidade do software aplicando os dados de falhas gerados por um dos perfis operacionais / Abstract: Several published studies indicate that the predictive ability of the software reliability models using test coverage information observed during the tests is better than the predictive ability of models based on time domain. And, therefore, have been proposed by researchers as an alternative to models based on time domain. However, to reach a conclusion about the superiority of this class of models is necessary to evaluate their sensitivity to variations in operational profile. A desirable quality of software reliability models is that their predictive ability is not affected by variations in the operational profile of a program. This dissertation analyzes by means of an experiment, the sensitivity of two software reliability models based on code coverage information: "Binomial Model Based on Coverage" and "Infinite Failure Model Based on Coverage". The experiment applies the models to data failures observed during the execution of a program according to three statistically distinct operational profiles. Additionally, six traditional software reliability models were used to estimate the reliability using the same software failure data. The models selected were: Musa-Okumoto, Musa Basic, Littlewood-Verrall Linear, Quadratic Littlewood-Verrall, Jelinski-Moranda and Geometric. The results show that the predictive ability of the models "Binomial Model Based on Coverage" and "Infinite Failure Model Based on Coverage" is not affected by varying the operational profile of the software. The same result was not observed in software reliability models based on time domain, i.e., changing the operational profile influences the predictive ability of these models. A result observed for example is that none of the traditional models could be used to estimate the software reliability using the fault data set generated by one of the operational profiles / Mestrado / Engenharia de Computação / Mestre em Engenharia Elétrica

Submitted by Johnny Rodrigues (johnnyrodrigues@ufcg.edu.br) on 2018-08-13T17:20:26Z No. of bitstreams: 1 AYLA DEBORA DANTAS DE SOUZA REBOUÇAS - TESE PPGCC 2010..pdf: 2130099 bytes, checksum: 004385606718ac74b12c8332e37b890c (MD5) / Made available in DSpace on 2018-08-13T17:20:26Z (GMT). No. of bitstreams: 1 AYLA DEBORA DANTAS DE SOUZA REBOUÇAS - TESE PPGCC 2010..pdf: 2130099 bytes, checksum: 004385606718ac74b12c8332e37b890c (MD5) Previous issue date: 2010-08-30 / CNPq / Testar sistemas com múltiplas threads é uma atividade que envolve vários desafios. O fato de serem inerentemente não determinísticos torna tanto a implementação desses sistemas quanto a implementação de seus testes suscetível a erros. É comum existirem testes nestes sistemas que falham em apenas algumas execuções, sem que as causas dessas falhas sejam faltas na aplicação (também conhecidas como defeitos oubugs), mas sim devido a problemas nos testes. Por exemplo, isso pode acontecer se a fase dos testes em que são feitas as verificações (asserções) for executada em momentos inadequados. Isso é freqüente quando os testes envolvem operações assíncronas. Deve-se evitar que nestes testes as asserções sejam feitas antes que essas operações tenham sido concluídas ou também que sejam feitas em um momento tardio, quando o sistema mudou de estado e as condições verificadas não são mais satisfeitas, gerando assim falsos positivos. Testes que não são confiáveis, como os que falham devido a tais problemas, levam os desenvolvedores a desperdiçar muito tempo procurando faltas de software que não existem. Além disso, os desenvolvedores podem perder a confiança nos testes parando de acreditar que falhas em certos testes são devidas a faltas, mesmo quando este é o caso. A existência de tais cenários foi o que motivou este trabalho, que tem como objetivo evitar que asserções em testes sejam feitas cedo ou tarde demais. Para atingir esse objetivo, apresenta-se uma abordagem baseada na monitoração e controle das threads daaplicação e quedê suporte ao desenvolvimento de testes corretos de sistemas multi-threaded. A abordagem visa facilitar a implementação de testes envolvendo operações assíncronas e aumentar a confiança dos desenvolvedores nos seus resultados. Esta abordagem foi avaliada através de estudos de caso utilizando uma ferramenta de suporte ao teste de sistemas multi-threaded, desenvolvida para este trabalho, e também através de sua modelagem formal utilizando a linguagem TLA+, com o objetivo de demonstrar que asserções antecipadas e tardias não ocorrem quando ela é utilizada. / Testing multi-threaded systems is quite a challenge. The inherent non-determinism of these systems makes their implementation and the implementation of their tests far more susceptible to error. It is common to have tests of these systems that may not sometimes pass and whose failures are not caused by application faults (bugs), but by problems with the tests. For instance, thiscan happen when there are asynchronous operations whose corresponding test verifications (assertions) are performed at inappropriate times. Unreliable tests make developers waste their time trying to find non-existing bugs, or else make them search for bugs in the wrong place. Another problem is that developers may cease to believe that certain test failures are caused by software bugs even when this is the case. Scenarios like these have motivated this work. Our main objective is to avoid test failures that are caused, not by application defects, but by test assertions performed either too early or too late. In order to achieve this goal, we present an approach whose basic idea is to use thread monitoring and control in order to support the development of multi-threaded systems tests involving asynchronous operations. This approach is intended to make it easier the development of correct tests for these systems and also to improve developers’ confidence on the results of their tests. The proposed approach has been evaluated through case studies using a tool to support the development of multi-threaded systems tests (developed for this work) and also by formally modeling the approach using theTLA+ language in order to prove that early and late assertions do not occur when this approach isused.

Orientador: Cecilia Mary Fischer Rubira / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação / Made available in DSpace on 2018-08-15T17:42:34Z (GMT). No. of bitstreams: 1 Santos_PetersonPeixotodos_M.pdf: 1073315 bytes, checksum: 7071b3cca814f678b2dae606f78f6eff (MD5) Previous issue date: 2010 / Resumo: À medida que os sistemas de software evoluem, precisam garantir requisitos funcionais e de qualidade cada vez mais complexos e com maior rigor de qualidade. Nos _últimos anos, várias abordagens e ferramentas t^em sido propostas para guiar o processo de desenvolvimento de software visando atingir altos níveis de qualidade. O Desenvolvimento Baseado em Componentes (DBC) _e uma das técnicas mais bem aceitas tanto na indústria quanto no meio acadêmico e se propõe a compor sistemas de software a partir de componentes reutilizáveis já prontos e, se possível, de uma relativamente pequena quantidade de linhas de código específicas para a aplicação. Existem diversas plataformas para DBC, das quais Java Enterprise Edition (Java EE) _e uma das mais populares. Por outro lado, tolerância a falhas _e uma das abordagens mais empregadas para construir sistemas que consigam prover seus serviços especificados mesmo na presença de diferentes tipos de falhas de forma a atingir os níveis desejados de confiabilidade. O conceito de Ação Atômica Coordenada (CA Action) foi proposto para prover tolerância a falhas em sistemas concorrentes orientados a objetos, integrando os conceitos complementares de conversação (concorrência cooperativa) e transação atômica (concorrência competitiva) e estabelecendo uma semântica para tratamento de exceções concorrentes (exceções lançadas simultaneamente por threads concorrentes) além de dar suporte ao uso conjunto de recuperação de erro por avanço e por retrocesso. A proposta deste trabalho _e acrescentar _a plataforma de desenvolvimento baseado em componentes Java Enterprise Edition (Java EE) alguns mecanismos de tolerância a falhas propostos pelo conceito de CA Action. A implementação da solução proposta foi baseada em Java, programação orientada a aspectos e no conceito de comunicação assíncrona implementada pelos componentes message-driven beans da plataforma Java Enterprise Edition. A solução foi avaliada através da construção de 2 estudos de caso: (i) uma aplicação JBoss baseada em message-driven beans e (ii) um sistema real de faturamento de energia elétrica. Desta forma, procuramos demonstrar a factibilidade de proporcionar mecanismos simples para adaptações permitindo que aplicações desta plataforma possam usufruir de mais benefícios de tolerância a falhas sem grandes modificações em seu código fonte já previamente implementado e implantado / Abstract: As software systems evolve, they should provide stronger functional and quality requirements. In the last years, many diferent approaches and tools have been proposed to guide software development process aiming to achieve higher quality levels. Component-Based Development (CBD) is one of the most accepted techniques in the academy as well as in the industry and proposes to build software systems from pre-existing reusable components and, if possible, a relative low quantity of application specific glue code. There are many CBD platforms and Java Enterprise Edition (Java EE) is one of the most popular. Fault tolerance is one of the most adopted means to build up systems that are capable of providing their intended service, even if only partially, when faults occur, so as the desired reliability levels be achieved. The Coordinated Atomic Action (CA Action) concept was proposed to provide fault tolerance in concurrent object-oriented software systems and to integrate two complementary concepts, conversations (cooperative concurrency) and transactions (competitive concurrency). It establishes a semantic for concurrent exception handling and also supports the combined use of forward and backward error recovery. This work proposes to extend the component-based development platform Java Enterprise Edition (Java EE) with some of the fault tolerance means proposed by CA Action's concept by incorporating a concurrent exception handling mechanism to the platform. The proposed solution implementation was based on Java, aspect oriented programming and on the asynchronous communication concept implemented by Java EE message-driven bean components. The solution was assessed by two case studies: (i) a JBoss application based on message-driven beans and (ii) a real billing system for electric power companies by which we try to demonstrate the feasibility of providing simple means for adapting Java Enterprise Edition applications in a way that they could appropriate more fault tolerance benefits without big changes in their previously implemented and deployed source code / Mestrado / Engenharia de Software / Mestre em Ciência da Computação

Orientador: Cecília Mary Fischer Rubira / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação / Made available in DSpace on 2018-08-23T09:09:24Z (GMT). No. of bitstreams: 1 Braz_Alan_M.pdf: 1903353 bytes, checksum: 9bff9aefdcc11d6d8fe46490302d6291 (MD5) Previous issue date: 2013 / Resumo: Os Métodos Ágeis, ou Desenvolvimento Ágil de Software (DAS), tem se popularizado, na última década, por meio de métodos como Extreme Programming (XP) e Scrum e isso fez com que fossem aplicadas no desenvolvimento de sistemas computacionais de diversos tamanhos, complexidades técnica e de domínio, e de rigor quanto à confiabilidade. Esse fato evidencia a necessidade de processos de desenvolvimento de software que sejam mais rigorosos e que possuam uma quantidade adequada de modelagem e documentação, em especial no que concerne ao projeto arquitetural, com o objetivo de garantir maior qualidade no seu resultado final. A confiabilidade pode ser alcançada adicionando elementos de tratamento de exceções às fases iniciais do processo de desenvolvimento e à reutilização de componentes. O tratamento de exceções tem sido uma técnica muito utilizada na verificação e na depuração de erros em sistemas de software. O MDCE+ é um método que auxilia a modelagem do comportamento excepcional de sistemas baseados em componentes que, por ser centrado na arquitetura, melhora a definição e a análise do fluxo de exceções entre os componentes do sistema. Este trabalho propõe uma solução para guiar o desenvolvimento de sistemas confiáveis baseados em componentes por meio da adição de práticas do MDCE+ ao Scrum, resultando no método Scrum+CE (Scrum com Comportamento Excepcional). Esse processo passa a expor os requisitos excepcionais em nível das Estórias de Usuário, adiciona testes de aceitação mais detalhados, obriga a criação do artefato de Arquitetura Inicial e adiciona um novo papel de Dono da Arquitetura. Como forma de avaliar esse método proposto, foi realizado um experimento controlado com três equipes, que desenvolveram um sistema com requisitos de confiabilidade, utilizando Scrum e Scrum+CE. Foram coletadas métricas para comparar a eficiência do novo processo e o resultado obtido, com a utilização do Scrum+CE, foi à produção de software com melhor qualidade, porém com menor número de funcionalidades / Abstract: Agile Software Development (ASD) has been on mainstream through methodologies such as Extreme Programming (XP) and Scrum in the last decade enabling them to be applied in the development of computer systems of various size, technical and domain complexity and degress of reliability. This fact highlights the need for software development processes that are accurate and have an adequate amount of modeling and documentation, especially regarding the architectural design, aiming to increase the quality of the end result. The reliability can be achieved by adding elements of exception handling at early stages of development and through components reuse. Exception handling has been a widely used technique in detecting and fixing errors in software systems. The MDCE+ is a method that assists exceptional behavior modeling at components based systems, which is architecture-centric what improves the definition and flow analysis of exceptions between system components. This paper proposes a solution to guide the development of reliable systems based on components by adding MDCE+ practices to Scrum, resulting in the Scrum+CE method (Scrum with Exceptional Behavior). This process exposes the exceptional requirements, at the User Stories level, documents acceptance tests with more details, requires the creation of a high-level architecture artifact and adds a new role of Architecture Owner. In order to evaluate this proposed method, a controlled experiment was conducted with three teams, who developed a system with reliability requirements using Scrum and Scrum+CE. We collected metrics to compare the efficiency of the new process and the result was the production of software with better quality but with less features using Scrum+CE / Mestrado / Ciência da Computação / Mestre em Ciência da Computação

A certificação CERTICS foi desenvolvida para ser um instrumento de política pública que busca contribuir para o desenvolvimento nacional sustentável e pode apoiar as empresas nacionais de software na evolução necessária para se tornarem mais competitivas frente aos softwares estrangeiros. No entanto, esta certificação, assim como outras, requer investimento de profissionais e recursos financeiros, o que é um problema notadamente nas pequenas empresas de software. Este trabalho tem o objetivo de apresentar o GARREC, Guia para Atendimento dos Requisitos dos Resultados Esperados da CERTICS, que é uma ferramenta desenvolvida para apoiar no processo da certificação CERTICS, atuando em complemento à documentação existente. O GARREC foi construído visando facilitar o entendimento dos conceitos da CERTICS e no atendimento dos resultados esperados por meio de proposição de evidências, considerando cenários de pequenas empresas. Assim, o GARREC contribuirá para reduzir o investimento necessário para a certificação. O método de pesquisa adotado envolveu a análise do Modelo de Referência para Avaliação da CERTICS e o detalhamento dos Requisitos Específicos dos seus Resultados Esperados e, para estes foram propostas evidências para atendimento classificadas por relevância. Desta forma, todos os aspectos avaliados são considerados, garantindo qualidade de cobertura do atendimento aos requisitos da certificação. Para a avaliação do GARREC foi realizado um experimento no qual os participantes o utilizaram para atender a resultados esperados predeterminados e responderam a uma pesquisa. Participaram do experimento três empresas com diferentes níveis de conhecimento da CERTICS, uma empresa certificada, uma em processo de certificação e uma sem conhecimento anterior. A partir dos resultados coletados da pesquisa de avaliação, o GARREC atinge os seus objetivos de auxiliar no entendimento e no atendimento dos requisitos da certificação CERTICS, com 91,3% de aceitação aos itens de efetividade e 97,5% referente aos itens de aplicabilidade. Uma validação mais ampla em campo ainda se faz necessária para uma avaliação mais consistente da ferramenta. / The CERTICS certification was developed to be a public policy tool that seeks to contribute to sustainable national development and it can support national software companies in the evolution required to become more competitive compared to the foreign software. However, this certification, as well as others, requires professional investment and financial resources, which is usually a problem for small software companies. This work aims to present GARREC, Guide for Meeting the Requirements of Results Expected from CERTICS, which is a tool developed to support the understanding and obtaining of the CERTICS certification, working in addition to the existing documentation. GARREC was built to facilitate the understanding of the CERTICS’ concepts and in meeting the expected results through evidence proposition considering small business scenarios.Therefore, GARREC will contribute to reducing the investment required for certification. The research method involved the analysis of the Reference Model for Evaluation of CERTICS and detailing of the Specific Requirements of its Expected Results, and for these, evidence was presented to meet them, classified by relevance. In this way all evaluated aspects are considered, guaranteeing quality of coverage of the attendance to the certification requirements. For the GARREC evaluation, an experiment was carried out in which the participants used it to meet predetermined expected results and answered to a survey. Three companies with different levels of knowledge of CERTICS, a certified company, one in the process of certification and one without previous knowledge participated in the experiment. Based on the results of the evaluation survey, GARREC achieves its objectives of assisting in the understanding and fulfillment of CERTICS certification requirements, with 91.3% acceptance of the items referring to Effectiveness and, 97.5% acceptance of the related items Applicability. Further validation in the field is still necessary for a more consistent evaluation of the tool.

A certificação CERTICS foi desenvolvida para ser um instrumento de política pública que busca contribuir para o desenvolvimento nacional sustentável e pode apoiar as empresas nacionais de software na evolução necessária para se tornarem mais competitivas frente aos softwares estrangeiros. No entanto, esta certificação, assim como outras, requer investimento de profissionais e recursos financeiros, o que é um problema notadamente nas pequenas empresas de software. Este trabalho tem o objetivo de apresentar o GARREC, Guia para Atendimento dos Requisitos dos Resultados Esperados da CERTICS, que é uma ferramenta desenvolvida para apoiar no processo da certificação CERTICS, atuando em complemento à documentação existente. O GARREC foi construído visando facilitar o entendimento dos conceitos da CERTICS e no atendimento dos resultados esperados por meio de proposição de evidências, considerando cenários de pequenas empresas. Assim, o GARREC contribuirá para reduzir o investimento necessário para a certificação. O método de pesquisa adotado envolveu a análise do Modelo de Referência para Avaliação da CERTICS e o detalhamento dos Requisitos Específicos dos seus Resultados Esperados e, para estes foram propostas evidências para atendimento classificadas por relevância. Desta forma, todos os aspectos avaliados são considerados, garantindo qualidade de cobertura do atendimento aos requisitos da certificação. Para a avaliação do GARREC foi realizado um experimento no qual os participantes o utilizaram para atender a resultados esperados predeterminados e responderam a uma pesquisa. Participaram do experimento três empresas com diferentes níveis de conhecimento da CERTICS, uma empresa certificada, uma em processo de certificação e uma sem conhecimento anterior. A partir dos resultados coletados da pesquisa de avaliação, o GARREC atinge os seus objetivos de auxiliar no entendimento e no atendimento dos requisitos da certificação CERTICS, com 91,3% de aceitação aos itens de efetividade e 97,5% referente aos itens de aplicabilidade. Uma validação mais ampla em campo ainda se faz necessária para uma avaliação mais consistente da ferramenta. / The CERTICS certification was developed to be a public policy tool that seeks to contribute to sustainable national development and it can support national software companies in the evolution required to become more competitive compared to the foreign software. However, this certification, as well as others, requires professional investment and financial resources, which is usually a problem for small software companies. This work aims to present GARREC, Guide for Meeting the Requirements of Results Expected from CERTICS, which is a tool developed to support the understanding and obtaining of the CERTICS certification, working in addition to the existing documentation. GARREC was built to facilitate the understanding of the CERTICS’ concepts and in meeting the expected results through evidence proposition considering small business scenarios.Therefore, GARREC will contribute to reducing the investment required for certification. The research method involved the analysis of the Reference Model for Evaluation of CERTICS and detailing of the Specific Requirements of its Expected Results, and for these, evidence was presented to meet them, classified by relevance. In this way all evaluated aspects are considered, guaranteeing quality of coverage of the attendance to the certification requirements. For the GARREC evaluation, an experiment was carried out in which the participants used it to meet predetermined expected results and answered to a survey. Three companies with different levels of knowledge of CERTICS, a certified company, one in the process of certification and one without previous knowledge participated in the experiment. Based on the results of the evaluation survey, GARREC achieves its objectives of assisting in the understanding and fulfillment of CERTICS certification requirements, with 91.3% acceptance of the items referring to Effectiveness and, 97.5% acceptance of the related items Applicability. Further validation in the field is still necessary for a more consistent evaluation of the tool.