Submitted by Luiz Felipe Barbosa (luiz.fbabreu2@ufpe.br) on 2015-03-09T12:40:59Z No. of bitstreams: 2 Dissertação Eudis Oliveira Teixeira.pdf: 798899 bytes, checksum: ddf3f89677d105c4b5f8c29f5c0fdb3a (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) / Made available in DSpace on 2015-03-09T12:40:59Z (GMT). No. of bitstreams: 2 Dissertação Eudis Oliveira Teixeira.pdf: 798899 bytes, checksum: ddf3f89677d105c4b5f8c29f5c0fdb3a (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Previous issue date: 2014-05-21 / Contexto – Considerando o aumento do interesse em pesquisas que conduzem Estudos Empíricos (EE), assim como, do aumento no número de pesquisadores e instituições em todo o mundo que investigam processos experimentais em Engenharia de Software (ES), autores têm criticado a falta de qualidade e padronização dos experimentos quanto aos métodos, procedimentos e forma de divulgar os resultados de EE. Objetivo – Realizar uma análise quantitativa da qualidade dos estudos categorizados como experimentos controlados no contexto da comunidade de Engenharia de Software Empírica (ESE) quanto aos mecanismos de suporte utilizados, replicabilidade e rigor estatístico. Método – Em virtude de não ter encontrado na literatura revisada um padrão de perguntas para avaliar a qualidade de EE em ES, decidiu-se criar uma escala de qualidade baseada, principalmente, em listas de verificação amplamente utilizadas por pesquisadores da área de ES. O método de procedimento utilizado foi a abordagem GQM - Goal Question Metric, composta pelas fases: definição, planejamento, coleta e interpretação. Resultados – Os estudos que mencionaram o uso de mecanismos de suporte tiveram um índice de qualidade igual a 58,54, numa escala que vai de zero a cem pontos, enquanto aos que não usaram, tiveram um índice igual a 51,32. A classificação da variável replicabilidade e rigor estatístico foi respectivamente 63,42 (Boa) e 70,79 (Muito Boa) e, no geral, os resultados mostraram que o índice de qualidade dos estudos foi 57,15, sendo que entre os locais avaliados, houve diferença estatisticamente significativa apenas quando comparamos o Journal (ESEJ) com os outros dois locais pesquisados (EASE e ESEM). Conclusões – Houve evolução significativa na qualidade dos experimentos que relatou o uso de mecanismos de suporte, o que evidencia a importância da aplicação de metodologias de apoio que permitam planejar, executar e analisar resultados de EE em ES. Porém, o índice de qualidade dos estudos não apresentou diferenças estatísticas EUDIS OLIVEIRA TEIXEIRA no período avaliado, o que preocupa, pois não foram identificados avanços significativos na qualidade ao longo dos anos. Vale ressaltar que o instrumento de qualidade desenvolvido está estruturado de tal maneira que possa ser evoluído para avaliar a qualidade de outros tipos de estudos, uma vez que apresenta critérios gerais e outros específicos. Além dos resultados encontrados, espera-se ter contribuído, também, no sentido de prover às outras pesquisas uma compreensão sobre um modelo, processo ou guia que possa dar suporte à avaliação da qualidade de EE e com isso outros pesquisadores conduzam estudos com maior qualidade.

Submitted by Alice Araujo (alice.caraujo@ufpe.br) on 2017-11-29T17:23:55Z No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) TeseDoutorado_lssf.pdf: 10022088 bytes, checksum: da65676610d3186199f2a0ed06e7f8f1 (MD5) / Made available in DSpace on 2017-11-29T17:23:55Z (GMT). No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) TeseDoutorado_lssf.pdf: 10022088 bytes, checksum: da65676610d3186199f2a0ed06e7f8f1 (MD5) Previous issue date: 2016-12-21 / FACEPE / It is common sense in software engineering that well made experimental plans are recipes for successful experiments, and they help experimenters to avoid interferences during experiments. Although a number of tools are available to help researchers with writing experiments reports for scientific publications, few studies focus on how to assess study protocols with respect to completeness and scientific quality. As a result, designing controlled experiments using subjects has been a challenge for many experimenters in software engineering because of a large variety of factors that should be present in it to avoid introducing bias in controlled experiments. The main aim of this thesis is to define an instrument to help experimenters, specially beginners, to review their experimental planning for assessing whether they produced an experimental plan that is complete and includes all possible factors to minimize bias and issues. The instrument is a checklist whose design is based on experimental best practices and experts’ experience in planning and conducting controlled experiments using subjects. To collect the best practices, a systematic mapping study was conducted to identify support mechanisms (processes, tools, guidelines, among others.) used to plan and conduct empirical studies in the empirical software engineering community, and an informal literature review was carried out in order to find which support mechanisms are generally used in other fields. Moreover, we performed a qualitative study for understanding how empirical software engineering experts plan their experiments. The instrument has been evaluated through four empirical studies. Each one was explored from different perspectives by Software Engineering researchers at different levels of experience. The instrument was assessed regarding items that they find useful, inter-rater agreement, inter-rater reliability, and criterion validity using fully crossed design. Two controlled experiments were performed to assess if the usage of the instrument can reduce the chance of forgetting to include something important during the experiment planning phase compared to the usage of ad hoc practices. Additionally, the acceptance of the instrument was assessed by the four studies. In total, we had 35 participants who participated in four different kinds of assesment of the instrument. In the first study, 75.76% of the items were judged useful by two experts. The remaining items were discussed and adjusted. The second study revealed that the usage of the instrument helped beginners to assess experimental plans in the same way as the experts. We found a strong correlation between the overall completeness scores of the experimental plans and the recommendation that the experiment should proceed or not, and whether it is likely to be successful. In Studies 3 and 4, the proportion of the correct items found by participants using the instrument was greater than the results from participants using the ad hoc practices. The instrument has high acceptance from participants. Although the results are positive, performing more assessments including different settings is required to generalize these results. The usage of the instrument by experimenters, specially beginners, helps them to review the key factors included in the experimental plan, thus contributing to reduce potential confounding factors in the experiment. Revising an experimental plan is not a direct evaluation of the quality of the experiment itself but it allows changes to be made to improve the experiment before it is performed. / É comumente aceito pela comunidade de engenharia de software que planos experimentais bem planejados são receitas para experimentos bem sucedidos. Isso se deve ao fato que planos experimentais auxiliam experimentadores a evitarem interferências durante a execução dos experimentos. No entanto, embora existam ferramentas disponíveis para ajudar os investigadores a reportarem seus experimentos para publicações científicas, poucos estudos tem o objetivo de avaliar os protocolos de estudo no que diz respeito à completude e qualidade científica. Desta forma, planejar experimentos controlados utilizando participantes tem sido um desafio para muitos experimentadores em engenharia de software devido a grande variedade de fatores que devem estar presentes em um plano experimental a fim de evitar a introdução de viés nos experimentos controlados. O principal objetivo dessa tese de doutorado é definir um instrumento que auxilie experimentadores, principalmente inexperientes, a revisarem seus planejamentos experimentais a fim de avaliar se eles produziram um plano experimental completo, incluindo todos os possíveis fatores para minimizar viés e problemas. O instrumento é uma lista de verificação baseado nas melhores práticas experimentais e na experiência dos especialistas em engenharia de software experimental no planejamento e condução de experimentos controlados utilizando pessoas. Para coletar as melhores práticas, um mapeamento sistemático foi realizado para identificar os mecanismos de apoio (processos, ferramentas, guias, dentre outros) utilizados para planejar e conduzir estudos empíricos na comunidade de engenharia de software e uma revisão da literatura foi realizada para identificar mecanismos de apoio que são geralmente utilizados em outras áreas. Além disso, foi realizada um estudo qualitativo a fim de entender como os especialistas em engenharia de software experimental planejam seus experimentos. O instrumento foi avaliado por meio de quatro estudos. Cada estudo foi explorado através de diferentes perspectivas por pesquisadores de engenharia de software em diferentes níveis de experiência. O instrumento foi avaliado com relação a utilidade dos itens, a concordância e a confiabilidade entre os avaliadores e validade de critério. Dois experimentos controlados foram realizados para avaliar se o uso do instrumento pode reduzir a chance de esquecer algo importante durante a fase de planejamento do experimento em comparação com as práticas comumente usadas pelos pesquisadores. Além disso, os quatro estudos avaliaram a aceitação do instrumento para revisar planos experimentais de experimentos controlados utilizando participantes. No total, 35 participantes avaliaram o instrumento através de quatro diferentes tipos de objetivos. No primeiro estudo, 75,76% dos itens foram julgados uteis pelos dois especialistas envolvidos no estudo. Os itens restantes foram discutidos e ajustados. O segundo estudo revelou que a utilização do instrumento auxiliou iniciantes a avaliarem planos experimentais da mesma forma dos especialistas. Os resultados mostraram uma forte correlação entre os escores da completude global dos planos experimentais e as recomendações se o experimento deveria prosseguir e a probabilidade do experimento ser bem-sucedido. Nos estudos 3 e 4, a proporção dos itens corretos encontrados pelos participantes utilizando o instrumento foi significantemente maior do que os resultados utilizando as práticas comumente utilizadas pelos participantes. O instrumento teve alta aceitação por parte dos participantes. No entanto, embora os resultados sejam positivos, se faz necessário a realização de mais estudos de avaliação, incluindo outras configurações de ambientes a fim de que o resultado possa ser generalizado. A utilização do instrumento pelos experimentadores, especialmente os iniciantes, auxilia a revisão dos principais fatores que devem estar incluídos no plano experimental, contribuindo assim para reduzir potenciais fatores de confusão no experimento. Revisar um plano experimental não é uma avaliação direta da qualidade do experimento, mas permite que mudanças no experimento sejam realizadas antes que ele seja de fato executado.

Submitted by Automa??o e Estat?stica (sst@bczm.ufrn.br) on 2016-05-30T21:50:59Z No. of bitstreams: 1 MariliaAranhaFreire_TESE.pdf: 5649879 bytes, checksum: 2335924edd2ff84ad849308b4297dd7d (MD5) / Approved for entry into archive by Arlan Eloi Leite Silva (eloihistoriador@yahoo.com.br) on 2016-06-01T18:52:23Z (GMT) No. of bitstreams: 1 MariliaAranhaFreire_TESE.pdf: 5649879 bytes, checksum: 2335924edd2ff84ad849308b4297dd7d (MD5) / Made available in DSpace on 2016-06-01T18:52:23Z (GMT). No. of bitstreams: 1 MariliaAranhaFreire_TESE.pdf: 5649879 bytes, checksum: 2335924edd2ff84ad849308b4297dd7d (MD5) Previous issue date: 2015-03-05 / A condu??o de estudos emp?ricos ? de vital import?ncia para coletar evid?ncias cient?ficas sobre novas tecnologias de software. Neste sentido, nos ?ltimos anos centenas de experimentos controlados v?m sendo realizados na ?rea da engenharia de software. Um experimento controlado ? uma t?cnica que permite aos cientistas testarem uma hip?tese de pesquisa e a rela??o causa e efeito entre as vari?veis envolvidas no ambiente de estudo. Entretanto, o planejamento, execu??o, an?lise e empacotamento de um experimento controlado s?o considerados atividades complexas, custosas e propensas a erros. As poucas ferramentas existentes de apoio ao processo de experimenta??o auxiliam v?rias atividades envolvidas em um experimento mas possuem limita??es e grande necessidade de melhorias. Neste contexto, este trabalho prop?e : (i) investigar abordagens e ambientes existentes de apoio a formaliza??o e condu??o de experimentos controlados em ES identificando suas limita??es e benef?cios; (ii) propor uma linguagem espec?fica de dom?nio para a formaliza??o de experimentos controlados; e (iii) desenvolver uma abordagem dirigida por modelos que usa a formaliza??o de um experimento para gera??o de workflows customiz?veis de apoio ? condu??o de experimentos controlados. O trabalho ? avaliado atrav?s da condu??o de: (i) um estudo de viabilidade da abordagem dirigida por modelos atrav?s da modelagem de um experimento existente e gera??o de workflows customiz?veis a partir do seu projeto estat?stico; (ii) um estudo emp?rico de an?lise da expressividade e completude da linguagem espec?fica de dom?nio proposta atrav?s da modelagem de 16 experimentos; (iii) um experimento controlado que investiga ? compreens?o da linguagem pelos experimentadores; e (iv) um experimento controlado que investiga a usabilidade da linguagem atrav?s do seu uso direto na especifica??o de experimentos. Os resultados obtidos em tais estudos trazem evid?ncias que a abordagem proposta ? vi?vel, e que a linguagem tem um bom n?vel de expressividade e completude. Al?m disso, as an?lises mostram que a compreens?o do plano experimental escrito na linguagem proposta ? mais f?cil e mais r?pida que quando analisando a especifica??o de um plano experimental descrito em artigos cient?ficos. Por fim, a percep??o dos experimentadores foi positiva em rela??o ? utiliza??o da linguagem. / The conduction of empirical studies is very important to gather scientific evidences of new software technologies. Over the last years, a hundred of controlled experiments have been conducted in the software engineering area. A controlled experiment is a technique that allows researchers to test a research hypothesis and the causal effect analysis among the variables involved in the study environment. However, the planning, execution, analysis and packaging of a controlled experiment are considered work intensive, time consuming and error-prone activities. A few existing supporting tools can help the accomplishment of many of these activities but they still have many limitations and improvement needs. In this context, this thesis proposes: (i) to investigate existing approaches and environments to support the formalization and conduction of SE controlled experiments by identifying their limitations and benefits; (ii) to propose a domain-specific language (DSL) to formalize the specification of controlled experiments; and (iii) to develop a model-driven approach that can use the experiment specification in the DSL to generate customized workflows to support the execution of controlled experiments. This work is evaluated through the conduction of: (i) a feasibility study of the modeldriven approach through the modeling of a real experiment and the generation of workflows according to its experimental design; (ii) an empirical study that assesses the expressivity and completeness of the domain-specific language through the modeling of 16 existing experiments; (iii) a controlled experiment that investigates the DSL comprehensibility by the experimenters; and (iv) a controlled experiment that investigates the language usability through the specification of experiments. The studies results bring evidences of the approach feasibility, and the expressiveness and completeness of the DSL. In addition, our controlled experiments results show that: (i) the experimental plan comprehension when written in the proposed DSL is easier to understand and faster to specify when compared to the experiment specification described in scientific papers; and (ii) the experimenters? perception was positive when using the DSL.