[pt] Sistemas que usam Aprendizado de Máquina, doravante Machine Learning (ML), tornaram-se comuns para empresas que deseajam melhorar seus
produtos, serviços e processos. A literatura sugere que a Engenharia de Requisitos (ER) pode ajudar a explicar muitos problemas relacionados à engenharia de sistemas inteligentes envolvendo componentes de ML (ML-Enabled
Systems). Contudo, o cenário atual de evidências empíricas sobre como ER é
aplicado na prática no contexto desses sistemas é amplamente dominado por
estudos de casos isolados com pouca generalização. Nós conduzimos um survey
internacional para coletar informações de profissionais sobre o status quo e problemas de ER para ML-Enabled Systems. Coletamos 188 respostas completas
de 25 países. Realizamos uma análise quantitativa sobre as práticas atuais utilizando bootstrapping com intervalos de confiança; e análises qualitativas sobre
os problemas reportados através de procedimentos de codificação open e axial.
Encontramos diferenças significativas nas práticas de ER no contexto de projetos de ML, algumas já reportadas na literatura e outras totalmente novas. Por
exemplo, (i) atividades relacionadas à ER são predominantemente conduzidas
por líderes de projeto e cientistas de dados, (ii) o formato de documentação
predominante é baseado em Notebooks interativos, (iii) os principais requisitos não-funcionais incluem qualidade dos dados, confiança e explicabilidade no
modelo, e (iv) os principais desafios consistem em gerenciar a expectativa dos
clientes e alinhar requisitos com os dados disponíveis. As análises qualitativas revelaram que os praticantes enfrentam problemas relacionados ao baixo
entendimento sobre o domínio do negócio, requisitos pouco claros e baixo engajamento do cliente. Estes resultados ajudam a melhorar o entendimento sobre
práticas adotadas e problemas existentes em cenários reais. Destacamos a necessidade para adaptar ainda mais e disseminar práticas de ER relacionadas à
engenharia de ML-Enabled Systems. / [en] Systems that use Machine Learning (ML) have become commonplace
for companies that want to improve their products, services, and processes.
Literature suggests that Requirements Engineering (RE) can help to address
many problems when engineering ML-Enabled Systems. However, the state of
empirical evidence on how RE is applied in practice in the context of MLenabled systems is mainly dominated by isolated case studies with limited
generalizability. We conducted an international survey to gather practitioner
insights into the status quo and problems of RE in ML-enabled systems. We
gathered 188 complete responses from 25 countries. We conducted quantitative
statistical analyses on contemporary practices using bootstrapping with confidence intervals and qualitative analyses on the reported problems involving
open and axial coding procedures. We found significant differences in RE practices within ML projects, some of them have been reported on literature and
some are totally new. For instance, (i) RE-related activities are mostly conducted by project leaders and data scientists, (ii) the prevalent requirements
documentation format concerns interactive Notebooks, (iii) the main focus of
non-functional requirements includes data quality, model reliability, and model
explainability, and (iv) main challenges include managing customer expectations and aligning requirements with data. The qualitative analyses revealed
that practitioners face problems related to lack of business domain understanding, unclear requirements, and low customer engagement. These results help to
provide a better understanding of the adopted practices and which problems
exist in practical environments. We put forward the need to adapt further and
disseminate RE-related practices for engineering ML-enabled systems.
| Identifer | oai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:65995 |
| Date | 06 February 2024 |
| Creators | ANTONIO PEDRO SANTOS ALVES |
| Contributors | MARCOS KALINOWSKI, MARCOS KALINOWSKI, MARCOS KALINOWSKI |
| Publisher | MAXWELL |
| Source Sets | PUC Rio |
| Language | English |
| Detected Language | English |
| Type | TEXTO |
Page generated in 0.0028 seconds