[pt] A aplicação de princípios de design tem sido reconhecida há muito tempo como benéfica para a compreensão e manutenção em projetos de software tradicionais. Esses benefícios podem ser válidos de forma semelhante para projetos de aprendizado de máquina (ML), que envolvem experimentação iterativa com dados, modelos e algoritmos. No entanto, os componentes de ML são frequentemente desenvolvidos por cientistas de dados com diversas formações educacionais, resultando potencialmente em código que não segue as práticas recomendadas de desenvolvimento de software. Para compreender melhor esse fenômeno, investigamos o impacto dos princípios de design SOLID na compreensão do código de ML. Para tanto, conduzimos um experimento controlado com três trials independentes (replicações exatas), envolvendo no total 100 cientistas de dados. Reestruturamos o código de ML real da indústria que não usava princípios SOLID. Dentro de cada ensaio, um grupo foi apresentado ao código de ML original, enquanto o outro foi apresentado ao código de ML incorporando princípios SOLID. Os participantes de ambos os grupos foram convidados a analisar o código e preencher um questionário que incluía perguntas abertas e fechadas sobre a sua compreensão. Os resultados do estudo fornecem evidências estatisticamente significativas de que a adoção dos princípios de design SOLID pode melhorar a compreensão do código no âmbito dos projetos de ML. Propomos que os princípios de design de engenharia de software devem ser difundidos na comunidade de ciência dedados e considerados para melhorar a capacidade de manutenção do código de ML. / [en] Applying design principles has long been acknowledged as beneficial
for understanding and maintainability in traditional software projects. These
benefits may similarly hold for machine learning (ML) projects, which involve
iterative experimentation with data, models, and algorithms. However, ML
components are often developed by data scientists with diverse educational
backgrounds, potentially resulting in code that doesn t adhere to software
development best practices. In order to better understand this phenomenon,
we investigated the impact of the SOLID design principles on ML code
understanding. To this end, we conducted a controlled experiment with three
independent trials (exact replications), overall involving 100 data scientists.
We restructured ML code from a real industrial setting that did not use
SOLID principles. Within each trial, one group was presented with the original
ML code, while the other one was presented with ML code incorporating
SOLID principles. Participants of both groups were asked to analyze the
code and fill out a questionnaire that included both open-ended and closed-ended questions on their understanding. The study results provide statistically
significant evidence that the adoption of the SOLID design principles can
improve code understanding within the realm of ML projects. We put forward
that software engineering design principles should be spread within the data
science community and considered for enhancing the maintainability of ML
code.
| Identifer | oai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:66797 |
| Date | 23 May 2024 |
| Creators | RAPHAEL OLIVEIRA CABRAL |
| Contributors | MARCOS KALINOWSKI, MARCOS KALINOWSKI, MARCOS KALINOWSKI |
| Publisher | MAXWELL |
| Source Sets | PUC Rio |
| Language | English |
| Detected Language | Portuguese |
| Type | TEXTO |
Page generated in 0.0019 seconds