[pt] Sistemas que usam Aprendizado de Máquina, doravante Machine Learning (ML), tornaram-se comuns para empresas que deseajam melhorar seus produtos, serviços e processos. A literatura sugere que a Engenharia de Requisitos (ER) pode ajudar a explicar muitos problemas relacionados à engenharia de sistemas inteligentes envolvendo componentes de ML (ML-Enabled Systems). Contudo, o cenário atual de evidências empíricas sobre como ER é aplicado na prática no contexto desses sistemas é amplamente dominado por estudos de casos isolados com pouca generalização. Nós conduzimos um survey internacional para coletar informações de profissionais sobre o status quo e problemas de ER para ML-Enabled Systems. Coletamos 188 respostas completas de 25 países. Realizamos uma análise quantitativa sobre as práticas atuais utilizando bootstrapping com intervalos de confiança; e análises qualitativas sobre os problemas reportados através de procedimentos de codificação open e axial. Encontramos diferenças significativas nas práticas de ER no contexto de projetos de ML, algumas já reportadas na literatura e outras totalmente novas. Por exemplo, (i) atividades relacionadas à ER são predominantemente conduzidas por líderes de projeto e cientistas de dados, (ii) o formato de documentação predominante é baseado em Notebooks interativos, (iii) os principais requisitos não-funcionais incluem qualidade dos dados, confiança e explicabilidade no modelo, e (iv) os principais desafios consistem em gerenciar a expectativa dos clientes e alinhar requisitos com os dados disponíveis. As análises qualitativas revelaram que os praticantes enfrentam problemas relacionados ao baixo entendimento sobre o domínio do negócio, requisitos pouco claros e baixo engajamento do cliente. Estes resultados ajudam a melhorar o entendimento sobre práticas adotadas e problemas existentes em cenários reais. Destacamos a necessidade para adaptar ainda mais e disseminar práticas de ER relacionadas à engenharia de ML-Enabled Systems. / [en] Systems that use Machine Learning (ML) have become commonplace for companies that want to improve their products, services, and processes. Literature suggests that Requirements Engineering (RE) can help to address many problems when engineering ML-Enabled Systems. However, the state of empirical evidence on how RE is applied in practice in the context of MLenabled systems is mainly dominated by isolated case studies with limited generalizability. We conducted an international survey to gather practitioner insights into the status quo and problems of RE in ML-enabled systems. We gathered 188 complete responses from 25 countries. We conducted quantitative statistical analyses on contemporary practices using bootstrapping with confidence intervals and qualitative analyses on the reported problems involving open and axial coding procedures. We found significant differences in RE practices within ML projects, some of them have been reported on literature and some are totally new. For instance, (i) RE-related activities are mostly conducted by project leaders and data scientists, (ii) the prevalent requirements documentation format concerns interactive Notebooks, (iii) the main focus of non-functional requirements includes data quality, model reliability, and model explainability, and (iv) main challenges include managing customer expectations and aligning requirements with data. The qualitative analyses revealed that practitioners face problems related to lack of business domain understanding, unclear requirements, and low customer engagement. These results help to provide a better understanding of the adopted practices and which problems exist in practical environments. We put forward the need to adapt further and disseminate RE-related practices for engineering ML-enabled systems.

[pt] [Contexto] Sistemas que incorporam modelos de aprendizado de máquina(ML), muitas vezes chamados de sistemas de software habilitados para ML, tornaram-se comuns. No entanto, as evidências empíricas sobre como os sistemas habilitados para ML são projetados na prática ainda são limitadas; isto é especialmente verdadeiro para atividades relacionadas à disseminação do modelo de ML. [Objetivo] Investigamos práticas industriais contemporâneas e problemas relacionados à disseminação de modelos de ML, com foco nas fases de implantação do modelo e no monitoramento dentro do ciclo de vida de ML. [Método] Realizamos uma pesquisa on-line baseada em questionário internacional para coletar informações de profissionais sobre como os sistemas habilitados para ML são projetados. Reunimos 188 respostas completas de 25 países. Analisamos o status quo e os problemas relatados nas fases de implantação e monitoramento do modelo. Realizamos análises estatísticas sobre práticas contemporâneas utilizando bootstrapping com intervalos de confiança e análises qualitativas sobre os problemas relatados envolvendo procedimentos de codificação aberta e axial. [Resultados] Os profissionais consideram as fases de implantação e monitoramento do modelo relevantes, mas também difíceis. No que diz respeito à implantação de modelos, os modelos são normalmente implantados como serviços separados, com adoção limitada dos princípios de MLOps. Os problemas relatados incluem dificuldades no projeto da arquitetura da infraestrutura para implantação de produção e integração de aplicativos legados. No que diz respeito ao monitoramento de modelos, muitos dos modelos em produção não são monitorados. Os principais aspectos monitorados são insumos, produtos e decisões. Os problemas relatados envolvem a ausência de práticas de monitoramento, a necessidade de criar ferramentas de monitoramento personalizadas e desafios na seleção de métricas adequadas. [Conclusão] Nossos resultados já ajudam a fornecer uma melhor compreensão das práticas e problemas adotados na prática que apoiam a pesquisa em implantação de ML e monitoramento de maneira orientada a problemas. / [en] [Context] Systems that incorporate Machine Learning (ML) models, often referred to as ML-enabled systems, have become commonplace. However, empirical evidence on how ML-enabled systems are engineered in practice is still limited; this is especially true for activities surrounding ML model dissemination. [Goal] We investigate contemporary industrial practices and problems related to ML model dissemination, focusing on the model deployment and the monitoring ML life cycle phases. [Method] We conducted an international survey to gather practitioner insights on how ML-enabled systems are engineered. We gathered a total of 188 complete responses from 25 countries. We analyze the status quo and problems reported for the model deployment and monitoring phases. We analyzed contemporary practices using bootstrapping with confidence intervals and conducted qualitative analyses on the reported problems applying open and axial coding procedures. [Results] Practitioners perceive the model deployment and monitoring phases as relevant and difficult. With respect to model deployment, models are typically deployed as separate services, with limited adoption of MLOps principles. Reported problems include difficulties in designing the architecture of the infrastructure for production deployment and legacy application integration. Concerning model monitoring, many models in production are not monitored. The main monitored aspects are inputs, outputs, and decisions. Reported problems involve the absence of monitoring practices, the need to create custom monitoring tools, and the selection of suitable metrics. [Conclusion] Our results help provide a better understanding of the adopted practices and problems in practice and support guiding ML deployment and monitoring research in a problem-driven manner.

[pt] A COVID-19 foi declarada como uma pandemia em março de 2020 pela OMS (Organização Mundial da Saúde) e até abril de 2022 infectou aproximadamente 490,7 milhões de pessoas, com pelo menos 6,17 milhões de mortes. A pandemia desafiou a segurança alimentar, agricultura e cadeias de alimentos frescos. Pesquisas sobre a análise de cadeias de suprimentos agroalimentares durante a COVID-19 indicam um maior impacto em pequenos fornecedores destas cadeias, principalmente as cadeias mais curtas, que são aquelas que possuem poucos elos. Neste contexto, esse trabalho analisa os efeitos da COVID-19 em cadeias de alimentos frescos. É desenvolvido, assim, um estudo de caso em uma organização de produtores do Rio de Janeiro. Esse estudo cobre uma revisão de escopo que identifica na literatura os principais impactos e políticas da pandemia nessa cadeia. Em seguida, os resultados são avaliados através de uma pesquisa de levantamento (survey) na organização para avaliar se as variáveis encontradas na literatura possuem aderência com as variáveis identificadas pelos respondentes da survey, que são pequenos produtores no estado do Rio de Janeiro. Por fim, o problema é modelado por meio de uma simulação por dinâmica de sistemas. Os resultados mostraram que a cadeia de suprimentos da organização é sensível a variáveis de impacto como aumento do custo de produção e não entrega de produtos, pois ao aumentar o custo de produção e a não entregar produtos, a taxa de vendas é impactada negativamente. A política de investimento em logística mostra que a taxa de vendas é impactada positivamente quando se aumenta o investimento. / [en] COVID-19 was declared a pandemic in March 2020 by the WHO (World Health Organization), and at the beginning of April 2022, it had infected approximately 490.7 million people, with at least 6.17 million deaths. The pandemic has challenged food security, agriculture, and fresh food chains. Research on the analysis of agri-food supply chains during COVID-19 indicates a more significant impact on small suppliers of these chains, especially the shorter chains, which are those with few links. In this context, this work analyzes the effects of COVID-19 on fresh food chains. Thus, a case study is developed in a producer organization in Rio de Janeiro. This study covers a scoping review that identifies in the literature the main impacts and policies of the pandemic in this chain. Then, the results are evaluated through a survey in the organization to assess whether the variables found in the literature match the variables identified by the survey respondents, who are small producers in the state of Rio de Janeiro. Finally, the problem is modeled through a system dynamics simulation. The results showed that the organization s supply chain is sensitive to impact variables such as increased production cost and non-delivery of products. As increasing production cost and not delivering products, the sales rate is negatively impacted. The investment policy in logistics shows that the sales rate is positively impacted when investment increases.

[pt] Pesquisas no campo de Operações Humanitárias (Humanitarian Operations - HO) vem atraindo a atenção de acadêmicos e profissionais ao abranger o estudo de diversas ferramentas analíticas visando a melhora da resposta aos beneficiários. Diferentes estudos sugerem que a inserção de práticas e teorias tradicionais de logística e gestão de operações (Operation management – OM) - incluindo simulação, otimização, probabilidade e estatística - no contexto de desastres beneficiaria a cadeia de suprimentos humanitária. Uma vez que desastres são eventos complexos, graves e dinâmicos, com recursos humanos e materiais limitados, muitos stakeholders envolvidos e alto nível de incerteza de informação, a capacidade de gerir operações se faz necessária. Uma das técnicas mais comumente reconhecidas em OM é a simulação, sendo o método de Dinâmica de Sistemas (System Dynamics – SD) capaz de modelar representações simplificadas de realidades e obter informações valiosas sobre situações de complexidade dinâmica. O método fornece um conjunto de ferramentas, como mapeamento causal e modelagem de simulação, e permite avaliar os resultados de curto e longo prazo de decisões. Nesse contexto, a presente tese visa estudar a complexidade de HO através de SD. Para isso a tese conta com uma revisão sistemática da literatura (Systematic Literature Review – SLR) a fim de identificar o estado da arte, entregando uma taxonomia, um framework e uma agenda de pesquisa. Em seguida, duas operações são apresentadas, demonstrando a modelagem através de SD em contextos humanitários distintos e de alta relevância. A primeira operação estudada consiste na coleta e distribuição de doações para a população na base da pirâmide (Bottom of the Pyramid – BoP) do Rio de Janeiro, em meio a pandemia de COVID19. Realizamos uma survey e obtivemos 2155 respostas dos beneficiários. Os dados também foram obtidos diretamente com as organizações envolvidas na operação. Como resultado, demonstramos que aumentar o acesso a produtos de limpeza nas comunidades por meio de doações pode reduzir significativamente a transmissão do vírus SARS-CoV-2. Ademais, mostramos que as doações de alimentos podem aumentar a capacidade da população vulnerável de arcar com as necessidades, aliviando o estresse causado pela pandemia nesta parcela da população. Ademais, demostramos que quando todas as doações são na forma de vouchers/ dinheiro, a acessibilidade aumenta em 20 por cento em comparação com todas as doações físicas. Resultados que podem servir de base para formuladores de políticas ajudarem as comunidades vulneráveis, especialmente durante crises nas quais os recursos são escassos e devem ser explorados de forma eficiente. O segundo estudo consiste na operação do governo federal Brasileiro para receber, abrigar e interiorizar Venezuelanos no Brasil. Como o fluxo de Venezuelanos para o Brasil tem crescido e as consequências da pandemia se apresentam como uma preocupação com a capacidade da operação, a Operação Acolhida é modelada a fim de entender os gargalos de sua escalabilidade. Como resultado, demonstramos que: (i) o processo de interiorização é um gargalo, pois além da logística, é necessária a inserção socioeconômica dos Venezuelanos (por meio de vagas de emprego, por exemplo); (ii) a capacidade dos abrigos é um gargalo da operação, pois define uma fila de venezuelanos precisando de ajuda esperando para serem abrigados. / [en] Research in Humanitarian Operations (HO) has attracted the attention of academics and practitioners by applying analytical tools to improve response to beneficiaries. Different studies suggest that the integration of traditional practices and theories of logistics and operations management (OM) in the complex context of disasters would benefit the humanitarian supply chain. One of the most recognised techniques in OM is simulation, being System Dynamics (SD) a method capable of model simplified representations of realities and gain valuable insights into situations of dynamic complexity. In this context, this thesis aims to analyse the complexity of HO through SD. The thesis presents a systematic literature review (SLR) to identify the state of the art of the subject, delivering a taxonomy, a framework, and a research agenda. Then, two complex and dynamic operations are modelled through SD. The first operation involves collecting and distributing donations to the vulnerable population from Rio de Janeiro, Brazil, amid the COVID-19 pandemic. As a result, we demonstrated that: (i) increasing access to cleaning products in communities can significantly reduce COVID-19 transmission; (ii) food donations can increase the population s affordability; (iii) accessibility increases by 20 percent in vouchers/cash donations compared to all in-kind donations. The second one is the Brazilian operation to receive, shelter, and internalise Venezuelans. Since the flow of Venezuelans to Brazil has grown and, the pandemic aftermath presents itself as a concern for the operation capacity, Operation Welcome is modelled to understand the bottlenecks for its scalability. As a result, we demonstrate that: (i) the internalisation process is a bottleneck as, in addition to logistics, it is necessary the socio-economical insertion (through job vacancies, for example); (ii) shelters capacity is an operation bottleneck, as it defines a queue of needing assistance Venezuelans waiting to be sheltered.