In data science, machine learning methods, such as deep learning and other AI algorithms, have been widely used in many applications. These machine learning methods often have complicated model structures with a large number of model parameters and a set of hyperparameters. Moreover, these machine learning methods are data-driven in nature. Thus, it is not easy to provide a comprehensive evaluation on the performance of these machine learning methods with respect to the data quality and hyper-parameters of the algorithms. In the statistical literature, design of experiments (DoE) is a set of systematical methods to effectively investigate the effects of input factors for the complex systems. There are few works focusing on the use of DoE methodology for evaluating the quality assurance of AI algorithms, while an AI algorithm is naturally a complex system. An understanding of the quality of Artificial Intelligence (AI) algorithms is important for confidently deploying them in real applications such as cybersecurity, healthcare, and autonomous driving. In this proposal, I aim to develop a set of novel methods on the interface between experimental design and machine learning, providing a systematical framework of using DoE methodology for AI algorithms. This proposal contains six chapters. Chapter 1 provides a general introduction of design of experiments, machine learning, and surrogate modeling. Chapter 2 focuses on investigating the robustness of AI classification algorithms by conducting a comprehensive set of mixture experiments. Chapter 3 proposes a so-called Do-AIQ framework of using DoE for evaluating the AI algorithm’s quality assurance. I establish a design-of-experiment framework to construct an efficient space-filling design in a high-dimensional constraint space and develop an effective surrogate model using additive Gaussian process to enable the quality assessment of AI algorithms. Chapter 4 introduces a framework to generate continual learning (CL) datsets for cybersecurity applications. Chapter 5 presents a variable selection method under cumulative exposure model for time-to-event data with time-varying covariates. Chapter 6 provides the summary of the entire dissertation. / Doctor of Philosophy / Artificial intelligence (AI) techniques, including machine learning and deep learning algorithms, are widely used in various applications in the era of big data. While these algorithms have impressed the public with their remarkable performance, their underlying mechanisms are often highly complex and difficult to interpret. As a result, it becomes challenging to comprehensively evaluate the overall performance and quality of these algorithms. The Design of Experiments (DoE) offers a valuable set of tools for studying and understanding the underlying mechanisms of complex systems, thereby facilitating improvements. DoE has been successfully applied in diverse areas such as manufacturing, agriculture, and healthcare. The use of DoE has played a crucial role in enhancing processes and ensuring high quality. However, there are few works focusing on the use of DoE methodology for evaluating the quality assurance of AI algorithms, where an AI algorithm can be naturally considered as a complex system. This dissertation aims to develop innovative methodologies on the interface between experimental design and machine learning. The research conducted in this dissertation can serve as practical tools to use DoE methodology in the context of AI algorithms.

A Grande Jazida Candiota, localizada no Município homônimo do Estado do Rio Grande do Sul, possui o maior depósito de carvão mineral do país. Desde 1970 em operação, a Usina Termoelétrica (UTE) Presidente Médici opera atualmente com potência nominal de 796 MW, distribuídas em cinco unidades. Na mesma região encontra-se em instalação a UTE Pampa Sul, com potência nominal de 340 MW, enquanto outras usinas, totalizando 2.527 MW, estão em distintas fases de licenciamento ambiental federal (LAF). Na presente pesquisa aplicou-se o modelo regulatório CALPUFF para avaliar o comportamento da dispersão dos poluentes atmosféricos das fontes fixas prognosticando a vulnerabilidade ambiental em termos de saturação da bacia atmosférica pela estimativa do Índice de Pressão Ambiental (IPA). Pela análise de agrupamento das respostas das simulações incidentes em receptores dos núcleos urbanos, estimou-se o risco populacional em termos de Fração de Ingestão (FI) de poluentes. Ao compararmos o cenário futuro com o atual, apesar de maior distribuição espacial das fontes de emissão e significativo acréscimo de potência, as taxas de emissão total de SO2 e MP para a área em estudo serão reduzidas entre os atuais 3.266,1 g SO2/s e 696,3 g MP/s para futuros 1.899,9 g SO2/s e 261,7 g MP/s. Contudo, para o poluente NOx esta tendência é inversa, passando da atual taxa de emissão de 375,8 g NOx/s para 1.423,9 g Nox/s. Para o período de 2011 a 2013, ao compararmos as médias anuais de poluentes entre o cenário atual e o futuro, contabilizou-se para a FI redução média de cerca de 15% de SO2 e 42% de MP, ao passo que houve elevação de cerca de 524% para NOx. Avaliando-se a distribuição espacial da poluição provocada pelos três compostos, aplicou-se o IPA para raios concêntricos de influência considerando as médias anuais, concluindo-se que o cenário futuro exerce menor saturação na bacia aérea e portanto menores índices de vulnerabilidade ambiental e risco populacional. A sensibilidade e performance do modelo foram avaliadas por métodos estatísticos, concluindo-se que o mesmo é aplicável pois atendem os critérios de fração de predição, tendência média e de espalhamento aleatório. / The Great Coal-Bed of Candiota, located in the homonymous municipality of the State of Rio Grande do Sul, has the largest coal deposit in the country. Since 1970 in operation, Presidente Médici Thermoelectric Power Plant (TPP) currently operates with nominal power of 796 MW, distributed in five units. In the same region, the Pampa Sul TPP is under construction, with a nominal power of 340 MW; while other plants, totaling 2,527 MW, are in different phases of federal environmental licensing (FEL). In the present research the CALPUFF regulatory model was applied to evaluate the behavior of the dispersion of the atmospheric pollutants emitted from fixed sources, predicting the environmental vulnerability in terms of saturation of the atmospheric basin by the estimation of the Environmental Pressure Index (EPI). The population risk in terms of Intake Fraction (IF) of pollutants was estimated by grouping the responses of the simulations incident on receptors of the urban nuclei. When comparing the future scenario with the current one, in spite of a greater spatial distribution of emission sources and a significant increase in power, the total emission rates of SO2 and MP for the study area will be reduced from the current 3,266.1 g SO2 / s 696.3 g MP / s for futures 1,899.9 g SO2 / s and 261.7 g MP / s. However, for the NOx pollutant this trend is reversed, from the current emission rate of 375.8 g NOx / s to 1423.9 g Nox / s. For the period from 2011 to 2013, when comparing the annual averages of pollutants between the current and future scenarios, an average reduction of about 15% of SO2 and 42% of MP was recorded for FI, while there was an increase of 524% for NOx. The EPI was applied to concentric rays of influence considering the annual averages, concluding that the future scenario exerts a lower saturation in the aerial basin and therefore, lower levels of environmental vulnerability and population risk. The sensitivity and performance of the model were evaluated by statistical methods, concluding that it is applicable because they meet the criteria of prediction fraction, average tendency and random spread.

A Grande Jazida Candiota, localizada no Município homônimo do Estado do Rio Grande do Sul, possui o maior depósito de carvão mineral do país. Desde 1970 em operação, a Usina Termoelétrica (UTE) Presidente Médici opera atualmente com potência nominal de 796 MW, distribuídas em cinco unidades. Na mesma região encontra-se em instalação a UTE Pampa Sul, com potência nominal de 340 MW, enquanto outras usinas, totalizando 2.527 MW, estão em distintas fases de licenciamento ambiental federal (LAF). Na presente pesquisa aplicou-se o modelo regulatório CALPUFF para avaliar o comportamento da dispersão dos poluentes atmosféricos das fontes fixas prognosticando a vulnerabilidade ambiental em termos de saturação da bacia atmosférica pela estimativa do Índice de Pressão Ambiental (IPA). Pela análise de agrupamento das respostas das simulações incidentes em receptores dos núcleos urbanos, estimou-se o risco populacional em termos de Fração de Ingestão (FI) de poluentes. Ao compararmos o cenário futuro com o atual, apesar de maior distribuição espacial das fontes de emissão e significativo acréscimo de potência, as taxas de emissão total de SO2 e MP para a área em estudo serão reduzidas entre os atuais 3.266,1 g SO2/s e 696,3 g MP/s para futuros 1.899,9 g SO2/s e 261,7 g MP/s. Contudo, para o poluente NOx esta tendência é inversa, passando da atual taxa de emissão de 375,8 g NOx/s para 1.423,9 g Nox/s. Para o período de 2011 a 2013, ao compararmos as médias anuais de poluentes entre o cenário atual e o futuro, contabilizou-se para a FI redução média de cerca de 15% de SO2 e 42% de MP, ao passo que houve elevação de cerca de 524% para NOx. Avaliando-se a distribuição espacial da poluição provocada pelos três compostos, aplicou-se o IPA para raios concêntricos de influência considerando as médias anuais, concluindo-se que o cenário futuro exerce menor saturação na bacia aérea e portanto menores índices de vulnerabilidade ambiental e risco populacional. A sensibilidade e performance do modelo foram avaliadas por métodos estatísticos, concluindo-se que o mesmo é aplicável pois atendem os critérios de fração de predição, tendência média e de espalhamento aleatório. / The Great Coal-Bed of Candiota, located in the homonymous municipality of the State of Rio Grande do Sul, has the largest coal deposit in the country. Since 1970 in operation, Presidente Médici Thermoelectric Power Plant (TPP) currently operates with nominal power of 796 MW, distributed in five units. In the same region, the Pampa Sul TPP is under construction, with a nominal power of 340 MW; while other plants, totaling 2,527 MW, are in different phases of federal environmental licensing (FEL). In the present research the CALPUFF regulatory model was applied to evaluate the behavior of the dispersion of the atmospheric pollutants emitted from fixed sources, predicting the environmental vulnerability in terms of saturation of the atmospheric basin by the estimation of the Environmental Pressure Index (EPI). The population risk in terms of Intake Fraction (IF) of pollutants was estimated by grouping the responses of the simulations incident on receptors of the urban nuclei. When comparing the future scenario with the current one, in spite of a greater spatial distribution of emission sources and a significant increase in power, the total emission rates of SO2 and MP for the study area will be reduced from the current 3,266.1 g SO2 / s 696.3 g MP / s for futures 1,899.9 g SO2 / s and 261.7 g MP / s. However, for the NOx pollutant this trend is reversed, from the current emission rate of 375.8 g NOx / s to 1423.9 g Nox / s. For the period from 2011 to 2013, when comparing the annual averages of pollutants between the current and future scenarios, an average reduction of about 15% of SO2 and 42% of MP was recorded for FI, while there was an increase of 524% for NOx. The EPI was applied to concentric rays of influence considering the annual averages, concluding that the future scenario exerts a lower saturation in the aerial basin and therefore, lower levels of environmental vulnerability and population risk. The sensitivity and performance of the model were evaluated by statistical methods, concluding that it is applicable because they meet the criteria of prediction fraction, average tendency and random spread.

A Grande Jazida Candiota, localizada no Município homônimo do Estado do Rio Grande do Sul, possui o maior depósito de carvão mineral do país. Desde 1970 em operação, a Usina Termoelétrica (UTE) Presidente Médici opera atualmente com potência nominal de 796 MW, distribuídas em cinco unidades. Na mesma região encontra-se em instalação a UTE Pampa Sul, com potência nominal de 340 MW, enquanto outras usinas, totalizando 2.527 MW, estão em distintas fases de licenciamento ambiental federal (LAF). Na presente pesquisa aplicou-se o modelo regulatório CALPUFF para avaliar o comportamento da dispersão dos poluentes atmosféricos das fontes fixas prognosticando a vulnerabilidade ambiental em termos de saturação da bacia atmosférica pela estimativa do Índice de Pressão Ambiental (IPA). Pela análise de agrupamento das respostas das simulações incidentes em receptores dos núcleos urbanos, estimou-se o risco populacional em termos de Fração de Ingestão (FI) de poluentes. Ao compararmos o cenário futuro com o atual, apesar de maior distribuição espacial das fontes de emissão e significativo acréscimo de potência, as taxas de emissão total de SO2 e MP para a área em estudo serão reduzidas entre os atuais 3.266,1 g SO2/s e 696,3 g MP/s para futuros 1.899,9 g SO2/s e 261,7 g MP/s. Contudo, para o poluente NOx esta tendência é inversa, passando da atual taxa de emissão de 375,8 g NOx/s para 1.423,9 g Nox/s. Para o período de 2011 a 2013, ao compararmos as médias anuais de poluentes entre o cenário atual e o futuro, contabilizou-se para a FI redução média de cerca de 15% de SO2 e 42% de MP, ao passo que houve elevação de cerca de 524% para NOx. Avaliando-se a distribuição espacial da poluição provocada pelos três compostos, aplicou-se o IPA para raios concêntricos de influência considerando as médias anuais, concluindo-se que o cenário futuro exerce menor saturação na bacia aérea e portanto menores índices de vulnerabilidade ambiental e risco populacional. A sensibilidade e performance do modelo foram avaliadas por métodos estatísticos, concluindo-se que o mesmo é aplicável pois atendem os critérios de fração de predição, tendência média e de espalhamento aleatório. / The Great Coal-Bed of Candiota, located in the homonymous municipality of the State of Rio Grande do Sul, has the largest coal deposit in the country. Since 1970 in operation, Presidente Médici Thermoelectric Power Plant (TPP) currently operates with nominal power of 796 MW, distributed in five units. In the same region, the Pampa Sul TPP is under construction, with a nominal power of 340 MW; while other plants, totaling 2,527 MW, are in different phases of federal environmental licensing (FEL). In the present research the CALPUFF regulatory model was applied to evaluate the behavior of the dispersion of the atmospheric pollutants emitted from fixed sources, predicting the environmental vulnerability in terms of saturation of the atmospheric basin by the estimation of the Environmental Pressure Index (EPI). The population risk in terms of Intake Fraction (IF) of pollutants was estimated by grouping the responses of the simulations incident on receptors of the urban nuclei. When comparing the future scenario with the current one, in spite of a greater spatial distribution of emission sources and a significant increase in power, the total emission rates of SO2 and MP for the study area will be reduced from the current 3,266.1 g SO2 / s 696.3 g MP / s for futures 1,899.9 g SO2 / s and 261.7 g MP / s. However, for the NOx pollutant this trend is reversed, from the current emission rate of 375.8 g NOx / s to 1423.9 g Nox / s. For the period from 2011 to 2013, when comparing the annual averages of pollutants between the current and future scenarios, an average reduction of about 15% of SO2 and 42% of MP was recorded for FI, while there was an increase of 524% for NOx. The EPI was applied to concentric rays of influence considering the annual averages, concluding that the future scenario exerts a lower saturation in the aerial basin and therefore, lower levels of environmental vulnerability and population risk. The sensitivity and performance of the model were evaluated by statistical methods, concluding that it is applicable because they meet the criteria of prediction fraction, average tendency and random spread.