Abstract Wastewater treatment is facing challenges due to the stricter legislation and increasing variety in the quantity and quality of the influent. In addition, for economic reasons the use of resources should be efficient. Therefore new automated monitoring tools and methods along with intelligent use of the gathered data are required to increase knowledge on the treatment process and to receive predictive information on the quality of the effluent that can be used to assist in optimizing the process operation. Predicting the effluent quality is difficult, as the complex treatment process includes several simultaneous nonlinear mechanisms and the relevant continuous information on the floc morphology is commonly missing, even though the flocculation process holds the key role in efficient wastewater treatment. Automated optical monitoring is able to reveal new valuable information on wastewater continuously, fast, objectively, and with minimal labor contribution. The main aim of this research was to develop predictive models for the quality parameters of treated wastewater at two full-scale wastewater treatment processes utilizing optical monitoring results. The actual predictive information was enabled using the measurements from the beginning of the process in model development alone. The optimal subsets of the model variables were sought by variable selection methods. The research also shows how utilization of the process measurements and the optical monitoring variables separately and together affect the modeling accuracy. The quality of the effluent in municipal and industrial wastewater treatment processes can be predicted in varying operating conditions by utilizing optical monitoring and process measurements. The prediction accuracy is sufficient to reveal the level of and changes in effluent quality. Thus, process operation can be optimized, more efficiently purified wastewater can be achieved, and environmental damage, health-related risks, and economic losses can be minimized. / Tiivistelmä Jätevedenkäsittely kohtaa tulevaisuudessa haasteita tiukentuvan lainsäädännön sekä lisääntyvän jätevesimäärän ja laatuvaihteluiden vuoksi. Lisäksi taloudellisista syistä resurssien käytön pitäisi olla mahdollisimman tehokasta. Tämän vuoksi tarvitaan uusia automaattisia monitorointivälineitä ja -menetelmiä sekä kerätyn datan älykästä käyttöä lisäämään tietoa käsittelyprosessista ja ennustamaan käsitellyn jäteveden laatua prosessin ohjauksen optimoimiseksi. Käsitellyn jäteveden laadun ennustaminen on vaikeaa, sillä monimutkainen käsittelyprosessi sisältää useita yhtäaikaisia epälineaarisia mekanismeja ja olennainen jatkuva-aikainen tieto flokkien morfologiasta puuttuu, vaikka flokkausprosessi on keskeisessä asemassa jätevedenpuhdistuksen tehokkaan toiminnan kannalta. Automaattisen optisen monitoroinnin avulla saadaan uutta hyödyllistä tietoa jätevedestä jatkuva-aikaisesti, nopeasti, objektiivisesti ja vähäisellä työpanoksella. Tämän tutkimustyön päätavoite oli kehittää ennustemalleja kahden täysikokoisen jätevesilaitoksen käsitellyn jäteveden laatuparametreille hyödyntäen automaattista optista monitorointia. Malleissa käytettiin vain prosessin alkuosan mittauksia, jotta malleilla olisi todellinen kyky ennakoida käsitellyn jäteveden laatu. Mallien optimaaliset tulomuuttujat etsittiin muuttujavalinta-algoritmeilla. Tutkimus näyttää myös, miten prosessimittausten ja optisen monitoroinnin muuttujien hyödyntäminen yhdessä ja erikseen vaikuttaa mallien tarkkuuteen. Optisen monitoroinnin hyödyntäminen yhdessä prosessimittausten kanssa mahdollistaa käsitellyn jäteveden laadun ennustamisen vaihtelevissa olosuhteissa sekä teollisessa että kunnallisessa jätevedenkäsittelylaitoksessa. Mallinnustarkkuus on riittävä laatuparametrien tason ja muutosten esittämiseen ja käytettäväksi apuna prosessin ohjauksessa. Tällöin jäteveden puhdistusprosessi tehostuu ja ympäristövahingot, terveysriskit ja taloudelliset menetykset voidaan minimoida.

A presente dissertação propõe métodos para seleção de variáveis preditivas com base em índices de importância das variáveis e regressão PLS (Partial Least Squares). Partindo-se de uma revisão da bibliografia sobre PLS e índices de importância das variáveis, sugere-se um método, denominado Eliminação Backward (EB), para seleção de variáveis a partir da eliminação sistemática de variáveis de acordo com a ordem definida por índices de importância das variáveis. Um novo índice de importância de variáveis, proposto com base nos parâmetros da regressão PLS, tem seu desempenho avaliado frente a outros índices reportados pela literatura. Duas variações do método EB são propostas e testadas através de simulação: (i) o método EBM (Eliminação backward por mínimos), que identifica o conjunto que maximiza o indicador de acurácia preditiva sem considerar o percentual de variáveis retidas, e (ii) o método EBDE (Eliminação backward por distância euclidiana), que seleciona o conjunto de variáveis responsável pela mínima distância euclidiana entre os pontos do perfil gerado pela eliminação das variáveis e um ponto ideal hipotético definido pelo usuário. A aplicação dos três métodos em quatro bancos de dados reais aponta o EBDE como recomendável, visto que retém, em média, apenas 13% das variáveis originais e eleva a acurácia de predição em 32% em relação à utilização de todas as variáveis. / This dissertation presents new methods for predictive variable selection based on variable importance indices and PLS regression. The novel method, namely Backward Elimination (BE), selects the most important variables by eliminating process variables according to their importance described by the variable importance indices. A new variable importance index is proposed, and compared to previous indices for that purpose. We then offer two modifications on the BE method: (i) the EBM method, which selects the subset of variables yielding the maximum predictive accuracy (i.e., the minimum residual index), and (ii) the EBDE, which selects the subset leading to the minimum Euclidian distance between the points generated by variable removal and a hypothetical ideal point defined by the user. When applied to four manufacturing data sets, the recommended method, EBDE, retains average 13% of the original variables and increases the prediction accuracy in average 32% compared to using all the variables.

A presente dissertação propõe novas abordagens para seleção de variáveis com vistas à formação de grupos representativos de observações. Para tanto, sugere um novo índice de importância das variáveis apoiado nos parâmetros oriundos da Análise de Componentes Principais (APC), o qual é integrado a uma sistemática do tipo forward para seleção de variáveis. A qualidade dos agrupamentos formados é medida através do Silhouette Index. Um estudo de simulação é projetado para avaliar a robustez e o desempenho da sistemática proposta em dados com diferentes níveis de correlação, ruído e número de observações a serem clusterizadas. Na sequência, é apresentada uma versão modificada da sistemática original, a qual utiliza funções kernel para remapeamento dos dados com vistas ao incremento da qualidade de clusterização e redução das variáveis retidas para formação dos agrupamentos. A versão modificada é aplicada em 3 bancos de dados da indústria química, aumentando a qualidade da clusterização medida pelo SI médio em 150% e utilizando em torno de 6% das variáveis originais. / This thesis proposes new approaches for variable selection aimed at forming representative groups of observations. For that matter, we suggest a new variable importance index based on parameters derived from the Principal Component Analysis (PCA), which is integrated to a forward procedure for variable selection. The quality of clustering procedure is assessed by the Silhouette Index. A simulation study is designed to evaluate the robustness of the proposed method on different levels of variable correlation, noise and number of observations to be clustered. Next, we modify the original method by remapping observations through kernel functions tailored to improving the clustering quality and reducing the retained variables. The modified version is applied to 3 databases related to chemical processes, increasing the quality of clustering measured by SI on average 150%, while using around 6% of the original variables.

A disputa por parcelas de mercado impõe condições severas às empresas sob diversas perspectivas. Dentre elas salienta-se a crescente demanda por alta variedade de produtos, que por sua vez cria um ambiente de decisões gerenciais complexas e por vezes conflitantes. Neste contexto, dois pontos relativos a processos produtivos tornam-se cada vez mais importantes na implantação de estratégias diferenciadas: a programação da produção e a gestão de estoques. Esta dissertação apresenta uma sistemática que visa embasar decisões relativas a tais pontos, aprimorando o processo produtivo. Como primeira etapa, trata-se o problema relativo à programação da produção diária. Para tanto, é apresentada uma sistemática de seleção de variáveis de clusterização para agrupamento de produtos, a qual é integrada à Simulação de Monte Carlo (SMC) com objetivo de maximizar lucro. Os cenários propostos são aplicados em clusters (famílias de produtos) e não nos produtos de forma individual, simplificando e agilizando a programação da produção. O erro percentual em relação à situação real foi de 1%. A segunda etapa desta dissertação foca na seleção de variáveis de clusterização com vistas à gestão de estoques. Desta forma, é apresentada uma abordagem de seleção de variáveis para clusterização de 76 produtos em três clusters, sendo que para cada cluster são geradas políticas simultâneas de reposição dos produtos. Tais políticas são confrontadas, em termos de custos de colocação de pedidos e guarda de estoques, com os resultados gerados pelo Lote Econômico de Compras (LEC). A redução do volume de pedidos anuais se aproximou de 90%, enquanto que o incremento de custos relativos à guarda de produtos e processamento de pedidos foi de 0,2% frente ao custo gerado pelo LEC. / The dispute for larger market shares imposes hard conditions to companies in several perspectives. The growing demand for high variety of product models gives rise to complex productive scenarios, requiring precise managerial decisions. In this context, two points relating to production processes become increasingly important when implementing managerial strategies: production scheduling and inventory management. This dissertation presents an approach aimed at supporting decisions related to such points. As a first step, we tackle the daily scheduling problem presenting a systematic for selecting the most relevant variables for clustering products with similar features into groups; such groups are then integrated to a Monte Carlo Simulation (MCS) tailored to maximizing profit. In our propositions, managing clusters of products leads to simpler and faster managerial decisions regarding the production schedule. A proper training of the MCS parameters yielded a 1% deviation when compared to the real situation. The second part of this dissertation focuses on variable selection for clustering tailored to inventory management. For that matter, we present a variable selection approach for clustering 76 products into three clusters; such clusters are then integrated to a simultaneous inventory policy. The simultaneous policy aims at reducing costs of orders placement and simplifying the inventory management. When compared to the Economic Quantity Order (EOQ), our propositions reduced the number of order placements in 90%, while increasing costs related to inventory keeping in 0.2%.

A economia mundial passou por grandes transformações no último século, as quais incluiram períodos de crescimento sustentado seguidos por outros de estagnação, governos alternando estratégias de liberalização de mercado com políticas de protecionismo comercial e instabilidade nos mercados, dentre outros. Figurando como auxiliar na compreensão de problemas econômicos e sociais de forma sistêmica, a análise de indicadores de desempenho é capaz de gerar informações relevantes a respeito de padrões de comportamento e tendências, além de orientar políticas e estratégias para incremento de resultados econômicos e sociais. Indicadores que descrevem as principais dimensões econômicas de um país podem ser utilizados como norteadores na elaboração e monitoramento de políticas de desenvolvimento e crescimento desses países. Neste sentido, esta dissertação utiliza dados do Banco Mundial para aplicar e avaliar sistemáticas de agrupamento de países com características similares em termos dos indicadores que os descrevem. Para tanto, integra técnicas de clusterização (hierárquicas e não-hierárquicas), seleção de variáveis (por meio da técnica “leave one variable out at a time”) e redução dimensional (através da Análise de Componentes Principais) com vistas à formação de agrupamentos consistentes de países. A qualidade dos clusters gerados é avaliada pelos índices Silhouette, Calinski-Harabasz e Davies-Bouldin. Os resultados se mostraram satisfatórios quanto à representatividade dos indicadores destacados e qualidade da clusterização gerada. / The world economy faced transformations in the last century. Periods of sustained growth followed by others of stagnation, governments alternating strategies of market liberalization with policies of commercial protectionism, and instability in markets, among others. As an aid to understand economic and social problems in a systemic way, the analysis of performance indicators generates relevant information about patterns, behavior and trends, as well as guiding policies and strategies to increase results in economy and social issues. Indicators describing main economic dimensions of a country can be used guiding principles in the development and monitoring of development and growth policies of these countries. In this way, this dissertation uses data from World Bank to elaborate a system of grouping countries with similar characteristics in terms of the indicators that describe them. To do so, it integrates clustering techniques (hierarchical and non-hierarchical), selection of variables (through the "leave one variable out at a time" technique) and dimensional reduction (appling Principal Component Analysis). The generated clusters quality is evaluated by the Silhouette Index, Calinski-Harabasz and Davies-Bouldin indexes. The results were satisfactory regarding the representativity of the highlighted indicators and the generated a good clustering quality.

Este trabalho aplica algumas formas de penalização tipo LASSO aos coeficientes para reduzir a dimensionalidade do espaço paramétrico em séries temporais, no intuito de melhorar as previsões fora da amostra. Particularmente, o método denominado aqui como WLadaLASSO atribui diferentes pesos para cada coeficiente e para cada defasagem. Nas implementações de Monte Carlo deste trabalho, quando comparado a outros métodos de encolhimento do conjunto de coeficientes, essencialmente nos casos de pequenas amostras, o WLadaLASSO mostra superioridade na seleção das covariáveis, na estimação dos parâmetros e nas previsões. Uma aplicação a séries macroeconômicas brasileiras também mostra que tal abordagem apresenta a melhor performance de previsão do PIB brasileiro comparada a outras abordagens. / This dissertation applies some forms of LASSO-type penalty on the coefficients to reduce the dimensionality of the parameter space in time series, in order to improve the out-of-sample forecasting. Particularly, the method named here as WLadaLASSO assigns different weights to each coefficient and lag period. In Monte Carlo implementations in this study, when compared to other shrinkage methods, essentially for small samples, the WLadaLASSO shows superiority in the covariable selection, in the parameter estimation and in forecasting. An application to Brazilian macroeconomic series also shows that this approach has the best forecasting performance of the Brazilian GDP compared to other approaches.

abstract: Modern, advanced statistical tools from data mining and machine learning have become commonplace in molecular biology in large part because of the “big data” demands of various kinds of “-omics” (e.g., genomics, transcriptomics, metabolomics, etc.). However, in other fields of biology where empirical data sets are conventionally smaller, more traditional statistical methods of inference are still very effective and widely used. Nevertheless, with the decrease in cost of high-performance computing, these fields are starting to employ simulation models to generate insights into questions that have been elusive in the laboratory and field. Although these computational models allow for exquisite control over large numbers of parameters, they also generate data at a qualitatively different scale than most experts in these fields are accustomed to. Thus, more sophisticated methods from big-data statistics have an opportunity to better facilitate the often-forgotten area of bioinformatics that might be called “in-silicomics”. As a case study, this thesis develops methods for the analysis of large amounts of data generated from a simulated ecosystem designed to understand how mammalian biomechanics interact with environmental complexity to modulate the outcomes of predator–prey interactions. These simulations investigate how other biomechanical parameters relating to the agility of animals in predator–prey pairs are better predictors of pursuit outcomes. Traditional modelling techniques such as forward, backward, and stepwise variable selection are initially used to study these data, but the number of parameters and potentially relevant interaction effects render these methods impractical. Consequently, new modelling techniques such as LASSO regularization are used and compared to the traditional techniques in terms of accuracy and computational complexity. Finally, the splitting rules and instances in the leaves of classification trees provide the basis for future simulation with an economical number of additional runs. In general, this thesis shows the increased utility of these sophisticated statistical techniques with simulated ecological data compared to the approaches traditionally used in these fields. These techniques combined with methods from industrial Design of Experiments will help ecologists extract novel insights from simulations that combine habitat complexity, population structure, and biomechanics. / Dissertation/Thesis / Masters Thesis Industrial Engineering 2018

A economia mundial passou por grandes transformações no último século, as quais incluiram períodos de crescimento sustentado seguidos por outros de estagnação, governos alternando estratégias de liberalização de mercado com políticas de protecionismo comercial e instabilidade nos mercados, dentre outros. Figurando como auxiliar na compreensão de problemas econômicos e sociais de forma sistêmica, a análise de indicadores de desempenho é capaz de gerar informações relevantes a respeito de padrões de comportamento e tendências, além de orientar políticas e estratégias para incremento de resultados econômicos e sociais. Indicadores que descrevem as principais dimensões econômicas de um país podem ser utilizados como norteadores na elaboração e monitoramento de políticas de desenvolvimento e crescimento desses países. Neste sentido, esta dissertação utiliza dados do Banco Mundial para aplicar e avaliar sistemáticas de agrupamento de países com características similares em termos dos indicadores que os descrevem. Para tanto, integra técnicas de clusterização (hierárquicas e não-hierárquicas), seleção de variáveis (por meio da técnica “leave one variable out at a time”) e redução dimensional (através da Análise de Componentes Principais) com vistas à formação de agrupamentos consistentes de países. A qualidade dos clusters gerados é avaliada pelos índices Silhouette, Calinski-Harabasz e Davies-Bouldin. Os resultados se mostraram satisfatórios quanto à representatividade dos indicadores destacados e qualidade da clusterização gerada. / The world economy faced transformations in the last century. Periods of sustained growth followed by others of stagnation, governments alternating strategies of market liberalization with policies of commercial protectionism, and instability in markets, among others. As an aid to understand economic and social problems in a systemic way, the analysis of performance indicators generates relevant information about patterns, behavior and trends, as well as guiding policies and strategies to increase results in economy and social issues. Indicators describing main economic dimensions of a country can be used guiding principles in the development and monitoring of development and growth policies of these countries. In this way, this dissertation uses data from World Bank to elaborate a system of grouping countries with similar characteristics in terms of the indicators that describe them. To do so, it integrates clustering techniques (hierarchical and non-hierarchical), selection of variables (through the "leave one variable out at a time" technique) and dimensional reduction (appling Principal Component Analysis). The generated clusters quality is evaluated by the Silhouette Index, Calinski-Harabasz and Davies-Bouldin indexes. The results were satisfactory regarding the representativity of the highlighted indicators and the generated a good clustering quality.

A presente dissertação propõe métodos para seleção de variáveis preditivas com base em índices de importância das variáveis e regressão PLS (Partial Least Squares). Partindo-se de uma revisão da bibliografia sobre PLS e índices de importância das variáveis, sugere-se um método, denominado Eliminação Backward (EB), para seleção de variáveis a partir da eliminação sistemática de variáveis de acordo com a ordem definida por índices de importância das variáveis. Um novo índice de importância de variáveis, proposto com base nos parâmetros da regressão PLS, tem seu desempenho avaliado frente a outros índices reportados pela literatura. Duas variações do método EB são propostas e testadas através de simulação: (i) o método EBM (Eliminação backward por mínimos), que identifica o conjunto que maximiza o indicador de acurácia preditiva sem considerar o percentual de variáveis retidas, e (ii) o método EBDE (Eliminação backward por distância euclidiana), que seleciona o conjunto de variáveis responsável pela mínima distância euclidiana entre os pontos do perfil gerado pela eliminação das variáveis e um ponto ideal hipotético definido pelo usuário. A aplicação dos três métodos em quatro bancos de dados reais aponta o EBDE como recomendável, visto que retém, em média, apenas 13% das variáveis originais e eleva a acurácia de predição em 32% em relação à utilização de todas as variáveis. / This dissertation presents new methods for predictive variable selection based on variable importance indices and PLS regression. The novel method, namely Backward Elimination (BE), selects the most important variables by eliminating process variables according to their importance described by the variable importance indices. A new variable importance index is proposed, and compared to previous indices for that purpose. We then offer two modifications on the BE method: (i) the EBM method, which selects the subset of variables yielding the maximum predictive accuracy (i.e., the minimum residual index), and (ii) the EBDE, which selects the subset leading to the minimum Euclidian distance between the points generated by variable removal and a hypothetical ideal point defined by the user. When applied to four manufacturing data sets, the recommended method, EBDE, retains average 13% of the original variables and increases the prediction accuracy in average 32% compared to using all the variables.

A presente dissertação propõe novas abordagens para seleção de variáveis com vistas à formação de grupos representativos de observações. Para tanto, sugere um novo índice de importância das variáveis apoiado nos parâmetros oriundos da Análise de Componentes Principais (APC), o qual é integrado a uma sistemática do tipo forward para seleção de variáveis. A qualidade dos agrupamentos formados é medida através do Silhouette Index. Um estudo de simulação é projetado para avaliar a robustez e o desempenho da sistemática proposta em dados com diferentes níveis de correlação, ruído e número de observações a serem clusterizadas. Na sequência, é apresentada uma versão modificada da sistemática original, a qual utiliza funções kernel para remapeamento dos dados com vistas ao incremento da qualidade de clusterização e redução das variáveis retidas para formação dos agrupamentos. A versão modificada é aplicada em 3 bancos de dados da indústria química, aumentando a qualidade da clusterização medida pelo SI médio em 150% e utilizando em torno de 6% das variáveis originais. / This thesis proposes new approaches for variable selection aimed at forming representative groups of observations. For that matter, we suggest a new variable importance index based on parameters derived from the Principal Component Analysis (PCA), which is integrated to a forward procedure for variable selection. The quality of clustering procedure is assessed by the Silhouette Index. A simulation study is designed to evaluate the robustness of the proposed method on different levels of variable correlation, noise and number of observations to be clustered. Next, we modify the original method by remapping observations through kernel functions tailored to improving the clustering quality and reducing the retained variables. The modified version is applied to 3 databases related to chemical processes, increasing the quality of clustering measured by SI on average 150%, while using around 6% of the original variables.