Machine learning solutions have been successfully used to solve many simple and complex problems. However, their development process still relies on human experts to perform tasks such as data preprocessing, feature engineering and model selection. As the complexity of these tasks increases, so does the demand for automated solutions, namely Automated Machine Learning (AutoML). Most algorithms employed in these systems have hyperparameters whose configuration may directly affect their predictive performance. Therefore, hyperparameter tuning is a recurring task in AutoML systems. This thesis investigated how to efficiently automate hyperparameter tuning by means of Meta-learning. To this end, large-scale experiments were performed tuning the hyperparameters of different classification algorithms, and an enhanced experimental methodology was adopted throughout the thesis to explore and learn the hyperparameter profiles for different classification algorithms. The results also showed that in many cases the default hyperparameter settings induced models that are on par with those obtained by tuning. Hence, a new Meta-learning recommender system was proposed to identify when it is better to use default values and when to tune classification algorithms for each new dataset. The proposed system is capable of generalizing several learning processes into a single modular framework, along with the possibility of assigning different algorithms. Furthermore, a descriptive analysis of model predictions is used to identify which data characteristics affect the necessity for tuning in each one of the algorithms investigated in the thesis. Experimental results also demonstrated that the proposed recommender system reduced the time spent on optimization processes, without reducing the predictive performance of the induced models. Depending on the target algorithm, the Meta-learning recommender system can statistically outperform the baselines. The significance of these results opens a number of new avenues for future work. / Soluções de aprendizado de máquina tem sido cada vez mais usadas com sucesso para resolver problemas dos mais simples aos complexos. Entretanto, o processo de desenvolvimento de tais soluções ainda é um processo que depende da ação de especialistas humanos em tarefas como: pré-processamento dos dados, engenharia de features e seleção de modelos. Consequentemente, quando a complexidade destas tarefas atinge um nível muito alto, há a necessidade de soluções automatizadas, denominadas por Aprendizado de Máquina automatizado (AutoML). A maioria dos algoritmos usados em tais sistemas possuem hiper-parâmetros cujos valores podem afetar diretamente o desempenho preditivo dos modelos gerados. Assim sendo, o ajuste de hiper-parâmetros é uma tarefa recorrente no desenvolvimento de sistems de AutoML. Nesta tese investigou-se a automatização do ajuste de hiper-parâmetros por meio de Meta-aprendizado. Seguindo essa linha, experimentos massivos foram realizados para ajustar os hiper-parâmetros de diferentes algoritmos de classificação. Além disso, uma metodologia experimental aprimorada e adotada ao lngo da tese perimtiu identificar diferentes perfis de ajuste para diferentes algoritmos de classificação. Entretanto, os resultados também mostraram que em muitos casos as configurações default destes algoritmos induziram modelos mais precisos do que os obtidos por meio de ajuste. Assim, foi proposto um novo sistema de recomendação baseado em Meta-learning para identificar quando é melhor realizar o ajuste de parâmetros para os algoritmos de classificação ou apenas usar os valores default. O sistema proposto é capaz de generalizar várias etapas do aprendizado em um único framework modular, juntamente com a possibilidade de avaliar diferentes algoritmos de aprendizado de máquina. As análises descritivas das predições obtidas pelo sistema indicaram quais características podem ser responsáveis por determinar quando o ajuste se faz necessário para cada um dos algoritmos investigados na tese. Os resultados também demonstraram que o sistema recomendador proposto reduziu o tempo gasto com a otimização mantendo o desempenho preditivo dos modelos gerados. Além disso, dependendo do algoritmo de classificação modelado, o sistema foi estatisticamente superior aos baselines. A significância desdes resultados abre um novo número de oportunidades para trabalhos futuros.

Estuda-se o problema de sintonia de controladores, objetivando-se a formulação do problema de sintonia ótima de controladores. Busca-se uma formulação que seja geral, ou seja, válida para qualquer estrutura de controlador e qualquer conjunto de especificações. São abordados dois temas principais: especificação de controladores e sintonia ótima de controladores. São compiladas as principais formas de especificação e avaliação de controladores e é feita a formulação do problema de sintonia de controladores como um problema padrão de otimização. A abordagem proposta e os conceitos apresentados são então aplicados em um conjunto de exemplos. / The problem of control tuning is studied, aiming the formulation of the optimal control tuning problem. A general formulation, valid for any controller structure and any set of specifications, is sought. Two main themes are addressed: controller specification and optimal controller tuning. The main ways of controller specification and assessment are compiled and the optimal controller tuning problem is formulated as a standard optimization problem. The proposed approach and the presented concepts are then applied in a set of examples.

Aprendizado de máquina é uma área de pesquisa na qual se investiga como desenvolver sistemas capazes de aprender com a experiência. Muitos algoritmos de aprendizado possuem parâmetros cujos valores devem ser especificados pelo usuário. Em geral, esses valores influenciam diretamente no processo de aquisição do conhecimento, podendo gerar diferentes modelos. Recentemente, algoritmos de otimização bioinspirados têm sido aplicados com sucesso no ajuste de parâmetros de técnicas de aprendizado de máquina. Essas técnicas podem apresentar diferentes sensibilidades em relação aos valores escolhidos para seus parâmetros e diferentes algoritmos de ajuste de parâmetros podem apresentar desempenhos singulares. Esta dissertação investiga a utilização de algoritmos bioinspirados para o ajuste de parâmetros de redes neurais artificiais e máquinas de vetores de suporte em problemas de classificação. O objetivo dessa investigação é verificar quais são as técnicas que mais se beneficiam do ajuste de parâmetros e quais são os algoritmos mais eficientes para essas técnicas. Os resultados experimentais mostram que os algoritmos bioinspirados conseguem encontrar melhores clasificadores que outras abordagens. Porém, essa melhoria é estatisticamente significativa para alguns conjuntos de dados. Foi possível verificar que o uso dos valores padrão para os parâmetros das técnicas de classificação leva a desempenhos similares aos obtidos com os algoritmos bioinspirados. Entretanto, para alguns conjuntos de dados, o ajuste de parâmetros pode melhorar significativamente o desempenho dos classificadores / Machine learning is a research area whose main goal is to design computational systems capable of learning through experience. Many machine learning techniques have free parameters whose values are generally defined by the user. Usually, these values affect the knowledge acquisition process directly, resulting in different models. Recently, bioinspired optimization algorithms have been successfully applied to the parameter tuning of machine learning techniques. These techniques may present variable sensitivity to the selection of the values of its parameters and different parameter tuning algorithms may present different behaviors. This thesis investigates the use of bioinspired algorithms for the parameter tuning of artificial neural networks and support vector machines in classification problems. The goal of this thesis is to investigate which techniques benefits most from parameter tuning and which are the most efficient algorithms to use with these techniques. Experimental results show that these bioinspired algorithms can find better classifiers when compared to other approaches. However, this improvement is statistically significant only to some datasets. It was possible to verify that the use of standard parameter values for the classification techniques leads to similar performances to those obtained with the bioinspired algorithms. However, for some datasets, the parameter tuning may significantly improve a classifier performance

A utilização de controladores preditivos multivariáveis na indústria de processos cresceu significativamente nos últimos anos principalmente devido à versatilidade e a confiabilidade que essa ferramenta proporciona em termos de controle avançado. No entanto, aspectos relacionados à aplicação prática do que vem sendo desenvolvido no meio acadêmico possui pouca difusão na indústria devido às configurações clássicas adotadas, como sistemas quadrados (com o mesmo número de variáveis controladas e manipuladas), modelos lineares, utilização de setpoint e etc. diferindo daquilo que está disponível e é amplamente utilizado industrialmente: sistemas não-quadrados (geralmente com mais variáveis controladas do que manipuladas), modelos não-lineares e utilização de soft-constraints. Esse trabalho propõe uma metodologia para ajuste dos parâmetros presentes em um controlador preditivo, atento à variedade de algoritmos presentes na indústria de processos. Essa metodologia se baseia na obtenção do melhor desempenho alcançável para cada cenário de um modelo global do processo, atendendo as restrições de Número de Desempenho Robusto relativo (rRPN), Máxima Sensibilidade e restrições nas ações de controle. Baseado em um desempenho que é alcançável, o modelo linear global é escalonado (assim como a planta não-linear) e os pesos que levam o sistema para a melhor condição operacional são estimados. Essa técnica abrange controladores operando em faixas e/ou setpoint e configurações não-quadradas, i.e., com mais variáveis controladas do que manipuladas. A abordagem proposta foi testada em uma planta de quatro tanques esféricos com aquecimento apresentando resultados coerentes, corroborando seu potencial de aplicação industrial. / Due to their versatility and reliability, Model Predictive Controllers (MPCs) are the standard solution for advanced process control in the process industry. However, there is a gap between the academic developments and the actual industrial applications, since the most academic studies focus on systems working with set-points and same number of manipulated and controlled variables, whereas the industrial application cope with non-squared configuration usually with several controlled variables in ranging and a reduced number of manipulated variables. This work proposes a tuning methodology for the countable parameters presents in a typical industrial predictive controller, considering the variety of the algorithms presents commercially in the process industry. This methodology is based on the estimation of the best attainable performance for each scenario of the global model of the process, constrained by the relative Robust Performance Number (rRPN), Maximal Sensitivity and restrictions in the control actions. Based on a performance that is attainable, the linear global model is scaled (and the non-linear) and the weights that lead the system to the best operational condition are estimated. This technique covers controllers operating in zones of control and/or set-point tracking and non-square configurations, i.e., with more controlled variables than manipulated. The proposed approach was tested in a Quadruple-Spherical tanks heating system presenting coherent results indicating its potential for industrial applications.

Made available in DSpace on 2016-12-23T14:07:24Z (GMT). No. of bitstreams: 1 Diego Nunes Bertolani - Parte 1.pdf: 8345237 bytes, checksum: c671ce6ed9d34e3a4845627f730c8b24 (MD5) Previous issue date: 2013-10-30 / Este trabalho propõe uma estratégia para a sintonia de controladores lineares, via Algoritmos Genéticos, no espaço de configurações de Robôs Móveis Multiarticulados, para o problema do controle de movimentos á ré. Como em todo sistema não linear e complexo, o controle linear em malha fechada é necessário para prover robustez ao sistema com controladores não lineares ou inversas aproximadas á esquerda da planta, em malha aberta. Para o problema em questão, os controladores não lineares propostos na literatura tem os ganhos dos controladores lineares ajustados empiricamente em valores constantes, para movimentos que percorrem uma ampla gama de valores dos ângulos de configuração, sempre objetivando evitar a situação de engavetamento ou jacknife da composição. Esta abordagem tem conduzido a resultados em regime transitório ou estacionário pouco satisfatórios. Assim, neste trabalho é feito um estudo sistemático da sintonia de ganhos no entorno de partições adequadas do espaço de configurações, visando identificar a variabilidade dos ganhos em função do melhor desempenho obtido em cada partição. O estudo é sistematizado tendo como base experimental dois controladores não lineares propostos para um robô ou veículo multiarticulado em escala, composto de um elemento trator e dois trailers passivos ou sem motorização. A estratégia proposta tem como ferramenta básica de implementação uma interface desenvolvida para possibilitar versatilidade na análise de diversas estruturas lineares á múltiplos ganhos ajustáveis, diversas estruturas de controle não linear e diversas possibilidades de plantas realizadas via modelo analítico ou aproximações numéricas, por exemplo, neurais e fuzzy. Além do escopo deste trabalho, a identificação do vetor de ganhos para os estornos das diversas partições do espaço de configurações deve conduzir á síntese de mais um elemento em cascata na estrutura global de controle, sob a forma de um interpolador de ganhos, possivelmente fuzzy, que deverá proporcionar um desempenho satisfatório na execução de manobras mais complexas, que demandam movimentos mais amplos, rápidos e precisos / This work proposes a strategy for tuning linear controllers via genetic algorithms in the space of configurations of Multiarticulated Mobile Robots to the problem of backward motion control. As in any nonlinear system and complex, the linear closed-loop control is necessary to provide robustness to the system nonlinear controllers or approximate left inverse of the plant in open loop. For this problem, the nonlinear controllers proposed in the literature have gains of linear controllers empirically adjusted how constant values for movements that cover a wide range of values of the angle configuration, always aiming to avoid the situation of pileup or jacknife composition. This approach has led to results in transitional or stationary unsatisfactory. Thus, this work is done a systematic study of tuning gains in around appropriate partitions of the configuration space, to identify the variability of earnings due to the best performance obtained in each partition. The study is based on systematic experimental two nonlinear controllers proposed for a robot or multiarticulated vehicle scale, consisting of one element tractor and two trailers liabilities or without motorization. The proposed strategy has how the basic tool for implementing an developed interface to allow versatility in the analysis of various linear structures with multiple adjustable gains, various control structures, and various nonlinear plants made possible through the analytical model or numerical approximations, for example, neural, and fuzzy. Beyond the scope of this study, the identification of vector gains for several reversals of partitions configuration space shouldresult in the synthesis of a further cascade element in the overall control in the form of an interpolation of gains, possibly fuzzy which should provide a satisfactory performance in the execution of more complex maneuvers that require larger movements, fast and accurate

The undercutting of toneholes has been practised for centuries with the aim of improving the tuning and playability of woodwind instruments. The influence of undercutting on tuning can be understood in terms of linear acoustic theory. Its effect on other playing characteristics is thought to lie in its reduction of local non-linear flow phenomena (boundary layer separation and the formation of jets and vortices) at the tonehole. Particle Image Velocimetry (PIV) is used to examine the oscillating airflow around a model woodwind tonehole. Velocity and vorticity information is obtained and compared for a square-edged tonehole and an undercut tonehole at a variety of sound levels. The upstream, internal edge of the tonehole is found to be the location of the most significant local non-linear flow behaviour. Undercutting is found to reduce the strength of local non-linear flow phenomena at a given sound level. Microphone measurements carried out in a reverberation chamber show that undercutting the tonehole also reduces the harmonic distortion introduced to the radiated pressure signal by the non-linear flow. Proper Orthogonal Decomposition (POD) is then applied to PIV data of oscillating flow at the end of a tube. It is used to approximately separate the acoustic field from the induced local non-linear flow phenomena. The POD results are then used to approximate the percentage of kinetic energy present in the non-linear flow. POD analysis is applied to the case of flow around the two toneholes. It shows a smaller transfer of kinetic energy to non-linear flow effects around the undercut tonehole at a given sound level. The dependence of the local non-linear flow kinetic energy on Strouhal number is considered.

Maintaining the pH of a fluid or a solution at a specific value is a concern in many industrial processes, wastewater management, and food and pharmaceutical production. Given the importance of controlling pH in many processes, the objective of this thesis is to study and compare the effectiveness of some controller algorithms to control the pH of a process. In this study, the performance of three controller algorithms, namely PID, fractional PID and LA controllers, is evaluated for the control of a simple neutralization process using conventional controller performance metrics. Performance metrics used are the response time, the Integral of the Time weighted Absolute Error (ITAE), the Integral of the Squared Error (ISE), and the Integral of the Squares of the changes (ΔU) in the manipulated variable (ISDU). The three controllers were therefore tuned to minimize one or a combination of the controller performance metrics. Results show that PID, fractional PID and LA controllers implemented and tested in this research are all worthy controllers for maintaining pH of the neutralization process. Simulation results show that the three controllers can be used with confidence to cope with the high nonlinearity of a pH neutralization process provided that the process is properly designed. The relative small gain in performance obtained with the fractional PID controller, compared to a linear PID controller, suggests that it is not worth resorting to a fractional PID controller given its complexity and higher computation effort. Results show that PID and LA controllers are easy to implement with short response time and low ITAE and ISDU performance metrics.

Machine learning solutions have been successfully used to solve many simple and complex problems. However, their development process still relies on human experts to perform tasks such as data preprocessing, feature engineering and model selection. As the complexity of these tasks increases, so does the demand for automated solutions, namely Automated Machine Learning (AutoML). Most algorithms employed in these systems have hyperparameters whose configuration may directly affect their predictive performance. Therefore, hyperparameter tuning is a recurring task in AutoML systems. This thesis investigated how to efficiently automate hyperparameter tuning by means of Meta-learning. To this end, large-scale experiments were performed tuning the hyperparameters of different classification algorithms, and an enhanced experimental methodology was adopted throughout the thesis to explore and learn the hyperparameter profiles for different classification algorithms. The results also showed that in many cases the default hyperparameter settings induced models that are on par with those obtained by tuning. Hence, a new Meta-learning recommender system was proposed to identify when it is better to use default values and when to tune classification algorithms for each new dataset. The proposed system is capable of generalizing several learning processes into a single modular framework, along with the possibility of assigning different algorithms. Furthermore, a descriptive analysis of model predictions is used to identify which data characteristics affect the necessity for tuning in each one of the algorithms investigated in the thesis. Experimental results also demonstrated that the proposed recommender system reduced the time spent on optimization processes, without reducing the predictive performance of the induced models. Depending on the target algorithm, the Meta-learning recommender system can statistically outperform the baselines. The significance of these results opens a number of new avenues for future work. / Soluções de aprendizado de máquina tem sido cada vez mais usadas com sucesso para resolver problemas dos mais simples aos complexos. Entretanto, o processo de desenvolvimento de tais soluções ainda é um processo que depende da ação de especialistas humanos em tarefas como: pré-processamento dos dados, engenharia de features e seleção de modelos. Consequentemente, quando a complexidade destas tarefas atinge um nível muito alto, há a necessidade de soluções automatizadas, denominadas por Aprendizado de Máquina automatizado (AutoML). A maioria dos algoritmos usados em tais sistemas possuem hiper-parâmetros cujos valores podem afetar diretamente o desempenho preditivo dos modelos gerados. Assim sendo, o ajuste de hiper-parâmetros é uma tarefa recorrente no desenvolvimento de sistems de AutoML. Nesta tese investigou-se a automatização do ajuste de hiper-parâmetros por meio de Meta-aprendizado. Seguindo essa linha, experimentos massivos foram realizados para ajustar os hiper-parâmetros de diferentes algoritmos de classificação. Além disso, uma metodologia experimental aprimorada e adotada ao lngo da tese perimtiu identificar diferentes perfis de ajuste para diferentes algoritmos de classificação. Entretanto, os resultados também mostraram que em muitos casos as configurações default destes algoritmos induziram modelos mais precisos do que os obtidos por meio de ajuste. Assim, foi proposto um novo sistema de recomendação baseado em Meta-learning para identificar quando é melhor realizar o ajuste de parâmetros para os algoritmos de classificação ou apenas usar os valores default. O sistema proposto é capaz de generalizar várias etapas do aprendizado em um único framework modular, juntamente com a possibilidade de avaliar diferentes algoritmos de aprendizado de máquina. As análises descritivas das predições obtidas pelo sistema indicaram quais características podem ser responsáveis por determinar quando o ajuste se faz necessário para cada um dos algoritmos investigados na tese. Os resultados também demonstraram que o sistema recomendador proposto reduziu o tempo gasto com a otimização mantendo o desempenho preditivo dos modelos gerados. Além disso, dependendo do algoritmo de classificação modelado, o sistema foi estatisticamente superior aos baselines. A significância desdes resultados abre um novo número de oportunidades para trabalhos futuros.

As far as we know, we only have one planet to live on, with a delicate atmospheric system providing us safety and life. Global CO2 emissions continue to plague the environment of Earth, primarily due to the processing of fossil fuels, deforestation, and industrialization. There are several avenues of pursuing CO2 reutilization, each having their own benefits and limitations. Direct and indirect thermochemical approaches of CO2 conversion boast of efficient CO2 conversion rates but have limitations associated with the use of renewable hydrogen and high temperatures of operation. The work in this dissertation investigates low temperature photocatalytic CO2 conversion, a simple principle, which provides opportunity for fuel production while harvesting solar energy. Large scale implementation of this process has been plagued by limitations such as fast electron/hole recombination rates, poor quantum efficiency, product selectivity, catalyst stability, and the band gap energy (Eg) being too large to harvest solar light. Our long term goals and applications look to utilize sustainable fuel generation in-situ on Mars for human exploration. We must use available Mars resources to generate fuel to save launch and resource costs from Earth, utilizing the Sun, Mars atmospheric CO2 (95%), and H2O that can be harvested from subsurface ice. Visible light activated catalysts are needed for applications of CO2 conversion on Earth and Mars due to the intensity and abundance of visible light available in the solar spectrums. The dissertation presents the development of photocatalysts for CO2 reduction in the presence of H2O under visible light irradiation. Detailed chemical analysis and characterization were performed on the photocatalysts for improved understanding of material design, including optical and elemental properties, charge transport, stability, catalytic function and scalability. Induced defects and impurities were implemented to understand Eg tunability. Introducing defects through impurities reduced the electron confinement effects in some cases, increasing the photocatalytic activity. Three material regimes were synthesized, tuned, and tested for catalytic function. The first was a series of (ZnO)1-x(AlN)x, materials that had not been synthesized previously, nor ever demonstrated in CO2 and H2O under solar irradiation. The Zn:Al materials were derived from layered double hydroxides. The second material set was (ZnO)1-x(GaN)x, also derived from layered double hydroxides. To the best of our knowledge, these Zn:Ga materials were demonstrated for the first time in CO2 reduction to CO under visible light without the use of any noble metal co-catalysts or dopants. The third set of materials were MoS2 nanoflowers synthesized via chemical vapor deposition that, to our pleasant surprise, produced thinly stacked sheets in the form of nanoflowers that contained large edge-site exposure, which was vastly different from the morphology of commercially purchased MoS2. The preliminary results from this work have demonstrated that tunable band gap energy is achievable. The (ZnO)1-x(AlN)x Eg ranged from 2.84 to 3.25 eV. The Zn:Al solid solution materials were tuned by increasing nitridation time, and varying the cationic ratio. Increasing the cationic ratio in this study more than tripled CO production under solar light irradiation compared to lower cationic ratios. The (ZnO)1-x(GaN)x, materials had a Eg range from 2.33 eV to 2.59 eV. The Eg was also easily tunable from varying nitriding time and cationic ratio. The highest CO production rate was the Zn:Ga cationic ratio of 3:1 at 20 min of nitriding time at 100 °C, which produced 1.06 µmol-g-1-h-1. This production was higher than both of our controlled TiO2 experiments, and other reported pure TiO2 solar photoreaction experiments. The results indicate a delicate balance of nitridation and Zn:M3+ ratio should be selected, along with precursor material cation ratios in order to obtain the desired final product and crystal structure. The controlled introduction of imperfections or crystal defects through MoS2 synthesis variations also revealed the tuning ability of flake edge morphology, nanoflower diameter, stacked-sheet thickness, optical Eg and catalytic activity. The nanoflower Eg ranged from 1.38 to 1.83 eV, and the production rates of CO nearly doubled when post treating the nanoflowers in a reduction step. These developments support tunable gas phase photocatalytic activity and can be enhanced further for further photocatalytic reactions, optoelectronics and field emitter applications. The photoreactor studies indicated that careful tuning of the parent material is imperative to understand before adding a co-catalyst or doping process, as the edge site morphology, crystal phase stability, and strain-induced defects impact the photocatalytic performance.

Nous visons à travers cette thèse à proposer un ensemble d'approches permettant d'optimiser les entrepôts de données et d'aider l'AED à bien mener cette optimisation. Nos approches d'optimisation reposent sur l'utilisation de trois techniques d'optimisation : la fragmentation horizontale primaire, dérivée et les index de jointure binaires (IJB). Nous commençons par proposer une approche de fragmentation qui prend en considération à la fois la performance (réduction du coût d'exécution) et la manageabilité (contrôle du nombre de fragments générés). Nous proposons ensuite une approche gloutonne de sélection d'IJB. L'utilisation séparée de la fragmentation horizontale (FH) et des IJB ne permet pas d'exploiter les similarités existantes entre ces deux techniques. Nous proposons une approche de sélection conjointe de la FH et des IJB. Cette approche peut être utilisée pour le tuning de l'entrepôt. Nous avons mené plusieurs expériences pour valider nos différentes approches. Nous proposons par la suite un outil permettant d'aider l'AED dans ses tâches de conception physique et de tuning.<br />Mots clés : Conception physique, Tuning, Techniques d'optimisation, Fragmentation Horizontale, Index de Jointure Binaires.