[pt] Desde que foram propostos como método de otimização, os algoritmos evolutivos têm sido usados com sucesso para resolver problemas complexos nas mais diversas áreas como, por exemplo, o projeto automático de circuitos e equipamentos, planejamento de tarefas, engenharia de software e mineração de dados, entre tantos outros. Este sucesso se deve, entre outras coisas, ao fato desta classe de algoritmos não necessitar de formulações matemáticas rigorosas a respeito do problema que se deseja otimizar, além de oferecer um alto grau de paralelismo no processo de busca. No entanto, alguns problemas são computacionalmente custosos no que diz respeito à avaliação das soluções durante o processo de busca, tornando a otimização por algoritmos evolutivos um processo lento para situações onde se deseja uma resposta rápida do algoritmo (como por exemplo, problemas de otimização online). Diversas maneiras de se contornar este problema, através da aceleração da convergência para boas soluções, foram propostas, entre as quais destacam-se os Algoritmos Culturais e os Algoritmos Co-Evolutivos. No entanto, estes algoritmos ainda têm a necessidade de avaliar muitas soluções a cada etapa do processo de otimização. Em problemas onde esta avaliação é computacionalmente custosa, a otimização pode levar um tempo proibitivo para alcançar soluções ótimas. Este trabalho propõe um novo algoritmo evolutivo para problemas de otimização numérica (Algoritmo Evolutivo com Inspiração Quântica usando Representação Real - AEIQ- R), inspirado no conceito de múltiplos universos da física quântica, que permite realizar o processo de otimização com um menor número de avaliações de soluções. O trabalho apresenta a modelagem deste algoritmo para a solução de problemas benchmark de otimização numérica, assim como no treinamento de redes neurais recorrentes em problemas de aprendizado supervisionado de séries temporais e em aprendizado por reforço em tarefas de controle. Os resultados obtidos demonstram a eficiência desse algoritmo na solução destes tipos de problemas. / [en] Since they were proposed as an optimization method, the evolutionary algorithms have been successfully used for solving complex problems in several areas such as, for example, the automatic design of electronic circuits and equipments, task planning and scheduling, software engineering and data mining, among many others. This success is due, among many other things, to the fact that this class of algorithms does not need rigorous mathematical formulations regarding the problem to be optimized, and also because it offers a high degree of parallelism in the search process. However, some problems are computationally intensive when it concerns the evaluation of solutions during the search process, making the optimization by evolutionary algorithms a slow process for situations where a quick response from the algorithm is desired (for instance, in online optimization problems). Several ways to overcome this problem, by speeding up convergence time, were proposed, including Cultural Algorithms and Coevolutionary Algorithms. However, these algorithms still have the need to evaluate many solutions on each step of the optimization process. In problems where this evaluation is computationally expensive, the optimization might take a prohibitive time to reach optimal solutions. This work proposes a new evolutionary algorithm for numerical optimization problems (Quantum- Inspired Evolutionary Algorithm for Problems based on Numerical Representation - QIEA-R), inspired in the concept of quantum superposition, which allows the optimization process to be carried on with a smaller number of evaluations. The work presents the modelling for this algorithm for solving benchmark numerical optimization problems, and for training recurrent neural networks in supervised learning and reinforcement learning. The results show the good performance of this algorithm in solving these kinds of problems.

[pt] Esta dissertação objetivará a unificação de duas metodologias de algoritmos evolutivos consagradas para tratamento de problemas ou do tipo combinatórios, ou do tipo numéricos, num único algoritmo com representação mista. Trata-se de um algoritmo evolutivo inspirado na física quântica com representação mista binário-real do espaço de soluções, o AEIQ-BR. Este algoritmo trata-se de uma extensão do modelo com representação binária de Jang, Han e Kin, o AEIQ-B para otimizações combinatoriais, e o de representação real de Abs da Cruz, o AEIQ-R para otimizações numéricas. Com fins de exemplificação do novo algoritmo proposto, o discutiremos no contexto de neuroevolução, com o propósito de configurar completamente uma rede neural com alimentação adiante em termos: seleção de variáveis de entrada; números de neurônios na camada escondida; todos os pesos existentes; e tipos de funções de ativação de cada neurônio. Esta finalidade em se aplicar o algoritmo AEIQ-BR à neuroevolução – e também, numa analogia ao modelo NEIQ-R de Abs da Cruz – receberá a denominação NEIQ-BR. N de neuroevolução, E de evolutivo, IQ de inspiração quântica, e BR de binário-real. Para avaliar o desempenho do NEIQ-BR, utilizarse- á um total de seis casos benchmark de classificação, e outros dois casos reais, em campos da ciência como: finanças, biologia e química. Resultados serão comparados com algoritmos de outros pesquisadores e a modelagem manual de redes neurais, através de medidas de desempenho. Através de testes estatísticos concluiremos que o algoritmo NEIQ-BR apresentará um desempenho significativo na obtenção de previsões de classificação por neuroevolução. / [en] This work aimed to unify two methodologies of evolutionary algorithms to treat problems with or combinatorial characteristics, or numeric, on a unique algorithm with mix representation. It is an evolutionary algorithm inspired in quantum physics with mixed representation of the solutions space, called QIEABR. This algorithm is an extension of the model with binary representation of the chromosome from Jang, Han e Kin, the QIEA-B for combinatorial optimization, and numeric representation from Abs da Cruz, the QIEA-R for numerical optimizations. For purposes of exemplification of the new algorithm, we will introduce the algorithm in the context of neuro-evolution, in order to completely configure a feed forward neural network in terms of: selection of input variables; numbers of neurons in the hidden layer; all existing synaptic weights; and types of activation functions of each neuron. This purpose when applying the algorithm QIEA-BR to neuro-evolution receive the designation of QIEN-BR. QI for quantum-inspired, E for evolutive, N for neuro-evolution, and BR for binary-real representation. To evaluate the performance of QIEN-BR, we will use a total of six benchmark cases of classification, and two real cases in fields of science such as finance, biology and chemistry. Results will be compared with algorithms of other researchers and manual modeling of neural networks through performance measures. Statistical tests will be provided to elucidate the significance of results, and what we can conclude is that the algorithm QIEN-BR better performance others researchers in terms of classification prediction.

[pt] As redes neurais deep são modelos poderosos e flexíveis, que ganharam destaque na comunidade científica na última década. Para muitas tarefas, elas até superam o desempenho humano. Em geral, para obter tais resultados, um especialista despende tempo significativo para projetar a arquitetura neural, com longas sessões de tentativa e erro. Com isso, há um interesse crescente em automatizar esse processo. Novos métodos baseados em técnicas como aprendizado por reforço e algoritmos evolutivos foram apresentados como abordagens para o problema da busca de arquitetura neural (NAS - Neural Architecture Search), mas muitos ainda são algoritmos de alto custo computacional. Para reduzir esse custo, pesquisadores sugeriram limitar o espaço de busca, com base em conhecimento prévio. Os algoritmos evolutivos de inspiração quântica (AEIQ) apresentam resultados promissores em relação à convergência mais rápida. A partir dessa idéia, propõe-se o Q-NAS: um AEIQ para buscar redes deep através da montagem de subestruturas. O Q-NAS também pode evoluir alguns hiperparâmetros numéricos, o que é um primeiro passo para a automação completa. Experimentos com o conjunto de dados CIFAR-10 foram realizados a fim de analisar detalhes do Q-NAS. Para muitas configurações de parâmetros, foram obtidos resultados satisfatórios. As melhores acurácias no CIFAR-10 foram de 93,85 porcento para uma rede residual e 93,70 porcento para uma rede convolucional, superando modelos elaborados por especialistas e alguns métodos de NAS. Incluindo um esquema simples de parada antecipada, os tempos de evolução nesses casos foram de 67 dias de GPU e 48 dias de GPU, respectivamente. O Q-NAS foi aplicado ao CIFAR-100, sem qualquer ajuste de parâmetro, e obteve 74,23 porcento de acurácia, similar a uma ResNet com 164 camadas. Por fim, apresenta-se um estudo de caso com dados reais, no qual utiliza-se o Q-NAS para resolver a tarefa de classificação sísmica. Em menos de 8,5 dias de GPU, o Q-NAS gerou redes com 12 vezes menos pesos e maior acurácia do que um modelo criado especialmente para esta tarefa. / [en] Deep neural networks are powerful and flexible models that have gained the attention of the machine learning community over the last decade. For a variety of tasks, they can even surpass human-level performance. Usually, to reach these excellent results, an expert spends significant time designing the neural architecture, with long trial and error sessions. In this scenario, there is a growing interest in automating this design process. To address the neural architecture search (NAS) problem, authors have presented new methods based on techniques such as reinforcement learning and evolutionary algorithms, but the high computational cost is still an issue for many of them. To reduce this cost, researchers have proposed to restrict the search space, with the help of expert knowledge. Quantum-inspired evolutionary algorithms present promising results regarding faster convergence. Motivated by this idea, we propose Q-NAS: a quantum-inspired algorithm to search for deep networks by assembling substructures. Q-NAS can also evolve some numerical hyperparameters, which is a first step in the direction of complete automation. We ran several experiments with the CIFAR-10 dataset to analyze the details of the algorithm. For many parameter settings, Q-NAS was able to achieve satisfactory results. Our best accuracies on the CIFAR-10 task were 93.85 percent for a residual network and 93.70 percent for a convolutional network, overcoming hand-designed models, and some NAS works. Considering the addition of a simple early-stopping mechanism, the evolution times for these runs were 67 GPU days and 48 GPU days, respectively. Also, we applied Q-NAS to CIFAR-100 without any parameter adjustment, reaching an accuracy of 74.23 percent, which is comparable to a ResNet with 164 layers. Finally, we present a case study with real datasets, where we used Q-NAS to solve the seismic classification task. In less than 8.5 GPU days, Q-NAS generated networks with 12 times fewer weights and higher accuracy than a model specially created for this task.