1 |
[pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA / [en] QUANTUM-INSPIRED NEURAL ARCHITECTURE SEARCHDANIELA DE MATTOS SZWARCMAN 13 August 2020 (has links)
[pt] As redes neurais deep são modelos poderosos e flexíveis, que ganharam destaque na comunidade científica na última década. Para muitas tarefas, elas até superam o desempenho humano. Em geral, para obter tais resultados, um especialista despende tempo significativo para projetar a arquitetura neural, com longas sessões de tentativa e erro. Com isso, há um interesse crescente em automatizar esse processo. Novos métodos baseados em técnicas como aprendizado por reforço e algoritmos evolutivos foram apresentados como abordagens para o problema da busca de arquitetura neural (NAS - Neural Architecture Search), mas muitos ainda são algoritmos de alto custo computacional. Para reduzir esse custo, pesquisadores sugeriram
limitar o espaço de busca, com base em conhecimento prévio. Os algoritmos evolutivos de inspiração quântica (AEIQ) apresentam resultados promissores em relação à convergência mais rápida. A partir dessa idéia, propõe-se o Q-NAS: um AEIQ para buscar redes deep através da montagem de subestruturas. O Q-NAS também pode evoluir alguns hiperparâmetros numéricos, o que é um primeiro passo para a automação completa. Experimentos com o conjunto de dados CIFAR-10 foram realizados a fim de analisar detalhes do Q-NAS. Para muitas configurações de parâmetros, foram obtidos resultados satisfatórios. As melhores acurácias no CIFAR-10 foram de 93,85 porcento para uma rede residual e 93,70 porcento para uma rede convolucional, superando modelos elaborados por especialistas e alguns métodos de NAS. Incluindo um esquema simples de parada antecipada, os tempos de evolução nesses casos foram de 67 dias de GPU e 48 dias de GPU, respectivamente. O Q-NAS foi aplicado ao CIFAR-100, sem qualquer ajuste de parâmetro, e obteve 74,23 porcento de acurácia, similar a uma ResNet com 164 camadas. Por fim, apresenta-se um estudo de caso com dados reais, no qual utiliza-se o Q-NAS para resolver a tarefa de classificação sísmica. Em menos de 8,5 dias de GPU, o Q-NAS gerou redes com 12 vezes menos pesos e maior acurácia do que um modelo criado especialmente para esta tarefa. / [en] Deep neural networks are powerful and flexible models that have gained the attention of the machine learning community over the last decade. For a variety of tasks, they can even surpass human-level performance. Usually, to reach these excellent results, an expert spends significant time designing the neural architecture, with long trial and error sessions. In this scenario, there is a growing interest in automating this design process. To address the neural architecture search (NAS) problem, authors have presented new methods based on techniques such as reinforcement learning and evolutionary algorithms, but the high computational cost is still an issue for many of them. To reduce this cost, researchers have proposed to restrict the search space, with the help of expert knowledge. Quantum-inspired evolutionary algorithms present promising results regarding faster convergence. Motivated by this idea, we propose Q-NAS: a quantum-inspired algorithm to search for deep networks by assembling substructures. Q-NAS can also evolve some numerical hyperparameters, which is a first step in the direction of complete automation. We ran several experiments with the CIFAR-10 dataset to analyze the details of the algorithm. For
many parameter settings, Q-NAS was able to achieve satisfactory results. Our best accuracies on the CIFAR-10 task were 93.85 percent for a residual network and 93.70 percent for a convolutional network, overcoming hand-designed models, and some NAS works. Considering the addition of a simple early-stopping mechanism, the evolution times for these runs were 67 GPU days and 48 GPU days, respectively. Also, we applied Q-NAS to CIFAR-100 without any parameter adjustment, reaching an accuracy of 74.23 percent, which is comparable to a ResNet with 164 layers. Finally, we present a case study with real datasets, where we used Q-NAS to solve the seismic classification task. In less than 8.5 GPU days, Q-NAS generated networks with 12 times fewer weights and higher accuracy than a model specially created for this task.
|
2 |
[en] NEUROEVOLUTIVE LEARNING AND CONCEPT DRIFT DETECTION IN NON-STATIONARY ENVIRONMENTS / [pt] APRENDIZAGEM NEUROEVOLUTIVA E DETECÇÃO DE CONCEPT DRIFT EM AMBIENTES NÃO ESTACIONÁRIOSTATIANA ESCOVEDO 04 July 2016 (has links)
[pt] Os conceitos do mundo real muitas vezes não são estáveis: eles
mudam com o tempo. Assim como os conceitos, a distribuição de dados
também pode se alterar. Este problema de mudança de conceitos ou
distribuição de dados é conhecido como concept drift e é um desafio para um
modelo na tarefa de aprender a partir de dados. Este trabalho apresenta um
novo modelo neuroevolutivo com inspiração quântica, baseado em um comitê
de redes neurais do tipo Multi-Layer Perceptron (MLP), para a aprendizagem
em ambientes não estacionários, denominado NEVE (Neuro-EVolutionary
Ensemble). Também apresenta um novo mecanismo de detecção de concept
drift, denominado DetectA (Detect Abrupt) com a capacidade de detectar
mudanças tanto de forma proativa quanto de forma reativa. O algoritmo
evolutivo com inspiração quântica binário-real AEIQ-BR é utilizado no NEVE
para gerar automaticamente novos classificadores para o comitê, determinando
a topologia mais adequada para a nova rede, selecionando as variáveis de
entrada mais apropriadas e determinando todos os pesos da rede neural MLP.
O algoritmo AEIQ-R determina os pesos de votação de cada rede neural
membro do comitê, sendo possível utilizar votação por combinação linear,
votação majoritária ponderada e simples. São implementadas quatro diferentes
abordagens do NEVE, que se diferem uma da outra pela forma de detectar e
tratar os drifts ocorridos. O trabalho também apresenta resultados de
experimentos realizados com o método DetectA e com o modelo NEVE em
bases de dados reais e artificiais. Os resultados mostram que o detector se
mostrou robusto e eficiente para bases de dados de alta dimensionalidade,
blocos de tamanho intermediário, bases de dados com qualquer proporção de
drift e com qualquer balanceamento de classes e que, em geral, os melhores
resultados obtidos foram usando algum tipo de detecção. Comparando a
acurácia do NEVE com outros modelos consolidados da literatura, verifica-se
que o NEVE teve acurácia superior na maioria dos casos. Isto reforça que a
abordagem por comitê neuroevolutivo é uma escolha robusta para situações
em que as bases de dados estão sujeitas a mudanças repentinas de
comportamento. / [en] Real world concepts are often not stable: they change with time. Just as
the concepts, data distribution may change as well. This problem of change in
concepts or distribution of data is known as concept drift and is a challenge for
a model in the task of learning from data. This work presents a new
neuroevolutive model with quantum inspiration called NEVE (Neuro-
EVolutionary Ensemble), based on an ensemble of Multi-Layer Perceptron
(MLP) neural networks for learning in non-stationary environments. It also
presents a new concept drift detection mechanism, called DetectA (DETECT
Abrupt) with the ability to detect changes both proactively as reactively. The
evolutionary algorithm with binary-real quantum inspiration AEIQ-BR is used in
NEVE to automatically generate new classifiers for the ensemble, determining
the most appropriate topology for the new network and by selecting the most
appropriate input variables and determining all the weights of the neural
network. The AEIQ-R algorithm determines the voting weight of each neural
network ensemble member, and you can use voting by linear combination and
voting by weighted or simple majority. Four different approaches of NEVE are
implemented and they differ from one another by the way of detecting and
treating occurring drifts. The work also presents results of experiments
conducted with the DetectA method and with the NEVE model in real and
artificial databases. The results show that the detector has proved efficient and
suitable for data bases with high-dimensionality, intermediate sized blocks, any
proportion of drifts and with any class balancing. Comparing the accuracy of
NEVE with other consolidated models in the literature, it appears that NEVE
had higher accuracy in most cases. This reinforces that the neuroevolution
ensemble approach is a robust choice to situations in which the databases are
subject to sudden changes in behavior.
|
Page generated in 0.0372 seconds