Spelling suggestions: "subject:"inspirace"" "subject:"respiracao""
1 |
[en] MASSIVELY PARALLEL GENETIC PROGRAMMING ON GPUS / [pt] PROGRAMAÇÃO GENÉTICA MACIÇAMENTE PARALELA EM GPUSCLEOMAR PEREIRA DA SILVA 25 February 2015 (has links)
[pt] A Programação Genética permite que computadores resolvam problemas
automaticamente, sem que eles tenham sido programados para tal. Utilizando
a inspiração no princípio da seleção natural de Darwin, uma população
de programas, ou indivíduos, é mantida, modificada baseada em variação
genética, e avaliada de acordo com uma função de aptidão (fitness). A
programação genética tem sido usada com sucesso por uma série de aplicações
como projeto automático, reconhecimento de padrões, controle robótico,
mineração de dados e análise de imagens. Porém, a avaliação da gigantesca
quantidade de indivíduos gerados requer excessiva quantidade de computação,
levando a um tempo de execução inviável para problemas grandes. Este
trabalho explora o alto poder computacional de unidades de processamento
gráfico, ou GPUs, para acelerar a programação genética e permitir a geração
automática de programas para grandes problemas. Propomos duas novas
metodologias para se explorar a GPU em programação genética: compilação em
linguagem intermediária e a criação de indivíduos em código de máquina. Estas
metodologias apresentam vantagens em relação às metodologias tradicionais
usadas na literatura. A utilização de linguagem intermediária reduz etapas de
compilação e trabalha com instruções que estão bem documentadas. A criação
de indivíduos em código de máquina não possui nenhuma etapa de compilação,
mas requer engenharia reversa das instruções que não estão documentadas
neste nível. Nossas metodologias são baseadas em programação genética
linear e inspiradas em computação quântica. O uso de computação quântica
permite uma convergência rápida, capacidade de busca global e inclusão da
história passada dos indivíduos. As metodologias propostas foram comparadas
com as metodologias existentes e apresentaram ganhos consideráveis de
desempenho. Foi observado um desempenho máximo de até 2,74 trilhões de
GPops (operações de programação genética por segundo) para o benchmark
Multiplexador de 20 bits e foi possível estender a programação genética para
problemas que apresentam bases de dados de até 7 milhões de amostras. / [en] Genetic Programming enables computers to solve problems
automatically, without being programmed to it. Using the inspiration in
the Darwin s Principle of natural selection, a population of programs or
individuals is maintained, modified based on genetic variation, and evaluated
according to a fitness function. Genetic programming has been successfully
applied to many different applications such as automatic design, pattern
recognition, robotic control, data mining and image analysis. However, the
evaluation of the huge amount of individuals requires excessive computational
demands, leading to extremely long computational times for large size
problems. This work exploits the high computational power of graphics
processing units, or GPUs, to accelerate genetic programming and to enable
the automatic generation of programs for large problems. We propose two
new methodologies to exploit the power of the GPU in genetic programming:
intermediate language compilation and individuals creation in machine
language. These methodologies have advantages over traditional methods
used in the literature. The use of an intermediate language reduces the
compilation steps, and works with instructions that are well-documented.
The individuals creation in machine language has no compilation step, but
requires reverse engineering of the instructions that are not documented at
this level. Our methodologies are based on linear genetic programming and are
inspired by quantum computing. The use of quantum computing allows rapid
convergence, global search capability and inclusion of individuals past history.
The proposed methodologies were compared against existing methodologies
and they showed considerable performance gains. It was observed a maximum
performance of 2,74 trillion GPops (genetic programming operations per
second) for the 20-bit Multiplexer benchmark, and it was possible to extend
genetic programming for problems that have databases with up to 7 million
samples.
|
2 |
[en] TECHNE AND INSPIRATION ON PLATONIC ION / [pt] TÉCHNE E INSPIRAÇÃO NO ÍON PLATÔNICOKRISHNAMURTI JARESKI 31 July 2006 (has links)
[pt] A presente dissertação de mestrado tem como tema de
investigação duas
noções centrais que fundamentam a discussão sobre a poesia
e a rapsódia
exposta por Platão no seu diálogo de juventude, o Íon: o
conceito de téchne,
padrão comparativo de que se serve o filósofo para
demonstrar que não é por
uma arte/habilidade que o poeta e o rapsodo se revelam
capazes de falar sobre
múltiplos assuntos, e o conceito de inspiração poética
que, ao sustentar a
possibilidade de uma ligação direta com as Musas capaz de
anular
temporariamente as faculdades racionais do homem, rompe
parcialmente com as
tradicionais concepções de poesia da época. Do
entrelaçamento dessas duas
noções emergem traços de um redirecionamento da atividade
rapsódica e de uma
nova compreensão da poesia, cuja presença, nos diálogos
posteriores, atesta sua
natureza programática e aponta para o surgimento da
Filosofia. / [en] The present Master s dissertation has two central concepts
as object of
investigation that support a discussion about the poetry
and rhapsody exposed by
Plato in his early dialogue, Ion: the concept of techne, a
pattern of comparison
which the philosopher uses to demonstrate that it is not
through art/ability that
the poet and the rhapsodist turn out to be capable of
talking about different
subjects; and the concept of poetical inspiration, which
disrupts in part the
traditional concepts of poetry at the time, as it sustains
the possibility of straight
connection with the Muses, a possibility which can stop
man´s rational faculties
temporarily. From the intertwine of these two ideas,
traits emerge concerning the
redirection of the rhapsodic activity and the new
understanding about poetry,
whose presence in his following dialogues attests its
programmatic nature and
points to the origin of Philosophy.
|
3 |
[en] QUANTUM-INSPIRED EVOLUTIONARY ALGORITHMS FOR PROBLEMS BASED ON NUMERICAL REPRESENTATION / [pt] ALGORITMOS EVOLUTIVOS COM INSPIRAÇÃO QUÂNTICA PARA PROBLEMAS COM REPRESENTAÇÃO NUMÉRICAANDRE VARGAS ABS DA CRUZ 25 September 2007 (has links)
[pt] Desde que foram propostos como método de otimização, os
algoritmos
evolutivos têm sido usados com sucesso para resolver
problemas complexos
nas mais diversas áreas como, por exemplo, o projeto
automático de circuitos
e equipamentos, planejamento de tarefas, engenharia de
software e mineração
de dados, entre tantos outros. Este sucesso se deve, entre
outras coisas, ao fato
desta classe de algoritmos não necessitar de formulações
matemáticas rigorosas
a respeito do problema que se deseja otimizar, além de
oferecer um alto grau
de paralelismo no processo de busca. No entanto, alguns
problemas são computacionalmente
custosos no que diz respeito à avaliação das soluções
durante o
processo de busca, tornando a otimização por algoritmos
evolutivos um processo
lento para situações onde se deseja uma resposta rápida do
algoritmo (como por
exemplo, problemas de otimização online). Diversas
maneiras de se contornar
este problema, através da aceleração da convergência para
boas soluções, foram
propostas, entre as quais destacam-se os Algoritmos
Culturais e os Algoritmos
Co-Evolutivos. No entanto, estes algoritmos ainda têm a
necessidade de avaliar
muitas soluções a cada etapa do processo de otimização. Em
problemas onde
esta avaliação é computacionalmente custosa, a otimização
pode levar um tempo
proibitivo para alcançar soluções ótimas. Este trabalho
propõe um novo algoritmo
evolutivo para problemas de otimização numérica (Algoritmo
Evolutivo
com Inspiração Quântica usando Representação Real - AEIQ-
R), inspirado no
conceito de múltiplos universos da física quântica, que
permite realizar o processo
de otimização com um menor número de avaliações de
soluções. O trabalho
apresenta a modelagem deste algoritmo para a solução de
problemas benchmark
de otimização numérica, assim como no treinamento de redes
neurais
recorrentes em problemas de aprendizado supervisionado de
séries temporais e
em aprendizado por reforço em tarefas de controle. Os
resultados obtidos demonstram
a eficiência desse algoritmo na solução destes tipos de
problemas. / [en] Since they were proposed as an optimization method, the
evolutionary algorithms
have been successfully used for solving complex problems
in several
areas such as, for example, the automatic design of
electronic circuits and equipments,
task planning and scheduling, software engineering and
data mining,
among many others. This success is due, among many other
things, to the fact
that this class of algorithms does not need rigorous
mathematical formulations
regarding the problem to be optimized, and also because it
offers a high degree of
parallelism in the search process. However, some problems
are computationally
intensive when it concerns the evaluation of solutions
during the search process,
making the optimization by evolutionary algorithms a slow
process for situations
where a quick response from the algorithm is desired (for
instance, in online optimization
problems). Several ways to overcome this problem, by
speeding up
convergence time, were proposed, including Cultural
Algorithms and Coevolutionary
Algorithms. However, these algorithms still have the need
to evaluate
many solutions on each step of the optimization process.
In problems where
this evaluation is computationally expensive, the
optimization might take a prohibitive
time to reach optimal solutions. This work proposes a new
evolutionary
algorithm for numerical optimization problems (Quantum-
Inspired Evolutionary
Algorithm for Problems based on Numerical Representation -
QIEA-R),
inspired in the concept of quantum superposition, which
allows the optimization
process to be carried on with a smaller number of
evaluations. The work presents
the modelling for this algorithm for solving benchmark
numerical optimization
problems, and for training recurrent neural networks in
supervised learning and
reinforcement learning. The results show the good
performance of this algorithm
in solving these kinds of problems.
|
4 |
[pt] MODELO DE NEURO CO-EVOLUÇÃO COM INSPIRAÇÃO QUÂNTICA APLICADO A PROBLEMAS DE COORDENAÇÃO / [en] QUANTUM INSPIRED NEURO CO-EVOLUTION MODEL APPLIED TO COORDINATION PROBLEMSEDUARDO DESSUPOIO MOREIRA DIAS 19 November 2021 (has links)
[pt] Em diversos problemas encontrados na literatura, se faz necessária alguma coordenação entre os agentes para que a tarefa seja realizada de forma ótima. Entretanto, pode ser difícil a obtenção desta coordenação por conta da quantidade e características dos agentes, dinâmica do ambiente e/ou complexidade da tarefa. O objetivo principal deste estudo é propor um modelo que possa se adaptar a problemas heterogêneos de coordenação e de dimensões elevadas, com aprendizado autônomo e que tenha convergência satisfatória, o qual foi denominado Modelo de Neuro Co-Evolução com Inspiração Quântica (NCoQ). O modelo se utiliza dos paradigmas da física quântica e da co-evolução biológica, evoluindo concomitantemente sub-populações de indivíduos quânticos para obter ganhos de convergência. A representação dos indivíduos por pulsos quânticos consegue reduzir o número de indivíduos em cada população, além de ser a mais recomendada para a utilização de neuro-evolução por conta da representação real. Ressalta-se também a capacidade do modelo em obter de forma autônoma a melhor configuração de arquitetura para as redes neurais de cada agente, não exigindo do programador a escolha deste parâmetro. Foram propostos novos operadores quânticos de crossover e mutação que foram comparados na otimização de funções de diversas dimensões. Para testar o desempenho do modelo, foram desenvolvidas, em linguagem MATLAB, simulações para o problema presa predador, para o benchmark multi-rover de exploração de ambientes e uma simulação para cobertura telefônica. Foram feitas comparações com outros modelos neuro-evolutivos encontrados na literatura, tendo o modelo NCoQ apresentado os melhores resultados. / [en] Many problems in the literature require some coordination among agents so a specific task can be executed more efficiently. However, this coordination can be difficult because of the quantity and characteristics of the agents, environment dynamics and/or task complexity. The main contribution of this Thesis is the proposal of a model, called Quantum Inspired Neuro Co-Evolution (NCoQ), that can adapt to heterogeneous multi-agent problems in high dimensions utilizing self-learning and that has satisfactory convergence. The model is inspired in quantum physics and biological co-evolution paradigms and evolves concomitantly subpopulations of quantum individuals to get convergence gains. The representation of individuals for quantum functions is able to reduce the numbers of individuals in each population and it is the most recommended for real neuro-evolution representation. It s also important to point out the model capacity in self-finding the best architecture of the neural networks agents, not requiring an a priori definition of this parameter. New crossover and mutation quantum operators were also proposed and compared in functions optimization of multiple dimensions. To test the model performance, three MATLAB simulations were developed: prey-predator task, multi-rover task and cell phone coverage area simulation. Comparisons were made against others neuro-evolution models found in literature and the NCoQ model attained the best results.
|
5 |
[en] HETEROGENEOUS PARALLELIZATION OF QUANTUM-INSPIRED LINEAR GENETIC PROGRAMMING / [pt] PARALELIZAÇÃO HETEROGÊNEA DA PROGRAMAÇÃO GENÉTICA LINEAR COM INSPIRAÇÃO QUÂNTICACRISTIAN ENRIQUE MUNOZ VILLALOBOS 27 October 2016 (has links)
[pt] Um dos principais desafios da ciência da computação é conseguir que um
computador execute uma tarefa que precisa ser feita, sem dizer-lhe como fazê-la. A
Programação Genética (PG) aborda este desafio a partir de uma declaração de alto
nível sobre o que é necessário ser feito e cria um programa de computador para
resolver o problema automaticamente. Nesta dissertação, é desenvolvida uma
extensão do modelo de Programação Genética Linear com Inspiração Quântica
(PGLIQ) com melhorias na eficiência e eficácia na busca de soluções. Para tal,
primeiro o algoritmo é estruturado em um sistema de paralelização heterogênea
visando à aceleração por Unidades de Processamento Gráfico e a execução em
múltiplos processadores CPU, maximizando a velocidade dos processos, além de
utilizar técnicas otimizadas para reduzir os tempos de transferências de dados.
Segundo, utilizam-se as técnicas de Visualização Gráfica que interpretam a
estrutura e os processos que o algoritmo evolui para entender o efeito da
paralelização do modelo e o comportamento da PGLIQ. Na implementação da
paralelização heterogênea, são utilizados os recursos de computação paralela como
Message Passing Interface (MPI) e Open Multi-Processing (OpenMP), que são de
vital importância quando se trabalha com multi-processos. Além de representar
graficamente os parametros da PGLIQ, visualizando-se o comportamento ao longo
das gerações, uma visualização 3D para casos de robôtica evolutiva é apresentada,
na qual as ferramentas de simulação dinâmica como Bullet SDK e o motor gráfico
OGRE para a renderização são utilizadas. / [en] One of the main challenges of computer science is to get a computer execute
a task that must be done, without telling it how to do it. Genetic Programming (GP)
deals with this challenge from a high level statement of what is needed to be done
and creates a computer program to solve the problem automatically. In this
dissertation we developed an extension of Quantum-Inspired Linear Genetic
Programming Model (QILGP), aiming to improve its efficiency and effectiveness
in the search for solutions. For this, first the algorithm is structured in a
Heterogeneous Parallelism System, Aiming to accelerated using Graphics
Processing Units GPU and multiple CPU processors, reducing the timing of data
transfers while maximizing the speed of the processes. Second, using the techniques
of Graphic Visualization which interpret the structure and the processes that the
algorithm evolves, understanding the behavior of QILGP. We used the highperformance
features such as Message Passing Interface (MPI) and Open Multi-
Processing (OpenMP), which are of vital importance when working with multiprocesses,
as it is necessary to design a topology that has multiple levels of
parallelism to avoid delaying the process for transferring the data to a local
computer where the visualization is projected. In addition to graphically represent
the parameters of PGLIQ devising the behavior over generations, a 3D visualization
for cases of evolutionary robotics is presented, in which the tools of dynamic
simulation as Bullet SDK and graphics engine OGRE for rendering are used . This
visualization is used as a tool for a case study in this dissertation.
|
6 |
[en] QUANTUM-INSPIRED EVOLUCIONARY ALGORITHM WITH MIXED REPRESENTATION APPLIED TO NEURO-EVOLUTION / [pt] ALGORITMO EVOLUCIONÁRIO COM INSPIRAÇÃO QUÂNTICA E REPRESENTAÇÃO MISTA APLICADO A NEUROEVOLUÇÃOANDERSON GUIMARAES DE PINHO 06 April 2011 (has links)
[pt] Esta dissertação objetivará a unificação de duas metodologias de algoritmos
evolutivos consagradas para tratamento de problemas ou do tipo combinatórios,
ou do tipo numéricos, num único algoritmo com representação mista. Trata-se de
um algoritmo evolutivo inspirado na física quântica com representação mista
binário-real do espaço de soluções, o AEIQ-BR. Este algoritmo trata-se de uma
extensão do modelo com representação binária de Jang, Han e Kin, o AEIQ-B
para otimizações combinatoriais, e o de representação real de Abs da Cruz, o
AEIQ-R para otimizações numéricas. Com fins de exemplificação do novo
algoritmo proposto, o discutiremos no contexto de neuroevolução, com o
propósito de configurar completamente uma rede neural com alimentação adiante
em termos: seleção de variáveis de entrada; números de neurônios na camada
escondida; todos os pesos existentes; e tipos de funções de ativação de cada
neurônio. Esta finalidade em se aplicar o algoritmo AEIQ-BR à neuroevolução – e
também, numa analogia ao modelo NEIQ-R de Abs da Cruz – receberá a
denominação NEIQ-BR. N de neuroevolução, E de evolutivo, IQ de inspiração
quântica, e BR de binário-real. Para avaliar o desempenho do NEIQ-BR, utilizarse-
á um total de seis casos benchmark de classificação, e outros dois casos reais,
em campos da ciência como: finanças, biologia e química. Resultados serão
comparados com algoritmos de outros pesquisadores e a modelagem manual de
redes neurais, através de medidas de desempenho. Através de testes estatísticos
concluiremos que o algoritmo NEIQ-BR apresentará um desempenho
significativo na obtenção de previsões de classificação por neuroevolução. / [en] This work aimed to unify two methodologies of evolutionary algorithms to
treat problems with or combinatorial characteristics, or numeric, on a unique
algorithm with mix representation. It is an evolutionary algorithm inspired in
quantum physics with mixed representation of the solutions space, called QIEABR.
This algorithm is an extension of the model with binary representation of the
chromosome from Jang, Han e Kin, the QIEA-B for combinatorial optimization,
and numeric representation from Abs da Cruz, the QIEA-R for numerical
optimizations. For purposes of exemplification of the new algorithm, we will
introduce the algorithm in the context of neuro-evolution, in order to completely
configure a feed forward neural network in terms of: selection of input variables;
numbers of neurons in the hidden layer; all existing synaptic weights; and types of
activation functions of each neuron. This purpose when applying the algorithm
QIEA-BR to neuro-evolution receive the designation of QIEN-BR. QI for
quantum-inspired, E for evolutive, N for neuro-evolution, and BR for binary-real
representation. To evaluate the performance of QIEN-BR, we will use a total of
six benchmark cases of classification, and two real cases in fields of science such
as finance, biology and chemistry. Results will be compared with algorithms of
other researchers and manual modeling of neural networks through performance
measures. Statistical tests will be provided to elucidate the significance of results,
and what we can conclude is that the algorithm QIEN-BR better performance
others researchers in terms of classification prediction.
|
7 |
[en] APPROXIMATORS OF OIL RESERVOIR SIMULATORS BY GENETIC PROGRAMMING AND APPLICATION IN PRODUCTION OPTIMIZATION ALTERNATIVES / [pt] APROXIMADORES DE SIMULADORES DE RESERVATÓRIO DE PETRÓLEO POR PROGRAMAÇÃO GENÉTICA E APLICAÇÃO NA OTIMIZAÇÃO DE ALTERNATIVAS DE PRODUÇÃOGUILHERME CESARIO STRACHAN 22 June 2015 (has links)
[pt] A definição da estratégia de produção de petróleo é uma tarefa muito importante que consiste em um processo bastante complexo devido à grande quantidade de variáveis envolvidas. Estas variáveis estão relacionadas com características geológicas, fatores econômicos e decisões como alocação de poços, número de poços produtores e injetores, condições operacionais e cronograma de abertura de poços. No contexto da otimização da produção de petróleo, o objetivo é encontrar a melhor configuração de poços que contribua para maximizar, na maioria dos casos, o valor presente líquido (VPL). Esse valor é calculado, principalmente, a partir do óleo, gás e água produzidos do campo, que são encontrados através do uso do simulador de reservatórios. Porém, vários parâmetros e variáveis devem ser prefixados e inseridos no sistema de simulação para que esses valores de produção sejam previstos. Esse processo geralmente exige um alto custo computacional para modelar as transferências de fluidos dentro do reservatório simulado. Assim, o uso de simuladores pode ser substituído por aproximadores. Neste estudo, eles são desenvolvidos através da Programação Genética Linear com Inspiração Quântica, uma técnica da Computação Evolucionária. Esses aproximadores serão utilizados para substituir a simulação do reservatório no processo de otimização da localização e tipo de poços a serem perfurados em um campo petrolífero. Para a construção dos proxies de reservatório, as amostras, originadas utilizando a técnica do Hipercubo Latino, foram simuladas para a criação da base de dados. O modelo para criação de aproximadores foi testado em um reservatório sintético. Dois tipos de otimização foram realizados para a validação do modelo. A primeira foi a otimização determinística e a segunda uma otimização sob incerteza considerando três diferentes cenários geológicos, um caso onde o número de simulações é
extremamente alto. Os resultados encontrados apontam que o modelo para a criação de proxies consegue bom desempenho na substituição dos simuladores devido aos baixos erros encontrados e na considerável redução do custo computacional. / [en] The purpose of oil production strategy in the context of production optimization is to find the best configuration of wells that contributes to maximizing the Net Present Value. This value is calculated mainly from the amount of oil, gas, and water recovered from the field, which can be obtained by running the reservoir simulator. However, many parameters and variables must be prefixed and inserted into the simulation system in order to generate these production values. This process involves a high computational cost for modeling the transfer of fluids within the simulated reservoir. Thus, the use of simulators may be substituted by approximators. In this thesis, we aim to develop these approximators using Quantum-Inspired Linear Genetic Programming, a technique of Evolutionary Computation. These approximators were used to replace the reservoir simulation in the process of optimizing the location and type of wells to be drilled in a field. For the reservoir proxies construction, samples obtained from the technique of Latin Hypercube were simulated to create the database. The model for creating approximators was tested on a synthetic reservoir. Two types of optimization were performed to validate the model. The first was a deterministic optimization and the second an optimization under uncertainty considering three different geological settings, a situation in which the number of simulations becomes extremely high. Our results indicated that the model for the creation of proxies achieves a satisfactory performance in the replacement of simulators due to low levels of errors and a considerable reduction of the computational cost.
|
8 |
[pt] BUSCA POR ARQUITETURA NEURAL COM INSPIRAÇÃO QUÂNTICA APLICADA A SEGMENTAÇÃO SEMÂNTICA / [en] QUANTUM-INSPIRED NEURAL ARCHITECTURE SEARCH APPLIED TO SEMANTIC SEGMENTATIONGUILHERME BALDO CARLOS 14 July 2023 (has links)
[pt] Redes neurais profundas são responsáveis pelo grande progresso em diversas tarefas perceptuais, especialmente nos campos da visão computacional,reconhecimento de fala e processamento de linguagem natural. Estes resultados produziram uma mudança de paradigma nas técnicas de reconhecimentode padrões, deslocando a demanda do design de extratores de característicaspara o design de arquiteturas de redes neurais. No entanto, o design de novas arquiteturas de redes neurais profundas é bastante demandanteem termos de tempo e depende fortemente da intuição e conhecimento de especialistas,além de se basear em um processo de tentativa e erro. Neste contexto, a idea de automatizar o design de arquiteturas de redes neurais profundas tem ganhado popularidade, estabelecendo o campo da busca por arquiteturas neurais(NAS - Neural Architecture Search). Para resolver o problema de NAS, autores propuseram diversas abordagens envolvendo o espaço de buscas, a estratégia de buscas e técnicas para mitigar o consumo de recursos destes algoritmos. O Q-NAS (Quantum-inspired Neural Architecture Search) é uma abordagem proposta para endereçar o problema de NAS utilizando um algoritmo evolucionário com inspiração quântica como estratégia de buscas. Este método foi aplicado de forma bem sucedida em classificação de imagens, superando resultados de arquiteturas de design manual nos conjuntos de dados CIFAR-10 e CIFAR-100 além de uma aplicação de mundo real na área da sísmica. Motivados por este sucesso, propõe-se nesta Dissertação o SegQNAS (Quantum-inspired Neural Architecture Search applied to Semantic Segmentation), uma adaptação do Q-NAS para a tarefa de segmentação semântica. Diversos experimentos foram realizados com objetivo de verificar a aplicabilidade do SegQNAS em dois conjuntos de dados do desafio Medical Segmentation Decathlon. O SegQNAS foi capaz de alcançar um coeficiente de similaridade dice de 0.9583 no conjunto de dados de baço, superando os resultados de arquiteturas tradicionais como U-Net e ResU-Net e atingindo resultados comparáveis a outros trabalhos que aplicaram NAS a este conjunto de dados, mas encontrando arquiteturas com muito menos parãmetros. No conjunto de dados de próstata, o SegQNAS alcançou um coeficiente de similaridade dice de 0.6887 superando a U-Net, ResU-Net e o trabalho na área de NAS que utilizamos como comparação. / [en] Deep neural networks are responsible for great progress in performance
for several perceptual tasks, especially in the fields of computer vision, speech
recognition, and natural language processing. These results produced a paradigm shift in pattern recognition techniques, shifting the demand from feature
extractor design to neural architecture design. However, designing novel deep
neural network architectures is very time-consuming and heavily relies on experts intuition, knowledge, and a trial and error process. In that context, the
idea of automating the architecture design of deep neural networks has gained
popularity, establishing the field of neural architecture search (NAS). To tackle the problem of NAS, authors have proposed several approaches regarding
the search space definition, algorithms for the search strategy, and techniques
to mitigate the resource consumption of those algorithms. Q-NAS (Quantum-inspired Neural Architecture Search) is one proposed approach to address the
NAS problem using a quantum-inspired evolutionary algorithm as the search
strategy. That method has been successfully applied to image classification,
outperforming handcrafted models on the CIFAR-10 and CIFAR-100 datasets
and also on a real-world seismic application. Motivated by this success, we
propose SegQNAS (Quantum-inspired Neural Architecture Search applied to
Semantic Segmentation), which is an adaptation of Q-NAS applied to semantic
segmentation. We carried out several experiments to verify the applicability
of SegQNAS on two datasets from the Medical Segmentation Decathlon challenge. SegQNAS was able to achieve a 0.9583 dice similarity coefficient on the
spleen dataset, outperforming traditional architectures like U-Net and ResU-Net and comparable results with a similar NAS work from the literature but
with fewer parameters network. On the prostate dataset, SegQNAS achieved
a 0.6887 dice similarity coefficient, also outperforming U-Net, ResU-Net, and
outperforming a similar NAS work from the literature.
|
9 |
[pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA / [en] QUANTUM-INSPIRED NEURAL ARCHITECTURE SEARCHDANIELA DE MATTOS SZWARCMAN 13 August 2020 (has links)
[pt] As redes neurais deep são modelos poderosos e flexíveis, que ganharam destaque na comunidade científica na última década. Para muitas tarefas, elas até superam o desempenho humano. Em geral, para obter tais resultados, um especialista despende tempo significativo para projetar a arquitetura neural, com longas sessões de tentativa e erro. Com isso, há um interesse crescente em automatizar esse processo. Novos métodos baseados em técnicas como aprendizado por reforço e algoritmos evolutivos foram apresentados como abordagens para o problema da busca de arquitetura neural (NAS - Neural Architecture Search), mas muitos ainda são algoritmos de alto custo computacional. Para reduzir esse custo, pesquisadores sugeriram
limitar o espaço de busca, com base em conhecimento prévio. Os algoritmos evolutivos de inspiração quântica (AEIQ) apresentam resultados promissores em relação à convergência mais rápida. A partir dessa idéia, propõe-se o Q-NAS: um AEIQ para buscar redes deep através da montagem de subestruturas. O Q-NAS também pode evoluir alguns hiperparâmetros numéricos, o que é um primeiro passo para a automação completa. Experimentos com o conjunto de dados CIFAR-10 foram realizados a fim de analisar detalhes do Q-NAS. Para muitas configurações de parâmetros, foram obtidos resultados satisfatórios. As melhores acurácias no CIFAR-10 foram de 93,85 porcento para uma rede residual e 93,70 porcento para uma rede convolucional, superando modelos elaborados por especialistas e alguns métodos de NAS. Incluindo um esquema simples de parada antecipada, os tempos de evolução nesses casos foram de 67 dias de GPU e 48 dias de GPU, respectivamente. O Q-NAS foi aplicado ao CIFAR-100, sem qualquer ajuste de parâmetro, e obteve 74,23 porcento de acurácia, similar a uma ResNet com 164 camadas. Por fim, apresenta-se um estudo de caso com dados reais, no qual utiliza-se o Q-NAS para resolver a tarefa de classificação sísmica. Em menos de 8,5 dias de GPU, o Q-NAS gerou redes com 12 vezes menos pesos e maior acurácia do que um modelo criado especialmente para esta tarefa. / [en] Deep neural networks are powerful and flexible models that have gained the attention of the machine learning community over the last decade. For a variety of tasks, they can even surpass human-level performance. Usually, to reach these excellent results, an expert spends significant time designing the neural architecture, with long trial and error sessions. In this scenario, there is a growing interest in automating this design process. To address the neural architecture search (NAS) problem, authors have presented new methods based on techniques such as reinforcement learning and evolutionary algorithms, but the high computational cost is still an issue for many of them. To reduce this cost, researchers have proposed to restrict the search space, with the help of expert knowledge. Quantum-inspired evolutionary algorithms present promising results regarding faster convergence. Motivated by this idea, we propose Q-NAS: a quantum-inspired algorithm to search for deep networks by assembling substructures. Q-NAS can also evolve some numerical hyperparameters, which is a first step in the direction of complete automation. We ran several experiments with the CIFAR-10 dataset to analyze the details of the algorithm. For
many parameter settings, Q-NAS was able to achieve satisfactory results. Our best accuracies on the CIFAR-10 task were 93.85 percent for a residual network and 93.70 percent for a convolutional network, overcoming hand-designed models, and some NAS works. Considering the addition of a simple early-stopping mechanism, the evolution times for these runs were 67 GPU days and 48 GPU days, respectively. Also, we applied Q-NAS to CIFAR-100 without any parameter adjustment, reaching an accuracy of 74.23 percent, which is comparable to a ResNet with 164 layers. Finally, we present a case study with real datasets, where we used Q-NAS to solve the seismic classification task. In less than 8.5 GPU days, Q-NAS generated networks with 12 times fewer weights and higher accuracy than a model specially created for this task.
|
10 |
[pt] APRIMORAÇÃO DO ALGORITMO Q-NAS PARA CLASSIFICAÇÃO DE IMAGENS / [en] ENHANCED Q-NAS FOR IMAGE CLASSIFICATIONJULIA DRUMMOND NOCE 31 October 2022 (has links)
[pt] Redes neurais profundas são modelos poderosos e flexíveis que ganharam a atenção da comunidade de aprendizado de máquina na última década. Normalmente, um especialista gasta um tempo significativo projetando a arquitetura neural, com longas sessões de tentativa e erro para alcançar resultados
bons e relevantes. Por causa do processo manual, há um maior interesse em abordagens de busca de arquitetura neural, que é um método que visa automatizar a busca de redes neurais. A busca de arquitetura neural(NAS) é uma subárea das técnicas de aprendizagem de máquina automatizadas (AutoML) e uma etapa essencial para automatizar os métodos de aprendizado de máquina.
Esta técnica leva em consideração os aspectos do espaço de busca das arquiteturas, estratégia de busca e estratégia de estimativa de desempenho. Algoritmos evolutivos de inspiração quântica apresentam resultados promissores quanto à convergência mais rápida quando comparados a outras soluções com espaço de busca restrito e alto custo computacional. Neste trabalho, foi aprimorado o Q-NAS: um algoritmo de inspiração quântica para pesquisar redes profundas por meio da montagem de subestruturas simples. O Q-NAS também pode evoluir alguns hiperparâmetros numéricos do treinamento, o que é um primeiro passo na direção da automação completa. Foram apresentados resultados aplicando
Q-NAS, evoluído, sem transferência de conhecimento, no conjunto de dados CIFAR-100 usando apenas 18 GPU/dias. Nossa contribuição envolve experimentar outros otimizadores no algoritmo e fazer um estudo aprofundado dos parâmetros do Q-NAS. Nesse trabalho, foi possível atingir uma acurácia
de 76,40%. Foi apresentado também o Q-NAS aprimorado aplicado a um estudo de caso para classificação COVID-19 x Saudável em um banco de dados de tomografia computadorizada de tórax real. Em 9 GPU/dias, conseguimos atingir uma precisão de 99,44% usando menos de 1000 amostras para dados
de treinamento. / [en] Deep neural networks are powerful and flexible models that have gained
the attention of the machine learning community over the last decade. Usually,
an expert spends significant time designing the neural architecture, with
long trial and error sessions to reach good and relevant results. Because
of the manual process, there is a greater interest in Neural Architecture
Search (NAS), which is an automated method of architectural search in
neural networks. NAS is a subarea of Automated Machine Learning (AutoML)
and is an essential step towards automating machine learning methods. It
is a technique that aims to automate the construction process of a neural
network architecture. This technique is defined by the search space aspects
of the architectures, search strategy and performance estimation strategy.
Quantum-inspired evolutionary algorithms present promising results regarding
faster convergence when compared to other solutions with restricted search
space and high computational costs. In this work, we enhance Q-NAS: a
quantum-inspired algorithm to search for deep networks by assembling simple
substructures. Q-NAS can also evolve some numerical hyperparameters, which
is a first step in the direction of complete automation. Our contribution involves
experimenting other types of optimizers in the algorithm and make an indepth
study of the Q-NAS parameters. Additionally, we present Q-NAS results,
evolved from scratch, on the CIFAR-100 dataset using only 18 GPU/days.
We were able to achieve an accuracy of 76.40% which is a competitive result
regarding other works in literature. Finally, we also present the enhanced QNAS
applied to a case study for COVID-19 x Healthy classification on a real
chest computed tomography database. In 9 GPU/days we were able to achieve
an accuracy of 99.44% using less than 1000 samples for training data. This
accuracy overcame benchmark networks such as ResNet, GoogleLeNet and
VGG.
|
Page generated in 0.0556 seconds