• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 13
  • 3
  • Tagged with
  • 16
  • 15
  • 14
  • 10
  • 9
  • 9
  • 8
  • 7
  • 7
  • 7
  • 5
  • 5
  • 5
  • 4
  • 4
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
1

[en] MASSIVELY PARALLEL GENETIC PROGRAMMING ON GPUS / [pt] PROGRAMAÇÃO GENÉTICA MACIÇAMENTE PARALELA EM GPUS

CLEOMAR PEREIRA DA SILVA 25 February 2015 (has links)
[pt] A Programação Genética permite que computadores resolvam problemas automaticamente, sem que eles tenham sido programados para tal. Utilizando a inspiração no princípio da seleção natural de Darwin, uma população de programas, ou indivíduos, é mantida, modificada baseada em variação genética, e avaliada de acordo com uma função de aptidão (fitness). A programação genética tem sido usada com sucesso por uma série de aplicações como projeto automático, reconhecimento de padrões, controle robótico, mineração de dados e análise de imagens. Porém, a avaliação da gigantesca quantidade de indivíduos gerados requer excessiva quantidade de computação, levando a um tempo de execução inviável para problemas grandes. Este trabalho explora o alto poder computacional de unidades de processamento gráfico, ou GPUs, para acelerar a programação genética e permitir a geração automática de programas para grandes problemas. Propomos duas novas metodologias para se explorar a GPU em programação genética: compilação em linguagem intermediária e a criação de indivíduos em código de máquina. Estas metodologias apresentam vantagens em relação às metodologias tradicionais usadas na literatura. A utilização de linguagem intermediária reduz etapas de compilação e trabalha com instruções que estão bem documentadas. A criação de indivíduos em código de máquina não possui nenhuma etapa de compilação, mas requer engenharia reversa das instruções que não estão documentadas neste nível. Nossas metodologias são baseadas em programação genética linear e inspiradas em computação quântica. O uso de computação quântica permite uma convergência rápida, capacidade de busca global e inclusão da história passada dos indivíduos. As metodologias propostas foram comparadas com as metodologias existentes e apresentaram ganhos consideráveis de desempenho. Foi observado um desempenho máximo de até 2,74 trilhões de GPops (operações de programação genética por segundo) para o benchmark Multiplexador de 20 bits e foi possível estender a programação genética para problemas que apresentam bases de dados de até 7 milhões de amostras. / [en] Genetic Programming enables computers to solve problems automatically, without being programmed to it. Using the inspiration in the Darwin s Principle of natural selection, a population of programs or individuals is maintained, modified based on genetic variation, and evaluated according to a fitness function. Genetic programming has been successfully applied to many different applications such as automatic design, pattern recognition, robotic control, data mining and image analysis. However, the evaluation of the huge amount of individuals requires excessive computational demands, leading to extremely long computational times for large size problems. This work exploits the high computational power of graphics processing units, or GPUs, to accelerate genetic programming and to enable the automatic generation of programs for large problems. We propose two new methodologies to exploit the power of the GPU in genetic programming: intermediate language compilation and individuals creation in machine language. These methodologies have advantages over traditional methods used in the literature. The use of an intermediate language reduces the compilation steps, and works with instructions that are well-documented. The individuals creation in machine language has no compilation step, but requires reverse engineering of the instructions that are not documented at this level. Our methodologies are based on linear genetic programming and are inspired by quantum computing. The use of quantum computing allows rapid convergence, global search capability and inclusion of individuals past history. The proposed methodologies were compared against existing methodologies and they showed considerable performance gains. It was observed a maximum performance of 2,74 trillion GPops (genetic programming operations per second) for the 20-bit Multiplexer benchmark, and it was possible to extend genetic programming for problems that have databases with up to 7 million samples.
2

[en] TECHNE AND INSPIRATION ON PLATONIC ION / [pt] TÉCHNE E INSPIRAÇÃO NO ÍON PLATÔNICO

KRISHNAMURTI JARESKI 31 July 2006 (has links)
[pt] A presente dissertação de mestrado tem como tema de investigação duas noções centrais que fundamentam a discussão sobre a poesia e a rapsódia exposta por Platão no seu diálogo de juventude, o Íon: o conceito de téchne, padrão comparativo de que se serve o filósofo para demonstrar que não é por uma arte/habilidade que o poeta e o rapsodo se revelam capazes de falar sobre múltiplos assuntos, e o conceito de inspiração poética que, ao sustentar a possibilidade de uma ligação direta com as Musas capaz de anular temporariamente as faculdades racionais do homem, rompe parcialmente com as tradicionais concepções de poesia da época. Do entrelaçamento dessas duas noções emergem traços de um redirecionamento da atividade rapsódica e de uma nova compreensão da poesia, cuja presença, nos diálogos posteriores, atesta sua natureza programática e aponta para o surgimento da Filosofia. / [en] The present Master s dissertation has two central concepts as object of investigation that support a discussion about the poetry and rhapsody exposed by Plato in his early dialogue, Ion: the concept of techne, a pattern of comparison which the philosopher uses to demonstrate that it is not through art/ability that the poet and the rhapsodist turn out to be capable of talking about different subjects; and the concept of poetical inspiration, which disrupts in part the traditional concepts of poetry at the time, as it sustains the possibility of straight connection with the Muses, a possibility which can stop man´s rational faculties temporarily. From the intertwine of these two ideas, traits emerge concerning the redirection of the rhapsodic activity and the new understanding about poetry, whose presence in his following dialogues attests its programmatic nature and points to the origin of Philosophy.
3

[en] QUANTUM-INSPIRED EVOLUTIONARY ALGORITHMS FOR PROBLEMS BASED ON NUMERICAL REPRESENTATION / [pt] ALGORITMOS EVOLUTIVOS COM INSPIRAÇÃO QUÂNTICA PARA PROBLEMAS COM REPRESENTAÇÃO NUMÉRICA

ANDRE VARGAS ABS DA CRUZ 25 September 2007 (has links)
[pt] Desde que foram propostos como método de otimização, os algoritmos evolutivos têm sido usados com sucesso para resolver problemas complexos nas mais diversas áreas como, por exemplo, o projeto automático de circuitos e equipamentos, planejamento de tarefas, engenharia de software e mineração de dados, entre tantos outros. Este sucesso se deve, entre outras coisas, ao fato desta classe de algoritmos não necessitar de formulações matemáticas rigorosas a respeito do problema que se deseja otimizar, além de oferecer um alto grau de paralelismo no processo de busca. No entanto, alguns problemas são computacionalmente custosos no que diz respeito à avaliação das soluções durante o processo de busca, tornando a otimização por algoritmos evolutivos um processo lento para situações onde se deseja uma resposta rápida do algoritmo (como por exemplo, problemas de otimização online). Diversas maneiras de se contornar este problema, através da aceleração da convergência para boas soluções, foram propostas, entre as quais destacam-se os Algoritmos Culturais e os Algoritmos Co-Evolutivos. No entanto, estes algoritmos ainda têm a necessidade de avaliar muitas soluções a cada etapa do processo de otimização. Em problemas onde esta avaliação é computacionalmente custosa, a otimização pode levar um tempo proibitivo para alcançar soluções ótimas. Este trabalho propõe um novo algoritmo evolutivo para problemas de otimização numérica (Algoritmo Evolutivo com Inspiração Quântica usando Representação Real - AEIQ- R), inspirado no conceito de múltiplos universos da física quântica, que permite realizar o processo de otimização com um menor número de avaliações de soluções. O trabalho apresenta a modelagem deste algoritmo para a solução de problemas benchmark de otimização numérica, assim como no treinamento de redes neurais recorrentes em problemas de aprendizado supervisionado de séries temporais e em aprendizado por reforço em tarefas de controle. Os resultados obtidos demonstram a eficiência desse algoritmo na solução destes tipos de problemas. / [en] Since they were proposed as an optimization method, the evolutionary algorithms have been successfully used for solving complex problems in several areas such as, for example, the automatic design of electronic circuits and equipments, task planning and scheduling, software engineering and data mining, among many others. This success is due, among many other things, to the fact that this class of algorithms does not need rigorous mathematical formulations regarding the problem to be optimized, and also because it offers a high degree of parallelism in the search process. However, some problems are computationally intensive when it concerns the evaluation of solutions during the search process, making the optimization by evolutionary algorithms a slow process for situations where a quick response from the algorithm is desired (for instance, in online optimization problems). Several ways to overcome this problem, by speeding up convergence time, were proposed, including Cultural Algorithms and Coevolutionary Algorithms. However, these algorithms still have the need to evaluate many solutions on each step of the optimization process. In problems where this evaluation is computationally expensive, the optimization might take a prohibitive time to reach optimal solutions. This work proposes a new evolutionary algorithm for numerical optimization problems (Quantum- Inspired Evolutionary Algorithm for Problems based on Numerical Representation - QIEA-R), inspired in the concept of quantum superposition, which allows the optimization process to be carried on with a smaller number of evaluations. The work presents the modelling for this algorithm for solving benchmark numerical optimization problems, and for training recurrent neural networks in supervised learning and reinforcement learning. The results show the good performance of this algorithm in solving these kinds of problems.
4

[pt] MODELO DE NEURO CO-EVOLUÇÃO COM INSPIRAÇÃO QUÂNTICA APLICADO A PROBLEMAS DE COORDENAÇÃO / [en] QUANTUM INSPIRED NEURO CO-EVOLUTION MODEL APPLIED TO COORDINATION PROBLEMS

EDUARDO DESSUPOIO MOREIRA DIAS 19 November 2021 (has links)
[pt] Em diversos problemas encontrados na literatura, se faz necessária alguma coordenação entre os agentes para que a tarefa seja realizada de forma ótima. Entretanto, pode ser difícil a obtenção desta coordenação por conta da quantidade e características dos agentes, dinâmica do ambiente e/ou complexidade da tarefa. O objetivo principal deste estudo é propor um modelo que possa se adaptar a problemas heterogêneos de coordenação e de dimensões elevadas, com aprendizado autônomo e que tenha convergência satisfatória, o qual foi denominado Modelo de Neuro Co-Evolução com Inspiração Quântica (NCoQ). O modelo se utiliza dos paradigmas da física quântica e da co-evolução biológica, evoluindo concomitantemente sub-populações de indivíduos quânticos para obter ganhos de convergência. A representação dos indivíduos por pulsos quânticos consegue reduzir o número de indivíduos em cada população, além de ser a mais recomendada para a utilização de neuro-evolução por conta da representação real. Ressalta-se também a capacidade do modelo em obter de forma autônoma a melhor configuração de arquitetura para as redes neurais de cada agente, não exigindo do programador a escolha deste parâmetro. Foram propostos novos operadores quânticos de crossover e mutação que foram comparados na otimização de funções de diversas dimensões. Para testar o desempenho do modelo, foram desenvolvidas, em linguagem MATLAB, simulações para o problema presa predador, para o benchmark multi-rover de exploração de ambientes e uma simulação para cobertura telefônica. Foram feitas comparações com outros modelos neuro-evolutivos encontrados na literatura, tendo o modelo NCoQ apresentado os melhores resultados. / [en] Many problems in the literature require some coordination among agents so a specific task can be executed more efficiently. However, this coordination can be difficult because of the quantity and characteristics of the agents, environment dynamics and/or task complexity. The main contribution of this Thesis is the proposal of a model, called Quantum Inspired Neuro Co-Evolution (NCoQ), that can adapt to heterogeneous multi-agent problems in high dimensions utilizing self-learning and that has satisfactory convergence. The model is inspired in quantum physics and biological co-evolution paradigms and evolves concomitantly subpopulations of quantum individuals to get convergence gains. The representation of individuals for quantum functions is able to reduce the numbers of individuals in each population and it is the most recommended for real neuro-evolution representation. It s also important to point out the model capacity in self-finding the best architecture of the neural networks agents, not requiring an a priori definition of this parameter. New crossover and mutation quantum operators were also proposed and compared in functions optimization of multiple dimensions. To test the model performance, three MATLAB simulations were developed: prey-predator task, multi-rover task and cell phone coverage area simulation. Comparisons were made against others neuro-evolution models found in literature and the NCoQ model attained the best results.
5

[en] HETEROGENEOUS PARALLELIZATION OF QUANTUM-INSPIRED LINEAR GENETIC PROGRAMMING / [pt] PARALELIZAÇÃO HETEROGÊNEA DA PROGRAMAÇÃO GENÉTICA LINEAR COM INSPIRAÇÃO QUÂNTICA

CRISTIAN ENRIQUE MUNOZ VILLALOBOS 27 October 2016 (has links)
[pt] Um dos principais desafios da ciência da computação é conseguir que um computador execute uma tarefa que precisa ser feita, sem dizer-lhe como fazê-la. A Programação Genética (PG) aborda este desafio a partir de uma declaração de alto nível sobre o que é necessário ser feito e cria um programa de computador para resolver o problema automaticamente. Nesta dissertação, é desenvolvida uma extensão do modelo de Programação Genética Linear com Inspiração Quântica (PGLIQ) com melhorias na eficiência e eficácia na busca de soluções. Para tal, primeiro o algoritmo é estruturado em um sistema de paralelização heterogênea visando à aceleração por Unidades de Processamento Gráfico e a execução em múltiplos processadores CPU, maximizando a velocidade dos processos, além de utilizar técnicas otimizadas para reduzir os tempos de transferências de dados. Segundo, utilizam-se as técnicas de Visualização Gráfica que interpretam a estrutura e os processos que o algoritmo evolui para entender o efeito da paralelização do modelo e o comportamento da PGLIQ. Na implementação da paralelização heterogênea, são utilizados os recursos de computação paralela como Message Passing Interface (MPI) e Open Multi-Processing (OpenMP), que são de vital importância quando se trabalha com multi-processos. Além de representar graficamente os parametros da PGLIQ, visualizando-se o comportamento ao longo das gerações, uma visualização 3D para casos de robôtica evolutiva é apresentada, na qual as ferramentas de simulação dinâmica como Bullet SDK e o motor gráfico OGRE para a renderização são utilizadas. / [en] One of the main challenges of computer science is to get a computer execute a task that must be done, without telling it how to do it. Genetic Programming (GP) deals with this challenge from a high level statement of what is needed to be done and creates a computer program to solve the problem automatically. In this dissertation we developed an extension of Quantum-Inspired Linear Genetic Programming Model (QILGP), aiming to improve its efficiency and effectiveness in the search for solutions. For this, first the algorithm is structured in a Heterogeneous Parallelism System, Aiming to accelerated using Graphics Processing Units GPU and multiple CPU processors, reducing the timing of data transfers while maximizing the speed of the processes. Second, using the techniques of Graphic Visualization which interpret the structure and the processes that the algorithm evolves, understanding the behavior of QILGP. We used the highperformance features such as Message Passing Interface (MPI) and Open Multi- Processing (OpenMP), which are of vital importance when working with multiprocesses, as it is necessary to design a topology that has multiple levels of parallelism to avoid delaying the process for transferring the data to a local computer where the visualization is projected. In addition to graphically represent the parameters of PGLIQ devising the behavior over generations, a 3D visualization for cases of evolutionary robotics is presented, in which the tools of dynamic simulation as Bullet SDK and graphics engine OGRE for rendering are used . This visualization is used as a tool for a case study in this dissertation.
6

[en] QUANTUM-INSPIRED EVOLUCIONARY ALGORITHM WITH MIXED REPRESENTATION APPLIED TO NEURO-EVOLUTION / [pt] ALGORITMO EVOLUCIONÁRIO COM INSPIRAÇÃO QUÂNTICA E REPRESENTAÇÃO MISTA APLICADO A NEUROEVOLUÇÃO

ANDERSON GUIMARAES DE PINHO 06 April 2011 (has links)
[pt] Esta dissertação objetivará a unificação de duas metodologias de algoritmos evolutivos consagradas para tratamento de problemas ou do tipo combinatórios, ou do tipo numéricos, num único algoritmo com representação mista. Trata-se de um algoritmo evolutivo inspirado na física quântica com representação mista binário-real do espaço de soluções, o AEIQ-BR. Este algoritmo trata-se de uma extensão do modelo com representação binária de Jang, Han e Kin, o AEIQ-B para otimizações combinatoriais, e o de representação real de Abs da Cruz, o AEIQ-R para otimizações numéricas. Com fins de exemplificação do novo algoritmo proposto, o discutiremos no contexto de neuroevolução, com o propósito de configurar completamente uma rede neural com alimentação adiante em termos: seleção de variáveis de entrada; números de neurônios na camada escondida; todos os pesos existentes; e tipos de funções de ativação de cada neurônio. Esta finalidade em se aplicar o algoritmo AEIQ-BR à neuroevolução – e também, numa analogia ao modelo NEIQ-R de Abs da Cruz – receberá a denominação NEIQ-BR. N de neuroevolução, E de evolutivo, IQ de inspiração quântica, e BR de binário-real. Para avaliar o desempenho do NEIQ-BR, utilizarse- á um total de seis casos benchmark de classificação, e outros dois casos reais, em campos da ciência como: finanças, biologia e química. Resultados serão comparados com algoritmos de outros pesquisadores e a modelagem manual de redes neurais, através de medidas de desempenho. Através de testes estatísticos concluiremos que o algoritmo NEIQ-BR apresentará um desempenho significativo na obtenção de previsões de classificação por neuroevolução. / [en] This work aimed to unify two methodologies of evolutionary algorithms to treat problems with or combinatorial characteristics, or numeric, on a unique algorithm with mix representation. It is an evolutionary algorithm inspired in quantum physics with mixed representation of the solutions space, called QIEABR. This algorithm is an extension of the model with binary representation of the chromosome from Jang, Han e Kin, the QIEA-B for combinatorial optimization, and numeric representation from Abs da Cruz, the QIEA-R for numerical optimizations. For purposes of exemplification of the new algorithm, we will introduce the algorithm in the context of neuro-evolution, in order to completely configure a feed forward neural network in terms of: selection of input variables; numbers of neurons in the hidden layer; all existing synaptic weights; and types of activation functions of each neuron. This purpose when applying the algorithm QIEA-BR to neuro-evolution receive the designation of QIEN-BR. QI for quantum-inspired, E for evolutive, N for neuro-evolution, and BR for binary-real representation. To evaluate the performance of QIEN-BR, we will use a total of six benchmark cases of classification, and two real cases in fields of science such as finance, biology and chemistry. Results will be compared with algorithms of other researchers and manual modeling of neural networks through performance measures. Statistical tests will be provided to elucidate the significance of results, and what we can conclude is that the algorithm QIEN-BR better performance others researchers in terms of classification prediction.
7

[en] APPROXIMATORS OF OIL RESERVOIR SIMULATORS BY GENETIC PROGRAMMING AND APPLICATION IN PRODUCTION OPTIMIZATION ALTERNATIVES / [pt] APROXIMADORES DE SIMULADORES DE RESERVATÓRIO DE PETRÓLEO POR PROGRAMAÇÃO GENÉTICA E APLICAÇÃO NA OTIMIZAÇÃO DE ALTERNATIVAS DE PRODUÇÃO

GUILHERME CESARIO STRACHAN 22 June 2015 (has links)
[pt] A definição da estratégia de produção de petróleo é uma tarefa muito importante que consiste em um processo bastante complexo devido à grande quantidade de variáveis envolvidas. Estas variáveis estão relacionadas com características geológicas, fatores econômicos e decisões como alocação de poços, número de poços produtores e injetores, condições operacionais e cronograma de abertura de poços. No contexto da otimização da produção de petróleo, o objetivo é encontrar a melhor configuração de poços que contribua para maximizar, na maioria dos casos, o valor presente líquido (VPL). Esse valor é calculado, principalmente, a partir do óleo, gás e água produzidos do campo, que são encontrados através do uso do simulador de reservatórios. Porém, vários parâmetros e variáveis devem ser prefixados e inseridos no sistema de simulação para que esses valores de produção sejam previstos. Esse processo geralmente exige um alto custo computacional para modelar as transferências de fluidos dentro do reservatório simulado. Assim, o uso de simuladores pode ser substituído por aproximadores. Neste estudo, eles são desenvolvidos através da Programação Genética Linear com Inspiração Quântica, uma técnica da Computação Evolucionária. Esses aproximadores serão utilizados para substituir a simulação do reservatório no processo de otimização da localização e tipo de poços a serem perfurados em um campo petrolífero. Para a construção dos proxies de reservatório, as amostras, originadas utilizando a técnica do Hipercubo Latino, foram simuladas para a criação da base de dados. O modelo para criação de aproximadores foi testado em um reservatório sintético. Dois tipos de otimização foram realizados para a validação do modelo. A primeira foi a otimização determinística e a segunda uma otimização sob incerteza considerando três diferentes cenários geológicos, um caso onde o número de simulações é extremamente alto. Os resultados encontrados apontam que o modelo para a criação de proxies consegue bom desempenho na substituição dos simuladores devido aos baixos erros encontrados e na considerável redução do custo computacional. / [en] The purpose of oil production strategy in the context of production optimization is to find the best configuration of wells that contributes to maximizing the Net Present Value. This value is calculated mainly from the amount of oil, gas, and water recovered from the field, which can be obtained by running the reservoir simulator. However, many parameters and variables must be prefixed and inserted into the simulation system in order to generate these production values. This process involves a high computational cost for modeling the transfer of fluids within the simulated reservoir. Thus, the use of simulators may be substituted by approximators. In this thesis, we aim to develop these approximators using Quantum-Inspired Linear Genetic Programming, a technique of Evolutionary Computation. These approximators were used to replace the reservoir simulation in the process of optimizing the location and type of wells to be drilled in a field. For the reservoir proxies construction, samples obtained from the technique of Latin Hypercube were simulated to create the database. The model for creating approximators was tested on a synthetic reservoir. Two types of optimization were performed to validate the model. The first was a deterministic optimization and the second an optimization under uncertainty considering three different geological settings, a situation in which the number of simulations becomes extremely high. Our results indicated that the model for the creation of proxies achieves a satisfactory performance in the replacement of simulators due to low levels of errors and a considerable reduction of the computational cost.
8

[pt] BUSCA POR ARQUITETURA NEURAL COM INSPIRAÇÃO QUÂNTICA APLICADA A SEGMENTAÇÃO SEMÂNTICA / [en] QUANTUM-INSPIRED NEURAL ARCHITECTURE SEARCH APPLIED TO SEMANTIC SEGMENTATION

GUILHERME BALDO CARLOS 14 July 2023 (has links)
[pt] Redes neurais profundas são responsáveis pelo grande progresso em diversas tarefas perceptuais, especialmente nos campos da visão computacional,reconhecimento de fala e processamento de linguagem natural. Estes resultados produziram uma mudança de paradigma nas técnicas de reconhecimentode padrões, deslocando a demanda do design de extratores de característicaspara o design de arquiteturas de redes neurais. No entanto, o design de novas arquiteturas de redes neurais profundas é bastante demandanteem termos de tempo e depende fortemente da intuição e conhecimento de especialistas,além de se basear em um processo de tentativa e erro. Neste contexto, a idea de automatizar o design de arquiteturas de redes neurais profundas tem ganhado popularidade, estabelecendo o campo da busca por arquiteturas neurais(NAS - Neural Architecture Search). Para resolver o problema de NAS, autores propuseram diversas abordagens envolvendo o espaço de buscas, a estratégia de buscas e técnicas para mitigar o consumo de recursos destes algoritmos. O Q-NAS (Quantum-inspired Neural Architecture Search) é uma abordagem proposta para endereçar o problema de NAS utilizando um algoritmo evolucionário com inspiração quântica como estratégia de buscas. Este método foi aplicado de forma bem sucedida em classificação de imagens, superando resultados de arquiteturas de design manual nos conjuntos de dados CIFAR-10 e CIFAR-100 além de uma aplicação de mundo real na área da sísmica. Motivados por este sucesso, propõe-se nesta Dissertação o SegQNAS (Quantum-inspired Neural Architecture Search applied to Semantic Segmentation), uma adaptação do Q-NAS para a tarefa de segmentação semântica. Diversos experimentos foram realizados com objetivo de verificar a aplicabilidade do SegQNAS em dois conjuntos de dados do desafio Medical Segmentation Decathlon. O SegQNAS foi capaz de alcançar um coeficiente de similaridade dice de 0.9583 no conjunto de dados de baço, superando os resultados de arquiteturas tradicionais como U-Net e ResU-Net e atingindo resultados comparáveis a outros trabalhos que aplicaram NAS a este conjunto de dados, mas encontrando arquiteturas com muito menos parãmetros. No conjunto de dados de próstata, o SegQNAS alcançou um coeficiente de similaridade dice de 0.6887 superando a U-Net, ResU-Net e o trabalho na área de NAS que utilizamos como comparação. / [en] Deep neural networks are responsible for great progress in performance for several perceptual tasks, especially in the fields of computer vision, speech recognition, and natural language processing. These results produced a paradigm shift in pattern recognition techniques, shifting the demand from feature extractor design to neural architecture design. However, designing novel deep neural network architectures is very time-consuming and heavily relies on experts intuition, knowledge, and a trial and error process. In that context, the idea of automating the architecture design of deep neural networks has gained popularity, establishing the field of neural architecture search (NAS). To tackle the problem of NAS, authors have proposed several approaches regarding the search space definition, algorithms for the search strategy, and techniques to mitigate the resource consumption of those algorithms. Q-NAS (Quantum-inspired Neural Architecture Search) is one proposed approach to address the NAS problem using a quantum-inspired evolutionary algorithm as the search strategy. That method has been successfully applied to image classification, outperforming handcrafted models on the CIFAR-10 and CIFAR-100 datasets and also on a real-world seismic application. Motivated by this success, we propose SegQNAS (Quantum-inspired Neural Architecture Search applied to Semantic Segmentation), which is an adaptation of Q-NAS applied to semantic segmentation. We carried out several experiments to verify the applicability of SegQNAS on two datasets from the Medical Segmentation Decathlon challenge. SegQNAS was able to achieve a 0.9583 dice similarity coefficient on the spleen dataset, outperforming traditional architectures like U-Net and ResU-Net and comparable results with a similar NAS work from the literature but with fewer parameters network. On the prostate dataset, SegQNAS achieved a 0.6887 dice similarity coefficient, also outperforming U-Net, ResU-Net, and outperforming a similar NAS work from the literature.
9

[pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA / [en] QUANTUM-INSPIRED NEURAL ARCHITECTURE SEARCH

DANIELA DE MATTOS SZWARCMAN 13 August 2020 (has links)
[pt] As redes neurais deep são modelos poderosos e flexíveis, que ganharam destaque na comunidade científica na última década. Para muitas tarefas, elas até superam o desempenho humano. Em geral, para obter tais resultados, um especialista despende tempo significativo para projetar a arquitetura neural, com longas sessões de tentativa e erro. Com isso, há um interesse crescente em automatizar esse processo. Novos métodos baseados em técnicas como aprendizado por reforço e algoritmos evolutivos foram apresentados como abordagens para o problema da busca de arquitetura neural (NAS - Neural Architecture Search), mas muitos ainda são algoritmos de alto custo computacional. Para reduzir esse custo, pesquisadores sugeriram limitar o espaço de busca, com base em conhecimento prévio. Os algoritmos evolutivos de inspiração quântica (AEIQ) apresentam resultados promissores em relação à convergência mais rápida. A partir dessa idéia, propõe-se o Q-NAS: um AEIQ para buscar redes deep através da montagem de subestruturas. O Q-NAS também pode evoluir alguns hiperparâmetros numéricos, o que é um primeiro passo para a automação completa. Experimentos com o conjunto de dados CIFAR-10 foram realizados a fim de analisar detalhes do Q-NAS. Para muitas configurações de parâmetros, foram obtidos resultados satisfatórios. As melhores acurácias no CIFAR-10 foram de 93,85 porcento para uma rede residual e 93,70 porcento para uma rede convolucional, superando modelos elaborados por especialistas e alguns métodos de NAS. Incluindo um esquema simples de parada antecipada, os tempos de evolução nesses casos foram de 67 dias de GPU e 48 dias de GPU, respectivamente. O Q-NAS foi aplicado ao CIFAR-100, sem qualquer ajuste de parâmetro, e obteve 74,23 porcento de acurácia, similar a uma ResNet com 164 camadas. Por fim, apresenta-se um estudo de caso com dados reais, no qual utiliza-se o Q-NAS para resolver a tarefa de classificação sísmica. Em menos de 8,5 dias de GPU, o Q-NAS gerou redes com 12 vezes menos pesos e maior acurácia do que um modelo criado especialmente para esta tarefa. / [en] Deep neural networks are powerful and flexible models that have gained the attention of the machine learning community over the last decade. For a variety of tasks, they can even surpass human-level performance. Usually, to reach these excellent results, an expert spends significant time designing the neural architecture, with long trial and error sessions. In this scenario, there is a growing interest in automating this design process. To address the neural architecture search (NAS) problem, authors have presented new methods based on techniques such as reinforcement learning and evolutionary algorithms, but the high computational cost is still an issue for many of them. To reduce this cost, researchers have proposed to restrict the search space, with the help of expert knowledge. Quantum-inspired evolutionary algorithms present promising results regarding faster convergence. Motivated by this idea, we propose Q-NAS: a quantum-inspired algorithm to search for deep networks by assembling substructures. Q-NAS can also evolve some numerical hyperparameters, which is a first step in the direction of complete automation. We ran several experiments with the CIFAR-10 dataset to analyze the details of the algorithm. For many parameter settings, Q-NAS was able to achieve satisfactory results. Our best accuracies on the CIFAR-10 task were 93.85 percent for a residual network and 93.70 percent for a convolutional network, overcoming hand-designed models, and some NAS works. Considering the addition of a simple early-stopping mechanism, the evolution times for these runs were 67 GPU days and 48 GPU days, respectively. Also, we applied Q-NAS to CIFAR-100 without any parameter adjustment, reaching an accuracy of 74.23 percent, which is comparable to a ResNet with 164 layers. Finally, we present a case study with real datasets, where we used Q-NAS to solve the seismic classification task. In less than 8.5 GPU days, Q-NAS generated networks with 12 times fewer weights and higher accuracy than a model specially created for this task.
10

[pt] APRIMORAÇÃO DO ALGORITMO Q-NAS PARA CLASSIFICAÇÃO DE IMAGENS / [en] ENHANCED Q-NAS FOR IMAGE CLASSIFICATION

JULIA DRUMMOND NOCE 31 October 2022 (has links)
[pt] Redes neurais profundas são modelos poderosos e flexíveis que ganharam a atenção da comunidade de aprendizado de máquina na última década. Normalmente, um especialista gasta um tempo significativo projetando a arquitetura neural, com longas sessões de tentativa e erro para alcançar resultados bons e relevantes. Por causa do processo manual, há um maior interesse em abordagens de busca de arquitetura neural, que é um método que visa automatizar a busca de redes neurais. A busca de arquitetura neural(NAS) é uma subárea das técnicas de aprendizagem de máquina automatizadas (AutoML) e uma etapa essencial para automatizar os métodos de aprendizado de máquina. Esta técnica leva em consideração os aspectos do espaço de busca das arquiteturas, estratégia de busca e estratégia de estimativa de desempenho. Algoritmos evolutivos de inspiração quântica apresentam resultados promissores quanto à convergência mais rápida quando comparados a outras soluções com espaço de busca restrito e alto custo computacional. Neste trabalho, foi aprimorado o Q-NAS: um algoritmo de inspiração quântica para pesquisar redes profundas por meio da montagem de subestruturas simples. O Q-NAS também pode evoluir alguns hiperparâmetros numéricos do treinamento, o que é um primeiro passo na direção da automação completa. Foram apresentados resultados aplicando Q-NAS, evoluído, sem transferência de conhecimento, no conjunto de dados CIFAR-100 usando apenas 18 GPU/dias. Nossa contribuição envolve experimentar outros otimizadores no algoritmo e fazer um estudo aprofundado dos parâmetros do Q-NAS. Nesse trabalho, foi possível atingir uma acurácia de 76,40%. Foi apresentado também o Q-NAS aprimorado aplicado a um estudo de caso para classificação COVID-19 x Saudável em um banco de dados de tomografia computadorizada de tórax real. Em 9 GPU/dias, conseguimos atingir uma precisão de 99,44% usando menos de 1000 amostras para dados de treinamento. / [en] Deep neural networks are powerful and flexible models that have gained the attention of the machine learning community over the last decade. Usually, an expert spends significant time designing the neural architecture, with long trial and error sessions to reach good and relevant results. Because of the manual process, there is a greater interest in Neural Architecture Search (NAS), which is an automated method of architectural search in neural networks. NAS is a subarea of Automated Machine Learning (AutoML) and is an essential step towards automating machine learning methods. It is a technique that aims to automate the construction process of a neural network architecture. This technique is defined by the search space aspects of the architectures, search strategy and performance estimation strategy. Quantum-inspired evolutionary algorithms present promising results regarding faster convergence when compared to other solutions with restricted search space and high computational costs. In this work, we enhance Q-NAS: a quantum-inspired algorithm to search for deep networks by assembling simple substructures. Q-NAS can also evolve some numerical hyperparameters, which is a first step in the direction of complete automation. Our contribution involves experimenting other types of optimizers in the algorithm and make an indepth study of the Q-NAS parameters. Additionally, we present Q-NAS results, evolved from scratch, on the CIFAR-100 dataset using only 18 GPU/days. We were able to achieve an accuracy of 76.40% which is a competitive result regarding other works in literature. Finally, we also present the enhanced QNAS applied to a case study for COVID-19 x Healthy classification on a real chest computed tomography database. In 9 GPU/days we were able to achieve an accuracy of 99.44% using less than 1000 samples for training data. This accuracy overcame benchmark networks such as ResNet, GoogleLeNet and VGG.

Page generated in 0.0556 seconds