31 |
[en] QUANTUM-INSPIRED EVOLUCIONARY ALGORITHM WITH MIXED REPRESENTATION APPLIED TO NEURO-EVOLUTION / [pt] ALGORITMO EVOLUCIONÁRIO COM INSPIRAÇÃO QUÂNTICA E REPRESENTAÇÃO MISTA APLICADO A NEUROEVOLUÇÃOANDERSON GUIMARAES DE PINHO 06 April 2011 (has links)
[pt] Esta dissertação objetivará a unificação de duas metodologias de algoritmos
evolutivos consagradas para tratamento de problemas ou do tipo combinatórios,
ou do tipo numéricos, num único algoritmo com representação mista. Trata-se de
um algoritmo evolutivo inspirado na física quântica com representação mista
binário-real do espaço de soluções, o AEIQ-BR. Este algoritmo trata-se de uma
extensão do modelo com representação binária de Jang, Han e Kin, o AEIQ-B
para otimizações combinatoriais, e o de representação real de Abs da Cruz, o
AEIQ-R para otimizações numéricas. Com fins de exemplificação do novo
algoritmo proposto, o discutiremos no contexto de neuroevolução, com o
propósito de configurar completamente uma rede neural com alimentação adiante
em termos: seleção de variáveis de entrada; números de neurônios na camada
escondida; todos os pesos existentes; e tipos de funções de ativação de cada
neurônio. Esta finalidade em se aplicar o algoritmo AEIQ-BR à neuroevolução – e
também, numa analogia ao modelo NEIQ-R de Abs da Cruz – receberá a
denominação NEIQ-BR. N de neuroevolução, E de evolutivo, IQ de inspiração
quântica, e BR de binário-real. Para avaliar o desempenho do NEIQ-BR, utilizarse-
á um total de seis casos benchmark de classificação, e outros dois casos reais,
em campos da ciência como: finanças, biologia e química. Resultados serão
comparados com algoritmos de outros pesquisadores e a modelagem manual de
redes neurais, através de medidas de desempenho. Através de testes estatísticos
concluiremos que o algoritmo NEIQ-BR apresentará um desempenho
significativo na obtenção de previsões de classificação por neuroevolução. / [en] This work aimed to unify two methodologies of evolutionary algorithms to
treat problems with or combinatorial characteristics, or numeric, on a unique
algorithm with mix representation. It is an evolutionary algorithm inspired in
quantum physics with mixed representation of the solutions space, called QIEABR.
This algorithm is an extension of the model with binary representation of the
chromosome from Jang, Han e Kin, the QIEA-B for combinatorial optimization,
and numeric representation from Abs da Cruz, the QIEA-R for numerical
optimizations. For purposes of exemplification of the new algorithm, we will
introduce the algorithm in the context of neuro-evolution, in order to completely
configure a feed forward neural network in terms of: selection of input variables;
numbers of neurons in the hidden layer; all existing synaptic weights; and types of
activation functions of each neuron. This purpose when applying the algorithm
QIEA-BR to neuro-evolution receive the designation of QIEN-BR. QI for
quantum-inspired, E for evolutive, N for neuro-evolution, and BR for binary-real
representation. To evaluate the performance of QIEN-BR, we will use a total of
six benchmark cases of classification, and two real cases in fields of science such
as finance, biology and chemistry. Results will be compared with algorithms of
other researchers and manual modeling of neural networks through performance
measures. Statistical tests will be provided to elucidate the significance of results,
and what we can conclude is that the algorithm QIEN-BR better performance
others researchers in terms of classification prediction.
|
32 |
[pt] MODELOS NEURO-EVOLUCIONÁRIOS DE REDES NEURAIS SPIKING APLICADOS AO PRÉ-DIAGNÓSTICO DE ENVELHECIMENTO VOCAL / [en] NEURO-EVOLUTIONARY OF SPIKING NEURAL NETWORKS APPLIED TO PRE-DIAGNOSIS OF VOCAL AGINGMARCO AURELIO BOTELHO DA SILVA 09 October 2015 (has links)
[pt] O envelhecimento da voz, conhecido como presbifonia, é um processo natural que pode causar grande modificação na qualidade vocal do indivíduo. A sua identificação precoce pode trazer benefícios, buscando tratamentos que possam prevenir o seu avanço. Esse trabalho tem como motivação a identificação de vozes com sinais de envelhecimento através de redes neurais do tipo Spiking (SNN). O objetivo principal é o de construir dois novos modelos, denominados híbridos, utilizando SNN para problemas de agrupamento, onde os atributos de entrada e os parâmetros que configuram a SNN são otimizados por algoritmos evolutivos. Mais especificamente, os modelos neuro-evolucionários propostos são utilizados com o propósito de configurar corretamente a SNN, e selecionar os atributos mais relevantes para a formação dos grupos. Os algoritmos evolutivos utilizados foram o Algoritmo Evolutivo com Inspiração Quântica com representação Binário-Real (AEIQ-BR) e o Optimization by Genetic Programming (OGP). Os modelos resultantes foram nomeados Quantum-Inspired Evolution of Spiking Neural Networks with Binary-Real (QbrSNN) e Spiking Neural Network Optimization by Genetic Programming (SNN-OGP). Foram utilizadas oito bases benchmark e duas bases de voz, masculinas e femininas, a fim de caracterizar o envelhecimento. Para uma análise funcional da SNN, as bases benchmark forma testadas com uma abordagem clássica de agrupamento (kmeans) e com uma SNN sem evolução. Os modelos propostos foram comparados com uma abordagem clássica de Algoritmo Genético (AG). Os resultados mostraram a viabilidade do uso das SNNs para agrupamento de vozes envelhecidas. / [en] The aging of the voice, known as presbyphonia, is a natural process that can cause great change in vocal quality of the individual. Its early identification can benefit, seeking treatments that could prevent their advance. This work is motivated by the identification of voices with signs of aging through neural networks of spiking type (SNN). The main objective is to build two new models, called hybrids, using SNN for clustering problems where the input attributes and parameters that configure the SNN are optimized by evolutionary algorithms. More specifically, the proposed neuro-evolutionary models are used in order to properly configure the SNN, and select the most relevant attributes for the formation of groups. Evolutionary algorithms used were the Evolutionary Algorithm with Quantum Inspiration with representation Binary-Real (AEIQ-BR) and the Optimization by Genetic Programming (OGP). The resulting models were named Quantum-Inspired Spiking Neural Evolution of Networks with Binary-Real (QbrSNN) and Spiking Neural Network Optimization by Genetic Programming (SNN-OGP). Eight bases were used, and two voice benchmark bases, male and female, in order to characterize aging. NNS for functional analysis, the tested benchmark base form with a classical clustering approach (kmeans) and a SNN without change. The proposed models were compared with a classical approach of Genetic Algorithm (GA). The results showed the feasibility of using the SNN to agrupamentode aged voices.
|
33 |
[pt] BUSCA POR ARQUITETURA NEURAL COM INSPIRAÇÃO QUÂNTICA APLICADA A SEGMENTAÇÃO SEMÂNTICA / [en] QUANTUM-INSPIRED NEURAL ARCHITECTURE SEARCH APPLIED TO SEMANTIC SEGMENTATIONGUILHERME BALDO CARLOS 14 July 2023 (has links)
[pt] Redes neurais profundas são responsáveis pelo grande progresso em diversas tarefas perceptuais, especialmente nos campos da visão computacional,reconhecimento de fala e processamento de linguagem natural. Estes resultados produziram uma mudança de paradigma nas técnicas de reconhecimentode padrões, deslocando a demanda do design de extratores de característicaspara o design de arquiteturas de redes neurais. No entanto, o design de novas arquiteturas de redes neurais profundas é bastante demandanteem termos de tempo e depende fortemente da intuição e conhecimento de especialistas,além de se basear em um processo de tentativa e erro. Neste contexto, a idea de automatizar o design de arquiteturas de redes neurais profundas tem ganhado popularidade, estabelecendo o campo da busca por arquiteturas neurais(NAS - Neural Architecture Search). Para resolver o problema de NAS, autores propuseram diversas abordagens envolvendo o espaço de buscas, a estratégia de buscas e técnicas para mitigar o consumo de recursos destes algoritmos. O Q-NAS (Quantum-inspired Neural Architecture Search) é uma abordagem proposta para endereçar o problema de NAS utilizando um algoritmo evolucionário com inspiração quântica como estratégia de buscas. Este método foi aplicado de forma bem sucedida em classificação de imagens, superando resultados de arquiteturas de design manual nos conjuntos de dados CIFAR-10 e CIFAR-100 além de uma aplicação de mundo real na área da sísmica. Motivados por este sucesso, propõe-se nesta Dissertação o SegQNAS (Quantum-inspired Neural Architecture Search applied to Semantic Segmentation), uma adaptação do Q-NAS para a tarefa de segmentação semântica. Diversos experimentos foram realizados com objetivo de verificar a aplicabilidade do SegQNAS em dois conjuntos de dados do desafio Medical Segmentation Decathlon. O SegQNAS foi capaz de alcançar um coeficiente de similaridade dice de 0.9583 no conjunto de dados de baço, superando os resultados de arquiteturas tradicionais como U-Net e ResU-Net e atingindo resultados comparáveis a outros trabalhos que aplicaram NAS a este conjunto de dados, mas encontrando arquiteturas com muito menos parãmetros. No conjunto de dados de próstata, o SegQNAS alcançou um coeficiente de similaridade dice de 0.6887 superando a U-Net, ResU-Net e o trabalho na área de NAS que utilizamos como comparação. / [en] Deep neural networks are responsible for great progress in performance
for several perceptual tasks, especially in the fields of computer vision, speech
recognition, and natural language processing. These results produced a paradigm shift in pattern recognition techniques, shifting the demand from feature
extractor design to neural architecture design. However, designing novel deep
neural network architectures is very time-consuming and heavily relies on experts intuition, knowledge, and a trial and error process. In that context, the
idea of automating the architecture design of deep neural networks has gained
popularity, establishing the field of neural architecture search (NAS). To tackle the problem of NAS, authors have proposed several approaches regarding
the search space definition, algorithms for the search strategy, and techniques
to mitigate the resource consumption of those algorithms. Q-NAS (Quantum-inspired Neural Architecture Search) is one proposed approach to address the
NAS problem using a quantum-inspired evolutionary algorithm as the search
strategy. That method has been successfully applied to image classification,
outperforming handcrafted models on the CIFAR-10 and CIFAR-100 datasets
and also on a real-world seismic application. Motivated by this success, we
propose SegQNAS (Quantum-inspired Neural Architecture Search applied to
Semantic Segmentation), which is an adaptation of Q-NAS applied to semantic
segmentation. We carried out several experiments to verify the applicability
of SegQNAS on two datasets from the Medical Segmentation Decathlon challenge. SegQNAS was able to achieve a 0.9583 dice similarity coefficient on the
spleen dataset, outperforming traditional architectures like U-Net and ResU-Net and comparable results with a similar NAS work from the literature but
with fewer parameters network. On the prostate dataset, SegQNAS achieved
a 0.6887 dice similarity coefficient, also outperforming U-Net, ResU-Net, and
outperforming a similar NAS work from the literature.
|
34 |
[pt] BUSCA DE ARQUITETURAS NEURAIS COM ALGORITMOS EVOLUTIVOS DE INSPIRAÇÃO QUÂNTICA / [en] QUANTUM-INSPIRED NEURAL ARCHITECTURE SEARCHDANIELA DE MATTOS SZWARCMAN 13 August 2020 (has links)
[pt] As redes neurais deep são modelos poderosos e flexíveis, que ganharam destaque na comunidade científica na última década. Para muitas tarefas, elas até superam o desempenho humano. Em geral, para obter tais resultados, um especialista despende tempo significativo para projetar a arquitetura neural, com longas sessões de tentativa e erro. Com isso, há um interesse crescente em automatizar esse processo. Novos métodos baseados em técnicas como aprendizado por reforço e algoritmos evolutivos foram apresentados como abordagens para o problema da busca de arquitetura neural (NAS - Neural Architecture Search), mas muitos ainda são algoritmos de alto custo computacional. Para reduzir esse custo, pesquisadores sugeriram
limitar o espaço de busca, com base em conhecimento prévio. Os algoritmos evolutivos de inspiração quântica (AEIQ) apresentam resultados promissores em relação à convergência mais rápida. A partir dessa idéia, propõe-se o Q-NAS: um AEIQ para buscar redes deep através da montagem de subestruturas. O Q-NAS também pode evoluir alguns hiperparâmetros numéricos, o que é um primeiro passo para a automação completa. Experimentos com o conjunto de dados CIFAR-10 foram realizados a fim de analisar detalhes do Q-NAS. Para muitas configurações de parâmetros, foram obtidos resultados satisfatórios. As melhores acurácias no CIFAR-10 foram de 93,85 porcento para uma rede residual e 93,70 porcento para uma rede convolucional, superando modelos elaborados por especialistas e alguns métodos de NAS. Incluindo um esquema simples de parada antecipada, os tempos de evolução nesses casos foram de 67 dias de GPU e 48 dias de GPU, respectivamente. O Q-NAS foi aplicado ao CIFAR-100, sem qualquer ajuste de parâmetro, e obteve 74,23 porcento de acurácia, similar a uma ResNet com 164 camadas. Por fim, apresenta-se um estudo de caso com dados reais, no qual utiliza-se o Q-NAS para resolver a tarefa de classificação sísmica. Em menos de 8,5 dias de GPU, o Q-NAS gerou redes com 12 vezes menos pesos e maior acurácia do que um modelo criado especialmente para esta tarefa. / [en] Deep neural networks are powerful and flexible models that have gained the attention of the machine learning community over the last decade. For a variety of tasks, they can even surpass human-level performance. Usually, to reach these excellent results, an expert spends significant time designing the neural architecture, with long trial and error sessions. In this scenario, there is a growing interest in automating this design process. To address the neural architecture search (NAS) problem, authors have presented new methods based on techniques such as reinforcement learning and evolutionary algorithms, but the high computational cost is still an issue for many of them. To reduce this cost, researchers have proposed to restrict the search space, with the help of expert knowledge. Quantum-inspired evolutionary algorithms present promising results regarding faster convergence. Motivated by this idea, we propose Q-NAS: a quantum-inspired algorithm to search for deep networks by assembling substructures. Q-NAS can also evolve some numerical hyperparameters, which is a first step in the direction of complete automation. We ran several experiments with the CIFAR-10 dataset to analyze the details of the algorithm. For
many parameter settings, Q-NAS was able to achieve satisfactory results. Our best accuracies on the CIFAR-10 task were 93.85 percent for a residual network and 93.70 percent for a convolutional network, overcoming hand-designed models, and some NAS works. Considering the addition of a simple early-stopping mechanism, the evolution times for these runs were 67 GPU days and 48 GPU days, respectively. Also, we applied Q-NAS to CIFAR-100 without any parameter adjustment, reaching an accuracy of 74.23 percent, which is comparable to a ResNet with 164 layers. Finally, we present a case study with real datasets, where we used Q-NAS to solve the seismic classification task. In less than 8.5 GPU days, Q-NAS generated networks with 12 times fewer weights and higher accuracy than a model specially created for this task.
|
35 |
[pt] RESOLVENDO ONLINE PACKING IPS SOB A PRESENÇA DE ENTRADAS ADVERSÁRIAS / [en] SOLVING THE ONLINE PACKING IP UNDER SOME ADVERSARIAL INPUTSDAVID BEYDA 23 January 2023 (has links)
[pt] Nesse trabalho, estudamos online packing integer programs, cujas colunas são
reveladas uma a uma. Já que algoritmos ótimos foram encontrados para o modelo
RANDOMORDER– onde a ordem na qual as colunas são reveladas para o algoritmo
é aleatória – o foco da área se voltou para modelo menos otimistas. Um desses
modelos é o modelo MIXED, no qual algumas colunas são ordenadas de forma
adversária, enquanto outras chegam em ordem aleatória. Pouquíssimos resultados
são conhecidos para online packing IPs no modelo MIXED, que é o objeto do nosso
estudo. Consideramos problemas de online packing com d dimensões de ocupação
(d restrições de empacotamento), cada uma com capacidade B. Assumimos que
todas as recompensas e ocupações dos itens estão no intervalo [0, 1]. O objetivo do
estudo é projetar um algoritmo no qual a presença de alguns itens adversários tenha
um efeito limitado na competitividade do algoritmo relativa às colunas de ordem
aleatória. Portanto, usamos como benchmark OPTStoch, que é o valor da solução
ótima offline que considera apenas a parte aleatória da instância. Apresentamos um
algoritmo que obtém recompensas de pelo menos (1 − 5lambda − Ó de epsilon)OPTStoch com
alta probabilidade, onde lambda é a fração de colunas em ordem adversária.
Para conseguir tal garantia, projetamos um algoritmo primal-dual onde as
decisões são tomadas pelo algoritmo pela avaliação da recompensa e ocupação
de cada item, de acordo com as variáveis duais do programa inteiro. Entretanto,
diferentemente dos algoritmos primais-duais para o modelo RANDOMORDER, não
podemos estimar as variáveis duais pela resolução de um problema reduzido. A
causa disso é que, no modelo MIXED, um adversário pode facilmente manipular
algumas colunas, para atrapalhar nossa estimação. Para contornar isso, propomos o
uso de tecnicas conhecidas de online learning para aprender as variáveis duais do
problema de forma online, conforme o problema progride. / [en] We study online packing integer programs, where the columns arrive one
by one. Since optimal algorithms were found for the RANDOMORDER model –
where columns arrive in random order – much focus of the area has been on less
optimistic models. One of those models is the MIXED model, where some columns
are adversarially ordered, while others come in random-order. Very few results are
known for packing IPs in the MIXED model, which is the object of our study.
We consider online IPs with d occupation dimensions (d packing constraints),
each one with capacity (or right-hand side) B. We also assume all items rewards
and occupations to be less or equal to 1. Our goal is to design an algorithm
where the presence of adversarial columns has a limited effect on the algorithm s
competitiveness relative to the random-order columns. Thus, we use OPTStoch – the
offline optimal solution considering only the random-order part of the input – as a
benchmark.We present an algorithm that, relative to OPTStoch, is (1−5 lambda− OBig O of epsilon)-competitive with high probability, where lambda is the fraction of adversarial columns.
In order to achieve such a guarantee, we make use of a primal-dual algorithm
where the decision variables are set by evaluating each item s reward and occupation
according to the dual variables of the IP, like other algorithms for the RANDOMORDER
model do. However, we can t hope to estimate those dual variables by
solving a scaled version of problem, because they could easily be manipulated by
an adversary in the MIXED model. Our solution was to use online learning techniques
to learn all aspects of the dual variables in an online fashion, as the problem
progresses.
|
36 |
[pt] APRIMORAÇÃO DO ALGORITMO Q-NAS PARA CLASSIFICAÇÃO DE IMAGENS / [en] ENHANCED Q-NAS FOR IMAGE CLASSIFICATIONJULIA DRUMMOND NOCE 31 October 2022 (has links)
[pt] Redes neurais profundas são modelos poderosos e flexíveis que ganharam a atenção da comunidade de aprendizado de máquina na última década. Normalmente, um especialista gasta um tempo significativo projetando a arquitetura neural, com longas sessões de tentativa e erro para alcançar resultados
bons e relevantes. Por causa do processo manual, há um maior interesse em abordagens de busca de arquitetura neural, que é um método que visa automatizar a busca de redes neurais. A busca de arquitetura neural(NAS) é uma subárea das técnicas de aprendizagem de máquina automatizadas (AutoML) e uma etapa essencial para automatizar os métodos de aprendizado de máquina.
Esta técnica leva em consideração os aspectos do espaço de busca das arquiteturas, estratégia de busca e estratégia de estimativa de desempenho. Algoritmos evolutivos de inspiração quântica apresentam resultados promissores quanto à convergência mais rápida quando comparados a outras soluções com espaço de busca restrito e alto custo computacional. Neste trabalho, foi aprimorado o Q-NAS: um algoritmo de inspiração quântica para pesquisar redes profundas por meio da montagem de subestruturas simples. O Q-NAS também pode evoluir alguns hiperparâmetros numéricos do treinamento, o que é um primeiro passo na direção da automação completa. Foram apresentados resultados aplicando
Q-NAS, evoluído, sem transferência de conhecimento, no conjunto de dados CIFAR-100 usando apenas 18 GPU/dias. Nossa contribuição envolve experimentar outros otimizadores no algoritmo e fazer um estudo aprofundado dos parâmetros do Q-NAS. Nesse trabalho, foi possível atingir uma acurácia
de 76,40%. Foi apresentado também o Q-NAS aprimorado aplicado a um estudo de caso para classificação COVID-19 x Saudável em um banco de dados de tomografia computadorizada de tórax real. Em 9 GPU/dias, conseguimos atingir uma precisão de 99,44% usando menos de 1000 amostras para dados
de treinamento. / [en] Deep neural networks are powerful and flexible models that have gained
the attention of the machine learning community over the last decade. Usually,
an expert spends significant time designing the neural architecture, with
long trial and error sessions to reach good and relevant results. Because
of the manual process, there is a greater interest in Neural Architecture
Search (NAS), which is an automated method of architectural search in
neural networks. NAS is a subarea of Automated Machine Learning (AutoML)
and is an essential step towards automating machine learning methods. It
is a technique that aims to automate the construction process of a neural
network architecture. This technique is defined by the search space aspects
of the architectures, search strategy and performance estimation strategy.
Quantum-inspired evolutionary algorithms present promising results regarding
faster convergence when compared to other solutions with restricted search
space and high computational costs. In this work, we enhance Q-NAS: a
quantum-inspired algorithm to search for deep networks by assembling simple
substructures. Q-NAS can also evolve some numerical hyperparameters, which
is a first step in the direction of complete automation. Our contribution involves
experimenting other types of optimizers in the algorithm and make an indepth
study of the Q-NAS parameters. Additionally, we present Q-NAS results,
evolved from scratch, on the CIFAR-100 dataset using only 18 GPU/days.
We were able to achieve an accuracy of 76.40% which is a competitive result
regarding other works in literature. Finally, we also present the enhanced QNAS
applied to a case study for COVID-19 x Healthy classification on a real
chest computed tomography database. In 9 GPU/days we were able to achieve
an accuracy of 99.44% using less than 1000 samples for training data. This
accuracy overcame benchmark networks such as ResNet, GoogleLeNet and
VGG.
|
37 |
[en] INTELLIGENT SYSTEM FOR THE IDENTIFICATION OF FRAUD SUSPECTS IN WATER CONSUMPTION / [pt] SISTEMA INTELIGENTE PARA IDENTIFICAÇÃO DE SUSPEITOS DE FRAUDE NO CONSUMO DE ÁGUAGUILHERME VINICIUS LIMA DOS ANJOS 11 January 2023 (has links)
[pt] Um dos maiores problemas de todas as empresas prestadoras de serviço de sanea-mento e distribuição de água é o de perdas oriundas de irregularidades (comerciais). Dentre os países com mais de 20 milhões de habitantes que mais sofrem desse tipo de perdas, o Brasil ocupa a 14º posição com 40% de perdas na distribuição. A Em-presa A, estudo de caso deste trabalho, é uma companhia brasileira que atua no setor de saneamento e distribuição de água e, atua, principalmente, em 3 regiões, com valores de médias percentuais de perdas, em 2021, de 19%, 30% e 43%, respecti-vamente. Essas perdas são derivadas de muitos problemas, mas as principais são oriundas das fraudes nas ligações dos medidores de água, por exemplo: ligações clandestinas, by-pass e derivação de ramal. A principal forma de combater esse tipo de fraude é através de inspeções nos clientes. Geralmente utiliza-se um conjunto de heurísticas para identificar o suspeito de tal fraude ou irregularidade, porém esses métodos não retornam boas precisões. Na Empresa A, a precisão alcançada através das inspeções varia de 3% a 17% de região para região. Com isso, conclui-se que o procedimento não é eficaz. Sendo assim, o objetivo deste trabalho é desenvolver um sistema inteligente que possa identificar, com maior exatidão, o perfil de con-sumo do cliente que possui a fraude. O sistema desenvolvido é composto por duas metodologias baseadas em diversos algoritmos supervisionados de aprendizado de máquina. A primeira utiliza um filtro com intuito de agrupar os clientes com perfis similares. A segunda faz uso de um algoritmo evolutivo inspirado em computação quântica para a busca de hiperparâmetros e atributos. Além disso, ambas conside-ram comitês e exploram a utilização de variáveis históricas e exógenas pertinentes ao contexto. Os resultados obtidos mostraram-se superiores nas avaliações, quando comparadas aos verificados na Empresa A, alcançando até 44% de taxa de acerto. / [en] One of the biggest problems faced by all companies that provide sanitation and water distribution services is that of losses arising from (commercial) irregularities. Among the countries with more than 20 million inhabitants that suffer the most from this type of loss, Brazil occupies the 14th position with 40% of losses in dis-tribution. Company A, the case study of this work, is a Brazilian company that ope-rates in the sanitation and water distribution sector and operates mainly in 3 regions, with average percentage values of losses, in 2021, of 19%, 30 % and 43%, respec-tively. These losses derive from many problems, but the main ones arise from fraud in the connections of water meters, for example: clandestine connections, by-pass and branch derivation. The main way to combat this type of fraud is through custo-mer inspections. Generally, a set of heuristics is used to identify the suspect of such fraud or irregularity, but these methods do not return good accuracy. At Company A, the accuracy achieved through inspections varies from 3% to 17% from region to region. Thus, it is concluded that the procedure is not effective. Therefore, the objective of this work is to develop an intelligent system that can identify, with greater accuracy, the consumption profile of the customer who has the fraud. The developed system is composed of two methodologies based on several supervised machine learning algorithms. The first uses a filter in order to group customers with similar profiles. The second makes use of an evolutionary algorithm inspired by quantum computing to search for hyperparameters and attributes. In addition, both consider committees and explore the use of historical and exogenous variables re-levant to the context. The results obtained were superior in the evaluations, when compared to those verified in Company A, reaching up to 44% of success rate.
|
38 |
[pt] ENSAIOS EM PROBLEMAS DE OTIMIZAÇÃO DE CARTEIRAS SOB INCERTEZA / [en] ESSAYS ON ASSET ALLOCATION OPTIMIZATION PROBLEMS UNDER UNCERTAINTYBETINA DODSWORTH MARTINS FROMENT FERNANDES 30 April 2019 (has links)
[pt] Nesta tese buscamos fornecer duas diferentes abordagens para a
otimização de carteiras de ativos sob incerteza. Demonstramos como a
incerteza acerca da distribuição dos retornos esperados pode ser
incorporada nas decisões de alocação de ativos, utilizando as seguintes
ferramentas: (1) uma extensão da metodologia Bayesiana proposta por
Black e Litterman através de uma estratégia de negociação dinâmica
construída sobre um modelo de aprendizagem com base na análise
fundamentalista, (2 ) uma abordagem adaptativa baseada em técnicas de
otimização robusta. Esta última abordagem é apresentada em duas
diferentes especificações: uma modelagem robusta com base em uma
análise puramente empírica e uma extensão da modelagem robusta
proposta por Bertsimas e Sim em 2004. Para avaliar a importância dos
modelos propostos no tratamento da incerteza na distribuição dos
retornos examinamos a extensão das mudanças nas carteiras ótimas
geradas. As principais conclusões são: (a ) é possível obter carteiras
ótimas menos influenciadas por erros de estimação, ( b ) tais carteiras são
capazes de gerar retornos estatisticamente superiores com perdas bem
controladas, quando comparadas com carteiras ótimas de Markowitz e
índices de referência selecionados. / [en] In this thesis we provide two different approaches for determining
optimal asset allocation portfolios under uncertainty. We show how
uncertainty about expected returns distribution can be incorporated in
asset allocation decisions by using the following alternative frameworks:
(1) an extension of the Bayesian methodology proposed by Black and
Litterman through a dynamic trading strategy built on a learning model
based on fundamental analysis; (2) an adaptive dynamic approach, based
on robust optimization techniques. This latter approach is presented in two
different specifications: an empirical robust loss model and a covariancebased
robust loss model based on Bertsimas and Sim approach to model
uncertainty sets. To evaluate the importance of the proposed models for
distribution uncertainty, the extent of changes in the prior optimal asset
allocations of investors who embody uncertainty in their portfolio is
examined. The key findings are: (a) it is possible to achieve optimal
portfolios less influenced by estimation errors; (b) portfolio strategies of
such investors generate statistically higher returns with controlled losses
when compared to the classical mean-variance optimized portfolios and
selected benchmarks.
|
39 |
[en] HYBRID RECOMMENDATION SYSTEM BASED ON COLLABORATIVE FILTERING AND FUZZY NUMBERS / [pt] SISTEMA HÍBRIDO DE RECOMENDAÇÃO DE PRODUTOS COM USO DE FILTROS COLABORATIVOS E NÚMEROS FUZZYMIGUEL ANGELO GASPAR PINTO 17 November 2021 (has links)
[pt] O varejo virtual tem sido um importante setor para dinamização da economia, cujo valor das transações em 2010 ficou em torno de R$10,6 bilhões. As lojas nesse segmento não possuem restrição de clientes ou de estoque, porém possuem consumidores pouco pacientes com várias outras lojas a sua disposição,
sendo necessário que o item de seu interesse seja encontrado visível rapidamente. Buscando resolver este problema, foram desenvolvidos algoritmos de recomendação capazes de gerar listagens de produtos que fossem direcionados ao usuário. Os algoritmos de filtragem colaborativa são amplamente usados no varejo
virtual, porém eles apresentam problemas devido a escala e esparsidade do banco de dados. Algoritmos baseados em conteúdo podem apresentar menor sensibilidade ao tamanho da base de dados, porém sua efetividade depende da existência de dados de usuários que comumente não estão presentes. Nesta tese,
propõe-se um algoritmo híbrido que utiliza tanto a filtragem colaborativa quanto um algoritmo baseado em conteúdo para permitir boas recomendações em bases de dados esparsas e de grande porte. O algoritmo baseado em conteúdo faz uso de números fuzzy e técnicas de marketing para guiar sua recomendação apenas com base nos itens comprados pelo usuário, sem necessidade de quaisquer outros dados pessoais do usuário. O algoritmo proposto foi testado em bases de dados sintética e real, sendo comparado com um filtro colaborativo padrão para avaliar seu desempenho.Os resultados obtidos demonstram que o algoritmo híbrido proposto apresentou um desempenho superior ao do filtro colaborativo padrão em ambas as base de dados, apresentando invariância à esparsidade da base de dados. / [en] The virtual retail has been an important sector at Brazilian economy, being a USD 6.23 billion market in 2010, having 30 percent expansion on that period. The companies in such segment don t have client or product restrictions due to physical limitations. On the other hand, the consumers of this kind of retail have
several options to buy and little patience to keep searching on the same website. The companies need to define which item will be shown to the consumer before he leaves for the next competitor. Several recommendation algorithms were developed to generate products list directed to the consumer. Nowadays the algorithms for collaborative filtering are well spread in virtual retail, but they have problems caused exactly by the huge quantity of data that exist on virtual retail. Content based algorithms are less sensitive to the size of the database, but their effectiveness depends on the existence of user data, which usually are not available. This thesis proposes a hybrid algorithm which uses both collaborative filtering and a content based algorithm to allow recommendations in huge sparse databases. The content base algorithm uses fuzzy numbers and marketing techniques to guide the recommendation using only the items brought by the user, without the need for further personal data from the consumer. The proposed algorithm was tested in both artificial and real databases, compared with a benchmark collaborative filter. The collected results show that the proposed hybrid algorithm provides superior performance than the benchmark collaborative
filter in both databases, generating good results and presenting sparsity invariance. The proposed algorithm also solves problems of initialization, neighborhood transitivity and in cases when new users or items are inserted on database.
|
40 |
[en] DECISION TREES WITH EXPLAINABLE RULES / [pt] ÁRVORES DE DECISÃO COM REGRAS EXPLICÁVEISVICTOR FEITOSA DE CARVALHO SOUZA 04 August 2023 (has links)
[pt] As árvores de decisão são estruturas comumente utilizadas em cenários
nos quais modelos explicáveis de Aprendizado de Máquina são desejados, por
serem visualmente intuitivas. Na literatura existente, a busca por explicabilidade
em árvores envolve a minimização de métricas como altura e número de
nós. Nesse contexto, definimos uma métrica de explicabilidade, chamada de
explanation size, que reflete o número de atributos necessários para explicar
a classificação dos exemplos. Apresentamos também um algoritmo, intitulado
SER-DT, que obtém uma aproximação O(log n) (ótima se P diferente NP) para a
minimização da altura no pior caso ou caso médio, assim como do explanation
size no pior caso ou caso médio. Em uma série de experimentos, comparamos
a implementação de SER-DT com algoritmos conhecidos da área, como CART e
EC2, além de testarmos o impacto de parâmetros e estratégias de poda nesses
algoritmos. SER-DT mostrou-se competitivo em acurácia com os algoritmos
citados, mas gerou árvores muito mais explicáveis. / [en] Decision trees are commonly used structures in scenarios where explainable
Machine Learning models are desired, as they are visually intuitive. In
the existing literature, the search for explainability in trees involves minimizing
metrics such as depth and number of nodes. In this context, we define
an explainability metric, called explanation size, which reflects the number of
attributes needed to explain the classification of examples. We also present an
algorithm, called SER-DT, which obtains an O(log n) approximation (optimal
if P different NP) for the minimization of depth in the worst/average case, as well
as of explanation size in the worst/average case. In a series of experiments,
we compared the SER-DT implementation with well-known algorithms in the
field, such as CART and EC2 in addition to testing the impact of parameters
and pruning strategies on these algorithms. SER-DT proved to be competitive
in terms of accuracy with the aforementioned algorithms, but generated much
more explainable trees.
|
Page generated in 0.039 seconds