Submitted by Luiz Felipe Barbosa (luiz.fbabreu2@ufpe.br) on 2015-03-12T13:03:02Z No. of bitstreams: 2 Dissertaçao Péricles Miranda.pdf: 2165606 bytes, checksum: d9dd28b8af21e867949112bcb33578ac (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) / Approved for entry into archive by Daniella Sodre (daniella.sodre@ufpe.br) on 2015-03-13T13:13:38Z (GMT) No. of bitstreams: 2 Dissertaçao Péricles Miranda.pdf: 2165606 bytes, checksum: d9dd28b8af21e867949112bcb33578ac (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) / Made available in DSpace on 2015-03-13T13:13:38Z (GMT). No. of bitstreams: 2 Dissertaçao Péricles Miranda.pdf: 2165606 bytes, checksum: d9dd28b8af21e867949112bcb33578ac (MD5) license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Previous issue date: 2013-02-22 / Vem sendo dada grande atenção às Máquinas de Vetores de Suporte (SVMs) devido à sua fundamentação teórica e seu bom desempenho quando comparadas a outros algoritmos de aprendizado em diferentes aplicações. Porém, seu bom desempenho depende fortemente da escolha adequada de seus parâmetros de controle. Como a abordagem de tentativa e erro se torna impraticável devido às combinações entre os possíveis valores dos parâmetros, a seleção de parâmetros passou a ser tratada como um problema de otimização, de modo que o objetivo é encontrar a combinação de valores dos parâmetros mais adequada para um determinado problema. Embora a utilização de algoritmos de otimização e busca automatizem a seleção de parâmetros de SVM, ela pode se tornar inviável caso o número de parâmetros a serem selecionados aumente consideravelmente. Uma alternativa é o uso de Meta-Aprendizado (MA), que trata a tarefa de seleção de parâmetros como uma tarefa de aprendizado supervisionado. Cada exemplo de treinamento para o MA (meta-exemplo) armazena características de problemas passados e o desempenho obtido pelas configurações de parâmetros candidatas. Este conjunto de meta-exemplos forma a meta-base, sendo esta utilizada para auxiliar no módulo de sugestão ou meta-aprendiz. O meta-aprendiz tem a função de prever as configurações de parâmetros mais adequadas para um problema novo baseado em suas características. Deste modo, MA se torna uma alternativa menos custosa comparada aos algoritmos de otimização, pois faz uso de execuções passadas no processo de sugestão. Neste trabalho, as sugestões do meta-aprendiz são utilizadas como soluções iniciais da técnica de busca, sendo esta responsável pelo refinamento das soluções sugeridas. Neste trabalho, foi criada uma arquitetura híbrida multi-objetivo, que combina MA com algoritmos de otimização, inspirados em enxames de partículas, com múltiplos objetivos aplicado ao problema de seleção de parâmetros de SVMs. Os algoritmos de otimização utilizados no experimento foram: MOPSO, MOPSO-CDR, MOPSO-CDRS, CSS-MOPSO, m-DNPSO e MOPSO-CDLS, e os objetivos levados em consideração foram: maximização da taxa de acerto na classificação e minimização do número de vetores de suporte. De acordo com os resultados alcançados, ficou comprovado o potencial do MA na sugestão de soluções para os algoritmos de otimização. O início da busca em regiões promissoras favoreceu a convergência e geração de soluções ainda melhores, quando comparada a aplicação de algoritmos de busca tradicionais. Os Pareto fronts gerados foram analisado em 4 perspectivas (spacing, max. spread, hypervolume e coverage), sendo os resultados da abordagem híbrida superiores aos das técnicas de otimização tradicionais.

The estimation of the ratio of two probability densities is an important statistical tool in supervised machine learning. In this work, we introduce new methods of density ratio estimation based on the solution of a multidimensional integral equation involving cumulative distribution functions. The resulting methods use the novel V -matrix, a concept that does not appear in previous density ratio estimation methods. Experiments demonstrate the good potential of this new approach against previous methods. Mutual Information - MI - estimation is a key component in feature selection and essentially depends on density ratio estimation. Using one of the methods of density ratio estimation proposed in this work, we derive a new estimator - VMI - and compare it experimentally to previously proposed MI estimators. Experiments conducted solely on mutual information estimation show that VMI compares favorably to previous estimators. Experiments applying MI estimation to feature selection in classification tasks evidence that better MI estimation leads to better feature selection performance. Parameter selection greatly impacts the classification accuracy of the kernel-based Support Vector Machines - SVM. However, this step is often overlooked in experimental comparisons, for it is time consuming and requires familiarity with the inner workings of SVM. In this work, we propose procedures for SVM parameter selection which are economic in their running time. In addition, we propose the use of a non-linear kernel function - the min kernel - that can be applied to both low- and high-dimensional cases without adding another parameter to the selection process. The combination of the proposed parameter selection procedures and the min kernel yields a convenient way of economically extracting good classification performance from SVM. The Regularized Least Squares - RLS - regression method is another kernel method that depends on proper selection of its parameters. When training data is scarce, traditional parameter selection often leads to poor regression estimation. In order to mitigate this issue, we explore a kernel that is less susceptible to overfitting - the additive INK-splines kernel. Then, we consider alternative parameter selection methods to cross-validation that have been shown to perform well for other regression methods. Experiments conducted on real-world datasets show that the additive INK-splines kernel outperforms both the RBF and the previously proposed multiplicative INK-splines kernel. They also show that the alternative parameter selection procedures fail to consistently improve performance. Still, we find that the Finite Prediction Error method with the additive INK-splines kernel performs comparably to cross-validation. / A estimação da razão entre duas densidades de probabilidade é uma importante ferramenta no aprendizado de máquina supervisionado. Neste trabalho, novos métodos de estimação da razão de densidades são propostos baseados na solução de uma equação integral multidimensional. Os métodos resultantes usam o conceito de matriz-V , o qual não aparece em métodos anteriores de estimação da razão de densidades. Experimentos demonstram o bom potencial da nova abordagem com relação a métodos anteriores. A estimação da Informação Mútua - IM - é um componente importante em seleção de atributos e depende essencialmente da estimação da razão de densidades. Usando o método de estimação da razão de densidades proposto neste trabalho, um novo estimador - VMI - é proposto e comparado experimentalmente a estimadores de IM anteriores. Experimentos conduzidos na estimação de IM mostram que VMI atinge melhor desempenho na estimação do que métodos anteriores. Experimentos que aplicam estimação de IM em seleção de atributos para classificação evidenciam que uma melhor estimação de IM leva as melhorias na seleção de atributos. A tarefa de seleção de parâmetros impacta fortemente o classificador baseado em kernel Support Vector Machines - SVM. Contudo, esse passo é frequentemente deixado de lado em avaliações experimentais, pois costuma consumir tempo computacional e requerer familiaridade com as engrenagens de SVM. Neste trabalho, procedimentos de seleção de parâmetros para SVM são propostos de tal forma a serem econômicos em gasto de tempo computacional. Além disso, o uso de um kernel não linear - o chamado kernel min - é proposto de tal forma que possa ser aplicado a casos de baixa e alta dimensionalidade e sem adicionar um outro parâmetro a ser selecionado. A combinação dos procedimentos de seleção de parâmetros propostos com o kernel min produz uma maneira conveniente de se extrair economicamente um classificador SVM com boa performance. O método de regressão Regularized Least Squares - RLS - é um outro método baseado em kernel que depende de uma seleção de parâmetros adequada. Quando dados de treinamento são escassos, uma seleção de parâmetros tradicional em RLS frequentemente leva a uma estimação ruim da função de regressão. Para aliviar esse problema, é explorado neste trabalho um kernel menos suscetível a superajuste - o kernel INK-splines aditivo. Após, são explorados métodos de seleção de parâmetros alternativos à validação cruzada e que obtiveram bom desempenho em outros métodos de regressão. Experimentos conduzidos em conjuntos de dados reais mostram que o kernel INK-splines aditivo tem desempenho superior ao kernel RBF e ao kernel INK-splines multiplicativo previamente proposto. Os experimentos também mostram que os procedimentos alternativos de seleção de parâmetros considerados não melhoram consistentemente o desempenho. Ainda assim, o método Finite Prediction Error com o kernel INK-splines aditivo possui desempenho comparável à validação cruzada.

The estimation of the ratio of two probability densities is an important statistical tool in supervised machine learning. In this work, we introduce new methods of density ratio estimation based on the solution of a multidimensional integral equation involving cumulative distribution functions. The resulting methods use the novel V -matrix, a concept that does not appear in previous density ratio estimation methods. Experiments demonstrate the good potential of this new approach against previous methods. Mutual Information - MI - estimation is a key component in feature selection and essentially depends on density ratio estimation. Using one of the methods of density ratio estimation proposed in this work, we derive a new estimator - VMI - and compare it experimentally to previously proposed MI estimators. Experiments conducted solely on mutual information estimation show that VMI compares favorably to previous estimators. Experiments applying MI estimation to feature selection in classification tasks evidence that better MI estimation leads to better feature selection performance. Parameter selection greatly impacts the classification accuracy of the kernel-based Support Vector Machines - SVM. However, this step is often overlooked in experimental comparisons, for it is time consuming and requires familiarity with the inner workings of SVM. In this work, we propose procedures for SVM parameter selection which are economic in their running time. In addition, we propose the use of a non-linear kernel function - the min kernel - that can be applied to both low- and high-dimensional cases without adding another parameter to the selection process. The combination of the proposed parameter selection procedures and the min kernel yields a convenient way of economically extracting good classification performance from SVM. The Regularized Least Squares - RLS - regression method is another kernel method that depends on proper selection of its parameters. When training data is scarce, traditional parameter selection often leads to poor regression estimation. In order to mitigate this issue, we explore a kernel that is less susceptible to overfitting - the additive INK-splines kernel. Then, we consider alternative parameter selection methods to cross-validation that have been shown to perform well for other regression methods. Experiments conducted on real-world datasets show that the additive INK-splines kernel outperforms both the RBF and the previously proposed multiplicative INK-splines kernel. They also show that the alternative parameter selection procedures fail to consistently improve performance. Still, we find that the Finite Prediction Error method with the additive INK-splines kernel performs comparably to cross-validation. / A estimação da razão entre duas densidades de probabilidade é uma importante ferramenta no aprendizado de máquina supervisionado. Neste trabalho, novos métodos de estimação da razão de densidades são propostos baseados na solução de uma equação integral multidimensional. Os métodos resultantes usam o conceito de matriz-V , o qual não aparece em métodos anteriores de estimação da razão de densidades. Experimentos demonstram o bom potencial da nova abordagem com relação a métodos anteriores. A estimação da Informação Mútua - IM - é um componente importante em seleção de atributos e depende essencialmente da estimação da razão de densidades. Usando o método de estimação da razão de densidades proposto neste trabalho, um novo estimador - VMI - é proposto e comparado experimentalmente a estimadores de IM anteriores. Experimentos conduzidos na estimação de IM mostram que VMI atinge melhor desempenho na estimação do que métodos anteriores. Experimentos que aplicam estimação de IM em seleção de atributos para classificação evidenciam que uma melhor estimação de IM leva as melhorias na seleção de atributos. A tarefa de seleção de parâmetros impacta fortemente o classificador baseado em kernel Support Vector Machines - SVM. Contudo, esse passo é frequentemente deixado de lado em avaliações experimentais, pois costuma consumir tempo computacional e requerer familiaridade com as engrenagens de SVM. Neste trabalho, procedimentos de seleção de parâmetros para SVM são propostos de tal forma a serem econômicos em gasto de tempo computacional. Além disso, o uso de um kernel não linear - o chamado kernel min - é proposto de tal forma que possa ser aplicado a casos de baixa e alta dimensionalidade e sem adicionar um outro parâmetro a ser selecionado. A combinação dos procedimentos de seleção de parâmetros propostos com o kernel min produz uma maneira conveniente de se extrair economicamente um classificador SVM com boa performance. O método de regressão Regularized Least Squares - RLS - é um outro método baseado em kernel que depende de uma seleção de parâmetros adequada. Quando dados de treinamento são escassos, uma seleção de parâmetros tradicional em RLS frequentemente leva a uma estimação ruim da função de regressão. Para aliviar esse problema, é explorado neste trabalho um kernel menos suscetível a superajuste - o kernel INK-splines aditivo. Após, são explorados métodos de seleção de parâmetros alternativos à validação cruzada e que obtiveram bom desempenho em outros métodos de regressão. Experimentos conduzidos em conjuntos de dados reais mostram que o kernel INK-splines aditivo tem desempenho superior ao kernel RBF e ao kernel INK-splines multiplicativo previamente proposto. Os experimentos também mostram que os procedimentos alternativos de seleção de parâmetros considerados não melhoram consistentemente o desempenho. Ainda assim, o método Finite Prediction Error com o kernel INK-splines aditivo possui desempenho comparável à validação cruzada.

Submitted by Renata Lopes (renatasil82@gmail.com) on 2018-05-25T13:02:54Z No. of bitstreams: 1 guilhermedesouzaferreira.pdf: 1163831 bytes, checksum: ec0bec904b2e6110d9b9e4934727f35d (MD5) / Approved for entry into archive by Adriana Oliveira (adriana.oliveira@ufjf.edu.br) on 2018-06-14T11:52:03Z (GMT) No. of bitstreams: 1 guilhermedesouzaferreira.pdf: 1163831 bytes, checksum: ec0bec904b2e6110d9b9e4934727f35d (MD5) / Made available in DSpace on 2018-06-14T11:52:03Z (GMT). No. of bitstreams: 1 guilhermedesouzaferreira.pdf: 1163831 bytes, checksum: ec0bec904b2e6110d9b9e4934727f35d (MD5) Previous issue date: 2018-02-22 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / O escalonamento de tarefas é um problema de otimização combinatória no qual tenta-se sequenciar da melhor maneira os trabalhos a serem realizados em processos de produção. O intuito neste caso é atingir os objetivos de desempenho estipulados pelo tomador de decisão, tais como, minimizar o makespan e minimizar o atraso total. O Problema de Sequencia-mento do tipo Job-Shop Flexível (FJSP) pertence a essa categoria, e caracteriza-se pela possibilidade de haver rotas tecnológicas diferentes para as tarefas e cada estágio poder ser composto por mais de uma máquina. Esse é o núcleo da tecnologia do gerenciamento de produção, pois sequenciamentos melhores podem encurtar o tempo de manufatura, reduzir os níveis de estoque, possibilitar a entrega de encomendas no tempo correto e aumentar a credibilidade dos processos e da empresa. Métodos exatos, que são computacionalmente custosos, são geralmente aplicados nos problemas de sequenciamento menores, portanto quando os problemas aumentam em tamanho, os métodos heurísticos e metaheurísticos começaram a ser aplicados. As metaheurísticas são importantes para solucionar FJSPs porque são mais rápidas do que os métodos exatos. Dentre elas, os Algoritmos Genéti-cos (AGs) estão entre as técnicas mais utilizadas para solucionar FJSPs e, atualmente, modelos híbridos vem sendo explorados, combinando AGs com técnicas de busca local e heurísticas para inicializar a população. No entanto, a escolha adequada dos parâmetros dos AGs é um trabalho difícil, recaindo num outro problema de otimização. Os Algoritmos Genéticos Adaptativos (AGAs) foram introduzidos para lidar com essa adversidade, uma vez que podem ajustar os parâmetros dos AGs durante o processo de busca. Portanto, o objetivo da presente dissertação é analisar diferentes técnicas adaptativas desenvolvidas para AGAs, com o intuito de reduzir o tempo de configuração dos AGs quando aplicados a FJSPs. Além disso, serão propostas alterações para as técnicas de atribuição de crédito e de seleção de operadores. Os estudos foram realizados em instâncias de diferentes tamanhos e os AGAs são comparados com AGs tradicionais. Duas diferentes análises foram realizadas baseadas em cenários no qual o tomador de decisão tem pouco tempo para configurar os algoritmos. Na Análise I, os AGAs tiveram desempenho semelhante aos AGs tradicionais, mas são interessantes por possuírem um menor número de parâmetros e, consequentemente, um menor tempo de configuração. Na Análise II, os AGAs geraram melhores resultados do que aqueles obtidos pelos AGs, o que os tornam apropriados para o caso em que há incerteza no processo produtivo e menor tempo de configuração. / Scheduling is a combinatorial optimization problem, in which one tries ordering the tasks to be performed in the processing units. The objective is to achieve the best values with respect to the performance indicators chosen by the decision-maker, such as, minimize the makespan and minimize the total lateness. The Flexible Job-Shop Scheduling Problem (FJSP) belongs to this category, and its characteristics are the different technological routes for the tasks and that each stage may consist of more than one machine. This is the technological core of the production management, as better schedules may reduce the manufacturing time, reduce the inventory, deliver the order in the right time, and raise the reliability of the process and the company. Exact methods, as they are computationally expensive, are usually employed for small scheduling problems, then heuristic and metaheuristic methods become interesting techniques for this type of problem. Metaheuristics are important to solve FJSPs as they are faster than the exact methods, and among then, Genetic Algorithms (GAs) are one of the most used techniques to solve FJSPs and, currently, they have been hybridized with local search and heuristics to initialize their population. However, to set up GAs is a hard-work and often generates another optimization problem. Adaptive Genetic Algorithms (AGAs) were introduced to work around this problem as they adapt the parameters of the GAs during the search process. Therefore, the objective of this dissertation is to analyze different adaptive techniques developed for AGAs with the purpose of reducing the setup time of GAs when they are applied to FJSPs. In addition, modifications will be proposed for the operator selection techniques and for credit assignment schemes. The studies were performed in instances of different sizes, and the AGAs are compared with traditional GAs. Two different analyzes were performed based on scenarios in which the decision maker does not has to much time to configure the algorithms. In Analysis I, some AGAs performed similarly to the traditional GAs, but they are more interesting as they have a smaller number of parameters, thus a shorter configuration time. In Analysis II, some AGAsgeneratedbetterresultsthanthoseobtainedbyGAs, whichmakesthemappropriate for the case when there is uncertainty in the production process and the decision maker does not have too much time to configure the algorithm.