RETTES, Julio Alberto Sibaja. Robust algorithms for linear regression and locally linear embedding. 2017. 105 f. Dissertação (Mestrado em Ciência da Computação)- Universidade Federal do Ceará, Fortaleza, 2017. / Submitted by Weslayne Nunes de Sales (weslaynesales@ufc.br) on 2017-03-30T13:15:27Z No. of bitstreams: 1 2017_dis_rettesjas.pdf: 3569500 bytes, checksum: 46cedc2d9f96d0f58bcdfe3e0d975d78 (MD5) / Approved for entry into archive by Rocilda Sales (rocilda@ufc.br) on 2017-04-04T11:10:44Z (GMT) No. of bitstreams: 1 2017_dis_rettesjas.pdf: 3569500 bytes, checksum: 46cedc2d9f96d0f58bcdfe3e0d975d78 (MD5) / Made available in DSpace on 2017-04-04T11:10:44Z (GMT). No. of bitstreams: 1 2017_dis_rettesjas.pdf: 3569500 bytes, checksum: 46cedc2d9f96d0f58bcdfe3e0d975d78 (MD5) Previous issue date: 2017 / Nowadays a very large quantity of data is flowing around our digital society. There is a growing interest in converting this large amount of data into valuable and useful information. Machine learning plays an essential role in the transformation of data into knowledge. However, the probability of outliers inside the data is too high to marginalize the importance of robust algorithms. To understand that, various models of outliers are studied. In this work, several robust estimators within the generalized linear model for regression framework are discussed and analyzed: namely, the M-Estimator, the S-Estimator, the MM-Estimator, the RANSAC and the Theil-Sen estimator. This choice is motivated by the necessity of examining algorithms with different working principles. In particular, the M-, S-, MM-Estimator are based on a modification of the least squares criterion, whereas the RANSAC is based on finding the smallest subset of points that guarantees a predefined model accuracy. The Theil Sen, on the other hand, uses the median of least square models to estimate. The performance of the estimators under a wide range of experimental conditions is compared and analyzed. In addition to the linear regression problem, the dimensionality reduction problem is considered. More specifically, the locally linear embedding, the principal component analysis and some robust approaches of them are treated. Motivated by giving some robustness to the LLE algorithm, the RALLE algorithm is proposed. Its main idea is to use different sizes of neighborhoods to construct the weights of the points; to achieve this, the RAPCA is executed in each set of neighbors and the risky points are discarded from the corresponding neighborhood. The performance of the LLE, the RLLE and the RALLE over some datasets is evaluated. / Na atualidade um grande volume de dados é produzido na nossa sociedade digital. Existe um crescente interesse em converter esses dados em informação útil e o aprendizado de máquinas tem um papel central nessa transformação de dados em conhecimento. Por outro lado, a probabilidade dos dados conterem outliers é muito alta para ignorar a importância dos algoritmos robustos. Para se familiarizar com isso, são estudados vários modelos de outliers. Neste trabalho, discutimos e analisamos vários estimadores robustos dentro do contexto dos modelos de regressão linear generalizados: são eles o M-Estimator, o S-Estimator, o MM-Estimator, o RANSAC e o Theil-Senestimator. A escolha dos estimadores é motivada pelo principio de explorar algoritmos com distintos conceitos de funcionamento. Em particular os estimadores M, S e MM são baseados na modificação do critério de minimização dos mínimos quadrados, enquanto que o RANSAC se fundamenta em achar o menor subconjunto que permita garantir uma acurácia predefinida ao modelo. Por outro lado o Theil-Sen usa a mediana de modelos obtidos usando mínimos quadradosno processo de estimação. O desempenho dos estimadores em uma ampla gama de condições experimentais é comparado e analisado. Além do problema de regressão linear, considera-se o problema de redução da dimensionalidade. Especificamente, são tratados o Locally Linear Embedding, o Principal ComponentAnalysis e outras abordagens robustas destes. É proposto um método denominado RALLE com a motivação de prover de robustez ao algoritmo de LLE. A ideia principal é usar vizinhanças de tamanhos variáveis para construir os pesos dos pontos; para fazer isto possível, o RAPCA é executado em cada grupo de vizinhos e os pontos sob risco são descartados da vizinhança correspondente. É feita uma avaliação do desempenho do LLE, do RLLE e do RALLE sobre algumas bases de dados.

Orientador: Nancy Lopes Garcia / Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Matemática, Estatística e Computação Científica / Made available in DSpace on 2018-08-19T13:37:17Z (GMT). No. of bitstreams: 1 Moreira_Lucas_D.pdf: 778475 bytes, checksum: 78934b9baf39cc234f800623a7af5cdf (MD5) Previous issue date: 2012 / Resumo: Inspirados em Collet, Galves e Leonardi (2008), a motivação original deste texto é responder a seguinte questão: é possível recuperar a árvore de contextos de uma cadeia de alcance variável através de uma amostra perturbada da cadeia? Inicialmente, consideramos cadeias binárias de ordem infinita nas quais um dos símbolos pode ser modificado com uma probabilidade pequena e fixada. Provamos que as probabilidades de transição da cadeia perturbada estão uniformemente próximas das probabilidades de transição correspondentes da cadeia original se a probabilidade de contaminação é suficientemente pequena. Por meio deste resultado, fomos capazes de responder afirmativamente à pergunta inicial deste trabalho, ou seja, é possível recuperar a árvore de contextos do processo original mesmo utilizando uma amostra contamina no procedimento de estimação. Com isso, mostramos que o estimador da árvore de contextos utilizado é robusto. Em seguida, consideramos o seguinte modelo: dadas duas cadeias de alcance variável, tomando valores num mesmo alfabeto finito, a cada instante do tempo, o novo processo escolhe aleatoriamente um dos dois processos originais com uma probabilidade grande e fixa. A cadeia obtida dessa maneira pode então ser vista como uma perturbação estocástica da cadeia que está sendo escolhida com probabilidade maior. Para esse modelo, obtivemos resultados semelhantes aos obtidos para o modelo inicial / Abstract: Inspired by Collet, Galves and Leonardi (2008), the original motivation of this paper is to answer the following question: Is it possible to recover the context tree of a length variable chain range through a disturbed sample of chain? Initially consider binary chains of infinite order in which one of the symbols can be modified with a small and fixed probability. We prove that the transition probabilities of the perturbed chain are uniformly close to the corresponding transition probabilities of the original chain if the probability of contamination is small enough. Through this result, we were able to answer affirmatively to the initial question of this work, i.e., it is possible to recover the context tree of the original process using a sample contaminates the estimation procedure. With this, we show that the estimator of the context tree used is robust. Next, consider the following model: given two length variable chains, taking values in the same finite alphabet, at each instant of time, the new process randomly chooses one of the two processes with a large and fixed probability. The chain obtained with greater probability can be seen as a stochastic disturbance of the original chain. For this model, we obtained similar results to the those obtained for the initial model / Doutorado / Estatistica / Doutor em Estatística

No description available.

Master of Science

Submitted by Isaac Francisco de Souza Dias (isaac.souzadias@ufpe.br) on 2016-01-29T18:13:48Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Tese_Renato_VF_envBib_Vf.pdf: 3061970 bytes, checksum: bb1335c8d40e3a2f9e3f638d37abf5d6 (MD5) / Made available in DSpace on 2016-01-29T18:13:49Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Tese_Renato_VF_envBib_Vf.pdf: 3061970 bytes, checksum: bb1335c8d40e3a2f9e3f638d37abf5d6 (MD5) Previous issue date: 2015-02-19 / CNPq / Nas ultimas décadas o tópico de otimização tem ampliado suas aplicações e tem sido bastante aprimorado devido principalmente ao crescimento da capacidade computacional. Entretanto, na maioria das aplicações na engenharia, a abordagem tradicional é considerar modelos determinísticos. Porém algum grau de incerteza ou variação de parâmetros na caracterização de qualquer sistema estrutural é inevitável. Infelizmente a abordagem determinística pode levar a soluções cujo desempenho pode cair significativamente e/ou restrições podem ser violadas devido a perturbações decorrentes de incertezas. Neste trabalho, serão examinadas algumas abordagens para a consideração das incertezas no processo de otimização e assim obter projetos robustos e confiáveis em estruturas com comportamento não lineare. Um projeto robusto é aquele que apresenta, além de bom desempenho, uma baixa variabilidade às incertezas do problema. As medidas de robustez utilizadas aqui foram: a média e a variância da função de interesse. Quando se usa ambas as medidas, à busca por um projeto robusto ótimo, surge como um problema de decisão com múltiplos critérios (otimização multiobjetivo robusta). Para o calculo dos parâmetros estatísticos serão empregadas duas técnicas de análise de propagação de incerteza, o método de Monte Carlo (MC) e o método da colocação probabilística (Probabilistic Collocation Method - PCM). Quando se considera além da robustez, a confiabilidade estrutural, tem-se então, um problema de otimização robusta baseada em confiabilidade (RBRDO, Reliability-Based Robust Design Optimization). Neste tipo de problema, alguma restrição associada à probabilidade de falha está presente em sua formulação. Dois métodos para o cálculo da probabilidade de falha da estrutura foram investigados: o MC e o FORM (First Order Reliability Method). Para avaliar a restrição de confiabilidade em um procedimento de otimização, serão utilizadas duas abordagens: uma abordagem chamada RIA (Reliability index approach), onde é necessário calcular a probabilidade de falha (ou índice de confiabilidade) de cada novo projeto e uma abordagem denominada PMA (Performance Measure Approach), para lidar com este tipo de restrições sem a necessidade do cálculo direto da probabilidade de falha. Serão abordados aqui, problemas que envolvem análise não-linear, utilizando o POD (“Proper Orthogonal Decomposition”) para a redução da ordem do modelo computacional e consequentemente, o tempo computacional. As estruturas consideradas são treliças planas e espaciais e estruturas 2D (estado plano) com as considerações das não linearidades físicas e geométricas. / In recent decades the optimization topic has expanded its applications and has been greatly enhanced due mainly to the growth of the computational power available. However, in most engineering applications, the traditional approach is to consider deterministic models. However some degree of uncertainty or variation in the parametric characterization of any structural system is inevitable. Unfortunately, the deterministic approach can lead to solutions whose performance may degrade significantly and/or constraints may be violated due to perturbations caused by uncertainties. In this thesis, some approaches will be examined for the consideration of the uncertainties in the optimization process and thus obtaining robust and reliable designs of structures with nonlinear behavior. A robust design is one that has, in addition to good performance, a low variability of the problem uncertainties. The robustness measures used here were the mean and the variance of the function of interest. When using both measures, the search for a robust optimum design comes as a decision problem with multiple criteria (robust multi-objective optimization). To calculate statistical parameters two techniques of uncertainty propagation analysis will be employed: the method of Monte Carlo (MC) and the Probabilistic Collocation Method (PCM). When considering the structural reliability, in addition to the robustness, it leads to a Reliability-based Robust Design Optimization (RBRDO) problem. In this type of problem, some constraints related with the probability of failure are present in its formulation. Two methods for the approximated computation of the failure probability of the structure were investigated: the MC and the FORM (First Order Reliability Method). To evaluate the reliability constraint in an optimization procedure, two approaches will be used: an approach called RIA (Reliability index approach) where it is necessary to calculate the probability of failure (or reliability index) of each project and an approach called PMA (Performance Measure Approach), to handle such a restriction without the direct computation of the probability of failure. To reduce the order of the computational model, problems involving nonlinear analysis using the Proper Orthogonal Decomposition (POD) will be addressed here, resulting in reduced computational time. The structures considered are plane and space trusses and 2D structures (plan analysis) with the considerations of physical and geometrical nonlinearities.

Os modelos multiníveis representam uma classe de modelos utilizada para ajustes de dados que apresentam estrutura de hierarquia. O presente trabalho propõe uma generalizacão dos modelos normais multiníveis, denominada modelos elípticos multiníveis. Esta proposta sugere o uso de distribuicões de probabilidade pertencentes à classe elíptica, envolvendo portanto todas as distribuições contínuas simétricas, incluindo a distribuição normal como caso particular. As distribuições elípticas podem apresentar caudas mais leves ou mais pesadas que as caudas da distribuição normal. No caso da presença de observações aberrantes, é sugerido o uso de distribuições com caudas pesadas no intuito de obter um melhor ajuste do modelo aos dados considerados discrepantes. Nesta dissertação, alguns aspectos dos modelos elípticos multiníveis são desenvolvidos, como o processo de estimação dos parâmetros via máxima verossimilhança, testes de hipóteses para os efeitos fixos e parâmetros de variância e covariância e análise de resíduos para verificação de características relacionadas aos ajustes e às suposições estabelecidas. / Multilevel models represent a class of models used to adjust data which have hierarchical structure. The present work proposes a generalization of the multilevel normal models, named multilevel elliptical models. This proposal suggests the use of probability distributions belonging to the elliptical class, thus involving all symmetric continuous distributions, including the normal distribution as a particular case. Elliptical distributions may have lighter or heavier tails than the normal ones. In case of presence of outlying observations, it is suggested the use of heavy-tailed distributions in order to obtain a better fitted model to the discrepant observations. In this dissertation some aspects of the multilevel elliptical models are developed, such as the process of parameter estimation by maximum likelihood, hypothesis tests for fixed effects and variance-covariance parameters and residual analysis to check features related to the fitting and established assumptions.

O projeto de estratégias de controle preditivo (MPC) com estabilidade garantida, que incorpora explicitamente a incerteza de modelo na formulação de controle, ainda permanece uma questão em aberto na literatura, embora uma ampla teoria já tenha sido desenvolvida para a síntese de algoritmos MPC robustamente estáveis. Em verdade, as soluções existentes para o problema de MPC robusto estão longe de uma etapa aceitável de implementação prática, principalmente se o sistema de processo é composto de modos integradores ou instáveis, e também apresenta atrasos de tempo (tempos mortos) entre suas variáveis de entrada e saída. Sob esta perspectiva, o objetivo principal desta tese é desenvolver uma estrutura de síntese de controladores MPC com estabilidade robusta garantida para sistemas de processo com as características integradoras ou instáveis, assim como tempos mortos entre as variáveis. Particularmente, três diferentes estratégias de MPC robusto são desenvolvidas neste trabalho. As duas primeiras referem-se a sistemas integradores com tempos mortos: o primeiro algoritmo é baseado em uma formulação de controle em dois passos, enquanto o segundo é posto como um problema de otimização de controle em um passo e a representação de modelo em variáveis de estado é mais geral do que aquela adotada na formulação do primeiro método. A terceira estratégia proposta focaliza os sistemas instáveis com tempos mortos através de uma formulação de controle em um passo. Ademais, visando o caso de implementação prática, os controladores desenvolvidos compreende os seguintes aspectos: (i) as leis de controle livre de erro permanente são obtidas sem a necessidade de incluir uma camada de otimização adicional de cálculo de estados estacionários, devido à formulação adequada de modelos em espaço de estados na forma incremental das entradas, os quais são derivados de expressões analíticas de resposta ao degrau do sistema de processo; (ii) a incerteza de todos os parâmetros do modelo, e.g. ganhos, constantes de tempo, atrasos de tempo, é considerada na formulação do problema; (iii) as provas de estabilidade robusta segundo Lyapunov são realizadas de uma forma intuitiva através da imposição de restrições terminais de igualdade e restrições de contração de custo; (iv) a inclusão adequada de variáveis de folga, que não comprometem as propriedades estabilizantes dos controladores, assegura que os problemas de otimização são sempre viáveis; (v) integração estável com camada de otimização em tempo real, visto que os controladores são projetados de tal forma a rastrear targets ótimos para algumas entradas e saídas do processo, mantendo as variáveis remanescentes dentro de faixas pré-definidas, ao invés de set-points xos. Exemplos de simulação típicos da indústria de processo são explorados para ilustrar as potenciais utilidades dos métodos propostos e demonstrar que eles podem ser aplicados em casos reais. / The design of stable model predictive control (MPC) strategies that explicitly incorporate the model uncertainty into the control formulation still remains an open issue, although a rich theory has been developed to the synthesis of robustly stabilizing MPC schemes. In fact, the existing solutions to the robust MPC problem seem far from an acceptable stage of practical imple mentations, chiey when the process system is composed of integrating and unstable poles, as well as time delays between its input and output variables. Within this perspective, the ultimate goal of this thesis is to develop a new framework for robust MPC synthesis which guarantees closed-loop stability of integrating and unstable time delay processes. On this subject, three different robust MPC strategies are developed. The two rst concerns on integrating time delay processes; the former is based on a two-step control formulation, whereas the latter is posed as a one-step control optimization problem and state-space model description is more general than that adopted in the former formulation. The third proposed strategy focuses on one-step control formulation-based unstable time delay processes. Aiming at practical implementation purposes, the controllers proposed herein comprise the following aspects: (i) the offset free control laws are obtained without the need to include an additional steady-state calculation op timization layer due to the enclosure of proper state-space models in the incremental form of the inputs, which are derived of analytical expressions of step response of the process system; (ii) the uncertainty of all model parameters, e.g. gains, time constants, time delays and so on, is considered in the problem formulation; (iii) the proofs of robust Lyapunov stability are easily carried out of an intuitive way by imposing terminal equality constraints and cost-contracting constraints; (iv) the suitable inclusion of slack variables, which does not commit the stabil ity properties of the controllers, ensure that the proposed optimization problems are always feasible; (v) stable integration with real-time optimization layer, seeing as the controllers are designed to work in the optimum target tracking scheme where they should drive the process to the optimum operating point, while maintaining the remaining inputs and outputs inside pre dened zones instead of xed set-points. Simulation examples typical of the process industry are exploited to illustrate the helpfulness of the proposed control methods and demonstrate that they can be implemented in real applications.

O trabalho desenvolvido tem como objetivo avaliar a influência da rigidez estrutural no comportamento dinâmico do veículo baseando-se em manobra de raio constante em condição quase estática e análise de sensibilidade através de simulação numérica computacional. São apresentados dois modelos para avaliar a transferência de carga lateral do veículo quando sujeito à aceleração lateral (manobra de raio constante), um modelo completo de veículo elaborado em ambiente multicorpos tendo a carroceria e o sub-chassi modelados como corpos flexíveis, e outro modelo analítico com a consideração da rigidez torcional (obtida de modelo de elementos finitos) da estrutura. Com o modelo analítico atendendo o nível de correlação necessário para o propósito deste trabalho, discute-se neste ponto as variações na transferência de carga devido à rigidez torcional da estrutura. Em seguida, com o intuito de abranger, além do parâmetro de transferência de carga lateral, quais comportamentos do veículo são afetados pela sua rigidez estrutural, é proposta a utilização do método de engenharia robusta para a identificação das condições externas que geram diferentes resultados de comportamento dinâmico do veículo com a variação da rigidez estrutural. Este estudo permite identificar manobras ou situações nas quais as considerações de flexibilidade estrutural num modelo multicorpos, ou mesmo numa condição física real, são relevantes e podem afetar a segurança, dirigibilidade e o conforto do veículo. / The work aims to evaluate the influence of structural stiffness on the dynamic behavior of the vehicle based on a constant radius maneuver in a quasi-static condition and a sensitivity analysis through computer numerical simulation. Two models were developed to evaluate the lateral load transfer of the vehicle when subjected to lateral acceleration (constant radius maneuver), a complete vehicle built in multibody environment with the body and the sub-chassis modeled as flexible bodies, and an analytical model with consideration of structure torsional stiffness (obtained from finite element model). With the analytical model presenting the required correlation for the purpose of this paper, we discuss, at this point, the lateral load transfer variations due to torcional structural stiffness. Then, in order to cover, in addition to lateral load transfer, how the vehicle behavior is affected by its structural stiffness, the robust engineering method is considered for identifying the external conditions that generate different dynamic behavior results for the variation of structural stiffness. This study allows us to identify maneuvers or situations in which considerations of structural flexibility in multibody model, or even in a real physical condition, are relevant and can affect the safety, ride and handling of the vehicle.

Esta tese trata do problema de estimativa robusta ótima para sistemas dinâmicos regulares discretos no tempo. Novos algoritmos recursivos são formulados para as estimativas filtradas e preditoras com as correspondentes equações de Riccati. O filtro robusto tipo Kalman e a equação de Riccati correspondente são obtidos numa formulação mais geral, estendendo os resultados apresentados na literatura. O funcional quadrático proposto para deduzir este filtro faz a combinação das técnicas mínimos quadrados regularizados e funções penalidade. O sistema considerado para obtenção de tais estimativas é singular, discreto, variante no tempo, com ruídos correlacionados e todos os parâmetros do modelo linear estão sujeitos a incertezas. As incertezas paramétricas são limitadas por norma. As propriedades de estabilidade e convergência do filtro de Kalman para sistemas nominais e incertos são provadas, mostrando-se que o filtro em estado permanente é estável e a recursão de Riccati associada a ele é uma sequência monótona não decrescente, limitada superiormente pela solução da equação algébrica de Riccati. / This thesis considers the optimal robust estimates problem for discrete-time singular dymanic systems. New recursive algorithms are developed for the Kalman filtered and predicted estimated recursions with the corresponding Riccati equations. The singular robust Kalman type filter and the corresponding recursive Riccati equation arer obtained in their most general formulation, extending the results presented in the literature. The quadratic functional developed to deduce this filter combines regularized least squares and penalty functions approaches. The system considered to obtain the estimates is singular, time varying with correlated noises and all parameter matrices of the underlying linear model are subject to uncertainties. The parametric uncertainty is assumed to be norm bounded. The properties of stability and convergence of the Kalman filter for nominal and uncertain system models are proved, where we show that steady state filter is stable and the Riccati recursion associated with this is a nondecreasing monotone sequence with upper bound.

Este trabalho apresenta uma proposta de modelagem por otimização robusta aplicada ao problema incerto de demanda contratada de potência ativa enfrentado por consumidores de alta tensão tarifados no sistema convencional, e que podem estabelecer contratos de demanda de 30 a 300 kW, inseridos no Pólo Industrial de Manaus - PIM/AM. Os dados utilizados nas análises foram simulados considerando as principais características das curvas de carga de consumidores industriais, sendo propostos sete cenários relevantes, sob critérios de linearidade (linear e não linear), variância (baixa, média e alta) e tendência das curvas (crescente, decrescente e constante), nos quais o modelo de otimização foi aplicado obedecendo às prescrições da Agência Nacional de Energia Elétrica - ANEEL. Em seguida, foi aplicado o modelo heurístico de otimização robusta resultando na demanda ótima contratada considerando todos os cenários propostos, no período de contrato determinado. Os resultados foram comparados com um método determinístico da demanda contratada em cada cenário, e mostraram que, com exceção de apenas um entre sete cenários, o modelo heurístico com a otimização robusta foi melhor que o modelo de contratação determinístico.