Made available in DSpace on 2016-08-17T14:53:28Z (GMT). No. of bitstreams: 1 Dissertacao Gustavo Araujo.pdf: 2606649 bytes, checksum: efb1a5ded768b058f25d23ee8967bd38 (MD5) Previous issue date: 2014-04-28 / In this work the main objective is to present the development of learning algorithms for online application for the solution of algebraic Hamilton-Jacobi-Bellman equation. The concepts covered are focused on developing the methodology for control systems, through techniques that aims to design online adaptive controllers to reject noise sensors, parametric variations and modeling errors. Concepts of neurodynamic programming and reinforcement learning are are discussed to design algorithms where the context of a given operating point causes the control system to adapt and thus present the performance according to specifications design. Are designed methods for online estimation of adaptive critic focusing efforts on techniques for gradient estimating of the environment value function. / Neste trabalho o principal objetivo é apresentar o desenvolvimento de algoritmos de aprendizagem para execução online para a solução da equação algébrica de Hamilton-Jacobi-Bellman. Os conceitos abordados se concentram no desenvolvimento da metodologia para sistemas de controle, por meio de técnicas que tem como objetivo o projeto online de controladores adaptativos são projetados para rejeitar ruídos de sensores, variações paramétricas e erros de modelagem. Conceitos de programação neurodinâmica e aprendizagem por reforço são abordados para desenvolver algoritmos onde a contextualização de determinado ponto de operação faz com que o sistema de controle se adapte e, dessa forma, apresente o desempenho de acordo com as especificações de projeto. Desenvolve-se métodos para a estimação online do crítico adaptativo concentrando os esforços em técnicas de estimação do gradiente da função valor do ambiente.

As futuras utilizações de sistemas de controle em automóveis seguirão a tendência de integração, através do desenvolvimento de sistemas de controle integrados capazes de coordenar as ações dos vários subsistemas que compõem o veículo. Esta coordenação e integração requerem que as integrações entre os subsistemas sejam levadas em conta já nos primeiros estágios de projeto, levando ao desenvolvimento de modelos completos de veículos. Neste sentido, o comportamento dinâmico de um veículo de quatro rodas é analisado através de técnicas de modelagem de sistemas multicorpos utilizando-se o programa ADAMS. Posteriormente, são gerados modelos lineares obtidos através do Jacobiano das equações do modelo original, resultando em uma gama de equações na forma de espaço de estados. O modelo linearizado é então submetido a vários tipos de simulações e os resultados são comparados às respostas do modelo não linear de modo a validar as aproximações lineares em diferentes condições de operação do veículo. São também desenvolvidos dois sistemas de controle de suspensão baseados em técnicas de controle ótimo como duas diferentes abordagens: um controlador skyhook que foi implementado no modelo não linear desenvolvido no ADAMS e um controle de suspensão baseado em um controlador RLQ (Regulador Linear Quadrático), com realimentação de saída que utiliza os modelos linearizados na forma de espaço de estados, sendo este último implementado através da co-simulação ADAMS/Matlab. O sistema de controle de suspensão desenvolvido é um primeiro passo na tentativa de projeto de um sistema de controle integrado do movimento. / Future applications of control in automotive vehicles will follow a trend towards system integration, leading ultimately to the development of integrated vehicle control systems capable of coordinating the action of the various subsystems. The coordination and integration of automotive vehicle subsystems require the interaction amongst the various subsystems to be taken into consideration at the control design stages, resulting in full vehicle models. Therefore, a nonlinear 10 degree of freedom model is obtained through MBS modelling techniques present in ADAMS package software. Then, a linear model is obtained by linearization of the system equations through the Jacobian facility also present in ADAMS. The resulting linearised models are simulated and their response are compared to the previous non-linear one in order to validate the linear approximations. This work also presents two distincts suspension control systems based in optimal control theory: a skyhook controler designed at ADAMS (with the non-linear vehicle model) and a LQR (Linear Quadratic Regulator) with output feedback based on the state space linear vehicle model. This last one was designed through ADAMS/Matlab co-simulation facilities. This designed suspension control is a first attempt to future developments of integrated vehicle control.

Orientador: Valeriano Antunes de Oliveira / Resumo: Neste trabalho, primeiramente, serão apresentados problemas de otimização nos quais a função objetivo é de múltiplas variáveis e de valor intervalar e as restrições de desigualdade são dadas por funcionais clássicos, isto é, de valor real. Serão dadas as condições de otimalidade usando a E−diferenciabilidade e, depois, a gH−diferenciabilidade total das funções com valor intervalar de várias variáveis. As condições necessárias de otimalidade usando a gH−diferenciabilidade total são do tipo KKT e as suficientes são do tipo de convexidade generalizada. Em seguida, serão estabelecidos problemas de controle ótimo nos quais a funçãao objetivo também é com valor intervalar de múltiplas variáveis e as restrições estão na forma de desigualdades e igualdades clássicas. Serão fornecidas as condições de otimalidade usando o conceito de Lipschitz para funções intervalares de várias variáveis e, logo, a gH−diferenciabilidade total das funções com valor intervalar de várias variáveis. As condições necessárias de otimalidade, usando a gH−diferenciabilidade total, estão na forma do célebre Princípio do Máximo de Pontryagin, mas desta vez na versão intervalar. / Abstract: In this work, firstly, it will be presented optimization problems in which the objective function is interval−valued of multiple variables and the inequality constraints are given by classical functionals, that is, real−valued ones. It will be given the optimality conditions using the E−differentiability and then the total gH−differentiability of interval−valued functions of several variables. The necessary optimality conditions using the total gH−differentiability are of KKT−type and the sufficient ones are of generalized convexity type. Next, it will be established optimal control problems in which the objective function is also interval−valued of multiple variables and the constraints are in the form of classical inequalities and equalities. It will be furnished the optimality conditions using the Lipschitz concept for interval−valued functions of several variables and then the total gH−differentiability of interval−valued functions of several variables. The necessary optimality conditions using the total gH−differentiability is in the form of the celebrated local Pontryagin Maximum Principle, but this time in the intervalar version. / Doutor

Submitted by Rosivalda Pereira (mrs.pereira@ufma.br) on 2017-06-23T20:34:27Z No. of bitstreams: 1 ErnestoFerreira.pdf: 1744167 bytes, checksum: c125c90e5eb2aab2618350567f88cb31 (MD5) / Made available in DSpace on 2017-06-23T20:34:27Z (GMT). No. of bitstreams: 1 ErnestoFerreira.pdf: 1744167 bytes, checksum: c125c90e5eb2aab2618350567f88cb31 (MD5) Previous issue date: 2016-03-08 / The development and the numerical stability analysis of a new adaptive critic algorithm to approximate the state-value function for online discrete linear quadratic regulator (DLQR) optimal control system design based on heuristic dynamic programming (HDP) are presented in this work. The proposed algorithm makes use of unitary transformations and QR decomposition methods to improve the online learning e-ciency in the critic network through the recursive least-squares (RLS) approach. The developed learning strategy provides computational performance improvements in terms of numerical stability and computational cost which aim at making possible the implementations in real time of optimal control design methodology based upon actor-critic reinforcement learning paradigms. The convergence behavior and numerical stability of the proposed online algorithm, called RLSµ-QR-HDP-DLQR, are evaluated by computational simulations in three Multiple-Input and Multiple-Output (MIMO) models, that represent the automatic pilot of an F-16 aircraft of third order, a fourth order RLC circuit with two input voltages and two controllable voltage levels, and a doubly-fed induction generator with six inputs and six outputs for wind energy conversion systems. / Neste trabalho, apresenta-se o desenvolvimento e a análise da estabilidade numérica de um novo algoritmo crítico adaptativo para aproximar a função valor de estado para o projeto do sistema de controle ótimo online, utilizando o regulador linear quadrático discreto (DLQR), com base em programação dinâmica heurística (HDP). O algoritmo proposto faz uso de transformações unitárias e métodos de decomposição QR para melhorar a e-ciência da aprendizagem online na rede crítica por meio da abordagem dos mínimos quadrados recursivos (RLS). A estratégia de aprendizagem desenvolvida fornece melhorias no desempenho computacional em termos de estabilidade numérica e custo computacional, que visam tornar possíveis as implementações em tempo real da metodologia do projeto de controle ótimo com base em paradigmas de aprendizado por reforço ator-crítico. O comportamento de convergência e estabilidade numérica do algoritmo online proposto, denominado RLSµ-QR-HDP-DLQR, são avaliados por meio de simulações computacionais em três modelos Múltiplas-Entradas e Múltiplas-Saídas (MIMO), que representam o piloto automático de uma aeronave F-16 de terceira ordem, um circuito de quarta ordem RLC com duas tensões de entrada e dois níveis de tensão controláveis, e um gerador de indução duplamente alimentados com seis entradas e seis saídas para sistemas de conversão de energia eólica.

Submitted by Maria Aparecida (cidazen@gmail.com) on 2017-08-30T15:33:12Z No. of bitstreams: 1 Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5) / Made available in DSpace on 2017-08-30T15:33:12Z (GMT). No. of bitstreams: 1 Patricia Helena.pdf: 11110405 bytes, checksum: ca1f067231658f897d84b86181dbf1b9 (MD5) Previous issue date: 2014-07-24 / In this thesis a proposal of an uni ed approach of dynamic programming, reinforcement learning and function approximation theories aiming at the development of methods and algorithms for design of optimal control systems is presented. This approach is presented in the approximate dynamic programming context that allows approximating the optimal feedback solution as to reduce the computational complexity associated to the conventional dynamic programming methods for optimal control of multivariable systems. Speci cally, in the state and action dependent heuristic dynamic programming framework, this proposal is oriented for the development of online approximated solutions, numerically stable, of the Riccati-type Hamilton-Jacobi-Bellman equation associated to the discrete linear quadratic regulator problem which is based on a formulation that combines value function estimates by means of a RLS (Recursive Least-Squares) structure, temporal di erences and policy improvements. The development of the proposed methodologies, in this work, is focused mainly on the UDU T factorization that is inserted in this framework to improve the RLS estimation process of optimal decision policies of the discrete linear quadratic regulator, by circumventing convergence and numerical stability problems related to the covariance matrix ill-conditioning of the RLS approach. / Apresenta-se nesta tese uma proposta de uma abordagem uni cada de teorias de programação dinâmica, aprendizagem por reforço e aproximação de função que tem por objetivo o desenvolvimento de métodos e algoritmos para projeto online de sistemas de controle ótimo. Esta abordagem é apresentada no contexto de programação dinâmica aproximada que permite aproximar a solução de realimentação ótima de modo a reduzir a complexidade computacional associada com métodos convencionais de programação dinâmica para controle ótimo de sistemas multivariáveis. Especi camente, no quadro de programação dinâmica heurística e programação dinâmica heurística dependente de ação, esta proposta é orientada para o desenvolvimento de soluções aproximadas online, numericamente estáveis, da equação de Hamilton-Jacobi-Bellman do tipo Riccati associada ao problema do regulador linear quadrático discreto que tem por base uma formulação que combina estimativas da função valor por meio de uma estrutura RLS (do inglês Recursive Least-Squares), diferenças temporais e melhorias de política. O desenvolvimento das metodologias propostas, neste trabalho, tem seu foco principal voltado para a fatoração UDU T que é inserida neste quadro para melhorar o processo de estimação RLS de políticas de decisão ótimas do regulador linear quadrá- tico discreto, contornando-se problemas de convergência e estabilidade numérica relacionados com o mal condicionamento da matriz de covariância da abordagem RLS.

Submitted by Christiam Miguel Gonzales - Chávez (christiam@fgvmail.br) on 2016-02-25T22:46:13Z No. of bitstreams: 1 Tesis Completa para a EPGE - Christiam Miguel Gonzales Chavez.pdf: 1022990 bytes, checksum: 51984adcd03281dc0ab9b933cddf77d5 (MD5) / Approved for entry into archive by BRUNA BARROS (bruna.barros@fgv.br) on 2016-03-04T12:55:25Z (GMT) No. of bitstreams: 1 Tesis Completa para a EPGE - Christiam Miguel Gonzales Chavez.pdf: 1022990 bytes, checksum: 51984adcd03281dc0ab9b933cddf77d5 (MD5) / Approved for entry into archive by Marcia Bacha (marcia.bacha@fgv.br) on 2016-03-07T13:35:00Z (GMT) No. of bitstreams: 1 Tesis Completa para a EPGE - Christiam Miguel Gonzales Chavez.pdf: 1022990 bytes, checksum: 51984adcd03281dc0ab9b933cddf77d5 (MD5) / Made available in DSpace on 2016-03-07T13:35:15Z (GMT). No. of bitstreams: 1 Tesis Completa para a EPGE - Christiam Miguel Gonzales Chavez.pdf: 1022990 bytes, checksum: 51984adcd03281dc0ab9b933cddf77d5 (MD5) Previous issue date: 2015-02-27 / A tese é constituída por três artigos: 'Regulação Ótima de Pescarias com Imperfeito Enforcement dos Direitos de Propriedade', 'Estimação de um Modelo Generalizado de Pesca' e 'Fatores Condicionantes da Reincidência Criminal no Chile'. No Capitulo 1, num contexto de enforcement imperfeito e custoso dos direitos de propriedade, é desenvolvido um modelo bioeconômico para determinar a captura ótima na exploração de recursos hidrobiológicos. Os resultados mostram que: (i) o stock do recurso em estado estacionário é menor quando o enforcement é imperfeito e custoso que quando é perfeito e sem custo, (ii) se o stock do recurso em estado estacionário com enforcement perfeito e sem custo é menor ao de máximo rendimento sustentável, então a quota de captura ótima com enforcement imperfeito e custoso é menor à respetiva quota quando o enforcement é perfeito e sem custo, e (iii) o stock do recurso em estado estacionário com enforcement imperfeito e custoso é maior ao stock do recurso quando a pescaria é de livre acesso. Contudo a gestão ótima dos recursos pesqueiros requer o conhecimento dos seus parâmetros bioeconômicos, porém implementar estudos para obter informação do stock do recurso é muito custoso e está sujeito a erros de mensuração. Assim, no Capitulo 2 são estimados os parâmetros bioeconômicos para a captura de anchoveta peruana. A metodologia baseia-se em Zhang e Smith (2011). Os parâmetros bioeconômicos são obtidos a traves de uma estimação econométrica em dois estágios utilizando dados microeconômicos associadas às embarcações que contam com permissão para capturar anchoveta. O método do bootstrap é utilizado para corrigir os erros padrão das estimativas obtidas pela metodologia em dois estágios. Os parâmetros estimados são utilizados para o stock ótimo e a captura ótima de anchoveta em estado estacionário. Assim mesmo, comparar-se o stock ótimo com o stock observado conclui-se que a pescaria da anchoveta peruana tem estado continuamente sujeita â sobre-exploração. Por último o Capitulo 3 é um esforço por estudar os fatores de reincidência criminal no Chile, uma área de pesquisa que tem sido escassamente explorada em América Latina, embora da sua importância na agenda pública e dada a crença da sociedade chilena que a criminalidade é explicada fundamentalmente por criminais reincidentes. A aproximação escolhida no presente estudo analisa a reincidência a partir da imputação. Para estudar os determinantes a reincidência, utiliza-se um modelo econométrico binário, o modelo Probit, que permite analisar como a idade, sexo, e o tipo de delitos cometidos, afetam a probabilidade de reincidência. Observa-se que na maior dos casos os estimadores apresentam o sinal esperado.