Processos de Decisão Markovianos (Markov Decision Process - MDP) modelam problemas de tomada de decisão sequencial em que as possíveis ações de um agente possuem efeitos probabilísticos sobre os estados sucessores (que podem ser definidas por matrizes de transição de estados). Programação dinâmica em tempo real (Real-time dynamic programming - RTDP), é uma técnica usada para resolver MDPs quando existe informação sobre o estado inicial. Abordagens tradicionais apresentam melhor desempenho em problemas com matrizes esparsas de transição de estados porque podem alcançar eficientemente a convergência para a política ótima, sem ter que visitar todos os estados. Porém essa vantagem pode ser perdida em problemas com matrizes densas de transição, nos quais muitos estados podem ser alcançados em um passo (por exemplo, problemas de controle com eventos exógenos). Uma abordagem para superar essa limitação é explorar regularidades existentes na dinâmica do domínio através de uma representação fatorada, isto é, uma representação baseada em variáveis de estado. Nesse trabalho de mestrado, propomos um novo algoritmo chamado de FactRTDP (RTDP Fatorado), e sua versão aproximada aFactRTDP (RTDP Fatorado e Aproximado), que é a primeira versão eficiente fatorada do algoritmo clássico RTDP. Também propomos outras 2 extensões desses algoritmos, o FactLRTDP e aFactLRTDP, que rotulam estados cuja função valor convergiu para o ótimo. Os resultados experimentais mostram que estes novos algoritmos convergem mais rapidamente quando executados em domínios com matrizes de transição densa e tem bom comportamento online em domínios com matrizes de transição densa com pouca dependência entre as variáveis de estado. / Markov Decision Process (MDP) model problems of sequential decision making, where the possible actions have probabilistic effects on the successor states (defined by state transition matrices). Real-time dynamic programming (RTDP), is a technique for solving MDPs when there exists information about the initial state. Traditional approaches show better performance in problems with sparse state transition matrices, because they can achieve the convergence to optimal policy efficiently, without visiting all states. But, this advantage can be lose in problems with dense state transition matrices, in which several states can be achieved in a step (for example, control problems with exogenous events). An approach to overcome this limitation is to explore regularities existing in the domain dynamics through a factored representation, i.e., a representation based on state variables. In this master thesis, we propose a new algorithm called FactRTDP (Factored RTDP), and its approximate version aFactRTDP (Approximate and Factored RTDP), that are the first factored efficient versions of the classical RTDP algorithm. We also propose two other extensions, FactLRTDP and aFactLRTDP, that label states for which the value function has converged to the optimal. The experimental results show that when these new algorithms are executed in domains with dense transition matrices, they converge faster. And they have a good online performance in domains with dense transition matrices and few dependencies among state variables.

Este trabalho é dedicado ao desenvolvimento teórico e algorítmico de processos de decisão markovianos com probabilidades imprecisas e representações relacionais. Na literatura, essa configuração tem sido importante dentro da área de planejamento em inteligência artificial, onde o uso de representações relacionais permite obter descrições compactas, e o emprego de probabilidades imprecisas resulta em formas mais gerais de incerteza. São três as principais contribuições deste trabalho. Primeiro, efetua-se uma discussão sobre os fundamentos de tomada de decisão sequencial com probabilidades imprecisas, em que evidencia-se alguns problemas ainda em aberto. Esses resultados afetam diretamente o (porém não restrito ao) modelo de interesse deste trabalho, os processos de decisão markovianos com probabilidades imprecisas. Segundo, propõe-se três algoritmos para processos de decisão markovianos com probabilidades imprecisas baseadas em programação (otimização) matemática. E terceiro, desenvolvem-se ideias propostas por Trevizan, Cozman e de Barros (2008) no uso de variantes do algoritmo Real-Time Dynamic Programming para resolução de problemas de planejamento probabilístico descritos através de versões estendidas da linguagem de descrição de domínios de planejamento (PPDDL). / This work is devoted to the theoretical and algorithmic development of Markov Decision Processes with Imprecise Probabilities and relational representations. In the literature, this configuration is important within artificial intelligence planning, where the use of relational representations allow compact representations and imprecise probabilities result in a more general form of uncertainty. There are three main contributions. First, we present a brief discussion of the foundations of decision making with imprecise probabilities, pointing towards key questions that remain unanswered. These results have direct influence upon the model discussed within this text, that is, Markov Decision Processes with Imprecise Probabilities. Second, we propose three algorithms for Markov Decision Processes with Imprecise Probabilities based on mathematical programming. And third, we develop ideas proposed by Trevizan, Cozman e de Barros (2008) on the use of variants of Real-Time Dynamic Programming to solve problems of probabilistic planning described by an extension of the Probabilistic Planning Domain Definition Language (PPDDL).

Submitted by Marcos Vagner de Castro Macedo (marcosvmacedo@gmail.com) on 2018-01-02T19:44:18Z No. of bitstreams: 1 Versão Final.pdf: 1472932 bytes, checksum: f1f646ea5decf75ddb1c341060ced975 (MD5) / Approved for entry into archive by GILSON ROCHA MIRANDA (gilson.miranda@fgv.br) on 2018-01-15T18:45:43Z (GMT) No. of bitstreams: 1 Versão Final.pdf: 1472932 bytes, checksum: f1f646ea5decf75ddb1c341060ced975 (MD5) / Made available in DSpace on 2018-01-16T13:52:02Z (GMT). No. of bitstreams: 1 Versão Final.pdf: 1472932 bytes, checksum: f1f646ea5decf75ddb1c341060ced975 (MD5) Previous issue date: 2017-01-09 / Among various strategies of financial assets negotiations, The Pair Trading strategy has shown relevance in the academic and professional environment and it’s being used as an important strategy. In the main investment funds in Brazil and around the world. The purpose of this work is to examine the Pair Trading strategy with a statistical bias in order to identify and explore financial assets’ inefficiencies. That present long-term relationship. The rules of negotiation proposed, make the use of Cointegration tests to identify eligible actions’ pairs, in order to apply such strategy, along with the use Markov-switching models to define the negotiation strategy. The main goal is to explorer. Temporary deviations (anomalies) of the long-term relationship equilibrium between assets and diferents Regimes. The model is able to identify the nonlinear structure data and also the first and second conditional moments. The applications along with real data from brazilian financial market indicates that a simple portfolio composed by an unique spread, already overcome some of the principals benchmarks of the market / Dentre muitas estratégias para a negociação de ativos financeiros, a estratégia de Pair Trading tem apresentado relevância no meio acadêmico e profissional. Sendo utilizada como uma importante estratégia nos principais fundos de investimentos no Brasil e no mundo. Neste trabalho, é examinado o desempenho da estratégia de Pair Trading com um viés estatístico buscando identificar e explorar ineficiências de ativos financeiros que apresentem uma relação de longo prazo. As regras de negociação proposta utilizam-se dos testes de cointegração na identificação de pares de ações elegíveis para a aplicação da estratégia e usa-se o modelo de mudança de regime markoviano para definir a estratégia de negociação. O objetivo é explorar desvios temporários (anomalias) das relações de equilíbrio de longo prazo entre os ativos em diferentes regimes. O modelo permite identificar a estrutura não linear dos dados e o primeiro e segundo momentos condicionais. As aplicações com dados reais do mercado brasileiro indicam que um portfólio simples composto por um único spread já supera alguns dos principais benchmarks do mercado.

Made available in DSpace on 2016-06-02T20:06:12Z (GMT). No. of bitstreams: 1 DissDAZ.pdf: 2962567 bytes, checksum: 5c6271a67fae12d6b0160ac8ed9351a2 (MD5) Previous issue date: 2006-02-20 / Universidade Federal de Minas Gerais / (See full text for download) / A crescente necessidade do desenvolvimento de eficientes técnicas computacionais e estatísticas para analisar a profusão de dados biológicos transformaram o modelo Markoviano oculto (HMM), caso particular das redes bayesianas ou probabilísticas, em uma alternativa interessante para analisar sequências de DNA. Uma razão do interesse no HMM é a sua flexibilidade em descrever segmentos heterogêneos da sequência através de uma mesma estrutura de dependência entre as variáveis, supostamente conhecida. No entanto, na maioria dos problemas práticos, a estrutura de dependência não é conhecida e precisa ser também estimada. A maneira mais comum para estimação de estrutra de um HMM é o uso de métodos de seleção de modelos. Outra solução é a utilização de metodologias para estimação da estrutura de uma rede probabilística. Neste trabalho, propomos o HMM de segunda ordem e seus estimadores bayesianos, definimos o fator de Bayes e o DIC para seleção do HMM mais adequado a uma sequência específica, verificamos seus desempenhos e a performance da metodologia proposta por Friedman e Koller (2003) em conjunto de dados simulados e aplicamos estas metodologias em duas sequências de DNA: o intron 7 do gene a - fetoprotein dos cimpanzés e o genoma do parasita Bacteriophage lambda, para o qual o modelo de segunda ordem é mais adequado.

Este trabalho é dedicado ao desenvolvimento teórico e algorítmico de processos de decisão markovianos com probabilidades imprecisas e representações relacionais. Na literatura, essa configuração tem sido importante dentro da área de planejamento em inteligência artificial, onde o uso de representações relacionais permite obter descrições compactas, e o emprego de probabilidades imprecisas resulta em formas mais gerais de incerteza. São três as principais contribuições deste trabalho. Primeiro, efetua-se uma discussão sobre os fundamentos de tomada de decisão sequencial com probabilidades imprecisas, em que evidencia-se alguns problemas ainda em aberto. Esses resultados afetam diretamente o (porém não restrito ao) modelo de interesse deste trabalho, os processos de decisão markovianos com probabilidades imprecisas. Segundo, propõe-se três algoritmos para processos de decisão markovianos com probabilidades imprecisas baseadas em programação (otimização) matemática. E terceiro, desenvolvem-se ideias propostas por Trevizan, Cozman e de Barros (2008) no uso de variantes do algoritmo Real-Time Dynamic Programming para resolução de problemas de planejamento probabilístico descritos através de versões estendidas da linguagem de descrição de domínios de planejamento (PPDDL). / This work is devoted to the theoretical and algorithmic development of Markov Decision Processes with Imprecise Probabilities and relational representations. In the literature, this configuration is important within artificial intelligence planning, where the use of relational representations allow compact representations and imprecise probabilities result in a more general form of uncertainty. There are three main contributions. First, we present a brief discussion of the foundations of decision making with imprecise probabilities, pointing towards key questions that remain unanswered. These results have direct influence upon the model discussed within this text, that is, Markov Decision Processes with Imprecise Probabilities. Second, we propose three algorithms for Markov Decision Processes with Imprecise Probabilities based on mathematical programming. And third, we develop ideas proposed by Trevizan, Cozman e de Barros (2008) on the use of variants of Real-Time Dynamic Programming to solve problems of probabilistic planning described by an extension of the Probabilistic Planning Domain Definition Language (PPDDL).

Processos de Decisão Markovianos (Markov Decision Process - MDP) modelam problemas de tomada de decisão sequencial em que as possíveis ações de um agente possuem efeitos probabilísticos sobre os estados sucessores (que podem ser definidas por matrizes de transição de estados). Programação dinâmica em tempo real (Real-time dynamic programming - RTDP), é uma técnica usada para resolver MDPs quando existe informação sobre o estado inicial. Abordagens tradicionais apresentam melhor desempenho em problemas com matrizes esparsas de transição de estados porque podem alcançar eficientemente a convergência para a política ótima, sem ter que visitar todos os estados. Porém essa vantagem pode ser perdida em problemas com matrizes densas de transição, nos quais muitos estados podem ser alcançados em um passo (por exemplo, problemas de controle com eventos exógenos). Uma abordagem para superar essa limitação é explorar regularidades existentes na dinâmica do domínio através de uma representação fatorada, isto é, uma representação baseada em variáveis de estado. Nesse trabalho de mestrado, propomos um novo algoritmo chamado de FactRTDP (RTDP Fatorado), e sua versão aproximada aFactRTDP (RTDP Fatorado e Aproximado), que é a primeira versão eficiente fatorada do algoritmo clássico RTDP. Também propomos outras 2 extensões desses algoritmos, o FactLRTDP e aFactLRTDP, que rotulam estados cuja função valor convergiu para o ótimo. Os resultados experimentais mostram que estes novos algoritmos convergem mais rapidamente quando executados em domínios com matrizes de transição densa e tem bom comportamento online em domínios com matrizes de transição densa com pouca dependência entre as variáveis de estado. / Markov Decision Process (MDP) model problems of sequential decision making, where the possible actions have probabilistic effects on the successor states (defined by state transition matrices). Real-time dynamic programming (RTDP), is a technique for solving MDPs when there exists information about the initial state. Traditional approaches show better performance in problems with sparse state transition matrices, because they can achieve the convergence to optimal policy efficiently, without visiting all states. But, this advantage can be lose in problems with dense state transition matrices, in which several states can be achieved in a step (for example, control problems with exogenous events). An approach to overcome this limitation is to explore regularities existing in the domain dynamics through a factored representation, i.e., a representation based on state variables. In this master thesis, we propose a new algorithm called FactRTDP (Factored RTDP), and its approximate version aFactRTDP (Approximate and Factored RTDP), that are the first factored efficient versions of the classical RTDP algorithm. We also propose two other extensions, FactLRTDP and aFactLRTDP, that label states for which the value function has converged to the optimal. The experimental results show that when these new algorithms are executed in domains with dense transition matrices, they converge faster. And they have a good online performance in domains with dense transition matrices and few dependencies among state variables.

Coordenação de robôs móveis é um tópico importante de pesquisa dado que existem tarefas que podem ser desenvolvidas de forma mais eficiente e com menor custo por um grupo de robôs do que por um só robô. Nesta dissertação é apresentado um estudo sobre coordenação de robôs móveis para o problema de navegação em ambientes externos. Para isso, foi desenvolvido um sistema de localização utilizando os dados de odometria e do receptor GPS, e um sistema de desvio de obstáculos para planejar a trajetória livre de obstáculos. Os movimentos coordenados foram realizados em função de um líder e qualquer robô da formação pode assumir a liderança. A liderança é assumida pelo robô que ultrapassar a distância mínima a um obstáculo. Movimentos estáveis são gerados através de uma lei de controle descentralizada baseada nas coordenadas dos robôs. Para garantir a estabilidade da formação quando há alternância de líder ou remoção de robôs, foi feito controle tolerante a falhas para um grupo de robôs móveis. O controle tolerante a falhas é baseado em controle H \'INFINITO\' por realimentação da saída de sistemas lineares sujeitos a saltos Markovianos para garantir a estabilidade da formação quando um dos robôs é perdido durante o movimento coordenado. Os resultados do sistema de localização mostram que o uso de filtro robusto para a fusão de dados produz uma melhor estimativa da posição do robô móvel. Os resultados também mostram que o sistema de desvio de obstáculos é capaz de gerar uma trajetória livre de obstáculos em ambientes desconhecidos. E por fim, os resultados do sistema de coordenação mostram que o grupo de robôs mantém a formação desejada percorrendo a trajetória de referência na presença de distúrbios ou quando um robô sai da formação. / Coordination of mobile robots is an important topic of research because there are tasks that may be too difficult for a single robot to perform alone, these tasks can be performed more efficiently and cheaply by a group of mobile robots. This dissertation presents a study on the coordination of mobile robots to the problem of navigation in outdoor environments. To solve this problem, a localization system using data from odometry and GPS receiver, and an obstacle avoidance system to plan the collision-free trajectory, were developed. The coordinated motions are performed by the robots that follow a leader, and any robot of the formation can assume the leadership. The leadership is assumed by a robot when it exceeds the threshold distance to an obstacle. Stable motions are generated by a decentralized control law based on the robots coordinates. To ensure the stability formation when there is alternation of leader or one of the robots is removed, we made a fault tolerant control for a group of mobile robots. The fault tolerant approach is based on output feedback H \'INFINITE\' control of Markovian jump linear systems to ensure stability of the formation when one of the robots is lost during the coordinated motion. The results of the localization system show that the use of robust filter for data fusion produces a better estimation of the mobile robots position. The results also show that the obstacle avoidance system is capable of generating a path free from obstacles in unknown environments. Finally, the results of the coordination system show that the group of robots maintain the desired formation along the reference trajectory in the presence of disturbance or removal of one of them.

[pt] Consideramos o oscilador harmônico com amortecimento aleatório em presença de ruído externo. Os ruídos, representando perturbações externas e internas, são modelados pelo processo de Ornstein-Uhlenbeck ou ruído branco e pelo processo dicotômico ou ruído branco, respectivamente. Usando técnicas de sistemas dinâmicos, analisamos o valor médio e a dispersão da posição e da velocidade do oscilador harmônico estocástico, apresentando resultados analíticos e numéricos. Em particular, obtemos expressões para a expansão de baixa-ordem em relação ao tempo de correlação da perturbação interna, no caso da atuação do ruído dicotômico. Finalmente, usando o modelo de oscilador harmônico com amortecimento aleatório como referência, investigamos a série intradiária de preços do mercado brasileiro. / [en] We consider the random damping harmonic oscillator in presence of external noise. The noises, representing external and internal perturbations, are modeled as an Ornstein-Uhlenbeck process or a white noise and as a dichotomous process or a white noise, respectively. Using dynamical systems tools, we analyze the expected value as well as the dispersion of the stochastic harmonic oscillator s position and velocity, presenting analytical and numerical results. In particular, we also provide expressions for the low-order expansion in the correlation time of the internal perturbation, in the case the dichotomous noise is at play. Using random damped harmonic oscillator model as a reference, we conclude by investigating the intra-day Brazilian stock price series.

Planejamento Probabilístico estuda os problemas de tomada de decisão sequencial de um agente, em que as ações possuem efeitos probabilísticos, modelados como um processo de decisão markoviano (Markov Decision Process - MDP). Dadas a função de transição de estados probabilística e os valores de recompensa das ações, é possível determinar uma política de ações (i.e., um mapeamento entre estado do ambiente e ações do agente) que maximiza a recompensa esperada acumulada (ou minimiza o custo esperado acumulado) pela execução de uma sequência de ações. Nos casos em que o modelo MDP não é completamente conhecido, a melhor política deve ser aprendida através da interação do agente com o ambiente real. Este processo é chamado de aprendizado por reforço. Porém, nas aplicações em que não é permitido realizar experiências no ambiente real, por exemplo, operações de venda, é possível realizar o aprendizado por reforço sobre uma amostra de experiências passadas, processo chamado de aprendizado por reforço em lote (Batch Reinforcement Learning). Neste trabalho, estudamos técnicas de aprendizado por reforço em lote usando um histórico de interações passadas, armazenadas em um banco de dados de processos, e propomos algumas formas de melhorar os algoritmos existentes. Como um estudo de caso, aplicamos esta técnica no aprendizado de políticas para o processo de venda de impressoras de grande formato, cujo objetivo é a construção de um sistema de recomendação de ações para vendedores iniciantes. / Probabilistic planning studies the problems of sequential decision-making of an agent, in which actions have probabilistic effects, and can be modeled as a Markov decision process (MDP). Given the probabilities and reward values of each action, it is possible to determine an action policy (in other words, a mapping between the state of the environment and the agent\'s actions) that maximizes the expected reward accumulated by executing a sequence of actions. In cases where the MDP model is not completely known, the best policy needs to be learned through the interaction of the agent in the real environment. This process is called reinforcement learning. However, in applications where it is not allowed to perform experiments in the real environment, for example, sales process, it is possible to perform the reinforcement learning using a sample of past experiences. This process is called Batch Reinforcement Learning. In this work, we study techniques of batch reinforcement learning (BRL), in which learning is done using a history of past interactions, stored in a processes database. As a case study, we apply this technique for learning policies in the sales process for large format printers, whose goal is to build a action recommendation system for beginners sellers.

Este trabalho foi motivado pela necessidade de considerar comportamento estocástico durante o planejamento da produção de sistemas de manufatura, ou seja, o que produzir e em que ordem. Estes sistemas possuem um comportamento estocástico geralmente não considerado no planejamento da produção. O principal objetivo deste trabalho foi obter um método que modelasse sistemas de manufatura e representasse seu comportamento estocástico durante o planejamento de produção destes sistemas. Como os métodos que eram ideais para planejamento não forneciam a modelagem adequada dos sistemas, e os com modelagem adequada não forneciam a capacidade de planejamento necessária, decidiu-se combinar dois métodos para atingir o objetivo desejado. Decidiu-se modelar os sistemas em rede de Petri e convertê-los em processos de decisão markovianos, e então realizar o planejamento com o ultimo. Para que fosse possível modelar as probabilidades envolvidas nos processos, foi proposto um tipo especial de rede de Petri, nomeada rede de Petri fatorada. Utilizando este tipo de rede de Petri, foi desenvolvido o método de conversão em processos de decisão markovianos. A conversão ocorreu com sucesso, conforme testes que mostraram que planos podem ser produzidos utilizando-se algoritmos de ponta para processos de decisão markovianos. / The present work was motivated by the need to consider stochastic behavior when planning the production mix in a manufacturing system. These systems are exposed to stochastic behavior that is usually not considered during production planning. The main goal of this work was to obtain a method to model manufacturing systems and to represent their stochastic behavior when planning the production for these systems. Because the methods that were suitable for planning were not adequate for modeling the systems and vice-versa, two methods were combined to achieve the main goal. It was decided to model the systems in Petri nets and to convert them into Markov decision processes, to do the planning with the latter. In order to represent probabilities in the process, a special type of Petri nets, named Factored Petri nets, were proposed. Using this kind of Petri nets, a conversion method into Markov decision processes was developed. The conversion is successful as tests showed that plans can be produced within seconds using state-of-art algorithms for Markov decision processes.