Submitted by Samira Prince (prince@ufpa.br) on 2012-06-01T14:22:25Z No. of bitstreams: 2 Dissertacao_AbordagemProbabilisticaCaracterizacao.pdf: 2216925 bytes, checksum: 41db7a9e13836866a105b019e2d7ea99 (MD5) license_rdf: 23898 bytes, checksum: e363e809996cf46ada20da1accfcd9c7 (MD5) / Approved for entry into archive by Samira Prince(prince@ufpa.br) on 2012-06-01T14:23:08Z (GMT) No. of bitstreams: 2 Dissertacao_AbordagemProbabilisticaCaracterizacao.pdf: 2216925 bytes, checksum: 41db7a9e13836866a105b019e2d7ea99 (MD5) license_rdf: 23898 bytes, checksum: e363e809996cf46ada20da1accfcd9c7 (MD5) / Made available in DSpace on 2012-06-01T14:23:08Z (GMT). No. of bitstreams: 2 Dissertacao_AbordagemProbabilisticaCaracterizacao.pdf: 2216925 bytes, checksum: 41db7a9e13836866a105b019e2d7ea99 (MD5) license_rdf: 23898 bytes, checksum: e363e809996cf46ada20da1accfcd9c7 (MD5) Previous issue date: 2011 / CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico / Os sequenciadores de nova geração como as plataformas Illumina e SOLiD geram uma grande quantidade de dados, comumente, acima de 10 Gigabytes de arquivos-texto. Particularmente, a plataforma SOLiD permite o sequenciamento de múltiplas amostras em uma única corrida (denominada de corrida multiplex) por meio de um sistema de marcação chamado Barcode. Esta funcionalidade requer um processo computacional para separação dos dados por amostra, pois, o sequenciador fornece a mistura de todas amostras em uma única saída. Este processo deve ser seguro a fim de evitar eventuais embaralhamentos que possam prejudicar as análises posteriores. Neste contexto, o presente trabalho propõe desenvolvimento de um modelo probabilístico capaz de caracterizar sistema de marcação utilizado em sequenciamentos multiplex. Os resultados obtidos corroboraram a suficiência do modelo obtido, o qual permite, dentre outras coisas, identificar faltas em algum passo do processo de sequenciamento; adaptar e desenvolver de novos protocolos para preparação de amostras, além de atribuir um Grau de Confiança aos dados gerados e guiar um processo de filtragem que respeite as características de cada sequenciamento, não descartando sequências úteis de forma arbitrária. / The next generation sequencers such as Illumina and SOLiD platforms generate a large amount of data, commonly above 10 Gigabytes of text files. Particularly, the SOLiD platform allows the sequencing of multiple samples in a single run (called multiplex run) through a marking system called Barcode. This feature requires a computational process for separation of data per sample, therefore, the sequencer provides a mixture of all samples in a single output. This process must be secure to avoid any harm that may scramble further analysis. In this context, this dissertation proposes development of a probabilistic model capable of characterizing the marking system used in multiplex sequencing. The results corroborate the adequacy of the model obtained, which allows, among other things, identify faults in some step in the sequencing process, adapt and develop new protocols for sample preparation, and assign a grade to the reliability of data generated and guide a filtering process that respects the characteristics of each sequence, without discarding sequences useful in an arbitrary manner.

Este trabalho trata do controle Markoviano aplicado a um robô manipulador visando obter um sistema tolerante a falhas. Os controladores H2, H&#8734, e H2/H&#8734 Markovianos são calculados e aplicados ao robô em diversas situações de operação. Os controladores obtidos mantiveram a estabilidade do sistema tanto em situações de operação normal, quanto em situações de falhas sucessivas. / This work deals with Markovian control applied to a robot manipulator, in an effort to obtain a fault tolerant system. The H2, H&#8734, and H2/H&#8734 controllers were calculated and applied to the robot in different operation situations. The obtained controllers guaranteed the stability of the system in both situations: normal operation, and successive faults operation.

Conselho Nacional de Desenvolvimento CientÃfico e TecnolÃgico / The Brazilian agricultural sector has made in the period of stabilization after the Real Plan (1996-2009) a satisfactory economic dynamics, in which the level of agricultural products began an upward trend and virtually uninterrupted growth. This performance suggests that state economies are undergoing a process of catching up, which in the long run there would be a tendency for poorer economies achieve the same level of economic growth (in terms of per capita agricultural GDP) of the richest economies, setting a process of convergence to steady state. Accordingly, this paper seeks to analyze the convergence of per capita agricultural income between the states of Brazil, making sure that the dynamics of the agricultural sector had contributed to the reduction of inequalities existing interstate. To this end, it was used the first-order Markov process. The results indicate the occurrence of movements backward economies to levels of income per capita agricultural lower, indicating that the economies under review showed a trend of impoverishment, despite the global economic growth presented by the sector over the period. Among the factors that led these economies to tread a path of impoverishment, one can cite the emphasis of public policy to export crops, not covered by all the federating units of the country, which would result in the strengthening of the state economies have developed, expense of which are under development; beyond the migration of manpower for the agricultural production centers in more developed agricultural, causing the "Red Queen Effect," in which the growth of agricultural GDP does not translate into growth of income per capita in the field. However, the focus of this study is to identify the occurrence of convergence / divergence, no inferences about the causes that led to the initiation of such a movement, since these factors make room for new studies that seek to investigate them, in order to provide tools for the formulation of agricultural policies aimed at minimizing or even reversal of the causes that lead to poverty in the countryside. / O setor agropecuÃrio brasileiro tem apresentado no perÃodo de pÃs estabilizaÃÃo do Plano Real (1996-2009) uma dinÃmica econÃmica satisfatÃria, em que o nÃvel de produto agropecuÃrio iniciou uma trajetÃria ascendente e praticamente ininterrupta de crescimento. Tal performance sugere que as economias estaduais estejam passando por um processo de catching up, em que no longo prazo existiria uma tendÃncia das economias mais pobres alcanÃarem o mesmo nÃvel de crescimento econÃmico (em termos de PIB per capita agropecuÃrio) das economias mais ricas, configurando um processo de convergÃncia no steady state. Eom efeito, este, trabalho busca analisar a convergÃncia da renda agropecuÃria per capita entre os estados do Brasil, verificando se a dinÃmica do setor agrÃcola teria contribuÃdo para a reduÃÃo das desigualdades interestaduais preexistentes. Para tal, fez-se uso do processo markoviano de primeira ordem. Os resultados apontaram a ocorrÃncia de movimentos de retrocesso das economias para nÃveis de renda per capita agropecuÃria inferiores, indicando que as economias em anÃlise apresentaram uma tendÃncia de empobrecimento, apesar do crescimento econÃmico global do setor ao longo do perÃodo. Dentre os fatores que levariam tais economias a trilharem uma trajetÃria de empobrecimento, pode-se citar a Ãnfase das polÃticas pÃblicas Ãs culturas de exportaÃÃo, nÃo contempladas por todas as unidades federativas do PaÃs, o que resultaria no fortalecimento das economias estaduais jà desenvolvidas, em detrimento das que se encontram em desenvolvimento; alÃm dos movimentos migratÃrios da mÃo-de-obra agropecuÃria para os centros produtores agrÃcolas mais desenvolvidos, causando o âEfeito Rainha Vermelhaâ, em que o crescimento do PIB agropecuÃrio nÃo se traduziria em crescimento das rendas per capita no campo. Contudo, o foco deste estudo consiste na identificaÃÃo da ocorrÃncia do processo de convergÃncia/divergÃncia, sem inferir sobre as causas que levariam ao desencadeamento de tal movimento, jà que tais fatores abrem espaÃo para novos estudos que busquem investigÃ-los, a fim de poder fornecer instrumentos de formulaÃÃo de polÃticas pÃblicas agropecuÃrias direcionadas à minimizaÃÃo ou mesmo reversÃo das causas que levam à pobreza no campo.

Planejamento em inteligência artificial é a tarefa de determinar ações que satisfaçam um dado objetivo. Nos problemas de planejamento sob incerteza, as ações podem ter efeitos probabilísticos. Esses problemas são modelados como Processos de Decisão Markovianos (Markov Decision Processes - MDPs), modelos que permitem o cálculo de soluções ótimas considerando o valor esperado de cada ação em cada estado. Contudo, resolver problemas grandes de planejamento probabilístico, i.e., com um grande número de estados e ações, é um enorme desafio. MDPs grandes podem ser reduzidos através da computação de bissimulações estocásticas, i.e., relações de equivalência sobre o conjunto de estados do MDP original. A partir das bissimulações estocásticas, que podem ser exatas ou aproximadas, é possível obter um modelo abstrato reduzido que pode ser mais fácil de resolver do que o MDP original. No entanto, para problemas de alguns domínios, a computação da bissimulação estocástica sobre todo o espaço de estados é inviável. Os algoritmos propostos neste trabalho estendem os algoritmos usados para a computação de bissimulações estocásticas para MDPs de forma que elas sejam computadas sobre o conjunto de estados alcançáveis a partir de um dado estado inicial, que pode ser muito menor do que o conjunto de estados completo. Os resultados experimentais mostram que é possível resolver problemas grandes de planejamento probabilístico com desempenho superior às técnicas conhecidas de bissimulação estocástica. / Planning in artificial intelligence is the task of finding actions to reach a given goal. In planning under uncertainty, the actions can have probabilistic effects. This problems are modeled using Markov Decision Processes (MDPs), models that enable the computation of optimal solutions considering the expected value of each action when applied in each state. However, to solve big probabilistic planning problems, i.e., those with a large number of states and actions, is still a challenge. Large MDPs can be reduced by computing stochastic bisimulations, i.e., equivalence relations over the original MDP states. From the stochastic bisimulations, that can be exact or approximated, it is possible to get an abstract reduced model that can be easier to solve than the original MDP. But, for some problems, the stochastic bisimulation computation over the whole state space is unfeasible. The algorithms proposed in this work extend the algorithms that are used to compute stochastic bisimulations for MDPs in a way that they can be computed over the reachable set of states with a given initial state, which can be much smaller than the complete set of states. The empirical results show that it is possible to solve large probabilistic planning problems with better performance than the known techniques of stochastic bisimulation.

[pt] A Igualdade de Jarzynski (IJ) é um tipo especial de Teorema de Flutuação, de trabalho, que caracteriza sistemas termodinâmicos microscópicos fora do equilíbrio. A IJ pode ser usada como uma calibração de experimentos e simulações, o que nos permite estudar comportamentos não triviais da dinâmica desses sistemas. Um desses comportamentos é a troca de entropia e informação que o sistema realiza junto a um banho térmico de contato. Neste ensejo, modelamos via uma dinâmica não-Markoviana, i.e., uma dinâmica com memória, que leva a fluxos reversos de informação do reservatório para o sistema. / [en] The Jarzynski Equality (JE) is a special kind of Fluctuation Theorem, of work, which characterizes non-equilibrium small thermodynamics systems. The JE can be used as gauge of experiments and simulations allowing us to study the non-trivial behaviours of these systems dynamics. One of these behaviours is the entropy and information flow the system makes in contact with a thermal bath. In this framework, we modelled through a non-Markovian dynamic, i.e., with a memory effect, leading to reverse flows of information from the reservoir to the system.

Neste mestrado propõe-se um estudo sobre o controle automático de sistemas dinâmicos para o problema de coordenação de robôs móveis. Os movimentos coordenados serão realizados em função de um líder e qualquer robô da formação pode assumir a liderança de maneira aleatória. Os robôs trocam informação através de um grafo direcionado (dígrafo) de comunicação, definido a-priori e, movimentos estáveis são gerados através de uma lei de controle descentralizada baseada nas coordenadas dos robôs. Além disso, as equações dinâmicas não lineares dos robôs são descritas na forma de espaço de estado sendo os parâmetros das matrizes dependentes da velocidade angular das rodas. Esta representação, conhecida como Quase Linear a Parâmetros Variantes (Quase-LPV), é utilizada no projeto de controle H \'INFINITO\' não linear para sistemas dinâmicos. Para garantir a estabilidade da formação quando há alternância de líder ou remoção de robôs, foi feito o controle robusto e controle tolerante a falhas para um grupo de robôs móveis com rodas (RMRs). O controle robusto é baseado em controle H \'INFINITO\' não linear via realimentação do estado e controle H \'INFINITO\' não linear via realimentação da saída. O controle tolerante a falhas é baseado em controle H \'INFINITO\' por realimentação da saída de sistemas lineares sujeitos a saltos Markovianos para garantir a estabilidade da formação quando um dos robôs é perdido durante o movimento coordenado. Resultados em simulação são apresentados para os controladores utilizados. / This dissertation proposes a study on the automatic control of dynamic systems to the problem of coordination of mobile robots. The coordinated motions are performed with the robots following a leader, and any robot of the formation can assume the leadership randomly. The robots exchange informations according to a pre-specified communication directed graph (digraph). Stable motions are generated by a decentralized control law based on the robots coordinates. In addition, the nonlinear dynamic equations of the robots are described in state-space form where the parameters matrices depend on the angular velocities of the wheels. This representation, known as Quasi-Linear Parameter Varying (Quasi-LPV), is useful for control designs based on nonlinear H \'INFINITE\' approaches. To ensure the stability formation when there is alternation of leader or one of the robots is removed, we made a robust control and fault tolerant control for a group of wheeled mobile robots (WMRs). The robust approach is based on state feedback nonlinear H \'INFINITE\' control and output feedback nonlinear H \'INFINITE\' control. The fault tolerant approach is based on output feedback H \'INFINITE\' control of Markovian jump linear systems to ensure stability of the formation when one of the robots is lost during the coordinated motion. Results in simulation are presented for the controllers used.

Planejamento Probabilístico estuda os problemas de tomada de decisão sequencial de um agente, em que as ações possuem efeitos probabilísticos, modelados como um processo de decisão markoviano (Markov Decision Process - MDP). Dadas a função de transição de estados probabilística e os valores de recompensa das ações, é possível determinar uma política de ações (i.e., um mapeamento entre estado do ambiente e ações do agente) que maximiza a recompensa esperada acumulada (ou minimiza o custo esperado acumulado) pela execução de uma sequência de ações. Nos casos em que o modelo MDP não é completamente conhecido, a melhor política deve ser aprendida através da interação do agente com o ambiente real. Este processo é chamado de aprendizado por reforço. Porém, nas aplicações em que não é permitido realizar experiências no ambiente real, por exemplo, operações de venda, é possível realizar o aprendizado por reforço sobre uma amostra de experiências passadas, processo chamado de aprendizado por reforço em lote (Batch Reinforcement Learning). Neste trabalho, estudamos técnicas de aprendizado por reforço em lote usando um histórico de interações passadas, armazenadas em um banco de dados de processos, e propomos algumas formas de melhorar os algoritmos existentes. Como um estudo de caso, aplicamos esta técnica no aprendizado de políticas para o processo de venda de impressoras de grande formato, cujo objetivo é a construção de um sistema de recomendação de ações para vendedores iniciantes. / Probabilistic planning studies the problems of sequential decision-making of an agent, in which actions have probabilistic effects, and can be modeled as a Markov decision process (MDP). Given the probabilities and reward values of each action, it is possible to determine an action policy (in other words, a mapping between the state of the environment and the agent\'s actions) that maximizes the expected reward accumulated by executing a sequence of actions. In cases where the MDP model is not completely known, the best policy needs to be learned through the interaction of the agent in the real environment. This process is called reinforcement learning. However, in applications where it is not allowed to perform experiments in the real environment, for example, sales process, it is possible to perform the reinforcement learning using a sample of past experiences. This process is called Batch Reinforcement Learning. In this work, we study techniques of batch reinforcement learning (BRL), in which learning is done using a history of past interactions, stored in a processes database. As a case study, we apply this technique for learning policies in the sales process for large format printers, whose goal is to build a action recommendation system for beginners sellers.

Coordenação de robôs móveis é um tópico importante de pesquisa dado que existem tarefas que podem ser desenvolvidas de forma mais eficiente e com menor custo por um grupo de robôs do que por um só robô. Nesta dissertação é apresentado um estudo sobre coordenação de robôs móveis para o problema de navegação em ambientes externos. Para isso, foi desenvolvido um sistema de localização utilizando os dados de odometria e do receptor GPS, e um sistema de desvio de obstáculos para planejar a trajetória livre de obstáculos. Os movimentos coordenados foram realizados em função de um líder e qualquer robô da formação pode assumir a liderança. A liderança é assumida pelo robô que ultrapassar a distância mínima a um obstáculo. Movimentos estáveis são gerados através de uma lei de controle descentralizada baseada nas coordenadas dos robôs. Para garantir a estabilidade da formação quando há alternância de líder ou remoção de robôs, foi feito controle tolerante a falhas para um grupo de robôs móveis. O controle tolerante a falhas é baseado em controle H \'INFINITO\' por realimentação da saída de sistemas lineares sujeitos a saltos Markovianos para garantir a estabilidade da formação quando um dos robôs é perdido durante o movimento coordenado. Os resultados do sistema de localização mostram que o uso de filtro robusto para a fusão de dados produz uma melhor estimativa da posição do robô móvel. Os resultados também mostram que o sistema de desvio de obstáculos é capaz de gerar uma trajetória livre de obstáculos em ambientes desconhecidos. E por fim, os resultados do sistema de coordenação mostram que o grupo de robôs mantém a formação desejada percorrendo a trajetória de referência na presença de distúrbios ou quando um robô sai da formação. / Coordination of mobile robots is an important topic of research because there are tasks that may be too difficult for a single robot to perform alone, these tasks can be performed more efficiently and cheaply by a group of mobile robots. This dissertation presents a study on the coordination of mobile robots to the problem of navigation in outdoor environments. To solve this problem, a localization system using data from odometry and GPS receiver, and an obstacle avoidance system to plan the collision-free trajectory, were developed. The coordinated motions are performed by the robots that follow a leader, and any robot of the formation can assume the leadership. The leadership is assumed by a robot when it exceeds the threshold distance to an obstacle. Stable motions are generated by a decentralized control law based on the robots coordinates. To ensure the stability formation when there is alternation of leader or one of the robots is removed, we made a fault tolerant control for a group of mobile robots. The fault tolerant approach is based on output feedback H \'INFINITE\' control of Markovian jump linear systems to ensure stability of the formation when one of the robots is lost during the coordinated motion. The results of the localization system show that the use of robust filter for data fusion produces a better estimation of the mobile robots position. The results also show that the obstacle avoidance system is capable of generating a path free from obstacles in unknown environments. Finally, the results of the coordination system show that the group of robots maintain the desired formation along the reference trajectory in the presence of disturbance or removal of one of them.

Submitted by Silvana Teresinha Dornelles Studzinski (sstudzinski) on 2016-04-25T19:30:00Z No. of bitstreams: 1 Sabrina Monique Schenato Bredow_.pdf: 1816066 bytes, checksum: dfc2fea0a5369d22e5ec14fc8ea0cd5a (MD5) / Made available in DSpace on 2016-04-25T19:30:00Z (GMT). No. of bitstreams: 1 Sabrina Monique Schenato Bredow_.pdf: 1816066 bytes, checksum: dfc2fea0a5369d22e5ec14fc8ea0cd5a (MD5) Previous issue date: 2016-02-29 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Este trabalho analisa a influência do recente ciclo de alta dos preços das commodities sobre a entrada de capital externo no Brasil. Para o alcance desse objetivo, foram utilizadas duas metodologias econométricas diferentes: Modelos de Mudanças de Regimes Markovianos e Modelo Vetorial de Correção de Erros (VAR/VEC). O primeiro modelo foi utilizado para delimitar o ciclo de alta dos preços das commodities e para verificar se este período é concomitante ao período de elevação da entrada de capital externo no Brasil. Os resultados apontam que o recente período de alta dos preços das commodities ocorre entre os anos de 2002 e 2014, que é o último ano da amostra utilizada nesta pesquisa. Ademais, os regimes de alta estimados para as exportações, Investimento Estrangeiro Direto (IED) e Investimento Estrangeiro em Carteira (IEC), que são os três principais agregados do Balanço de Pagamentos que representam o ingresso de capitais externos no país, ocorrem em períodos similares ao observado para a série dos preços das commodities. A partir destes resultados, a influência da alta dos preços das commodities sobre a entrada de capital externo no Brasil foi analisada através do emprego da metodologia VAR/VEC, para o período entre o ano de 2002 e 2014, a partir da estimação de três modelos diferentes, um para cada agregado do Balanço de Pagamentos brasileiro. Os resultados apontam que o ciclo de alta dos preços das commodities influenciou significativamente a entrada de dividas externas no Brasil, sendo que os efeitos mais expressivos ocorrem via comércio e entrada de capitais de curto prazo. / This study analyzes the influence of the recent cycle of high commodity prices on foreign capital inflows in Brazil. To achieve this goal, it was used two different econometric methodologies: Markov-Switching Model and Vector Error Correction Model (VAR/VEC). The first model was used to define the cycle of high commodity prices and to check if this period is concomitant to the raise period of foreign capital inflows in Brazil. The results show that the recent period of high commodity prices occurs between the years 2002 and 2014, which is the last year of the sample used in this research. Moreover, the estimated high regime for exports, Foreign Direct Investment and Foreign Portfolio Investment, which are the three main aggregates of the Balance of Payments representing the inflow of foreign capital in the country occur in similar periods to that observed for the series of commodity prices. From these results, the influence of higher commodity prices on foreign capital inflows in Brazil was analyzed through the use of VAR/VEC methodology for the period between 2002 and 2014, from the estimation of three different models, one for each aggregate of the Balance of Payments. The results show that the cycle of high commodity prices significantly influenced the foreign capital inflows in Brazil, with the most significant effects occur via trade and short-term capital inflows.

Neste mestrado propõe-se um estudo sobre o controle automático de sistemas dinâmicos para o problema de coordenação de robôs móveis. Os movimentos coordenados serão realizados em função de um líder e qualquer robô da formação pode assumir a liderança de maneira aleatória. Os robôs trocam informação através de um grafo direcionado (dígrafo) de comunicação, definido a-priori e, movimentos estáveis são gerados através de uma lei de controle descentralizada baseada nas coordenadas dos robôs. Além disso, as equações dinâmicas não lineares dos robôs são descritas na forma de espaço de estado sendo os parâmetros das matrizes dependentes da velocidade angular das rodas. Esta representação, conhecida como Quase Linear a Parâmetros Variantes (Quase-LPV), é utilizada no projeto de controle H \'INFINITO\' não linear para sistemas dinâmicos. Para garantir a estabilidade da formação quando há alternância de líder ou remoção de robôs, foi feito o controle robusto e controle tolerante a falhas para um grupo de robôs móveis com rodas (RMRs). O controle robusto é baseado em controle H \'INFINITO\' não linear via realimentação do estado e controle H \'INFINITO\' não linear via realimentação da saída. O controle tolerante a falhas é baseado em controle H \'INFINITO\' por realimentação da saída de sistemas lineares sujeitos a saltos Markovianos para garantir a estabilidade da formação quando um dos robôs é perdido durante o movimento coordenado. Resultados em simulação são apresentados para os controladores utilizados. / This dissertation proposes a study on the automatic control of dynamic systems to the problem of coordination of mobile robots. The coordinated motions are performed with the robots following a leader, and any robot of the formation can assume the leadership randomly. The robots exchange informations according to a pre-specified communication directed graph (digraph). Stable motions are generated by a decentralized control law based on the robots coordinates. In addition, the nonlinear dynamic equations of the robots are described in state-space form where the parameters matrices depend on the angular velocities of the wheels. This representation, known as Quasi-Linear Parameter Varying (Quasi-LPV), is useful for control designs based on nonlinear H \'INFINITE\' approaches. To ensure the stability formation when there is alternation of leader or one of the robots is removed, we made a robust control and fault tolerant control for a group of wheeled mobile robots (WMRs). The robust approach is based on state feedback nonlinear H \'INFINITE\' control and output feedback nonlinear H \'INFINITE\' control. The fault tolerant approach is based on output feedback H \'INFINITE\' control of Markovian jump linear systems to ensure stability of the formation when one of the robots is lost during the coordinated motion. Results in simulation are presented for the controllers used.