Planejamento probabilístico lida com a tomada de decisão sequencial em ambientes estocásticos e geralmente é modelado por um Processo de Decisão Markoviano (Markovian Decision Process - MDP). Um MDP modela a interação entre um agente e o seu ambiente: em cada estágio, o agente decide executar uma ação, com efeitos probabilísticos e um certo custo, que irá produzir um estado futuro. O objetivo do agente MDP é minimizar o custo esperado ao longo de uma sequência de escolhas de ação. O número de estágios que o agente atua no ambiente é chamado de horizonte, o qual pode ser finito, infinito ou indefinido. Um exemplo de MDP com horizonte indefinido é o Stochastic Shortest Path MDP (SSP MDP), que estende a definição de MDP adicionando um conjunto de estados meta (o agente para de agir ao alcançar um estado meta). Num SSP MDP é feita a suposição de que é sempre possível alcançar um estado meta a partir de qualquer estado do mundo. No entanto, essa é uma suposição muito forte e que não pode ser garantida em aplicações práticas. Estados a partir dos quais é impossível atingir a meta são chamados de becos-sem-saída. Um beco-sem-saída pode ser evitável ou inevitável (se nenhuma política leva do estado inicial para a meta com probabilidade um). Em trabalhos recentes foram propostas extensões para SSP MDP que permitem a existência de diferentes tipos de beco-sem-saída, bem como algoritmos para resolvê-los. No entanto, a detecção de becos-sem-saída é feita utilizando: (i) heurísticas que podem falhar para becos-sem-saída implícitos ou (ii) métodos mais confiáveis, mas que demandam alto custo computacional. Neste projeto fazemos uma caracterização formal de modelos de planejamento probabilístico com becos-sem-saída. Além disso, propomos uma nova técnica para detecção de becos-sem-saída baseada nessa caracterização e adaptamos algoritmos de planejamento probabilístico para utilizarem esse novo método de detecção. Os resultados empíricos mostram que o método proposto é capaz de detectar todos os becos-sem-saída de um dado conjunto de estados e, quando usado com planejadores probabilísticos, pode tornar esses planejadores mais eficientes em domínios com becos-sem-saída difíceis de serem detectados / Probabilistic planning deals with sequential decision making in stochastic environments and is modeled by a Markovian Decision Process (MDP). An MDP models the interaction between an agent and its environment: at each stage, the agent decides to execute an action, with probabilistic effects and a certain cost which produces a future state. The purpose of the MDP agent is to minimize the expected cost along a sequence of choices. The number of stages that the agent acts in the environment is called horizon, which can be finite, infinite or undefined. An example of MDP with undefined horizon is the Stochastic Shortest Path MDP, which extends the definition of MDP by adding a set of goal states (the agent stops acting after reaching a goal state). In an SSP MDP the assumption is made that it is always possible to achieve a goal state from every state of the world. However, this is a very strong assumption and cannot be guaranteed in practical applications. States from which it is impossible to reach the goal are called dead-ends. A dead-end may be avoidable or unavoidable (when no policy leads from the initial state to the goal with probability one). Recent work has proposed extensions to SSP MDP that allow the existence of different types of dead-ends as well as algorithms to solve them. However, the detection of dead-end is done using: (i) heuristics that may fail to detect implicitly dead-ends or (ii) more reliable methods that require a high computational cost. In this project we make a formal characterization of probabilistic planning models with dead-ends. In addition, we propose a new technique for dead-end detection based on this characterization and we adapt probabilistic planning algorithms to use this new detection method. The empirical results show that the proposed method is able to detect all dead-ends of a given set of states and, when used withprobabilistic planners, can make these planners more efficient in domains with difficult to detect dead-ends.

No description available.

Submitted by (ana.araujo@ufrpe.br) on 2016-06-28T15:42:47Z No. of bitstreams: 1 Danila Maria Almeida de Abreu Silva.pdf: 4560746 bytes, checksum: e5e26a41955264a16144ee035716e1fb (MD5) / Made available in DSpace on 2016-06-28T15:42:47Z (GMT). No. of bitstreams: 1 Danila Maria Almeida de Abreu Silva.pdf: 4560746 bytes, checksum: e5e26a41955264a16144ee035716e1fb (MD5) Previous issue date: 2013-04-04 / The toxinfections caused by eating food contaminated with the bacillus of Salmonella represents a major concern for public health and for large producers of pork and derivatives. The presence of any Salmonella serovar in foods is enough to classify it as unfit for consumption, both domestically and internationally. The Salmonella is a bacterium that affects the animal’s intestinal tract, causing malaise, weight loss and death in consequence of infection. For a study of the dynamics of spreading disease in swine are developed mathematical models that provide the state of the population regarding the infection. The proposed model describes the dynamics of a population over time, divided into three classes of states regarding the presence or absence of the bacillus of Salmonella: Susceptible, Latent and Infected. This dynamics is governed by a system of ordinary differential equations, perturbed by the presence of random factors that pose a risk of infection to the farm. These factors are characterized as white noise whose impact on the dynamics is controlled by two constant functions, T1 and T2. The solution to the system of differential equations is obtained by the Runge-Kutta method of approximating 2a order, computationally implemented and simulated in different scenarios. The average rates of birth and contact were drawn from the literature and used as basis for parameters in the mathematical model. The results of computer simulations to calculate the probability of a farm infection levels reach any given time and observing the rules of management and creation. / As toxinfecções causadas por ingestão de alimentos contaminados pelo bacilo da Salmonella representam uma grande preocupação para a saúde púublica e para as grandes produtoras de carne suína e derivados. A presença de qualquer sorovar de Salmonella em alimentos é o suficiente para classificá-lo como impróprio para consumo, tanto no mercado nacional quanto internacional. A Salmonella é uma bactéria que afeta o trato intestinal do animal, causando indisposição, perda de peso e , na maioria dos casos, morte em consequência da infecção. Para um estudo da dinâmica de espalhamento da doença em suinos, são desenvolvidos modelos matemáticos que fornecem o estado da população em relação à infecção. O modelo proposto descreve a dinâmica de uma população ao longo do tempo, dividida em três classes de estados em relação a presença ou não do bacilo da Salmonella: Suscetível , Latente e Infectado . Esta dinâmica é regida por um sistema de equações diferenciais ordinárias, perturbadas pela presença de fatores aleatórios que representam risco de infecção para a granja. Esses fatores são caracterizados como ruído branco cujo impacto na dinâmica é controlado por duas funções constantes, T1 e T2. A solução para o sistema de equações diferenciais é obtido através do Método Runge-Kutta de aproximação de 2a ordem, implementado computacionalmente e simulado em diferentes cenários. A taxas médias de contato e natalidade foram retiradas da literatura e usadas como parâmetros base para o modelo matemático. O resultado das simulações permitiram calcular a probabilidade de uma granja atingir quaisquer níveis de infecção dado o tempo e observadas as normas de manejo e criação.

Submitted by (ana.araujo@ufrpe.br) on 2016-07-06T15:01:17Z No. of bitstreams: 1 Herbetes de Holanda Cordeiro.pdf: 1261935 bytes, checksum: da7eb431e201178bcb2d605739806e64 (MD5) / Made available in DSpace on 2016-07-06T15:01:17Z (GMT). No. of bitstreams: 1 Herbetes de Holanda Cordeiro.pdf: 1261935 bytes, checksum: da7eb431e201178bcb2d605739806e64 (MD5) Previous issue date: 2005-12-16 / The term "Biometria" means, literally, measured of the life. In the world of the security or crime, one on the basis of mentions the methods to it automatized for identification of people its physical characteristics or mannering aspects. In this work, an analysis was proceeded from the main Systems Biométricos de Identificação, in order to integrate them it the too much areas of abrangência of the Biometria, that include since the diagnosis and treatment of illnesses, studies on Botany, Zoology, Epidemiologia and Bioestatística, until the most excellent applications contemporaries, as "Cells Trunk" and "Genoma Project". In another source, it was become fullfilled basically description of some discrete and continuous-chosen Probabilist Models for being the most cited in Biométrica literature and after an exhausting survey of its respective applications. On the other hand, it is also figured as fulcrum of this dissertação, the "Study of the Malaria" and the delineation of the partner-economic models torepresent it in Brazil, where it continues answering for great number of deaths, mainly in the region North. To materialize this last objective, they had been collected in 2004 partner-economic data and of incidence of this illness in the country, in 90 Cities of the regions North, South and Southeast, data these estruturadores of the gotten models. To the end, an analysis of this infection in the cited polar regions of development is made, with presentation of results and suggestions for later works of modeling. / O termo “Biometria” significa, literalmente, medida da vida. No mundo da segurança ou criminalidade, refere-se aos métodos automatizados para identificação de pessoas com base em suas características físicas ou aspectos comportamentais. Neste trabalho, procedeu-se uma análise dos principais Sistemas Biométricos de Identificação, de modo a integrá-los às demais áreas de abrangência da Biometria, que incluem desde o diagnóstico e tratamento de doenças, estudos sobre Botânica, Zoologia, Epidemiologia e Bioestatística, até as mais relevantes aplicações contemporâneas, como “Células Tronco” e “Projeto Genoma”. Em outra vertente, realizou-se a descrição de alguns Modelos Probabilísticos e uma pesquisa de suas aplicações à Biometria. Por outro lado, afigura-se também como fulcro desta dissertação, o “Estudo da Malária” e o delineamento dos modelos sócio-econômicos para representá-la no Brasil, onde continua respondendo por grande número de óbitos, principalmente na região Norte. Para materializar este último objetivo, foram coletados em 2004 dados sócio-econômicos e de incidência desta doença no país, em 90 Municípios das regiões Norte, Sul e Sudeste, dadosesses estruturadores dos modelos obtidos. Ao final, é feita uma análise dessa infecção nos citados pólos de desenvolvimento, com apresentação de resultados e sugestões para ulteriores trabalhos de modelagem.

Submitted by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2018-02-23T15:50:13Z No. of bitstreams: 2 Dissertação_Fabio S. Costa.pdf: 6265675 bytes, checksum: 264839157b18998b66c79746286a8b87 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Divisão de Documentação/BC Biblioteca Central (ddbc@ufam.edu.br) on 2018-02-23T15:50:30Z (GMT) No. of bitstreams: 2 Dissertação_Fabio S. Costa.pdf: 6265675 bytes, checksum: 264839157b18998b66c79746286a8b87 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2018-02-23T15:50:30Z (GMT). No. of bitstreams: 2 Dissertação_Fabio S. Costa.pdf: 6265675 bytes, checksum: 264839157b18998b66c79746286a8b87 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2017-09-19 / CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The main objective of this Dissertation of Conclusion Course is the presentation for high school students, undergraduates of higher education and mathematics teachers, some mathematical applications in the most diverse areas of human knowledge through tools based on Regular Markov Chains. The approach follows a development based on sequences od defi-nitions and clarifications of the main functions of the elements of a chain, such as: transition probabilities, transition matrix and probability distribution. We arrive at the apex of the work when we elaborate the systematization of some methods used to calculate the probabi-lity limit distribution of a regular Markov chain, particularty, the Probabilistic Flow method. / O principal objetivo desse Trabalho de Conclusão de Curso é a apresentação para os alunos do ensino médio, graduandos do ensino superior e professores de matemática, algumas aplicações matemáticas nas mais diversas áreas do conhecimento humano através de ferramentas fundamentadas nas Cadeias de Markov Regulares. A abordagem segue um desenvolvimento pautado em sequências de definições e esclarecimentos das principais funções dos elementos de uma cadeia, tais como: probabilidades de transição, matriz de transição e distribuição de probabilidade. Chegamos ao ápice, quando elaboramos a sistematização de alguns métodos utilizados para calcular a distribuição limite de probabilidade de uma cadeia de Markov regular, particularmente, o método do Fluxo Probabilístico

In terms of standard probabilistic reasoning, in order to perform inference from a knowledge base, it is normally necessary to guarantee the consistency of such base. When we come across an inconsistent set of probabilistic assessments, it interests us to know where the inconsistency is, how severe it is, and how to correct it. Inconsistency measures have recently been put forward as a tool to address these issues in the Artificial Intelligence community. This work investigates the problem of measuring inconsistency in probabilistic knowledge bases. Basic rationality postulates have driven the formulation of inconsistency measures within classical propositional logic. In the probabilistic case, the quantitative character of probabilities yielded an extra desirable property: that inconsistency measures should be continuous. To attend this requirement, inconsistency in probabilistic knowledge bases have been measured via distance minimisation. In this thesis, we prove that the continuity postulate is incompatible with basic desirable properties inherited from classical logic. Since minimal inconsistent sets are the basis for some desiderata, we look for more suitable ways of localising the inconsistency in probabilistic logic, while we analyse the underlying consolidation processes. The AGM theory of belief revision is extended to encompass consolidation via probabilities adjustment. The new forms of characterising the inconsistency we propose are employed to weaken some postulates, restoring the compatibility of the whole set of desirable properties. Investigations in Bayesian statistics and formal epistemology have been interested in measuring an agent\'s degree of incoherence. In these fields, probabilities are usually construed as an agent\'s degrees of belief, determining her gambling behaviour. Incoherent agents hold inconsistent degrees of beliefs, which expose them to disadvantageous bet transactions - also known as Dutch books. Statisticians and philosophers suggest measuring an agent\'s incoherence through the guaranteed loss she is vulnerable to. We prove that these incoherence measures via Dutch book are equivalent to inconsistency measures via distance minimisation from the AI community. / Em termos de raciocínio probabilístico clássico, para se realizar inferências de uma base de conhecimento, normalmente é necessário garantir a consistência de tal base. Quando nos deparamos com um conjunto de probabilidades que são inconsistentes entre si, interessa-nos saber onde está a inconsistência, quão grave esta é, e como corrigi-la. Medidas de inconsistência têm sido recentemente propostas como uma ferramenta para endereçar essas questões na comunidade de Inteligência Artificial. Este trabalho investiga o problema da medição de inconsistência em bases de conhecimento probabilístico. Postulados básicos de racionalidade têm guiado a formulação de medidas de inconsistência na lógica clássica proposicional. No caso probabilístico, o carácter quantitativo da probabilidade levou a uma propriedade desejável adicional: medidas de inconsistência devem ser contínuas. Para atender a essa exigência, a inconsistência em bases de conhecimento probabilístico tem sido medida através da minimização de distâncias. Nesta tese, demonstramos que o postulado da continuidade é incompatível com propriedades desejáveis herdadas da lógica clássica. Como algumas dessas propriedades são baseadas em conjuntos inconsistentes minimais, nós procuramos por maneiras mais adequadas de localizar a inconsistência em lógica probabilística, analisando os processos de consolidação subjacentes. A teoria AGM de revisão de crenças é estendida para englobar a consolidação pelo ajuste de probabilidades. As novas formas de caracterizar a inconsistência que propomos são empregadas para enfraquecer alguns postulados, restaurando a compatibilidade de todo o conjunto de propriedades desejáveis. Investigações em estatística Bayesiana e em epistemologia formal têm se interessado pela medição do grau de incoerência de um agente. Nesses campos, probabilidades são geralmente interpretadas como graus de crença de um agente, determinando seu comportamento em apostas. Agentes incoerentes possuem graus de crença inconsistentes, que o expõem a transações de apostas desvantajosas - conhecidas como Dutch books. Estatísticos e filósofos sugerem medir a incoerência de um agente através do prejuízo garantido a qual ele está vulnerável. Nós provamos que estas medidas de incoerência via Dutch books são equivalentes a medidas de inconsistência via minimização de distâncias da comunidade de IA.

Planejamento probabilístico lida com a tomada de decisão sequencial em ambientes estocásticos e geralmente é modelado por um Processo de Decisão Markoviano (Markovian Decision Process - MDP). Um MDP modela a interação entre um agente e o seu ambiente: em cada estágio, o agente decide executar uma ação, com efeitos probabilísticos e um certo custo, que irá produzir um estado futuro. O objetivo do agente MDP é minimizar o custo esperado ao longo de uma sequência de escolhas de ação. O número de estágios que o agente atua no ambiente é chamado de horizonte, o qual pode ser finito, infinito ou indefinido. Um exemplo de MDP com horizonte indefinido é o Stochastic Shortest Path MDP (SSP MDP), que estende a definição de MDP adicionando um conjunto de estados meta (o agente para de agir ao alcançar um estado meta). Num SSP MDP é feita a suposição de que é sempre possível alcançar um estado meta a partir de qualquer estado do mundo. No entanto, essa é uma suposição muito forte e que não pode ser garantida em aplicações práticas. Estados a partir dos quais é impossível atingir a meta são chamados de becos-sem-saída. Um beco-sem-saída pode ser evitável ou inevitável (se nenhuma política leva do estado inicial para a meta com probabilidade um). Em trabalhos recentes foram propostas extensões para SSP MDP que permitem a existência de diferentes tipos de beco-sem-saída, bem como algoritmos para resolvê-los. No entanto, a detecção de becos-sem-saída é feita utilizando: (i) heurísticas que podem falhar para becos-sem-saída implícitos ou (ii) métodos mais confiáveis, mas que demandam alto custo computacional. Neste projeto fazemos uma caracterização formal de modelos de planejamento probabilístico com becos-sem-saída. Além disso, propomos uma nova técnica para detecção de becos-sem-saída baseada nessa caracterização e adaptamos algoritmos de planejamento probabilístico para utilizarem esse novo método de detecção. Os resultados empíricos mostram que o método proposto é capaz de detectar todos os becos-sem-saída de um dado conjunto de estados e, quando usado com planejadores probabilísticos, pode tornar esses planejadores mais eficientes em domínios com becos-sem-saída difíceis de serem detectados / Probabilistic planning deals with sequential decision making in stochastic environments and is modeled by a Markovian Decision Process (MDP). An MDP models the interaction between an agent and its environment: at each stage, the agent decides to execute an action, with probabilistic effects and a certain cost which produces a future state. The purpose of the MDP agent is to minimize the expected cost along a sequence of choices. The number of stages that the agent acts in the environment is called horizon, which can be finite, infinite or undefined. An example of MDP with undefined horizon is the Stochastic Shortest Path MDP, which extends the definition of MDP by adding a set of goal states (the agent stops acting after reaching a goal state). In an SSP MDP the assumption is made that it is always possible to achieve a goal state from every state of the world. However, this is a very strong assumption and cannot be guaranteed in practical applications. States from which it is impossible to reach the goal are called dead-ends. A dead-end may be avoidable or unavoidable (when no policy leads from the initial state to the goal with probability one). Recent work has proposed extensions to SSP MDP that allow the existence of different types of dead-ends as well as algorithms to solve them. However, the detection of dead-end is done using: (i) heuristics that may fail to detect implicitly dead-ends or (ii) more reliable methods that require a high computational cost. In this project we make a formal characterization of probabilistic planning models with dead-ends. In addition, we propose a new technique for dead-end detection based on this characterization and we adapt probabilistic planning algorithms to use this new detection method. The empirical results show that the proposed method is able to detect all dead-ends of a given set of states and, when used withprobabilistic planners, can make these planners more efficient in domains with difficult to detect dead-ends.

Debido a su gran exibilidad, los cables suspendidos presentan un comportamiento dinámico complejo producto de la no linealidad geométrica característica, con alta sensibilidad al nivel de tensión mecánica. Asimismo, en torres arriostradas de telecomunicaciones y de transmisión de energía, la tensión de las riendas presenta un considerable nivel de incertidumbre, en cuanto puede verse afectada en el tiempo debido a eventos ambientales, acciones accidentales o deliberadas sobre la estructura. En ciertas con guraciones de torres arriostradas de comunicación, las riendas poseen un arreglo de aisladores que interrumpen su longitud en segmentos menores. En esos casos, la aplicación de los métodos existentes basados en frecuencias naturales para la determinación de la tensión podría conducir a errores signi cativos. En el presente trabajo se desarrollan dos metodologías para la estimación de la tensión en cables con complejidades. Por un lado, a través de un enfoque probabilístico se propone un esquema Bayesiano de inferencia. Adicionalmente, se aborda la resolución del problema a través de la implementación de una Red Neuronal Arti cial. Ambas metodologías son evaluadas a través de ensayos físicos y computacionales. En el contexto del estudio dinámico de cables y estructuras con cables, se incluye un análisis probabilístico de líneas de transmisión de energía eléctrica (LTEE). En estos sistemas, la carga asociada al viento constituye usualmente el factor más relevante en el diseño estructural. Se aborda el análisis probabilístico de LTEE mediante un enfoque Monte Carlo de propagación y cuanti cación de incertidumbre, considerando a la carga de viento como un campo dinámico estocástico con correlación espacial y temporal, y a la tensión de las riendas como variables aleatorias. Por medio de este enfoque, se deriva una representación robusta de la respuesta estructural. A través de la aplicación de la carga estática de reglamento, se de nen umbrales de referencia que sirven de base para un análisis de cont abilidad estructural de la respuesta estocástica. / Due to its great exibility, suspended cables exhibit a complex dynamic behavior associated to their characteristic geometrical nonlinearity, and high sensibility to their pretension level. At the same time, in guyed power and telecommunication towers, the mechanical tension of the guys presents a signi cant uncertainty level, since it could be a ected in time due to environmental or deliberated human actions against the structure. In some con guration of guyed communication towers, an arrangement of insulators is attached to the guys, breaking its total length in minor sub-spans. In those cases, the application of the existing vibration-based methods for the estimation of the tension force could lead to signi cant errors. Therefore, two separate methodologies are developed in the present investigation for the estimation of the tension force in cables with complexities. On one side, through a probabilistic approach, a Bayesian framework is proposed. Additionally, the problem is approached through the implementation of an Arti cial Neural Network (ANN). Both methodologies are evaluated through physical and simulated tests. Additionally, the application of cables in Power Transmission Lines (PTL) is studied. In these systems, the load due to wind acting on the structure usually de nes the structural design. In the present investigation, the probabilistic analysis of a PTL is performed by means of a Monte Carlo approach for uncertainty quanti cation and propagation, considering the wind-related load as a dynamical stochastic eld with spatial and temporal correlation. Moreover, the uncertainty in the guys tension is included in the study through the de nition of a statistical model for the tension in the four guy wires of the supporting structure. This approach allows the derivation of a robust representation of the system response. Moreover, through the application of the static-equivalent wind load suggested in an international design code, reference thresholds are de ned and used in a reliability analysis of the stochastic dynamical structural response. / TEXTO PARCIAL en período de teletrabajo

Los depósitos de retención de aguas de tormenta son elementos eficaces para paliar los efectos de los vertidos de escorrentías urbanas en tiempo de lluvia al medio receptor. Su uso está hoy en día extendido; sin embargo, existe una gran dispersión de directrices para la determinación del volumen óptimo de almacenamiento. La caracterización estocástica del régimen de lluvia, fenómeno inicial del proceso, es la que marca sin duda el desarrollo de un determinado método. Consecuentemente, aunque el planteamiento metodológico pueda seguir ciertas pautas generales, el desarrollo del mismo y los resultados obtenidos no son en absoluto generalizables. El análisis pasa, en aras del cumplimiento de las exigencias de la Directiva Marco del Agua 2000/60/CE, por el establecimiento de un objetivo de calidad en el medio receptor, puesto que de ello depende el volumen de depósito. El impacto ambiental sobre los medios receptores que provocan los vertidos desde un tanque de tormentas puede enfocarse de dos formas diferentes, estableciendo los llamados estándares de emisión (Emission Standards, ES) o bien los objetivos de calidad ambiental (Environmental Quality Standards, EQS). El primer nivel en cuanto a objetivos de protección lo constituyen los ES. Con ellos se imponen restricciones a los vertidos, evaluando su frecuencia, volumen, carga contaminante, etc. Existen y se utilizan diferentes formas de fijar un ES. Las más usuales hacen referencia a la frecuencia de los vertidos y a la reducción del volumen de escorrentía o carga contaminante vertidos al medio receptor. El análisis con ES presenta la ventaja de resultar en metodologías fácilmente aplicables, pero adolece de considerar al medio receptor en sí, por lo que no discrimina los impactos que las descargas producen en él. Por este motivo, se plantea el segundo nivel en objetivos de protección con los EQS, que son objetivos que se definen no sobre los propios vertidos sino directamente sobre el medio receptor. / Andrés Doménech, I. (2010). Evaluación probabilística de indicadores de eficiencia para el dimensionamiento volumétrico de tanques de tormenta para el control de la contaminación de escorrentías urbanas [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/8387

Em problemas de tomada de decisão sequencial modelados como Processos de Decisão Markovianos (MDP) pode não ser possível obter uma medida exata para as probabilidades de transição de estados. Visando resolver esta situação os Processos de Decisão Markovianos com Probabilidades Imprecisas (Markov Decision Processes with Imprecise Transition Probabilities, MDP-IPs) foram introduzidos. Porém, enquanto estes MDP-IPs se mostram como um arcabouço robusto para aplicações de planejamento no mundo real, suas soluções consomem muito tempo na prática. Em trabalhos anteriores, buscando melhorar estas soluções foram propostos algoritmos de programação dinâmica síncrona eficientes para resolver MDP-IPs com uma representação fatorada para as funções de transição probabilística e recompensa, chamados de MDP-IP fatorados. Entretanto quando o estado inicial de um problema do Caminho mais Curto Estocástico (Stochastic Shortest Path MDP, SSP MDP) é dado, estas soluções não utilizam esta informação. Neste trabalho será introduzido o problema do Caminho mais Curto Estocástico com Probabilidades Imprecisas (Stochastic Shortest Path MDP-IP, SSP MDP-IP) tanto em sua forma enumerativa, quanto na fatorada. Um algoritmo de programação dinâmica assíncrona para SSP MDP-IP enumerativos com probabilidades dadas por intervalos foi proposto por Buffet e Aberdeen (2005). Entretanto, em geral um problema é dado de forma fatorada, i.e., em termos de variáveis de estado e nesse caso, mesmo se for assumida a imprecisão dada por intervalos sobre as variáveis, ele não poderá ser mais aplicado, pois as probabilidades de transição conjuntas serão multilineares. Assim, será mostrado que os SSP MDP-IPs fatorados são mais expressivos que os enumerativos e que a mudança do SSP MDP-IP enumerativo para o caso geral de um SSP MDP-IPs fatorado leva a uma mudança de resolução da função objetivo do Bellman backup de uma função linear para uma não-linear. Também serão propostos algoritmos enumerativos, chamados de RTDP-IP (Real-time Dynamic Programming with Imprecise Transition Probabilities), LRTDP-IP (Labeled Real-time Dynamic Programming with Imprecise Transition Probabilities), SSiPP-IP (Short-Sighted Probabilistic Planner with Imprecise Transition Probabilities) e LSSiPP-IP (Labeled Short-Sighted Probabilistic Planner with Imprecise Transition Probabilities) e fatorados chamados factRTDP-IP (factored RTDP-IP) e factLRTDP-IP (factored LRTDP-IP). Eles serão avaliados em relação aos algoritmos de programação dinâmica síncrona em termos de tempo de convergência da solução e de escalabilidade. / In sequential decision making problems modelled as Markov Decision Processes (MDP) we may not have the state transition probabilities. To solve this issue, the framework based in Markov Decision Processes with Imprecise Transition Probabilities (MDP-IPs) is introduced. Therefore, while MDP-IPs is a robust framework to use in real world planning problems, its solutions are time-consuming in practice. In previous works, efficient algorithms based in synchronous dynamic programming to solve MDP-IPs with factored representations of the probabilistic transition function and reward function, called factored MDP-IPs. However, given a initial state of a system, modeled as a Stochastic Shortest Path MDP (SSP MDP), solutions does not use this information. In this work we introduce the Stochastic Shortest Path MDP-IPs (SSP MDP-IPs) in enumerative form and in factored form. An efficient asynchronous dynamic programming solution for SSP MDP-IPs with enumerated states has been proposed by Buffet e Aberdeen (2005) before which is restricted to interval-based imprecision. Nevertheless, in general the problem is given in a factored form, i.e., in terms of state variables and in this case even if we assume interval-based imprecision over the variables, the previous solution is no longer applicable since we have multilinear parameterized joint transition probabilities. In this work we show that the innocuous change from the enumerated SSP MDP-IP cases to the general case of factored SSP MDP-IPs leads to a switch from a linear to nonlinear objectives in the Bellman backup. Also we propose assynchronous dynamic programming enumerative algorithms, called RTDP-IP (Real-time Dynamic Programming with Imprecise Transition Probabilities), LRTDP-IP (Labeled Real-time Dynamic Programming with Imprecise Transition Probabilities), SSiPP-IP (Short-Sighted Probabilistic Planner with Imprecise Transition Probabilities) and LSSiPP-IP (Labeled Short-Sighted Probabilistic Planner with Imprecise Transition Probabilities), and factored algorithms called factRTDP-IP (factored RTDP-IP) and factLRTDP-IP (factored LRTDP-IP). There algorithms will be evaluated with the synchronous dynamic programming algorithms previously proposed in terms of convergence time and scalability.