Die folgende Arbeit befasst sich mit den Untersuchungen von Problemen der Optimierung von Ressourcen in Umgebungen mit unvorhersehbarem Verhalten, wo: (i) nicht alle Informationen verfügbar sind, und (ii) die Umgebung unbekannte zeitliche Veränderungen aufweist. Diese Dissertation ist folgendermaßen gegliedert: Teil I stellt das Investitionsmodell vor. Es wird sowohl eine analytische als auch eine numerische Analyse der Dynamik dieses Modells für feste Investitionsstrategien in verschiedenen zufälligen Umgebungen vorgestellt. In diesem Investitionsmodell hängt die Dynamik des Budgets des Agenten x(t) von der Zufälligkeit der exogenen Rendite r(t) ab, wofür verschiedene Annahmen diskutiert wurden. Die Heavy-tailed Verteilung des Budgets wurde numerisch untersucht und mit theoretischen Vorhersagen verglichen. In Teil II wurde ein Investitionsszenario mit stilisierten exogenen Renditen untersucht, das durch eine periodische Funktion mit verschiedenen Arten und Stärken von Rauschen charakterisiert ist. In diesem Szenario wurden unterschiedliche Strategien, Agenten-Verhalten und Agenten Fähigkeiten zur Vorhersage der zukünftigen r(t) untersucht. Hier wurden Null-intelligenz-Agenten, die über technischen Analysen verfügen, mit Agenten, die über genetischen Algorithmen verfügen, verglichen. Umfangreiche Ergebnisse von Computersimulationen wurden präsentiert, in denen nachgewiesen wurde, dass für exogene Renditen mit Periodizität: (i) das wagemutige das vorsichtige Verhalten überbietet, und (ii) die genetischen Algorithmen in der Lage sind, die optimalen Investitionsstrategien zu finden und deshalb die anderen Strategien überbieten. Obwohl der Schwerpunkt dieser Dissertation im Zusammenhang mit dem Gebiet der Informatik präsentiert wurde, können die hier vorgestellten Ergebnisse auch in Szenarien angewendet werden, in denen der Agent anderere Arten von Ressourcen steuern muss, wie z.B. Energie, Zeitverbrauch, erwartete Lebensdauer, etc. / The main goal of this PhD thesis is to investigate some of the problems related to optimization of resources in environments with unpredictable behavior where: (i) not all information is available and (ii) the environment presents unknown temporal changes. The investigations in this PhD thesis are divided in two parts: Part I presents the investment model and some analytical as well as numerical analysis of the dynamics of this model for fixed investment strategies in different random environments. In this investment model, the dynamics of the investor''s budget x(t) depend on the stochasticity of the exogenous return on investment r(t) for which different model assumptions are discussed. The fat-tail distribution of the budget is investigated numerically and compared with theoretical predictions. Part II investigates an investment scenario with stylized exogenous returns characterized by a periodic function with different types and levels of noise. In this scenario, different strategies, agent''s behaviors and agent''s capacities to predict the future r(t) are investigated. Here, ''zero-intelligent'' agents using technical analysis (such as moving least squares) are compared with agents using genetic algorithms to predict r(t). Results are presented for extensive computer simulations, which shows that for exogenous returns with periodicity: (i) the daring behavior outperforms the cautious behavior and (ii) the genetic algorithm is able to find the optimal investment strategy by itself, thus outperforming the other strategies considered. Finally, the investment model is extended to include the formation of common investment projects between agents. Although the main focus of this PhD thesis is more related to the area of computer science, the results presented here can be also applied to scenarios where the agent has to control other kinds of resources, such as energy, time consumption, expected life time, etc.

O Dilema do Prisioneiro (DP) é o jogo mais proeminente da Teoria dos Jogos devido à emergência da cooperação entre jogadores egoístas. O comportamento de cada jogador depende da estratégia que ele adotada e do seu ganho, que é determinado em função dos parâmetros do DP (T, R, P e S) e do número z de vizinhos com que ele joga. Portanto, a estrutura espacial dos jogadores não é relevante. Em nosso trabalho, utilizamos um autômato celular unidimensional onde cada jogador pode cooperar ou desertar ao interagir, simetricamente, com seus z vizinhos mais próximos. O sistema proposto nos permitiu realizar um estudo exaustivo do espaço de parâmetros para as estratégias evolucionárias Darwiniana (EED) e a Pavloviana (EEP) e compara-las. A geometria unidimensional nos possibilita obter os mesmos resultados dos sistemas em dimensionalidade arbitrária d, além de apresentar várias vantagens em relação a elas. No sistema que propomos os efeitos de borda são menores, exige menos tempo para a execução das simulações numéricas, permite variar o valor de z e é fácil obter uma representação visual da evolução temporal do sistema. Tal visualização simplifica a compreensão das interações entre os jogadores, pois surgem padrões nos agrupamentos de cooperadores/desertores, semelhantes aos pertencentes às classes dos autômatos celulares elementares. O estudo destes padrões nos permite compreender simplesmente a emergência da cooperação ou deserção nos sistemas. A evolução temporal do sistema que adota a EED gera um diagrama de fases muito rico com a presença das fases cooperadora, desertora e caótica. Já para a EEP, obtivemos um novo resultado analítico para as transições de fase, que neste caso são: cooperadora e quasi-regular. O estudo numérico exaustivo determinou as regiões do espaço de parâmetros onde acontecem cada uma das fases, e os efeitos da auto-interação podendo assim validar os resultados teóricos. O estudo do caso particular T = 1, tradicionalmente considerado como trivial, mostrou que ele apresenta comportamentos inusitados. Nossa principal contribuição para o estudo do DP é a obtenção de um novo paradigma. A geometria unidimensional com interação de vizinhos simétricos permitiu a visualização da evolução de padrões de cooperadores e desertores, o cálculo analítico de Tc para a EEP e o estudo de T = 1 para tais sistemas. / The Prisoner Dilemma (PD) is the most prominent game of the Game Theory due to emergency of the cooperation between selfish players. The behavior of each player depends on his/her strategy and the payoff, which is determined in function of the PD parameters (T, R, P and S) and by the number z of neighbors with whom he/she plays. Therefore, the spatial structure of the players does not matter. In our work, we have used a one-dimensional cellular automaton where each player can cooperate or defect when interacting, symmetrically, with his/her z nearest neighbors. The considered system allowed us to carry out an exhaustive exploration of the parameters space for the Darwinian Evolutionary Strategy (EED) and Pavlovian (EEP) and compares them. One-dimensional geometry makes possible to us get the same results of the systems in arbitrary d dimensional networks, besides, it presents some advantages. For the system that we proposed compared to the others dimensional networks, the boundary effects are less present, it needs less time for run the numerical simulations, it allows to vary the z value and is easier to get the visual representation of the system temporal evolution. Such visualization simplifies the understanding of the interactions between the players, therefore patterns appear in the clusters of cooperator/defectors, and these patterns belong to the elementary cellular automata classes. The study of these patterns allows them to understand in an easy way the emergence of the cooperation or defection in the systems. The temporal evolution of the system that adopts the EED yields a very rich phases diagram with the presence of cooperative, defective and chaotic phases. By the other hand, for the EEP, we have got a new analytical result for the phase transitions that in this case are: quasi-regular and cooperative. The exhaustive exploration study determines the regions on the parameters space where happen each phases occurs, and the effect of the self-interaction and thus validate the theoretical results. The study of the particular case T = 1, traditionally considered as trivial one, showed that it presents unusual behaviors, that we will present. Our main contribution for the study of the DP is the attainment of a new paradigm. One-dimensional geometry with interaction of symmetrical neighbors allowed to visualizes the evolution of cooperators and defectors patterns, the analytical result for Tc for the EEP and the study of T = 1 for such systems.

O Dilema do Prisioneiro (DP) é o jogo mais proeminente da Teoria dos Jogos devido à emergência da cooperação entre jogadores egoístas. O comportamento de cada jogador depende da estratégia que ele adotada e do seu ganho, que é determinado em função dos parâmetros do DP (T, R, P e S) e do número z de vizinhos com que ele joga. Portanto, a estrutura espacial dos jogadores não é relevante. Em nosso trabalho, utilizamos um autômato celular unidimensional onde cada jogador pode cooperar ou desertar ao interagir, simetricamente, com seus z vizinhos mais próximos. O sistema proposto nos permitiu realizar um estudo exaustivo do espaço de parâmetros para as estratégias evolucionárias Darwiniana (EED) e a Pavloviana (EEP) e compara-las. A geometria unidimensional nos possibilita obter os mesmos resultados dos sistemas em dimensionalidade arbitrária d, além de apresentar várias vantagens em relação a elas. No sistema que propomos os efeitos de borda são menores, exige menos tempo para a execução das simulações numéricas, permite variar o valor de z e é fácil obter uma representação visual da evolução temporal do sistema. Tal visualização simplifica a compreensão das interações entre os jogadores, pois surgem padrões nos agrupamentos de cooperadores/desertores, semelhantes aos pertencentes às classes dos autômatos celulares elementares. O estudo destes padrões nos permite compreender simplesmente a emergência da cooperação ou deserção nos sistemas. A evolução temporal do sistema que adota a EED gera um diagrama de fases muito rico com a presença das fases cooperadora, desertora e caótica. Já para a EEP, obtivemos um novo resultado analítico para as transições de fase, que neste caso são: cooperadora e quasi-regular. O estudo numérico exaustivo determinou as regiões do espaço de parâmetros onde acontecem cada uma das fases, e os efeitos da auto-interação podendo assim validar os resultados teóricos. O estudo do caso particular T = 1, tradicionalmente considerado como trivial, mostrou que ele apresenta comportamentos inusitados. Nossa principal contribuição para o estudo do DP é a obtenção de um novo paradigma. A geometria unidimensional com interação de vizinhos simétricos permitiu a visualização da evolução de padrões de cooperadores e desertores, o cálculo analítico de Tc para a EEP e o estudo de T = 1 para tais sistemas. / The Prisoner Dilemma (PD) is the most prominent game of the Game Theory due to emergency of the cooperation between selfish players. The behavior of each player depends on his/her strategy and the payoff, which is determined in function of the PD parameters (T, R, P and S) and by the number z of neighbors with whom he/she plays. Therefore, the spatial structure of the players does not matter. In our work, we have used a one-dimensional cellular automaton where each player can cooperate or defect when interacting, symmetrically, with his/her z nearest neighbors. The considered system allowed us to carry out an exhaustive exploration of the parameters space for the Darwinian Evolutionary Strategy (EED) and Pavlovian (EEP) and compares them. One-dimensional geometry makes possible to us get the same results of the systems in arbitrary d dimensional networks, besides, it presents some advantages. For the system that we proposed compared to the others dimensional networks, the boundary effects are less present, it needs less time for run the numerical simulations, it allows to vary the z value and is easier to get the visual representation of the system temporal evolution. Such visualization simplifies the understanding of the interactions between the players, therefore patterns appear in the clusters of cooperator/defectors, and these patterns belong to the elementary cellular automata classes. The study of these patterns allows them to understand in an easy way the emergence of the cooperation or defection in the systems. The temporal evolution of the system that adopts the EED yields a very rich phases diagram with the presence of cooperative, defective and chaotic phases. By the other hand, for the EEP, we have got a new analytical result for the phase transitions that in this case are: quasi-regular and cooperative. The exhaustive exploration study determines the regions on the parameters space where happen each phases occurs, and the effect of the self-interaction and thus validate the theoretical results. The study of the particular case T = 1, traditionally considered as trivial one, showed that it presents unusual behaviors, that we will present. Our main contribution for the study of the DP is the attainment of a new paradigm. One-dimensional geometry with interaction of symmetrical neighbors allowed to visualizes the evolution of cooperators and defectors patterns, the analytical result for Tc for the EEP and the study of T = 1 for such systems.