A busca de soluções para a mobilidade urbana que minimizem a agressão do setor de tráfego e transportes ao meio ambiente está cada vez maior. Os veículos elétricos se posicionam como uma alternativa interessante, pois reduzem a emissão de gases poluentes na atmosfera, a poluição sonora e o consumo de petróleo. No entanto, sua limitada autonomia e a escassez de postos de recarga intimidam sua adoção. Por conta disso, políticas governamentais de incentivo têm sido desenvolvidas para a oferta de benefícios a quem optar por um veículo elétrico. Estima-se que dentro de poucas décadas toda a frota urbana será substituída por veículos dessa natureza. Por isso, é importante entender as mudanças no tempo de viagem e no consumo de energia oriundos da inclusão de veículos elétricos em cenários de tráfego. Trabalhos anteriores estudaram as diferenças entre os mecanismos internos de veículos convencionais e elétricos na determinação destas mudanças. Porém, dadas as características destes últimos, motoristas de veículos elétricos se preocupam com a economia de energia e podem optar por rotas diferentes. Logo, uma análise completa destes impactos deve considerar uma nova distribuição de tráfego. Este trabalho propõe um método biobjetivo de alocação de tráfego que considera o tempo de viagem e o consumo de energia para determinar a distribuição de veículos elétricos em cenários de tráfego urbano. Duas estratégias de distribuição de fluxo são propostas como mecanismos de escolha de rotas. Como parte da alocação de tráfego, é proposto um algoritmo biobjetivo de caminhos mínimos para veículos elétricos. A abordagem apresentada foi aplicada a três cenários distintos, onde percebeu-se uma diminuição de até 80% no consumo total de energia. Em cenários com congestionamento, observou-se um aumento de 10% no tempo de viagem. Já em cenários sem congestionamento o tempo de viagem diminuiu cerca de 2%. A recuperação de energia representa quase 6% da economia total dos veículos elétricos. Além disso, experimentos mostraram que investimentos na eficiência dos veículos elétricos podem resultar em uma economia de até 15% de energia. / The search for urban mobility solutions that minimize the aggression to the environment is increasing. Electric vehicles are an attractive alternative because they reduce greenhouse gas emissions, noise pollution, and oil consumption. However, their limited autonomy and the lack of charging stations restrict their popularization. Therefore, government incentive policies have been developed in order to offer benefits to those who choose an electric vehicle. It is estimated that the entire urban fleet will be replaced by these vehicles in a few decades. Therefore, it is important to understand the changes in travel time and energy consumption from the inclusion of electric vehicles in traffic scenarios. Previous works determined these changes by studying the differences between the internal engine of conventional and electric vehicles. However, given the characteristics of the latter, drivers of electric vehicles care about saving energy and may want to choose different routes. Thus, a complete analysis of these impacts should consider a redistribution of traffic. This work proposes a bi-objective traffic assignment method that considers the travel time and the energy consumption to determine the distribution of electric vehicles in urban traffic scenarios. We introduce two strategies for flow distribution as models of route choice. As a procedure of the traffic assignment method, we propose a bi-objective shortest path algorithm for electric vehicles. Our approach was applied to three different scenarios, which resulted in a decrease of up to 80% in total energy consumption. In congested scenarios, we observe an increase of about 10% in average travel time. In uncongested scenarios, travel time decreases about 2%. Energy recovery is almost 6% of the total savings of electric vehicles. Moreover, experiments have shown that investments in the efficiency of electric vehicles can result in up to 15% of energy savings.

Este trabalho apresenta uma variação do problema de roteamento de veículos que permite o uso de veículos com múltiplos compartimentos. A necessidade de veículos com múltiplos compartimentos surge com frequência em aplicações práticas quando uma série de produtos, que possuem diferentes qualidades ou tipo, precisam ser transportados mas não podem ser misturados. Este problema é chamado na literatura de roteamento de veículos com múltiplos compartimentos (PRVMC). Nós propomos uma heurística busca tabu implementada em uma busca local iterada para resolver este problema. Experimentos foram feitos para avaliar a performance da busca tabu iterada e os resultados obtidos foram comparados com os resultados disponíveis na literatura. O algoritimo proposto é capaz de encontrar soluções melhores e em menos tempo de processamento que as heurísticas existentes. / We study a variant of the vehicle routing problem that allows vehicles with multiple compartments. The need for multiple compartments frequently arises in practical applications when there are several products of different quality or type, that must be kept or handled separately. The resulting problem is called the multi-compartment vehicle routing problem (MCVRP). We propose a tabu search heuristic and embed it into an iterated local search to solve the MCVRP. In several experiments we analyze the performance of the iterated tabu search and compare it with results from the literature. We find that it consistently produces solutions that are better than existing heuristic algorithms.

Sistemas de transporte são sistemas complexos compostos de diferentes entidades que interagem entre si. A otimização do uso da infraestrutura de transporte existente, que é cada vez mais necessária dado o crescente aumento da demanda por mobilidade, passa pela simulação de novas tecnologias que podem vir a ser utilizadas no futuro, como a comunicação inter-veicular (IVC) e a tarifação viária adaptativa. Esta dissertação apresenta uma abordagem baseada em agentes para simulação de comunicação inter-veicular e tarifação viária adaptativa em sistemas de transporte. Motoristas são modelados como agentes minimizadores de custo, composto pelo tempo de viagem e pelas despesas com tarifas viárias. Os motoristas podem usar IVC para expandir seu conhecimento do estado da rede viária. Entre os motoristas que usam IVC, podem existir agentes maliciosos, que buscam afastar os demais de suas rotas, através da divulgação de informações falsas. Os agentes maliciosos podem ainda agir de maneira coordenada, de modo a divulgarem informações falsas sobre as rotas de todos os agentes do grupo. Pelo lado da infraestrutura, gerentes viários percebem o fluxo de veículos nas vias da rede viária e definem as tarifas a serem aplicadas através de um esquema de aprendizado por reforço. Nos experimentos realizados, empregamos um modelo microscópico de simulação de tráfego, o que permite observar o comportamento individual de cada entidade do sistema de transporte sob estudo. O cenário onde as simulações são executadas é uma rede viária com as principais vias arteriais da cidade de Porto Alegre, Brasil. Resultados experimentais indicam que um pequeno grupo coordenado de agentes maliciosos em cenários de IVC é capaz de causar prejuízos significativos aos demais motoristas. Embora na média o grupo não consiga reduzir seu tempo de viagem, alguns agentes maliciosos são beneficiados pela coordenação do grupo. Com relação à tarifação viária, os resultados experimentais indicam que o esquema de aprendizado por reforço não possui a mesma eficácia de um esquema de tarifação fixa quando se trata da maximização de fluxo de veículos na rede viária. Ambos os esquemas de tarifação são superados por um método de otimização de tráfego que assume conhecimento completo do estado da rede viária pelos motoristas. No aspecto individual, sob tarifação via aprendizado por reforço, os custos de deslocamento dos motoristas são superiores em comparação aos custos sob tarifação fixa. O modelo baseado em agentes apresentado nesta dissertação representa uma contribuição em direção à proposição de uma metodologia para integrar modelos comportamentais de usuários de sistemas de transporte que reagem aos padrões de tráfego e medidas de controle desses padrões, com foco em métodos descentralizados e distribuídos. / Transportation systems are complex systems composed of different interacting entities. The optimization of the existing transportation infrastructure usage, which becomes increasingly necessary given the increasing demand for mobility, requires simulation of new technologies that might be used in the future, such as inter-vehicular communication (IVC) and adaptive road pricing. This dissertation presents an agent-based approach for simulation of inter-vehicular communication and adaptive road pricing in transportation systems. Drivers are modeled as cost-minimizer agents, where the cost is composed by travel time and expenditure. Drivers can use IVC to expand their knowledge of the road network state. Among the IVC users, there might be malicious agents, which try to divert other drivers from their routes by spreading false information. The malicious agents can act in a coordinated way, by spreading false information about the routes of all the agents in the group. In the infrastructure side, link managers perceive the vehicular flow in the roads and define the prices to be applied by means of a reinforcement learning scheme. In the experiments, we employ a microscopic traffic simulation model, which allows us to observe the individual behavior of each entity in the studied transportation system. The scenario where the simulations are run is a road network with the main arterial roads of the city of Porto Alegre, Brazil. Experimental results indicate that a small group of coordinated malicious agents in IVC scenarios is able to cause significant losses to the other drivers. Although in average the group does not succeed in reducing their travel times, some agents are benefited by the coordination of the group. Regarding road pricing, experimental results indicate that the reinforcement learning scheme does not achieve the same effectiveness of a fixed pricing approach regarding the maximization of vehicular flow in the road network. Both pricing schemes are outperformed by an optimization method that assumes full knowledge of the road network state by the drivers. In the individual aspect, under pricing via reinforcement learning, drivers’ costs are higher compared to their costs under fixed pricing. The agent-based model presented in this dissertation is a contribution towards a methodology to integrate behavioral models of human travelers reacting to traffic patterns and control measures of these traffic patterns, focusing on distributed and decentralized methods.

Um melhor uso da infraestrutura da rede de transporte é um ponto fundamental para atenuar os efeitos dos congestionamentos no trânsito. Este trabalho utiliza aprendizado por reforço multiagente (MARL) para melhorar o uso da infraestrutura e, consequentemente, mitigar tais congestionamentos. A partir disso, diversos desafios surgem. Primeiro, a maioria da literatura assume que os motoristas aprendem (semáforos não possuem nenhum tipo de aprendizado) ou os semáforos aprendem (motoristas não alteram seus comportamentos). Em segundo lugar, independentemente do tipo de classe de agentes e do tipo de aprendizado, as ações são altamente acopladas, tornando a tarefa de aprendizado mais difícil. Terceiro, quando duas classes de agentes co-aprendem, as tarefas de aprendizado de cada agente são de natureza diferente (do ponto de vista do aprendizado por reforço multiagente). Finalmente, é utilizada uma modelagem microscópica, que modela os agentes com um alto nível de detalhes, o que não é trivial, pois cada agente tem seu próprio ritmo de aprendizado. Portanto, este trabalho não propõe somente a abordagem de co-aprendizado em agentes que atuam em ambiente compartilhado, mas também argumenta que essa tarefa precisa ser formulada de forma assíncrona. Além disso, os agentes motoristas podem atualizar os valores das ações disponíveis ao receber informações de outros motoristas. Os resultados mostram que a abordagem proposta, baseada no coaprendizado, supera outras políticas em termos de tempo médio de viagem. Além disso, quando o co-aprendizado é utilizado, as filas de veículos parados nos semáforos são menores. / A better use of transport network infrastructure is a key point in mitigating the effects of traffic congestion. This work uses multiagent reinforcement learning (MARL) to improve the use of infrastructure and, consequently, to reduce such congestion. From this, several challenges arise. First, most literature assumes that drivers learn (traffic lights do not have any type of learning) or the traffic lights learn (drivers do not change their behaviors). Second, regardless of the type of agent class and the type of learning, the actions are highly coupled, making the learning task more difficult. Third, when two classes of agents co-learn, the learning tasks of each agent are of a different nature (from the point of view of multiagent reinforcement learning). Finally, a microscopic modeling is used, which models the agents with a high level of detail, which is not trivial, since each agent has its own learning pace. Therefore, this work does not only propose the co-learnig approach in agents that act in a shared environment, but also argues that this taks needs to be formulated asynchronously. In addtion, driver agents can update the value of the available actions by receiving information from other drivers. The results show that the proposed approach, based on co-learning, outperforms other policies regarding average travel time. Also, when co-learning is use, queues of stopped vehicles at traffic lights are lower.

Esta dissertação de mestrado apresenta um estudo sobre os efeitos de diferentes funções de recompensa, aplicadas em aprendizado por reforço multiagente, para o problema de roteamento de veículos, em redes de tráfego. São abordadas duas funções de recompensas que diferem no alinhamento do sinal numérico enviado do ambiente ao agente. A primeira função, chamada função individual, é alinhada à utilidade individual do agente (veículo ou motorista) e busca minimizar seu tempo de viagem. Já a segunda função, por sua vez, é a chamada difference rewards, essa é alinhada à utilidade global do sistema e tem por objetivo minimizar o tempo médio de viagem na rede (tempo médio de viagem de todos os motoristas). Ambas as abordagens são aplicadas em dois cenários de roteamento de veículos que diferem em: quantidade de motoristas aprendendo, topologia e, consequentemente, nível de complexidade. As abordagens são comparadas com três técnicas de alocação de tráfego presentes na literatura. Resultados apontam que os métodos baseados em aprendizado por reforço apresentam desempenho superior aos métodos de alocação de rotas. Além disso, o alinhamento da função de recompensa à utilidade global proporciona uma melhora significativa nos resultados quando comparados com a função individual. Porém, para o cenário com maior quantidade de agentes aprendendo simultaneamente, ambas as abordagens apresentam soluções equivalentes. / This dissertation presents a study on the effects of different reward functions applyed to multiagent reinforcement learning, for the vehicles routing problem, in traffic networks. Two reward functions that differ in the alignment of the numerical signal sent from the environment to the agent are addressed. The first function, called individual function is aligned with the agent’s (vehicle or driver) utility and seeks to minimize their travel time. The second function, is called difference rewards and is aligned to the system’s utility and aims to minimize the average travel time on the network (average travel time of all drivers). Both approaches are applied to two routing vehicles’ problems, which differ in the number of learning drivers, network topology and therefore, level of complexity. These approaches are compared with three traffic assignment techniques from the literature. Results show that reinforcement learning-based methods yield superior results than traffic assignment methods. Furthermore, the reward function alignment to the global utility, provides a significant improvement in results when compared with the individual function. However, for scenarios with many agents learning simultaneously, both approaches yield equivalent solutions.

Problemas de otimização de restrições distribuídas (DCOP - Distributed Constraint Optimization Problem) formam uma classe de problemas de grande interesse de estudo na ciência da computação em função da complexidadecomputacionaL O presente trabalho tem o objetivo de comparar os três algoritmos mais populares em DCOP (ADOPT, OptAPO e DPOP) em termos de eficiência computacional e de solução proposta. Para tal estudo, é utilizado como domínio um problema de controle semafórico. Esse tipo de problema de controle é de fundamental importânciapara que se tenha uma administração eficiente do fluxo de veículos em uma malha viária. Além disso, envolve muitas interdependências entre variáveis da rede, como ocupação das vias e tempos de sinal verde dos semáforos, para que sejam determinadas as melhores configurações de controle. Nesse sentido, as estratégias devem fornecer bons resultados em nível de aplicação, e também em nível de computação, no que diz respeito ao uso da infra-estrutura computacional disponível, o que casa perfeitamente com os objetivos das implementações de DCOP. Ao longo deste trabalho, os temas relacionados à coordenação em sistemas multiagentes, otimização de restrições e controle de semáforos são estudados. Os modelos DCOP são utilizados com a finalidade de comparar os algoritmos.No que diz respeito aos resultados, percebe-se uma melhora no controle, obtida com o uso dos algoritmos DCOP em relação ao uso de controle fixo sincronizado e não sincronizado. Isso é verificado em nível de utilização das vias da rede. Além disso, outro tipo de resultado é verificado na execução dos algoritmos, tratando de questões como o tempo de execução. Foi possível estabelecer um comparativo entre os algoritmos e frente ao aumento do problema em quantidade de semáforos. / Distributed Constraint Optimization Problems (DCOP) have a significant importance in ComputerScience, due to its computationalcomplexity. The objective of this work is to compare the three most popular algorithms for DCOP (ADOPT,OptAPO and DPOP) in terms of computational efficiency and quality of the proposed solution. In arder to do that, a trafficcontrol scenario is used. This kind of problem is very important when considering an efficientadministration of the trafficnetwork,which involvesa lot of interdependencies among variables such as the occupation of the links and the split of the lights. The control strategies should be able to provide good results in terms of the domain application and consider the computational infrastructure available,matching exactly the objectives of the DCOP implementations. The present work is related to multiagent systems, constraint optimization and traffic light controI. The DCOP models are used in order to perfarm the comparison among the algorithms. The results show that is possible to improve the efficiency of the control over the c1assicapproaches of fixed traffic light timing. This is verifiedconsidering the utilization leveIof the network and the occurrence of trafficjams. Besides that, some computational issues are considered to compare the algorithms, for instance, the execution time.

Em sistemas de controle de tráfego veicular urbano existem diversas abordagens que lidam com o problema da redução do congestionamento de tráfego. Uma classe destas abordagens aplica a sincronização de semáforos a m de permitir que os veículos que viajam em um sentido possam passar diversos cruzamentos sem paradas. Este trabalho apresenta dois métodos de coordenação de agentes aplicados à sincroniza ção de semáforos. O primeiro método inspira-se em mecanismos de coordenação observados em insetos sociais e o segundo modela o problema de coordenação de semá- foros como um problema de otimização de restrições distribuído e faz sua resolução em tempo real utilizando mediação cooperativa. Inicialmente são apresentados conceitos básicos de sistemas de tráfego urbano, Swarm Intelligence e problemas de otimização de restrições. A partir dos conceitos iniciais, são apresentados os modelos propostos. Os resultados mostram que as abordagens propostas geram a coordenação entre os sem áforos sendo que o modo que os agentes estão coordenados pode mudar para se adaptar às mudanças nas condições do ambiente, gerando melhores condições de uxo de tráfego.

Este trabalho visa apresentar uma metodologia para modelagem de motoristas a serem utilizados em simulações de tráfego veicular discreto. Além da metodologia, será apresentada uma plataforma para implementação de motoristas, chamada DRIVER-DFW, baseada neste conceito. Inicialmente, serão apresentados alguns modelos de movimentação de veículos baseados no modelo de autômato celular Nagel–Schreckenberg. O modelo básico será apresentado juntamente com alguns de seus aperfeiçoamentos, que são os modelos utilizados no simulador ITSUMO, que por sua vez é utilizado como base para o trabalho. Além dos modelos de autômato celular, serão apresentados modelos de planejamento de rota, que se utilizam de várias heurísticas para a tomada de decisão dos motoristas. Destes, selecionou-se um para implementação e demonstração. Mostradas as etapas para composição do modelo completo de motorista, isto é, movimentação e planejamento, será apresentada a plataforma para implementação de motoristas desenvolvida neste trabalho. Esta separação é a base da plataforma DRIVER-DFW que é discutida com mais detalhes para auxiliar a compreensão do seu funcionamento. Além disso, é mostrado como a metodologia é aplicada na plataforma para implementação de motoristas DRIVER-DFW. Por fim, conclui-se que este trabalho apresenta uma alternativa bastante atraente para a implementação de modelos de motoristas, com uma metodologia e uma plataforma de desenvolvimento. Também são apresentadas as diretrizes para dar prosseguimento a este.

Este trabalho apresenta uma variação do problema de roteamento de veículos que permite o uso de veículos com múltiplos compartimentos. A necessidade de veículos com múltiplos compartimentos surge com frequência em aplicações práticas quando uma série de produtos, que possuem diferentes qualidades ou tipo, precisam ser transportados mas não podem ser misturados. Este problema é chamado na literatura de roteamento de veículos com múltiplos compartimentos (PRVMC). Nós propomos uma heurística busca tabu implementada em uma busca local iterada para resolver este problema. Experimentos foram feitos para avaliar a performance da busca tabu iterada e os resultados obtidos foram comparados com os resultados disponíveis na literatura. O algoritimo proposto é capaz de encontrar soluções melhores e em menos tempo de processamento que as heurísticas existentes. / We study a variant of the vehicle routing problem that allows vehicles with multiple compartments. The need for multiple compartments frequently arises in practical applications when there are several products of different quality or type, that must be kept or handled separately. The resulting problem is called the multi-compartment vehicle routing problem (MCVRP). We propose a tabu search heuristic and embed it into an iterated local search to solve the MCVRP. In several experiments we analyze the performance of the iterated tabu search and compare it with results from the literature. We find that it consistently produces solutions that are better than existing heuristic algorithms.

Sistemas de transporte são sistemas complexos compostos de diferentes entidades que interagem entre si. A otimização do uso da infraestrutura de transporte existente, que é cada vez mais necessária dado o crescente aumento da demanda por mobilidade, passa pela simulação de novas tecnologias que podem vir a ser utilizadas no futuro, como a comunicação inter-veicular (IVC) e a tarifação viária adaptativa. Esta dissertação apresenta uma abordagem baseada em agentes para simulação de comunicação inter-veicular e tarifação viária adaptativa em sistemas de transporte. Motoristas são modelados como agentes minimizadores de custo, composto pelo tempo de viagem e pelas despesas com tarifas viárias. Os motoristas podem usar IVC para expandir seu conhecimento do estado da rede viária. Entre os motoristas que usam IVC, podem existir agentes maliciosos, que buscam afastar os demais de suas rotas, através da divulgação de informações falsas. Os agentes maliciosos podem ainda agir de maneira coordenada, de modo a divulgarem informações falsas sobre as rotas de todos os agentes do grupo. Pelo lado da infraestrutura, gerentes viários percebem o fluxo de veículos nas vias da rede viária e definem as tarifas a serem aplicadas através de um esquema de aprendizado por reforço. Nos experimentos realizados, empregamos um modelo microscópico de simulação de tráfego, o que permite observar o comportamento individual de cada entidade do sistema de transporte sob estudo. O cenário onde as simulações são executadas é uma rede viária com as principais vias arteriais da cidade de Porto Alegre, Brasil. Resultados experimentais indicam que um pequeno grupo coordenado de agentes maliciosos em cenários de IVC é capaz de causar prejuízos significativos aos demais motoristas. Embora na média o grupo não consiga reduzir seu tempo de viagem, alguns agentes maliciosos são beneficiados pela coordenação do grupo. Com relação à tarifação viária, os resultados experimentais indicam que o esquema de aprendizado por reforço não possui a mesma eficácia de um esquema de tarifação fixa quando se trata da maximização de fluxo de veículos na rede viária. Ambos os esquemas de tarifação são superados por um método de otimização de tráfego que assume conhecimento completo do estado da rede viária pelos motoristas. No aspecto individual, sob tarifação via aprendizado por reforço, os custos de deslocamento dos motoristas são superiores em comparação aos custos sob tarifação fixa. O modelo baseado em agentes apresentado nesta dissertação representa uma contribuição em direção à proposição de uma metodologia para integrar modelos comportamentais de usuários de sistemas de transporte que reagem aos padrões de tráfego e medidas de controle desses padrões, com foco em métodos descentralizados e distribuídos. / Transportation systems are complex systems composed of different interacting entities. The optimization of the existing transportation infrastructure usage, which becomes increasingly necessary given the increasing demand for mobility, requires simulation of new technologies that might be used in the future, such as inter-vehicular communication (IVC) and adaptive road pricing. This dissertation presents an agent-based approach for simulation of inter-vehicular communication and adaptive road pricing in transportation systems. Drivers are modeled as cost-minimizer agents, where the cost is composed by travel time and expenditure. Drivers can use IVC to expand their knowledge of the road network state. Among the IVC users, there might be malicious agents, which try to divert other drivers from their routes by spreading false information. The malicious agents can act in a coordinated way, by spreading false information about the routes of all the agents in the group. In the infrastructure side, link managers perceive the vehicular flow in the roads and define the prices to be applied by means of a reinforcement learning scheme. In the experiments, we employ a microscopic traffic simulation model, which allows us to observe the individual behavior of each entity in the studied transportation system. The scenario where the simulations are run is a road network with the main arterial roads of the city of Porto Alegre, Brazil. Experimental results indicate that a small group of coordinated malicious agents in IVC scenarios is able to cause significant losses to the other drivers. Although in average the group does not succeed in reducing their travel times, some agents are benefited by the coordination of the group. Regarding road pricing, experimental results indicate that the reinforcement learning scheme does not achieve the same effectiveness of a fixed pricing approach regarding the maximization of vehicular flow in the road network. Both pricing schemes are outperformed by an optimization method that assumes full knowledge of the road network state by the drivers. In the individual aspect, under pricing via reinforcement learning, drivers’ costs are higher compared to their costs under fixed pricing. The agent-based model presented in this dissertation is a contribution towards a methodology to integrate behavioral models of human travelers reacting to traffic patterns and control measures of these traffic patterns, focusing on distributed and decentralized methods.