Sistemas que utilizam tecnologias computacionais no tratamento de problemas relativos ao trânsito são classificados como ITS ou Intelligent Transportation System [FAR 97]. Esses sistemas buscam, através de sincronismo e eficiência no controle de sinais de tráfego, gerenciar o fluxo de veículos na malha viária minimizando o problema de congestionamento urbano e, consequentemente, problemas decorrentes desse congestionamento como um maior consumo de combustível, maior tempo de espera para veículos específicos como ambulâncias, bombeiros, polícia e transporte coletivo, e maiores índices de poluição ambiental, sonora e atmosférica, entre outros [FED 99A]. Atuando na coleta dos dados a serem tratados e processados por um Sistema de Gerenciamento de Tráfego Urbano ou SGTU, estão os dispositivos de controle de tráfego, como semáforos e sensores para detectar e quantificar o volume de veículos e seus respectivos controladores. Computacionalmente, são fatores relevantes a interoperabilidade entre esses dispositivos de controle e padronizações adotadas, de forma que um SGTU possa evoluir através da agregação de novas facilidades e recursos ou ainda desabilitar ou modificar os já existentes. Dada as características da administração pública e dos procedimentos de aquisição, são adquiridos controladores de diferentes fabricantes e modelos, dificultando a integração entre os mesmos em função de suas tecnologias proprietárias e da falta de uma política e esforço governamental em busca de padronizações para o setor, principalmente no que diz respeito à interoperabilidade. Recentemente iniciou-se uma mobilização para se estabelecer padrões voltados à área de transporte nos Estados Unidos [EUL 95], Japão [JAP 99] e Europa [KAR 99], através da participação dos órgãos que administram o tráfego urbano, dos fabricantes de sistemas de hardware e software, da comunidade acadêmica, dos órgãos de padronizações locais e das variadas instâncias da esfera governamental. Este trabalho apresenta o CONTRAM, modelo de um middleware que, tratando os controladores de dispositivos de controle tráfego instalados ao longo da malha viária baseado nos paradigmas de sistemas distribuídos, possa ser utilizado como interface entre estes e as aplicações computacionais de gerenciamento de tráfego, permitindo a integração de diferentes especificações em um único sistema. O seu escopo é atender às transações de consulta e configuração de valores dos dados utilizados para controlar, monitorar e gerenciar o tráfego de veículos, liberando um SGTU de conhecer detalhes técnicos envolvidos na comunicação com os controladores. O modelo baseia-se em uma arquitetura multicamadas, 4-tier, permitindo o gerenciamento de recursos de forma centralizada ou distribuída, neste último trocando dados através da internet, e integra-se aos sistemas legados e OO através do método black-box e chamada de objetos respectivamente. Foi projetado tendo em mente a utilização de padrões abertos da indústria da Informática e de Transportes, a interoperabilidade entre diferentes elementos tecnológicos voltados ao controle de tráfego e a expansibilidade segura de um SGTU. Para alcançar seu objetivo, faz uso de tecnologias baseadas em metadados e agentes SNMP. / Systems that use computational technologies in the handling of the traffic problems are classified as ITS or Intelligent Transportation System. These systems search through synchronism and efficiency in traffic signs control, to manage the stream of vehicles in the road network, minimizing the problem of urban congestion and, consequently, decurrent problems of this congestion as a major fuel consumption, major waiting time for specific vehicles as ambulances, firemen, policy and collective carrier and greaters indices of ambient pollution, sonorous and atmospheric, amongst others. Acting in the data collection to be treat and processed for a Urban Traffic Control System or UTCS, they are the traffic control devices, as traffic lights and sensors to detect and quantify the volume of vehicles and, its respective controllers. Computational, important factors are the interoperability among these control devices and standardizations adopted, allowing UTCS customize through the new easinesses and features aggregation or still disable or modify already the existing ones. Given the features of the public management and the acquisition procedures, different controllers models of different manufacturers are acquired, making it difficult the integration in function of its proprietary technologies and the lack of one politics and governmental effort in considering standardizations for the sector, mainly about interoperability. Recently was initiated a mobilization of standards establishing to the Transportation area in the United States, Japan and Europe, through the participation of the agencies that manage the urban traffic, hardware and software solutions providers, academic community, local standardizations agencies and the varied instances of the governmental sphere. This work presents the CONTRAM, a middleware model that, treating the traffic controllers installed in road networks based in distributed systems paradigms, can be used as interface between the computational applications of traffic management and the controllers of control devices, allowing the integration of different specifications in an only system. Its target is to take care of to get and set transactions on data values used to control, monitor and manage the vehicles traffic, liberating a UTCS to know technician details in the communication with the controllers. The model is based on multilayers architecture, 4-tier, allowing the resources management in centered or distributed form, in last one changing data through the Internet and it is combined to the legacies systems and OO through the black-box and object call method respectively. It was projected having in mind the use of open standards of the Transportation and Computer science industries , interoperability between different traffic control technological elements and the UTCS expansibility safe. To reach its objective, it makes use of metadata and SNMP agents technologies.

Este trabalho apresenta um novo método para o rastreamento e contagem de veículos em vídeos de tráfego urbano. Usando técnicas de processamento de imagens e de agrupamentos de partículas, o método proposto usa coerência de movimento e coerência espacial para agrupar partículas, de modo que cada grupo represente veículos nas sequências de vídeo. Uma máscara contendo os objetos do primeiro plano é criada usando os métodos Gaussian Mixture Model e Motion Energy Images para determinar os locais onde as partículas devem ser geradas, e as regiões convexas dos agrupamentos são então analisadas para verificar se correspondem a um veículo. Esta análise leva em consideração a forma convexa dos grupos de partículas (objetos) e a máscara de foreground para realizar a fusão ou divisão dos agrupamentos obtidos. Depois que um veículo é identificado, ele é rastreado utilizando similaridade de histogramas de cor em janelas centradas nas partículas dos agrupamentos. A contagem de veículos acontece em laços virtuais definidos pelo usuário, através da interseção dos veículos rastreados com os laços virtuais. Testes foram realizados utilizando seis diferentes vídeos de tráfego, em um total de 80000 quadros. Os resultados foram comparados com métodos semelhantes disponíveis na literatura, fornecendo, resultados equivalentes ou superiores. / This work presents a new method for tracking and counting vehicles in traffic videos. Using techniques of image processing and particle clustering, the proposed method uses motion coherence and spatial adjacency to group particles so that each group represents vehicles in the video sequences. A foreground mask is created using Gaussian Mixture Model and Motion Energy Images to determine the locations where the particles must be generated, and the convex shapes of detecting groups are then analyzed for the potential detection of vehicles. This analysis takes into consideration the convex shape of the particle groups (objects) and the foreground mask to merge or split the obtained groupings. After a vehicle is identified, it is tracked using the similarity of color histograms on windows centered at the particle locations. The vehicle count takes place on userdefined virtual loops, through the intersections of tracked vehicles with the virtual loops. Tests were conducted using six different traffic videos, on a total of 80.000 frames. The results were compared with similar methods available in the literature, providing results equivalent or superior.

Aprendizagem por reforço multiagente (do inglês, MARL) é uma tarefa desafiadora em que agentes buscam, concorrentemente, uma política capaz de maximizar sua utilidade. Aprender neste tipo de cenário é difícil porque os agentes devem se adaptar uns aos outros, tornando o objetivo um alvo em movimento. Consequentemente, não existem garantias de convergência para problemas de MARL em geral. Esta tese explora um problema em particular, denominado escolha de rotas (onde motoristas egoístas deve escolher rotas que minimizem seus custos de viagem), em busca de garantias de convergência. Em particular, esta tese busca garantir a convergência de algoritmos de MARL para o equilíbrio dos usuários (onde nenhum motorista consegue melhorar seu desempenho mudando de rota) e para o ótimo do sistema (onde o tempo médio de viagem é mínimo). O principal objetivo desta tese é mostrar que, no contexto de escolha de rotas, é possível garantir a convergência de algoritmos de MARL sob certas condições. Primeiramente, introduzimos uma algoritmo de aprendizagem por reforço baseado em minimização de arrependimento, o qual provamos ser capaz de convergir para o equilíbrio dos usuários Nosso algoritmo estima o arrependimento associado com as ações dos agentes e usa tal informação como sinal de reforço dos agentes. Além do mais, estabelecemos um limite superior no arrependimento dos agentes. Em seguida, estendemos o referido algoritmo para lidar com informações não-locais, fornecidas por um serviço de navegação. Ao usar tais informações, os agentes são capazes de estimar melhor o arrependimento de suas ações, o que melhora seu desempenho. Finalmente, de modo a mitigar os efeitos do egoísmo dos agentes, propomos ainda um método genérico de pedágios baseados em custos marginais, onde os agentes são cobrados proporcionalmente ao custo imposto por eles aos demais. Neste sentido, apresentamos ainda um algoritmo de aprendizagem por reforço baseado em pedágios que, provamos, converge para o ótimo do sistema e é mais justo que outros existentes na literatura. / Multiagent reinforcement learning (MARL) is a challenging task, where self-interested agents concurrently learn a policy that maximise their utilities. Learning here is difficult because agents must adapt to each other, which makes their objective a moving target. As a side effect, no convergence guarantees exist for the general MARL setting. This thesis exploits a particular MARL problem, namely route choice (where selfish drivers aim at choosing routes that minimise their travel costs), to deliver convergence guarantees. We are particularly interested in guaranteeing convergence to two fundamental solution concepts: the user equilibrium (UE, when no agent benefits from unilaterally changing its route) and the system optimum (SO, when average travel time is minimum). The main goal of this thesis is to show that, in the context of route choice, MARL can be guaranteed to converge to the UE as well as to the SO upon certain conditions. Firstly, we introduce a regret-minimising Q-learning algorithm, which we prove that converges to the UE. Our algorithm works by estimating the regret associated with agents’ actions and using such information as reinforcement signal for updating the corresponding Q-values. We also establish a bound on the agents’ regret. We then extend this algorithm to deal with non-local information provided by a navigation service. Using such information, agents can improve their regrets estimates, thus performing empirically better. Finally, in order to mitigate the effects of selfishness, we also present a generalised marginal-cost tolling scheme in which drivers are charged proportional to the cost imposed on others. We then devise a toll-based Q-learning algorithm, which we prove that converges to the SO and that is fairer than existing tolling schemes.

O rápido crescimento das regiões urbanas tem impacto significativo nos sistemas de tráfego e transportes. Políticas de gerenciamento e estratégias de planejamento alternativas são claramente necessárias para o tratamento da capacidade limitada, e cada vez mais deficitária, das redes viárias. O conceito de Sistemas Inteligentes de Transportes (ITS) surge neste cenário; mais do que procurar aumentar a capacidade por meio de modificações físicas na infraestrutura, sua premissa baseia-se na utilização de tecnologias avançadas de comunicação e computação para melhor gerir os recursos de tráfego e transportes atuais. Influenciar o padrão do comportamento dos usuários é um desafio que tem estimulado muita pesquisa na área de ITS, onde fatores humanos passam a ter grande importância na modelagem, simulação e avaliação dessa abordagem inovadora. Este trabalho tem como foco a utilização de Sistemas Multiagentes (MAS) na representação dos sistemas de tráfego e transporte, com base nas novasmedidas de desempenho impostas pelas tecnologias ITS. As características de agentes têm grande potencial para representar componentes geográfica e funcionalmente distribuídos, como a maioria dos elementos no domínio da aplicação. Uma arquitetura BDI (beliefs, desires, intentions) é apresentada como alternativa a modelos tradicionais, usados para representar o comportamento do motorista em simulação microscópica, considerando-se a representação explícita dos estados mentais dos usuários. Os conceitos básicos de ITS e MAS são apresentados, assim como exemplos de aplicações relacionados com o tema do trabalho. Esta foi a motivação para a extensão de um simulador microscópico existente, no sentido de incorporar as características dos MAS para melhorar a representação dos motoristas. Assim, a demanda é gerada a partir de uma população de agentes, resultando da decisão sobre a rota e o tempo de partida ao longo de vários dias. O modelo estendido, que passa a suportar a interação de motoristas BDI, foi efetivamente implementado e foram executados diferentes experimentos para testar a abordagem em cenários de tráfego urbano. MAS permite uma abordagem direcionada a processos que facilita a construção de representações modulares, robustas, e extensíveis, características pouco presentes em abordagens voltadas ao resultado. Suas premissas de abstração permitem uma associação direta entre modelo e implementação. Incerteza e variabilidade são assim tratadas de maneira mais intuitiva, uma vez que arquiteturas cognitivas permitem uma fácil representação do comportamento humano na estrutura do motorista. Desta forma, MAS estende a simulação microscópica de tráfego no sentido de melhor representar a complexidade inerente às tecnologias ITS. / The rapid growth of urban areas has a significant impact on traffic and transportation systems. New management policies and planning strategies are clearly necessary to cope with the more than ever limited capacity of existing road networks. The concept of Intelligent Transportation System (ITS) arises in this scenario; rather than attempting to increase road capacity by means of physical modifications to the infrastructure, the premise of ITS relies on the use of advanced communication and computer technologies to handle today’s traffic and transportation facilities. Influencing users’ behaviour patterns is a challenge that has stimulated much research in the ITS field, where human factors start gaining great importance to modelling, simulating, and assessing such an innovative approach. This work is aimed at using Multi-agent Systems (MAS) to represent the traffic and transportation systems in the light of the new performance measures brought about by ITS technologies. Agent features have good potentialities to represent those components of a system that are geographically and functionally distributed, such as most components in traffic and transportation. A BDI (beliefs, desires, and intentions) architecture is presented as an alternative to traditional models used to represent the driver behaviour within microscopic simulation allowing for an explicit representation of users’ mental states. Basic concepts of ITS and MAS are presented, as well as some application examples related to the subject. This has motivated the extension of an existing microscopic simulation framework to incorporate MAS features to enhance the representation of drivers. This way demand is generated from a population of agents as the result of their decisions on route and departure time, on a daily basis. The extended simulation model that now supports the interaction of BDI driver agents was effectively implemented, and different experiments were performed to test this approach in commuter scenarios. MAS provides a process-driven approach that fosters the easy construction of modular, robust, and scalable models, characteristics that lack in former result-driven approaches. Its abstraction premises allow for a closer association between the model and its practical implementation. Uncertainty and variability are addressed in a straightforward manner, as an easier representation of humanlike behaviours within the driver structure is provided by cognitive architectures, such as the BDI approach used in this work. This way MAS extends microscopic simulation of traffic to better address the complexity inherent in ITS technologies.

O uso de sistemas de assistência ao motorista (DAS) baseados em visão tem contribuído consideravelmente na redução de acidentes e consequentemente no auxílio de uma melhor condução. Estes sistemas utilizam basicamente uma câmera de vídeo embarcada (normalmente fixada no para-brisa) com o propósito de extrair informações acerca da rodovia e ajudar o condutor num melhor processo de dirigibilidade. Pequenas distrações ou a perda de concentração podem ser suficientes para que um acidente ocorra. Este trabalho apresenta uma proposta para o desenvolvimento de algoritmos para extrair informações sobre a sinalização em rodovias. Mais precisamente, serão abordados algoritmos de calibração de câmera explorando a geometria da pista, de extração da marcação de pintura (sinalização horizontal) e detecção e identificação de placas de trânsito (sinalização vertical). Os resultados experimentais indicam que o método de calibração de câmera alcançou bons resultados na obtenção dos parâmetros extrínsecos com erros inferiores a 0:5 . O erro médio encontrado nos experimentos com relação a estimativa da altura da câmera foi em torno de 12 cm (erro relativo aproximado de 10%), permitindo explorar o uso da realidade aumentada como uma possível aplicação. A acurácia global para a detecção e reconhecimento da sinalização horizontal (marcas seccionadas, contínuas e mistas) foi acima de 96% perante uma diversidade de situações apresentadas, tais como: sombras, variação de iluminação, degradação do asfalto e pintura. O uso da câmera calibrada para a detecção da sinalização vertical contribui para delimitar o espaço de varredura da janela deslizante do detector, bem como realizar a procura por placas em uma única escala para cada região de busca, caracterizada pela distância ao veículo. Os resultados apresentados reportam uma taxa global de classificação de aproximadamente 99% para o sinal de proibido ultrapassar, considerando-se uma base de dados limitada a 962 amostras. / The use of driver assistance systems (DAS) based on computer vision has helped considerably in reducing accidents and consequently aid in better driving. These systems primarily use an embedded video camera (usually fixed on the windshield) for the purpose of extracting information about the highway and assisting the driver in a better handling process. Small distractions or loss of concentration may be sufficient for an accident to occur. This work presents the development of algorithms to extract information about traffic signs on highways. More specifically, this work will tackle a camera calibration algorithm that exploits the geometry of the road track, algorithms for the extraction of road marking paint (lane markings) and detection and identification of vertical traffic signs. Experimental results indicate that the proposed method for obtaining the extrinsic parameters achieve good results with errors of less than 0:5 . The average error in our experiments, related to the camera height, were around 12 cm (relative error around 10%). Global accuracy for the detection and classification of road lane markings (dashed, solid, dashed-solid, solid-dashed or double solid) were over 96%. Finally, our camera calibration algorithm was used to reduce the search region and to define the scale of a slidingwindow detector for vertical traffic signs. The use of the calibrated camera for the detection of traffic signs contributes to define the scanning area of the sliding window and perform a search for signs on a unique scale for each region of interest, determined by the distance to the vehicle. The results reported a global classification rate of approximately 99% for the no overtaking sign, considering a limited of 962 samples.

Aprendizagem por reforço multiagente (do inglês, MARL) é uma tarefa desafiadora em que agentes buscam, concorrentemente, uma política capaz de maximizar sua utilidade. Aprender neste tipo de cenário é difícil porque os agentes devem se adaptar uns aos outros, tornando o objetivo um alvo em movimento. Consequentemente, não existem garantias de convergência para problemas de MARL em geral. Esta tese explora um problema em particular, denominado escolha de rotas (onde motoristas egoístas deve escolher rotas que minimizem seus custos de viagem), em busca de garantias de convergência. Em particular, esta tese busca garantir a convergência de algoritmos de MARL para o equilíbrio dos usuários (onde nenhum motorista consegue melhorar seu desempenho mudando de rota) e para o ótimo do sistema (onde o tempo médio de viagem é mínimo). O principal objetivo desta tese é mostrar que, no contexto de escolha de rotas, é possível garantir a convergência de algoritmos de MARL sob certas condições. Primeiramente, introduzimos uma algoritmo de aprendizagem por reforço baseado em minimização de arrependimento, o qual provamos ser capaz de convergir para o equilíbrio dos usuários Nosso algoritmo estima o arrependimento associado com as ações dos agentes e usa tal informação como sinal de reforço dos agentes. Além do mais, estabelecemos um limite superior no arrependimento dos agentes. Em seguida, estendemos o referido algoritmo para lidar com informações não-locais, fornecidas por um serviço de navegação. Ao usar tais informações, os agentes são capazes de estimar melhor o arrependimento de suas ações, o que melhora seu desempenho. Finalmente, de modo a mitigar os efeitos do egoísmo dos agentes, propomos ainda um método genérico de pedágios baseados em custos marginais, onde os agentes são cobrados proporcionalmente ao custo imposto por eles aos demais. Neste sentido, apresentamos ainda um algoritmo de aprendizagem por reforço baseado em pedágios que, provamos, converge para o ótimo do sistema e é mais justo que outros existentes na literatura. / Multiagent reinforcement learning (MARL) is a challenging task, where self-interested agents concurrently learn a policy that maximise their utilities. Learning here is difficult because agents must adapt to each other, which makes their objective a moving target. As a side effect, no convergence guarantees exist for the general MARL setting. This thesis exploits a particular MARL problem, namely route choice (where selfish drivers aim at choosing routes that minimise their travel costs), to deliver convergence guarantees. We are particularly interested in guaranteeing convergence to two fundamental solution concepts: the user equilibrium (UE, when no agent benefits from unilaterally changing its route) and the system optimum (SO, when average travel time is minimum). The main goal of this thesis is to show that, in the context of route choice, MARL can be guaranteed to converge to the UE as well as to the SO upon certain conditions. Firstly, we introduce a regret-minimising Q-learning algorithm, which we prove that converges to the UE. Our algorithm works by estimating the regret associated with agents’ actions and using such information as reinforcement signal for updating the corresponding Q-values. We also establish a bound on the agents’ regret. We then extend this algorithm to deal with non-local information provided by a navigation service. Using such information, agents can improve their regrets estimates, thus performing empirically better. Finally, in order to mitigate the effects of selfishness, we also present a generalised marginal-cost tolling scheme in which drivers are charged proportional to the cost imposed on others. We then devise a toll-based Q-learning algorithm, which we prove that converges to the SO and that is fairer than existing tolling schemes.

O rápido crescimento das regiões urbanas tem impacto significativo nos sistemas de tráfego e transportes. Políticas de gerenciamento e estratégias de planejamento alternativas são claramente necessárias para o tratamento da capacidade limitada, e cada vez mais deficitária, das redes viárias. O conceito de Sistemas Inteligentes de Transportes (ITS) surge neste cenário; mais do que procurar aumentar a capacidade por meio de modificações físicas na infraestrutura, sua premissa baseia-se na utilização de tecnologias avançadas de comunicação e computação para melhor gerir os recursos de tráfego e transportes atuais. Influenciar o padrão do comportamento dos usuários é um desafio que tem estimulado muita pesquisa na área de ITS, onde fatores humanos passam a ter grande importância na modelagem, simulação e avaliação dessa abordagem inovadora. Este trabalho tem como foco a utilização de Sistemas Multiagentes (MAS) na representação dos sistemas de tráfego e transporte, com base nas novasmedidas de desempenho impostas pelas tecnologias ITS. As características de agentes têm grande potencial para representar componentes geográfica e funcionalmente distribuídos, como a maioria dos elementos no domínio da aplicação. Uma arquitetura BDI (beliefs, desires, intentions) é apresentada como alternativa a modelos tradicionais, usados para representar o comportamento do motorista em simulação microscópica, considerando-se a representação explícita dos estados mentais dos usuários. Os conceitos básicos de ITS e MAS são apresentados, assim como exemplos de aplicações relacionados com o tema do trabalho. Esta foi a motivação para a extensão de um simulador microscópico existente, no sentido de incorporar as características dos MAS para melhorar a representação dos motoristas. Assim, a demanda é gerada a partir de uma população de agentes, resultando da decisão sobre a rota e o tempo de partida ao longo de vários dias. O modelo estendido, que passa a suportar a interação de motoristas BDI, foi efetivamente implementado e foram executados diferentes experimentos para testar a abordagem em cenários de tráfego urbano. MAS permite uma abordagem direcionada a processos que facilita a construção de representações modulares, robustas, e extensíveis, características pouco presentes em abordagens voltadas ao resultado. Suas premissas de abstração permitem uma associação direta entre modelo e implementação. Incerteza e variabilidade são assim tratadas de maneira mais intuitiva, uma vez que arquiteturas cognitivas permitem uma fácil representação do comportamento humano na estrutura do motorista. Desta forma, MAS estende a simulação microscópica de tráfego no sentido de melhor representar a complexidade inerente às tecnologias ITS. / The rapid growth of urban areas has a significant impact on traffic and transportation systems. New management policies and planning strategies are clearly necessary to cope with the more than ever limited capacity of existing road networks. The concept of Intelligent Transportation System (ITS) arises in this scenario; rather than attempting to increase road capacity by means of physical modifications to the infrastructure, the premise of ITS relies on the use of advanced communication and computer technologies to handle today’s traffic and transportation facilities. Influencing users’ behaviour patterns is a challenge that has stimulated much research in the ITS field, where human factors start gaining great importance to modelling, simulating, and assessing such an innovative approach. This work is aimed at using Multi-agent Systems (MAS) to represent the traffic and transportation systems in the light of the new performance measures brought about by ITS technologies. Agent features have good potentialities to represent those components of a system that are geographically and functionally distributed, such as most components in traffic and transportation. A BDI (beliefs, desires, and intentions) architecture is presented as an alternative to traditional models used to represent the driver behaviour within microscopic simulation allowing for an explicit representation of users’ mental states. Basic concepts of ITS and MAS are presented, as well as some application examples related to the subject. This has motivated the extension of an existing microscopic simulation framework to incorporate MAS features to enhance the representation of drivers. This way demand is generated from a population of agents as the result of their decisions on route and departure time, on a daily basis. The extended simulation model that now supports the interaction of BDI driver agents was effectively implemented, and different experiments were performed to test this approach in commuter scenarios. MAS provides a process-driven approach that fosters the easy construction of modular, robust, and scalable models, characteristics that lack in former result-driven approaches. Its abstraction premises allow for a closer association between the model and its practical implementation. Uncertainty and variability are addressed in a straightforward manner, as an easier representation of humanlike behaviours within the driver structure is provided by cognitive architectures, such as the BDI approach used in this work. This way MAS extends microscopic simulation of traffic to better address the complexity inherent in ITS technologies.

Aprendizagem por reforço multiagente (do inglês, MARL) é uma tarefa desafiadora em que agentes buscam, concorrentemente, uma política capaz de maximizar sua utilidade. Aprender neste tipo de cenário é difícil porque os agentes devem se adaptar uns aos outros, tornando o objetivo um alvo em movimento. Consequentemente, não existem garantias de convergência para problemas de MARL em geral. Esta tese explora um problema em particular, denominado escolha de rotas (onde motoristas egoístas deve escolher rotas que minimizem seus custos de viagem), em busca de garantias de convergência. Em particular, esta tese busca garantir a convergência de algoritmos de MARL para o equilíbrio dos usuários (onde nenhum motorista consegue melhorar seu desempenho mudando de rota) e para o ótimo do sistema (onde o tempo médio de viagem é mínimo). O principal objetivo desta tese é mostrar que, no contexto de escolha de rotas, é possível garantir a convergência de algoritmos de MARL sob certas condições. Primeiramente, introduzimos uma algoritmo de aprendizagem por reforço baseado em minimização de arrependimento, o qual provamos ser capaz de convergir para o equilíbrio dos usuários Nosso algoritmo estima o arrependimento associado com as ações dos agentes e usa tal informação como sinal de reforço dos agentes. Além do mais, estabelecemos um limite superior no arrependimento dos agentes. Em seguida, estendemos o referido algoritmo para lidar com informações não-locais, fornecidas por um serviço de navegação. Ao usar tais informações, os agentes são capazes de estimar melhor o arrependimento de suas ações, o que melhora seu desempenho. Finalmente, de modo a mitigar os efeitos do egoísmo dos agentes, propomos ainda um método genérico de pedágios baseados em custos marginais, onde os agentes são cobrados proporcionalmente ao custo imposto por eles aos demais. Neste sentido, apresentamos ainda um algoritmo de aprendizagem por reforço baseado em pedágios que, provamos, converge para o ótimo do sistema e é mais justo que outros existentes na literatura. / Multiagent reinforcement learning (MARL) is a challenging task, where self-interested agents concurrently learn a policy that maximise their utilities. Learning here is difficult because agents must adapt to each other, which makes their objective a moving target. As a side effect, no convergence guarantees exist for the general MARL setting. This thesis exploits a particular MARL problem, namely route choice (where selfish drivers aim at choosing routes that minimise their travel costs), to deliver convergence guarantees. We are particularly interested in guaranteeing convergence to two fundamental solution concepts: the user equilibrium (UE, when no agent benefits from unilaterally changing its route) and the system optimum (SO, when average travel time is minimum). The main goal of this thesis is to show that, in the context of route choice, MARL can be guaranteed to converge to the UE as well as to the SO upon certain conditions. Firstly, we introduce a regret-minimising Q-learning algorithm, which we prove that converges to the UE. Our algorithm works by estimating the regret associated with agents’ actions and using such information as reinforcement signal for updating the corresponding Q-values. We also establish a bound on the agents’ regret. We then extend this algorithm to deal with non-local information provided by a navigation service. Using such information, agents can improve their regrets estimates, thus performing empirically better. Finally, in order to mitigate the effects of selfishness, we also present a generalised marginal-cost tolling scheme in which drivers are charged proportional to the cost imposed on others. We then devise a toll-based Q-learning algorithm, which we prove that converges to the SO and that is fairer than existing tolling schemes.

O uso de sistemas de assistência ao motorista (DAS) baseados em visão tem contribuído consideravelmente na redução de acidentes e consequentemente no auxílio de uma melhor condução. Estes sistemas utilizam basicamente uma câmera de vídeo embarcada (normalmente fixada no para-brisa) com o propósito de extrair informações acerca da rodovia e ajudar o condutor num melhor processo de dirigibilidade. Pequenas distrações ou a perda de concentração podem ser suficientes para que um acidente ocorra. Este trabalho apresenta uma proposta para o desenvolvimento de algoritmos para extrair informações sobre a sinalização em rodovias. Mais precisamente, serão abordados algoritmos de calibração de câmera explorando a geometria da pista, de extração da marcação de pintura (sinalização horizontal) e detecção e identificação de placas de trânsito (sinalização vertical). Os resultados experimentais indicam que o método de calibração de câmera alcançou bons resultados na obtenção dos parâmetros extrínsecos com erros inferiores a 0:5 . O erro médio encontrado nos experimentos com relação a estimativa da altura da câmera foi em torno de 12 cm (erro relativo aproximado de 10%), permitindo explorar o uso da realidade aumentada como uma possível aplicação. A acurácia global para a detecção e reconhecimento da sinalização horizontal (marcas seccionadas, contínuas e mistas) foi acima de 96% perante uma diversidade de situações apresentadas, tais como: sombras, variação de iluminação, degradação do asfalto e pintura. O uso da câmera calibrada para a detecção da sinalização vertical contribui para delimitar o espaço de varredura da janela deslizante do detector, bem como realizar a procura por placas em uma única escala para cada região de busca, caracterizada pela distância ao veículo. Os resultados apresentados reportam uma taxa global de classificação de aproximadamente 99% para o sinal de proibido ultrapassar, considerando-se uma base de dados limitada a 962 amostras. / The use of driver assistance systems (DAS) based on computer vision has helped considerably in reducing accidents and consequently aid in better driving. These systems primarily use an embedded video camera (usually fixed on the windshield) for the purpose of extracting information about the highway and assisting the driver in a better handling process. Small distractions or loss of concentration may be sufficient for an accident to occur. This work presents the development of algorithms to extract information about traffic signs on highways. More specifically, this work will tackle a camera calibration algorithm that exploits the geometry of the road track, algorithms for the extraction of road marking paint (lane markings) and detection and identification of vertical traffic signs. Experimental results indicate that the proposed method for obtaining the extrinsic parameters achieve good results with errors of less than 0:5 . The average error in our experiments, related to the camera height, were around 12 cm (relative error around 10%). Global accuracy for the detection and classification of road lane markings (dashed, solid, dashed-solid, solid-dashed or double solid) were over 96%. Finally, our camera calibration algorithm was used to reduce the search region and to define the scale of a slidingwindow detector for vertical traffic signs. The use of the calibrated camera for the detection of traffic signs contributes to define the scanning area of the sliding window and perform a search for signs on a unique scale for each region of interest, determined by the distance to the vehicle. The results reported a global classification rate of approximately 99% for the no overtaking sign, considering a limited of 962 samples.

O rápido crescimento das regiões urbanas tem impacto significativo nos sistemas de tráfego e transportes. Políticas de gerenciamento e estratégias de planejamento alternativas são claramente necessárias para o tratamento da capacidade limitada, e cada vez mais deficitária, das redes viárias. O conceito de Sistemas Inteligentes de Transportes (ITS) surge neste cenário; mais do que procurar aumentar a capacidade por meio de modificações físicas na infraestrutura, sua premissa baseia-se na utilização de tecnologias avançadas de comunicação e computação para melhor gerir os recursos de tráfego e transportes atuais. Influenciar o padrão do comportamento dos usuários é um desafio que tem estimulado muita pesquisa na área de ITS, onde fatores humanos passam a ter grande importância na modelagem, simulação e avaliação dessa abordagem inovadora. Este trabalho tem como foco a utilização de Sistemas Multiagentes (MAS) na representação dos sistemas de tráfego e transporte, com base nas novasmedidas de desempenho impostas pelas tecnologias ITS. As características de agentes têm grande potencial para representar componentes geográfica e funcionalmente distribuídos, como a maioria dos elementos no domínio da aplicação. Uma arquitetura BDI (beliefs, desires, intentions) é apresentada como alternativa a modelos tradicionais, usados para representar o comportamento do motorista em simulação microscópica, considerando-se a representação explícita dos estados mentais dos usuários. Os conceitos básicos de ITS e MAS são apresentados, assim como exemplos de aplicações relacionados com o tema do trabalho. Esta foi a motivação para a extensão de um simulador microscópico existente, no sentido de incorporar as características dos MAS para melhorar a representação dos motoristas. Assim, a demanda é gerada a partir de uma população de agentes, resultando da decisão sobre a rota e o tempo de partida ao longo de vários dias. O modelo estendido, que passa a suportar a interação de motoristas BDI, foi efetivamente implementado e foram executados diferentes experimentos para testar a abordagem em cenários de tráfego urbano. MAS permite uma abordagem direcionada a processos que facilita a construção de representações modulares, robustas, e extensíveis, características pouco presentes em abordagens voltadas ao resultado. Suas premissas de abstração permitem uma associação direta entre modelo e implementação. Incerteza e variabilidade são assim tratadas de maneira mais intuitiva, uma vez que arquiteturas cognitivas permitem uma fácil representação do comportamento humano na estrutura do motorista. Desta forma, MAS estende a simulação microscópica de tráfego no sentido de melhor representar a complexidade inerente às tecnologias ITS. / The rapid growth of urban areas has a significant impact on traffic and transportation systems. New management policies and planning strategies are clearly necessary to cope with the more than ever limited capacity of existing road networks. The concept of Intelligent Transportation System (ITS) arises in this scenario; rather than attempting to increase road capacity by means of physical modifications to the infrastructure, the premise of ITS relies on the use of advanced communication and computer technologies to handle today’s traffic and transportation facilities. Influencing users’ behaviour patterns is a challenge that has stimulated much research in the ITS field, where human factors start gaining great importance to modelling, simulating, and assessing such an innovative approach. This work is aimed at using Multi-agent Systems (MAS) to represent the traffic and transportation systems in the light of the new performance measures brought about by ITS technologies. Agent features have good potentialities to represent those components of a system that are geographically and functionally distributed, such as most components in traffic and transportation. A BDI (beliefs, desires, and intentions) architecture is presented as an alternative to traditional models used to represent the driver behaviour within microscopic simulation allowing for an explicit representation of users’ mental states. Basic concepts of ITS and MAS are presented, as well as some application examples related to the subject. This has motivated the extension of an existing microscopic simulation framework to incorporate MAS features to enhance the representation of drivers. This way demand is generated from a population of agents as the result of their decisions on route and departure time, on a daily basis. The extended simulation model that now supports the interaction of BDI driver agents was effectively implemented, and different experiments were performed to test this approach in commuter scenarios. MAS provides a process-driven approach that fosters the easy construction of modular, robust, and scalable models, characteristics that lack in former result-driven approaches. Its abstraction premises allow for a closer association between the model and its practical implementation. Uncertainty and variability are addressed in a straightforward manner, as an easier representation of humanlike behaviours within the driver structure is provided by cognitive architectures, such as the BDI approach used in this work. This way MAS extends microscopic simulation of traffic to better address the complexity inherent in ITS technologies.