Redes de Anúncios (Ad Networks) são redes que promovem a distribuição de anúncios pela internet, de forma a maximizar o lucro total gerado pela exibição dos anúncios nos websites. Estas redes tipicamente operam através do modelo de negócios chamado CPC (Custo por Clique), em que o anunciante paga um determinado valor somente se algum usuário clicar em seu anúncio. A escolha de como o intermediador planeja a distribuição dos anúncios aos websites é de extrema importância, já que a taxa de cliques nos anúncios é extremamente baixa. Atualmente a alocação dos anúncios tem sido feita através de uma solução aproximada baseada na alocação ótima definida com dados de um período anterior, a qual é calculada através de programação linear aliada à utilização de heurísticas. Entretanto, este sistema claramente é um processo de decisão sequencial em que diversas restrições são aplicáveis, como por exemplo: o orçamento dos anunciantes, limites mínimos do número de exibições de cada anúncio, categorias dos anúncios, entre outras. Neste trabalho argumenta-se que MDPs (Markov Decision Processes) fornecem uma melhor modelagem para o problema, já que conseguem levar em conta a dinâmica do sistema, considerando, por exemplo, que um anúncio que tem poucas chances de ser clicado consiga ser alocado de forma eficiente em relação ao retorno de longo prazo, mesmo quando outros anúncios proveriam um lucro maior a curto prazo. No entanto, devido ao grande número de estados, utilizar uma solução ótima através de MDPs é impraticável. Portanto analisa-se o desempenho relativo entre o estado da arte e a modelagem ótima, obtendo garantias de que a solução aproximada baseada em programação linear não está longe da solução ótima, e que em problemas grandes (similares aos encontrados na prática) essa diferença pode ser ignorada. Por fim, propõe-se uma modelagem baseada em aprendizado por reforço para a solução deste problema, utilizando duas abordagens, uma desconsiderando informações de contexto e outra considerando informações de contexto. Aqui argumenta-se que o uso de aprendizado por reforço é mais apropriado para a solução do problema de alocação de anúncios, já que ele é capaz de adaptar sua política de alocação em função das mudanças que ocorrem como, por exemplo, no perfil do usuário. / Ad Networks promote the distribution of ads in the internet, so as to maximize the revenue generated by their display of ads in websites. These networks typically operate using the CPC (Cost per Click) business model, where the advertiser pays a monetary value when a user clicks in its advertisement. The choice of how the Ad Network distributes ads to websites is of utmost importance, since the rate of clicks on ads is extremely low. The allocation of ads has been done by an approximate solution based on data from an early period of time, which is calculated using linear programming combined with heuristics. However, this problem is clearly a sequential decision process in which multiple sequential restrictions apply, such as: the budget of the advertisers, minimum limits on the number of views for each campaign, categories of advertisements. In this dissertation we argue that MDPs (Markov Decision Processes) provide a better model for the problem, since they can automatically take into account the dynamics of the system, considering, for example, an ad with little chance of being clicked can be allocated in an efficient way, even when other ads would provide a higher profit in the short term. However, due to the large number of states, an optimal solution through MDPs is impractical; therefore we analyze here the relative performance between the linear programming and the MDP approaches, deriving guarantees that the approximate solution based on linear programming is not far from the MDP optimal solution, and in large problems (similar to those found in practice) this difference can be disregarded. Finally, we propose a model based on reinforcement learning using two different approaches, one disregarding the contextual information, and the other using contextual information. We argue that the use of reinforcement learning is more suitable for solving the problem of allocation of ads, since it is able to adapt its allocation policy to reflect changes that occur, e.g., in the user profile.

Flexibilidade comportamental é a capacidade de ajustes comportamentais que permitem aos indivíduos responderem a um novo desafio ambiental podendo ser, ou pela modificação de suas respostas, ou por desenvolver novas estratégias diante de um novo estímulo. Esse novo comportamento pode ser alvo da seleção natural, apesar de não ser hereditário. O que é transferida para as próximas gerações, é a capacidade de ajustar o comportamento. Assim, é plausível assumir a existência de uma associação entre capacidades cognitivas e o desafio do ambiente. Neste contexto, espera-se que indivíduos territoriais exibam capacidades cognitivas associadas ao seu habitat específico. Estudos têm frequentemente focado em diferenças nas capacidades de resolução de problemas em animais de espécies e populações distintas. No entanto, o presente estudo compara capacidades de resolução de problemas de lagartos Tropidurus torquatus de uma mesma população que utilizam dois tipos de territórios, os quais diferem no grau de desafio: muros, ambientes desafiadores, e árvores, ambientes permissíveis. Essa espécie exibe um comportamento territorial em que machos dominantes e fêmeas associadas possuem uma fidelidade evidente aos seus territórios. Lagartos foram observados no campo para a caracterização do território e, posteriormente, realizaram testes de resolução de problemas no laboratório. Os resultados demonstraram que lagartos de ambientes desafiadores obtiveram um desempenho superior aos de ambientes permissíveis nos testes de resolução de problemas, e foram mais propensos em exibir uma inovação comportamental durante a resolução dos testes. As interpretações para esses resultados consistem em duas possíveis explicações. Lagartos de muros podem se beneficiar de capacidades cognitivas avançadas, pois a seleção natural teria agido na flexibilidade comportamental e selecionaria indivíduos que poderiam lidar com problemas de uma ambiente desafiador. Alternativamente, é possível que a maioria dos lagartos Tropidurus torquatus apresentem melhores capacidades de resolução de problema, porém esta característica estaria críptica, e apenas a interação entre o indivíduo e a vivência em ambientes desafiadores (muros) induziria o surgimento de melhores capacidades cognitivas. Os resultados desse estudo provavelmente indicam que diferenças nas capacidades de resolução de problemas e habilidades cognitivas entre indivíduos poderiam estar sob efeitos de regimes seletivos antes mesmo de ocorrer alguma segregação populacional. / Behavioral flexibility is the ability of behavioral adjustments that allow individuals to respond to a new environmental challenge by either modifying their responses or developing new strategies when facing novel stimuli. This new behavior may be target of natural selection, despite not being heritable. What is transferred to the next generation is the capacity to adjust behavior. Thus, it is plausible to assume the existence of an association between cognitive capabilities and environmental severity. In this context, it is expected that territorial individuals exhibit cognitive capabilities associated with their specific habitat. Studies have often been focused on differences of problem-solving capabilities in animals from different species and populations. Nevertheless, the present study compares problem-solving abilities of Tropidurus torquatus lizards from the same population that use two types of territories that differ in the level of harshness: house walls, a harsh environment, and trees, a mild environment. This species exhibits a territorial system where dominant males and associated females have an evident fidelity to their territories. Lizards were observed in the field for territory characterization and then performed problem-solving tests in the laboratory. The results show that lizards from harsh environments outperformed those from mild environments in the problem-solving tasks and were more likely to show a behavioral innovation when solving the task. Interpretations for these results resides on two possible explanations. Lizards from walls might benefit from enhanced cognitive capabilities because natural selection acted on behavioral flexibility and selected individuals that can deal with problems of a harsh environment. Alternatively, it is possible that the majority of Tropidurus torquatus lizards exhibit enhanced problem-solving capability, but this characteristic might be cryptic, and only the interaction between the individual and living in a harsh environment (walls) induces the emergence of enhanced cognitive capabilities. These findings probably indicate that differences in problem-solving and cognitive capabilities might be exposed to specific selective regimes even before population segregation occurs.

Nos últimos anos, tem-se observado um aumento significativo no volume de transações financeiras realizadas pela Internet. Esse crescimento no volume financeiro, associado à fragilidade inerente à ausência de verificações básicas, possíveis somente em transações do mundo físico, tem atraído a atenção de pessoas com o objetivo de obter vantagens financeiras de forma ilícita. Devido aos prejuízos causados pelas fraudes, surgiram empresas de pagamento online com o objetivo de tornar as transações de compra e venda na Internet mais seguras. Essas empresas atuam como um intermediário das transações e assumem os riscos associados, mostrando-se ser esse um negócio de alto risco. Dado o alto volume de transações com as quais essas empresas precisam lidar, torna-se clara a necessidade de métodos computacionais para detecção de transações fraudulentas, visto que a utilização estrita de verificações manuais é inviável para lidar com tal volume de transações. Essa tarefa de análise e identificação de transações fraudulentas pode ser vista como um problema computacional de classificação, sendo então aplicáveis técnicas de classificação, aprendizado computacional e mineração de dados. Porém, dada a complexidade do problema, a aplicação de técnicas computacionais só é possível após um profundo entendimento do problema e a definição de uma modelagem eficiente associada a um processo consistente e abrangente, capaz de lidar com todas as etapas necessárias para a análise eficiente de uma transação. Face a isso, o presente trabalho propõe uma abordagem abrangente para tratar o problema da fraude nesse novo mercado de intermediação de pagamentos online utilizando como base um processo já muito bem estabelecido na indústria. Abordaremos mais especificamente uma das fases desse processo, que se refere justamente a utilização de ferramentas computacionais para a detecção das fraudes, e apresentaremos um sub-processo que envolve a utilização de várias ferramentas para o tratamento do ponto de vista computacional do problema de detecção de fraudes. Para a validação dos resultados da proposta, utilizaremos uma enorme quantidade de dados reais disponibilizados por uma grande empresa do setor de intermediação de pagamentos online que colaborou com nossa pesquisa. / In recent years, there has been a significant increase in the volume of electronic transactions in the Web. This growth in trading volume, associated with the risks caused by the absence of basic checks, possible only in transactions of the physical world, has attracted the attention of people with the intention of taking advantage to obtain illicit financial benefits. Due to the injuries caused by fraud, online payment service companies emerged, with the goal of making Web transactions safer. These companies act as an intermediary between buyers and sellers, assuming all the risks, and so it is clear that it is a high-risk business. Given the high volume of transactions with which these companies must deal, it is clear the need for computational methods for detecting fraudulent transactions, as the strict use of manual checks is infeasible to handle such a volume. The task of analysis and identification of fraudulent transactions can be seen as a classification problem, and so classification, data mining and machine learning techniques can be applied to it. However, given the complexity of the problem, the application of computational techniques is only possible after a thorough understanding of the problem and the definition of an efficient model, associated with a consistent and comprehensive process which would be able to handle all the steps needed to analyze a transaction in an efficient way. Given this scenario, this work proposes a comprehensive approach to address the problem of fraud in this new business of online payment intermediation, using as basis a process already established in the industry. We will discuss more specifically one of the phases of this process, which refers to the use of computational tools to detect frauds, and we will present a sub-process using several tools to deal with the problem from a computational point of view. To validate our results, we will use a huge amount of real data provided by an important company of the online payment industry, which cooperated with our research.

Diagnóstico baseado em modelos (Model Based Diagnosis - MBD) é uma técnica de Inteligência Artificial usada para encontrar componentes falhos em dispositivos físicos. MBD também tem sido utilizado para auxiliar programadores experientes a encontrarem falhas em seus programas, sendo essa técnica chamada de Depuração de Programas baseada em Modelos (Model Based Software Debugging - MBSD). Embora o MBSD possa auxiliar programadores experientes a entenderem e corrigirem suas falhas, essa abordagem precisa ser aprimorada para ser usada por aprendizes de programação. Esse trabalho propõe o uso da técnica de depuração hierárquica de programas, uma extensão da técnica MBSD, para que aprendizes de programação sejam capazes de depurar seus programas raciocinando sobre componentes abstratos, tais como: padrões elementares, funções e procedimentos. O depurador hierárquico de programas proposto foi integrado ao Dr. Java e avaliado com um grupo de alunos de uma disciplina de Introdução à Programação. Os resultados mostram que a maioria dos alunos foi capaz de compreender as hipóteses de falha geradas pelo depurador automático e usar essas informações para corrigirem seus programas. / Model Based Diagnosis (MBD) in Artificial Intelligence is a technique that has been used to detect faulty components in physical devices. MBD has also been used to help senior programmers to locate faults in software with a technique known as Model Based Software Debugging (MBSD). Although this approach can help experienced programmers to detect and correct faults in their programs, this approach must be improved to be used with novice programmers. This work proposes a hierarchical program diagnosis, a MBSD extension, to help novice programmers to debug programs by exploring the idea of abstract components, such as: elementary patterns, functions and procedures. The hierarchical program debugger proposed was integrated to the Dr. Java tool and evaluated with students of an introductory programming course. The results showed that most of the students were able to understand the hypotheses of failure presented by the automated debugger and use this information to provide a correction for their programs

Systems-of-systems (SoS) have gained a very important status in industry and academia as an answer to the growing complexity of software-intensive systems. SoS are particular in the sense that their capabilities transcend the mere sum of the capacities of their diverse independent constituents. In parallel, the current growth in the amount of data collected in different formats is impressive and imposes a considerable challenge for researchers and professionals, characterizing hence the Big Data context. In this scenario, Machine Learning techniques have been increasingly explored to analyze and extract relevant knowledge from such data. SoS have also generated a large amount of data and text information and, in many situations, users of SoS need to manually register unstructured, critical texts, e.g., work orders and service requests, and also need to map them to structured information. Besides that, these are repetitive, time-/effort-consuming, and even error-prone tasks. The main objective of this Thesis is to present MaSTA, an approach composed of an innovative classification method to infer classifiers from large textual collections and an evaluation method that measures the reliability and performance levels of such classifiers. To evaluate the effectiveness of MaSTA, we conducted an experiment with a commercial SoS used by large companies that provided us four datasets containing near one million records related with three classification tasks. As a result, this experiment indicated that MaSTA is capable of automatically classifying the documents and also improve the user assertiveness by reducing the list of possible classifications. Moreover, this experiment indicated that MaSTA is a scalable solution for the Big Data scenarios in which document collections have hundreds of thousands (even millions) of documents, even produced by different constituents of an SoS. / Sistemas-de-sistemas (SoS) conquistaram um status muito importante na indústria e na academia como uma resposta à crescente complexidade dos sistemas intensivos de software. SoS são particulares no sentido de que suas capacidades transcendem a mera soma das capacidades de seus diversos constituintes independentes. Paralelamente, o crescimento atual na quantidade de dados coletados em diferentes formatos é impressionante e impõe um desafio considerável para pesquisadores e profissionais, caracterizando consequentemente o contexto de Big Data. Nesse cenário, técnicas de Aprendizado de Máquina têm sido cada vez mais exploradas para analisar e extrair conhecimento relevante de tais dados. SoS também têm gerado uma grande quantidade de dados e informações de texto e, em muitas situações, os usuários do SoS precisam registrar manualmente textos críticos não estruturados, por exemplo, ordens de serviço e solicitações de serviço, e também precisam mapeá-los para informações estruturadas. Além disso, essas tarefas são repetitivas, demoradas, e até mesmo propensas a erros. O principal objetivo desta Tese é apresentar o MaSTA, uma abordagem composta por um método de classificação inovador para inferir classificadores a partir de grandes coleções de texto e um método de avaliação que mensura os níveis de confiabilidade e desempenho desses classificadores. Para avaliar a eficácia do MaSTA, nós conduzimos um experimento com um SoS comercial utilizado por grandes empresas que nos forneceram quatro conjuntos de dados contendo quase um milhão de registros relacionados com três tarefas de classificação. Como resultado, esse experimento indicou que o MaSTA é capaz de classificar automaticamente os documentos e também melhorar a assertividade do usuário através da redução da lista de possíveis classificações. Além disso, esse experimento indicou que o MaSTA é uma solução escalável para os cenários de Big Data, nos quais as coleções de documentos têm centenas de milhares (até milhões) de documentos, até mesmo produzidos por diferentes constituintes de um SoS.

A high recall problem in document retrieval is described by scenarios in which one wants to ensure that, given one (or multiple) query document(s), (nearly) all relevant related documents are retrieved, with minimum human effort. The problem may be expressed as a document similarity search: a user picks an example document (or multiple ones), and an automatic system recovers similar ones from a collection. This problem is often handled with a so-called Continuous Active Learning strategy: given the initial query, which is a document described by a set of relevant terms, a learning method returns the most-likely relevant documents (e.g., the most similar) to the reviewer in batches, the reviewer labels each document as relevant/not relevant and this information is fed back into the learning algorithm, which uses it to refine its predictions. This iterative process goes on until some quality condition is satisfied, which might demand high human effort, since documents are displayed as ranked lists and need to be labeled individually, and impact negatively the convergence of the learning algorithm. Besides, the vocabulary mismatch issue, i.e., when distinct terminologies are employed to describe semantically related or equivalent concepts, can impair recall capability. We propose TRIVIR, a novel interactive visualization tool powered by an information retrieval (IR) engine that implements an active learning protocol to support IR with high recall. The system integrates multiple graphical views in order to assist the user identifying the relevant documents in a collection. Given representative documents as queries, users can interact with the views to label documents as relevant/not relevant, and this information is used to train a machine learning (ML) algorithm which suggests other potentially relevant documents. TRIVIR offers two major advantages over existing visualization systems for IR. First, it merges the ML algorithm output into the visualization, while supporting several user interactions in order to enhance and speed up its convergence. Second, it tackles the vocabulary mismatch problem, by providing terms synonyms and a view that conveys how the terms are used within the collection. Besides, TRIVIR has been developed as a flexible front-end interface that can be associated with distinct text representations and multidimensional projection techniques. We describe two use cases conducted with collaborators who are potential users of TRIVIR. Results show that the system simplified the search for relevant documents in large collections, based on the context in which the terms occur. / No âmbito de recuperação de documentos, há situações em que é preciso assegurar que todos os documentos relevantes para uma dada consulta serão recuperados, de preferência com um esforço humano mínimo. Uma das maneiras de formular este problema de recuperação com alta cobertura é com uma consulta por similaridade: um usuário seleciona um (ou vários) documento(s), e um sistema automático é utilizado para recuperar, de uma coleção, os documentos semelhantes aos apresentados. Uma maneira usual de abordar o problema adota uma estratégia denominada Continuous Active Learning, em que dado o(s) documento(s) de consulta, descrito por seus termos relevantes, um método de aprendizado de máquina retorna e apresenta ao analista, em lotes, os documentos mais provavelmente relevantes, ou mais similares a esse(s). O analista classifica cada documento quanto à relevância, realimentando o algoritmo de aprendizado, o qual pode então refinar suas previsões. Esse processo interativo continua até que alguma condição de qualidade seja satisfeita, o que pode exigir grande esforço do usuário, já que os documentos são oferecidos no formato de listas ranqueadas e devem ser marcados individualmente, e impactar negativamente a convergência do algoritmo de aprendizado. Ademais, uma das dificuldades é a incompatibilidade de vocabulário, quando terminologias distintas são empregadas para descrever conceitos semanticamente relacionados, o que pode prejudicar a identificação dos documentos relevantes. Neste trabalho propomos TRIVIR, uma visualização interativa alimentada por um motor de recuperação de informação (RI) que implementa o protocolo Continuous Active Learning com o fim de auxiliar RI de alta cobertura. O sistema integra várias representações gráficas para auxiliar o usuário a identificar documentos relevantes em uma coleção. Dados documentos representativos como entrada, usuários podem interagir com as visualizações e marcar documentos como relevantes/não relevantes. Esta informação é utilizada para treinar um algoritmo de aprendizado de máquina que, por sua vez, sugere documentos potencialmente relevantes. TRIVIR oferece duas principais vantagens em relação a outros sistemas de visualização para RI. Primeiro, integra a visualização a um algoritmo de aprendizado de máquina com o qual usários podem interagir para melhorar e acelerar a convergência do algoritmo. Segundo, o sistema trata o problema de incompatibilidade de vocabulário, provendo sinônimos dos termos e o contexto no qual termos são utilizados na coleção. TRIVIR foi desenvolvido como uma interface web flexível podendo ser associado com diferentes técnicas de representação de documentos e projeção multidimensional. Descrevemos dois casos de uso conduzidos com potenciais usuários do TRIVIR. Resultados mostraram que o sistema facilitou a pesquisa por documentos relevantes em grandes coleções, por meio da utilização da informação do contexto no qual os termos ocorrem.

O presente trabalho aborda os principais conceitos relacionados com as redes neurais artificiais, que são modelos baseados no comportamento do cérebro. As redes neurais artificiais assemelham-se ao cérebro quanto à obtenção do conhecimento através de um processo de aprendizado, e quanto ao uso da força de conexão interneurônio para armazenar o conhecimento, conhecida como peso sináptico. Existem vários modelos de redes neurais artificiais; os principais modelos são abordados neste trabalho. Estes modelos diferem-se quanto à arquitetura e processo de aprendizado. A escolha do processo de aprendizado é influenciada pela tarefa a ser realizada pela rede neural. Cada modelo de rede neural artificial é mais adequado para resolver um determinado tipo de problema. Sugerem-se alguns problemas na área de administração financeira para serem resolvidos pelo uso desta tecnologia, com a especificação de um determinado modelo, e ainda se propõe uma contribuição para um assunto específico na área de administração financeira: o processo de previsão de insolvência das organizações. / The present work addresses the main concepts related to artificial neural networks, which are models based on brain behavior. Artificial neural networks resemble the brain regarding acquisition of knowledge through a learning process, and regarding the use of interneuron connection strength to storing the knowledge, known as synaptic weight. There are various artificial neural network models, the main models are addressed in this work. These models differ regarding the architecture and learning process. The choice of learning process is influenced by task to be carried out by the neural network. Each artificial neural network model is suitable for solving a determined type of problem. Some problems in the area of financial administration are suggested for resolution by the use of this technology, specifying a determinated model, and yet intend a contribution to a specific subject in the area of financial administration: the process of forecasting of insolvency of organizations.

A Estatística é uma ferramenta imprescindível para a aplicação do método científico, estando presente em todos os campos de pesquisa. As metodologias estatísticas usuais estão bem estabelecidas entre os pesquisadores das mais diversas áreas, sendo que a análise de dados em muitos trabalhos costuma ser feita pelos próprios autores. Nos últimos anos, a área conhecida como Ciência de Dados vem exigindo de estatísticos e não-estatísticos habilidades que vão muito além de modelagem, começando na obtenção e estruturação das bases de dados e terminando na divulgação dos resultados. Dentro dela, uma abordagem chamada de aprendizado automático reuniu diversas técnicas e estratégias para modelagem preditiva, que, com alguns cuidados, podem ser aplicadas também para inferência. Essas novas visões da Estatística foram pouco absorvidas pela comunidade científica até então, principalmente pela ausência de estatísticos em grande parte dos estudos. Embora pesquisa de base em Probabilidade e Estatística seja importante para o desenvolvimento de novas metodologias, a criação de pontes entre essas disciplinas e suas áreas de aplicação é essencial para o avanço da ciência. O objetivo desta tese é aproximar a ciência de dados, discutindo metodologias novas e usuais, da área de pesquisa em poluição do ar, que, segundo a Organização Mundial da Saúde, é o maior risco ambiental à saúde humana. Para isso, apresentaremos diversas estratégias de análise e as aplicaremos em dados reais de poluição do ar. Os problemas utilizados como exemplo foram o estudo realizado por Salvo et al. (2017), cujo objetivo foi associar a proporção de carros rodando a gasolina com a concentração de ozônio na cidade de São Paulo, e uma extensão desse trabalho, na qual analisamos o efeito do uso de gasolina/etanol na mortalidade de idosos e crianças. Concluímos que suposições como linearidade a aditividade, feitas por alguns modelos usuais, podem ser muito restritivas para problemas essencialmente complexos, com diferentes modelos levando a diferentes conclusões, nem sempre sendo fácil identificar qual delas é a mais apropriada. / Statistics is a fundamental part of the scientific method and it is present in all the research fields. The usual statistical techniques are well established in the scientific community, and, regardless of the area, the authors themselves perform the data analysis in most papers. In the last years, the area known as Data Science has been challenging statisticians and non-statisticians to perform tasks beyond data modeling. It starts with importing, organizing and manipulating the databases, and ends with the proper communication of the results. Another area called Machine Learning created a framework to fit predictive models, where the goal is to obtain the most precise predictions to a variable under study. These new approaches were not completely adopted by the scientific community yet, mainly due to the absence of statisticians in most of the studies. Although basic research in Probabilities and Statistics is important, the link between these disciplines and their application areas is essential for the advancement of science. The goal of this thesis was to bring together the news views of Data Science and Machine Learning and air pollution research. We presented several strategies of data analysis and apply them to reanalyze the real world air pollution problem presented by Salvo et al. (2017) explore the association between ozone concentration and the proportion of bi-fuel vehicles running on gasoline in the city of São Paulo, Brazil. We also extended this analysis to study the effect of using gasoline/ethanol in mortality (child and elderly). We concluded that assumptions such as linearity and additivity, commonly required by usual models, can be very restrictive to intrinsically complex problems, leading to different conclusions for each fitted model, with little information about which one is more appropriate.

Currently, access to information is increasingly easy because of the advancement of Information and Communication Technology (TIC), reflecting the popularization of computers and the Internet, both in schools as at home. In the same context research projects are being developed toward new teaching methodologies. These projects facilitate new educational methods compared with traditional methods. Today is possible to simulate several laboratories (physics, chemistry, mathematics) by a single computer lab. There are several technologies that support the creation of these systems, included Virtual Reality that lets you create Virtual models and environments and simulate them as if they were real. Another technology is Augmented Reality, where you can insert elements of virtual learning in real environments, which increases the number of alternative educational tools. However distributed systems Virtual Reality and Augmented Reality developed today are limited in the amount of virtual objects belonging to the environment used, another issue is that these systems use either Virtual or Augmented Reality to solve their problems independently, not completing the two technologies. Thus, this dissertation came with the proposal to develop a distribution architecture for Virtual and Augmented Reality, where any model or virtual environment may be distributed, which allows greater flexibility of the proposed architecture / Atualmente, o acesso à informação esta cada dia mais fácil, devido ao avanço da Tecnologia da Informação e Comunicação (TIC), reflexo da popularização do computador e da Internet, tanto nas escolas quanto nas residências. No mesmo contexto pesquisas e projetos, estão sendo desenvolvidos voltados para novas metodologias de ensino. Esses projetos facilitam novos métodos educacionais quando comparado com métodos tradicionais. Hoje é possível que vários laboratórios (física, química, matemática) possam ser simulados por meio de um único laboratório de informática. Existem várias tecnologias de suporte à criação destes sistemas, podendo destacar Realidade Virtual que permite criar modelos e ambientes e simulá-los como se fossem reais. Outra tecnologia é a Realidade Aumentada, onde é possível inserir elementos de aprendizagem virtuais em ambientes reais, o que possibilita o aumento de alternativas de ferramentas educacionais. Contudo, os sistemas distribuídos de Realidade Virtual e Realidade Aumentada desenvolvidos atualmente estão limitados na quantidade de objetos virtuais pertencentes ao ambiente utilizado, outra questão é que nestes sistemas ora utilizam Realidade Virtual ou Aumentada para resolver seus problemas de forma independente, não com completando as duas tecnologias. Assim, essa dissertação tem a proposta de apresentar uma arquitetura de distribuição de Realidade Virtual e Aumentada, onde qualquer modelo ou ambiente virtual poderá ser distribuído em ambas, o que permite maior flexibilidade da arquitetura proposta. / Mestre em Ciências

When designing intelligent agents that must solve sequential decision problems, often we do not have enough knowledge to build a complete model for the problems at hand. Reinforcement learning enables an agent to learn behavior by acquiring experience through trial-and-error interactions with the environment. However, knowledge is usually built from scratch and learning the optimal policy may take a long time. In this work, we improve the learning performance by exploring transfer learning; that is, the knowledge acquired in previous source tasks is used to accelerate learning in new target tasks. If the tasks present similarities, then the transferred knowledge guides the agent towards faster learning. We explore the use of a relational representation that allows description of relationships among objects. This representation simplifies the use of abstraction and the extraction of the similarities among tasks, enabling the generalization of solutions that can be used across different, but related, tasks. This work presents two model-free algorithms for online learning of abstract policies: AbsSarsa(λ) and AbsProb-RL. The former builds a deterministic abstract policy from value functions, while the latter builds a stochastic abstract policy through direct search on the space of policies. We also propose the S2L-RL agent architecture, containing two levels of learning: an abstract level and a ground level. The agent simultaneously builds a ground policy and an abstract policy; not only the abstract policy can accelerate learning on the current task, but also it can guide the agent in a future task. Experiments in a robotic navigation environment show that these techniques are effective in improving the agents learning performance, especially during the early stages of the learning process, when the agent is completely unaware of the new task. / Na construção de agentes inteligentes para a solução de problemas de decisão sequenciais, o uso de aprendizado por reforço é necessário quando o agente não possui conhecimento suficiente para construir um modelo completo do problema. Entretanto, o aprendizado de uma política ótima é em geral muito lento pois deve ser atingido através de tentativa-e-erro e de repetidas interações do agente com o ambiente. Umas das técnicas para se acelerar esse processo é possibilitar a transferência de aprendizado, ou seja, utilizar o conhecimento adquirido para se resolver tarefas passadas no aprendizado de novas tarefas. Assim, se as tarefas tiverem similaridades, o conhecimento prévio guiará o agente para um aprendizado mais rápido. Neste trabalho é explorado o uso de uma representação relacional, que explicita relações entre objetos e suas propriedades. Essa representação possibilita que se explore abstração e semelhanças estruturais entre as tarefas, possibilitando a generalização de políticas de ação para o uso em tarefas diferentes, porém relacionadas. Este trabalho contribui com dois algoritmos livres de modelo para construção online de políticas abstratas: AbsSarsa(λ) e AbsProb-RL. O primeiro constrói uma política abstrata determinística através de funções-valor, enquanto o segundo constrói uma política abstrata estocástica através de busca direta no espaço de políticas. Também é proposta a arquitetura S2L-RL para o agente, que possui dois níveis de aprendizado: o nível abstrato e o nível concreto. Uma política concreta é construída simultaneamente a uma política abstrata, que pode ser utilizada tanto para guiar o agente no problema atual quanto para guiá-lo em um novo problema futuro. Experimentos com tarefas de navegação robótica mostram que essas técnicas são efetivas na melhoria do desempenho do agente, principalmente nas fases inicias do aprendizado, quando o agente desconhece completamente o novo problema.