1 |
[pt] DETECÇÃO VISUAL DE FILEIRA DE PLANTAÇÃO COM TAREFA AUXILIAR DE SEGMENTAÇÃO PARA NAVEGAÇÃO DE ROBÔS MÓVEIS / [en] VISUAL CROP ROW DETECTION WITH AUXILIARY SEGMENTATION TASK FOR MOBILE ROBOT NAVIGATIONIGOR FERREIRA DA COSTA 07 November 2023 (has links)
[pt] Com a evolução da agricultura inteligente, robôs autônomos agrícolas
têm sido pesquisados de forma extensiva nos últimos anos, ao passo que
podem resultar em uma grande melhoria na eficiência do campo. No entanto,
navegar em um campo de cultivo aberto ainda é um grande desafio. O RTKGNSS é uma excelente ferramenta para rastrear a posição do robô, mas
precisa de mapeamento e planejamento precisos, além de ser caro e dependente
de qualidade do sinal. Como tal, sistemas on-board que podem detectar o
campo diretamente para guiar o robô são uma boa alternativa. Esses sistemas
detectam as linhas com técnicas de processamento de imagem e estimam a
posição aplicando algoritmos à máscara obtida, como a transformada de Hough
ou regressão linear. Neste trabalho, uma abordagem direta é apresentada
treinando um modelo de rede neural para obter a posição das linhas de
corte diretamente de uma imagem RGB. Enquanto a câmera nesses sistemas
está, geralmente, voltada para o campo, uma câmera próxima ao solo é
proposta para aproveitar túneis ou paredes de plantas formadas entre as
fileiras. Um ambiente de simulação para avaliar o desempenho do modelo e
o posicionamento da câmera foi desenvolvido e disponibilizado no Github.
Também são propostos quatro conjuntos de dados para treinar os modelos,
sendo dois para as simulações e dois para os testes do mundo real. Os resultados
da simulação são mostrados em diferentes resoluções e estágios de crescimento
da planta, indicando as capacidades e limitações do sistema e algumas das
melhores configurações são verificadas em dois tipos de ambientes agrícolas. / [en] Autonomous robots for agricultural tasks have been researched to great
extent in the past years as they could result in a great improvement of
field efficiency. Navigating an open crop field still is a great challenge. RTKGNSS is a excellent tool to track the robot’s position, but it needs precise
mapping and planning while also being expensive and signal dependent. As
such, onboard systems that can sense the field directly to guide the robot
are a good alternative. Those systems detect the rows with adequate image
processing techniques and estimate the position by applying algorithms to the
obtained mask, such as the Hough transform or linear regression. In this work,
a direct approach is presented by training a neural network model to obtain the
position of crop lines directly from an RGB image. While, usually, the camera
in these kinds of systems is looking down to the field, a camera near the ground
is proposed to take advantage of tunnels or walls of plants formed between
rows. A simulation environment for evaluating both the model’s performance
and camera placement was developed and made available on Github, also
four datasets to train the models are proposed, being two for the simulations
and two for the real world tests. The results from the simulation are shown
across different resolutions and stages of plant growth, indicating the system’s
capabilities and limitations. Some of the best configurations are then verified
in two types of agricultural environments.
|
2 |
[en] MACHINE LEARNING AND HUMAN LEARNING: AN ENACTIVIST ANALYSIS / [pt] MACHINE LEARNING E A APRENDIZAGEM HUMANA: UMA ANÁLISE A PARTIR DO ENATIVISMOCAMILA DE PAOLI LEPORACE 26 January 2023 (has links)
[pt] Situada no campo da filosofia da educação, a tese dialoga também com o campo das tecnologias educacionais. O trabalho busca uma compreensão filosófica dos impactos da aprendizagem de máquina ou machine learning na educação. Para isso, dedica-se aos pressupostos subjacentes à aprendizagem de máquina em articulação com os pressupostos subjacentes à concepção de aprendizagem humana que descende do enativismo. Defende-se que a chegada da aprendizagem de máquina na educação encontra um campo em que ainda predomina o paradigma cognitivista, o qual é bastante profícuo para que germinem as tecnologias baseadas em dados e redes neurais. Avança-se para demonstrar que esse paradigma, no entanto, vem sendo desafiado por outras abordagens de pesquisa que se dedicam à mente humana, dentre as quais se destaca o enativismo. São explicitadas as bases teóricas fundamentais do enativismo, e como elas se desdobram em pressupostos para uma aprendizagem humana que é corporificada e essencialmente orientada ao acoplamento do ser com o mundo e com os outros agentes. É dedicada atenção especial aos impactos da aprendizagem de máquina na autonomia do cognoscente, a qual, sob a perspectiva do enativismo, somente pode existir e se manter nas trocas com o meio e com aqueles que habitam e formam esse ambiente. Demonstra-se que, para que as tecnologias algorítmicas sejam adequadas a uma concepção de cognição e de aprendizagem enativista, é preciso buscar um caminho de valorização ainda maior do corpo na aprendizagem, bem como da intersubjetividade, uma vez que as relações entre os agentes cognitivos não são concebidas como articulações opcionais, mas como um elemento que está no cerne da atividade cognitiva humana e do qual essa atividade emerge. / [en] This work is situated in the field of philosophy of education, and also relates to the field of educational technologies. The thesis seeks a philosophical understanding of the impacts of machine learning in education. To do so, it addresses the assumptions underlying machine learning in conjunction with the premises underlying the conception of human learning that derive from enactivism. It is argued that the arrival of machine learning in education found fertile ground in which the cognitivist paradigm still prevails, a situation that is rather fruitful for technologies based on data and neural networks to thrive. The thesis demonstrates that this paradigm, however, has been challenged by other research approaches that are dedicated to the human mind, among which enactivism is emphasized. The fundamental theoretical underpinnings of autopoietic enactivism are explained, as well as how they unfold in assumptions for a notion of human learning that is embodied and essentially oriented towards the coupling of the human organism with the world and with other agents. Particular attention is drawn to the impacts of machine learning on the autonomy of the cognizer, which, from the perspective of enactivism, can only exist and be maintained in exchanges with the environment and with those who inhabit and shape this environment. It is shown that for algorithmic technologies to be suited to an enactivist conception of cognition and learning a greater appreciation of the body in learning is necessary, as well as intersubjectivity, since the connections between cognitive agents are not conceived as optional articulations, but as an element that is at the core of human cognitive activity and from which this activity emerges.
|
3 |
[en] DESIGN AND E-LEARNING: A PROPOSAL FOR CONTENT TRANPOSAL OF LEARNING RESOURCES TO ACCESSIBLE ONLINE COURSES / [pt] DESIGN, ACESSIBILIDADE E E-LEARNING: UMA PROPOSTA DE TRANSPOSIÇÃO DE RECURSOS DIGITAIS EM CURSOS ONLINE PARA DEFICIENTES VISUAISCARLOS ALBERTO PEREIRA DE LUCENA 03 March 2009 (has links)
[pt] O tema desta pesquisa trata de uma relao direta entre diferentes disciplinas e conhecimentos, tendo como foco a abordagem sobre conceitos e processos no campo do Design de interfaces. O Design se encontra aqui representado como elemento centralizador da relação entre a
ergonomia, a acessibilidade e o e-learning uma vez que analisa uma proposta de modelo de transposiçõao de recursos didáticos para um formato digital acessível a deficientes visuais. Os requisitos encontrados em diretrizes e padronizações nos contextos da acessibilidade e e-learning, direcionam o rumo desta pesquisa, tendo em vista que conhecimentos dos aspectos técnicos e formais destas áreas influenciam decisões que impactam em diferentes etapas do processo de implementação de uma solução digital educacional. Acreditando no e-learning
como elemento pulverizador de sua base de pesquisa e ensino, o Instituto Benjamin Constant, referência nacional no que se trata ao
estudo da deficiência visual, proporcionou os recursos necessários de suporte a esta pesquisa através da colaboração efetiva de seu Laboratório de Educação a Distância (IBC/LED). Esta parceria viabilizou a realização de estudos de campo, a compreensão de metodologias de ensino, a apuração de recursos didáticos disponíveis e análise da interação entre alunos deficientes visuais e um protótipo de interface
educacional online produzido seguindo os requisitos conceituais e técnicos que cercam o e-learning e a acessibilidade de conteúdos digitais. O resultado da pesquisa sugere um modelo de transposição de recursos didáticos para cursos online acessíveis, assim como um checklist das etapas envolvidas neste processo. / [en] This research is about the straight relation between
several disciplines and
areas of knowledge, focusing its approach over concepts and
processes inside
the interface Design field. Design is represented in this
research as a focus point
involving ergonomics, accessibility and e-learning, once it
analyses a model for
transposing learning resources into accessible digital
content for the visually
challenged. The requisites embedded in guidelines and
standard languages
inside the contexts of web accessibility and e-learning,
led the paths of this
research as the knowledge of technical and formal issues in
these areas have
influenced decisions that impact over different levels for
the implementation of an
online educational solution. The support of the Instituto
Benjamin Constant, a
national reference in Brazil related to the matters of
visually challenged people
education, was fundamental to this research through the
collaboration of its
Laboratory of Distance Education (IBC/LED) and their
interest in spreading the
research and education retained in the institute through
the tools offered by elearning.
This partnership allowed benefits such as field studies, the
comprehension of teaching methodologies and educational
resources available
and the opportunity to develop usability tests involving
visually challenged
students and an interface prototype elaborated following
web accessibility and elearning
guidelines. The result of this research suggests a model
for transposing
learning resources into accessible online courses, as well
as a detailed checklist
for the steps involved over the process.
|
4 |
[en] MACHINE LEARNING STRATEGIES TO PREDICT OIL FIELD PERFORMANCE AS TIME-SERIES FORECASTING / [pt] PREDIÇÃO DA PERFORMANCE DE RESERVATÓRIOS DE PETRÓLEO UTILIZANDO ESTRATÉGIAS DE APRENDIZADO DE MÁQUINA PARA SÉRIES TEMPORAISISABEL FIGUEIRA DE ABREU GONCALVES 19 June 2023 (has links)
[pt] Prever precisamente a produção de óleo é essencial para o planejamento e
administração de um reservatório. Entretanto, prever a produção de óleo é um
problema complexo e não linear, devido a todas as propriedades geofísicas que
com pequenas variações podem resultar em differentes cenários. Além disso,
todas as decisões tomadas durante a exploração do projeto devem considerar
diferentes algoritmos para simular dados, fornecer cenários e conduzir a boas
deduções. Para reduzir as incertezas nas simulações, estudos recentes propuseram o uso de algoritmos de aprendizado de maquina para solução de problemas
da engenharia de reservatórios, devido a capacidade desses modelos de extrair
o maxiomo de informações de um conjunto de dados. Essa tese propôe o uso
ed duas tecnicas de machine learning para prever a produção diaria de óleo
de um reservatório. Inicialmente, a produção diária de óleo é considerada uma
série temporal, é pré-processada e reestruturada como um problema de aprendizado supervisionado. O modelo Random Forest, uma extensão das arvores
de decisão muito utilizado em problemas de regressão e classificação, é utilizado para predizer um passo de tempo a frente. Entretanto, as restrições dessa
abordagem nos conduziram a um modelo mais robusto, as redes neurais recorrentes LSTM, que são utilizadas em varios estudos como uma ferramenta dee
aprendizado profundo adequada para modelagem de séries temporais. Várias
configurações de redes LSTM foram construidas para implementar a previsão
de um passo de tempo e de multiplos passos de tempo, a pressão do fundo de
poço foi incorporada aos dados de entrada. Para testar a eficacia dos modelos propostos, foram usados quatro conjunto de dados diferentes, três gerados
sintéticamente e um conjunto de dados reais do campo de produção VOlve,
como casos de estudo para conduzir os experimentos. Os resultados indicam
que o Random Forest é suficiente para previsões de um passo de tempo da
produção de óleo e o LSTM é capaz de lidar com mais dados de entrada e
estimar multiplos passos de tempo da produção de óleo. / [en] Precisely forecasting oil field performance is essential in oil reservoir planning and management. Nevertheless, forecasting oil production is a complex
nonlinear problem due to all geophysical and petrophysical properties that may
result in different effects with a bit of change. Thus, all decisions to be made
during an exploitation project must consider different efficient algorithms to
simulate data, providing robust scenarios to lead to the best deductions. To
reduce the uncertainty in the simulation process, recent studies have efficiently
introduced machine learning algorithms for solving reservoir engineering problems since they can extract the maximum information from the dataset. This
thesis proposes using two machine learning techniques to predict the daily oil
production of an offshore reservoir. Initially, the oil rate production is considered a time series and is pre-processed and restructured to fit a supervised
learning problem. The Random Forest model is used to forecast a one-time
step, which is an extension of decision tree learning, widely used in regression and classification problems for supervised machine learning. Regardless,
the restrictions of this approach lead us to a more robust model, the LSTM
RNN s, which are proposed by several studies as a suitable deep learning technique for time series modeling. Various configurations of LSTM RNN s were
constructed to implement single-step and multi-step oil rate forecasting and
down-hole pressure was incorporated to the inputs. For testing the robustness
of the proposed models, we use four different datasets, three of them synthetically generated and one from a public real dataset, the Volve oil field, as a case
study to conduct the experiments. The results indicate that the Random Forest
model could sufficiently estimate the one-time step of the oil field production,
and LSTM could handle more inputs and adequately estimate multiple-time
steps of oil production.
|
5 |
[en] A DATA-CENTRIC APPROACH TO IMPROVING SEGMENTATION MODELS WITH DEEP LEARNING IN MAMMOGRAPHY IMAGES / [pt] UMA ABORDAGEM CENTRADA EM DADOS PARA O APRIMORAMENTO DE MODELOS DE SEGMENTAÇÃO COM APRENDIZADO PROFUNDO EM IMAGENS DE MAMOGRAFIASANTIAGO STIVEN VALLEJO SILVA 07 December 2023 (has links)
[pt] A segmentação semântica das estruturas anatômicas em imagens de mamografia desempenha um papel significativo no apoio da análise médica. Esta
tarefa pode ser abordada com o uso de um modelo de aprendizado de máquina,
que deve ser capaz de identificar e delinear corretamente as estruturas de
interesse tais como papila, tecido fibroglandular, músculo peitoral e tecido
gorduroso. No entanto, a segmentação de estruturas pequenas como papila e
peitoral é frequentemente um desafio. Sendo o maior desafio o reconhecimento
ou deteção do músculo peitoral na vista craniocaudal (CC), devido ao seu
tamanho variável, possíveis ausências e sobreposição de tecido fibroglandular.
Para enfrentar esse desafio, este trabalho propõe uma abordagem centrada
em dados para melhorar o desempenho do modelo de segmentação na papila
mamária e no músculo peitoral. Especificamente, aprimorando os dados de
treinamento e as anotações em duas etapas. A primeira etapa é baseada
em modificações nas anotações. Foram desenvolvidos algoritmos para buscar
automaticamente anotações fora do comum dependendo da sua forma. Com
estas anotações encontradas, foi feita uma revisão e correção manual.
A segunda etapa envolve um downsampling do conjunto de dados, reduzindo
as amostras de imagens do conjunto de treinamento. Foram analisados os casos
de falsos positivos e falsos negativos, identificando as imagens que fornecem
informações confusas, para posteriormente removê-las do conjunto.
Em seguida, foram treinados modelos usando os dados de cada etapa e foram
obtidas as métricas de classificação para o músculo peitoral em vista CC e o
IoU para cada estrutura nas vistas CC e MLO (Mediolateral Oblíqua).
Os resultados do treinamento mostram uma melhora progressiva na identificação e segmentação do músculo peitoral em vista CC e uma melhora na papila
em vista MLO, mantendo as métricas para as demais estruturas. / [en] The semantic segmentation of anatomical structures in mammography images plays a significant role in supporting medical analysis. This task can be approached using a machine learning model, which must be capable of identifying and accurately delineating the structures. However, segmentation of small structures such as nipple and pectoral is often challenging. Especially in there cognition or detection of the pectoral muscle in the craniocaudal (CC) view,due to its variable size, possible absences and overlapping of fibroglandular tissue.To tackle this challenge, this work proposes a data-centric approach to improvethe segmentation model s performance on the mammary papilla and pectoral muscle. Specifically, enhancing the training data and annotations in two stages.The first stage is based on modifications to the annotations. Algorithms were developed to automatically search for uncommon annotations dependingon their shape. Once these annotations were found, a manual review and correction were performed.The second stage involves downsampling the dataset, reducing the image samples in the training set. Cases of false positives and false negatives were analyzed, identifying images that provide confusing information, which were subsequently removed from the set. Next, models were trained using the data from each stage, and classification metrics were obtained for the pectoral muscle in the CC view and IoU for each structure in CC and MLO (mediolateral oblique) views. The training results show a progressive improvement in the identification and segmentation of the pectoral muscle in the CC view and an enhancement in the mammary papilla in the MLO view, while maintaining segmentation metricsfor the other structures.
|
6 |
[en] DISTRICTING AND VEHICLE ROUTING: LEARNING THE DELIVERY COSTS / [pt] DISTRICTING E ROTEAMENTO DE VEÍCULOS: APRENDENDO A ESTIMAR CUSTOS DE ENTREGAARTHUR MONTEIRO FERRAZ 12 January 2023 (has links)
[pt] O problema de Districting-and-routing é um problema estratégico no qual
porções geográficas devem ser agregadas em regiões de entrega, e cada região de
entrega possui um custo de roteamento estimado. Seu objetivo é de minimizar
esses custos, além de garantir a divisão da região em distritos. A simulação para
obter uma boa aproximação é muito custosa computacionalmente, enquanto
mecanismos como buscas locais exigem que esse cálculo seja feito de forma
muito eficiente, tornando essa estratégia de aproximação inviável para uma
solução metaheurística. Grande parte das soluções existentes para esse problema
utilizam de formulas de aproximação contínua para mensurar os custos de
roteamento, funções essas que são rápidas de serem calculadas porém cometem
erros significativos. Em contraste, propomos uma Rede Neural em Grafo (Graph
Neural Network - GNN) que é usada como oráculo por um algoritmo de
otimização. Nossos experimentos computacionais executados com dados de
cidades do Reino Unido mostram que a GNN é capaz de produzir previsões de
custos mais precisas em tempo computacional aceitável. O uso desse estimator
na busca local impacta positivamente a qualidade das soluções, levando a
uma economia de 10,35 por cento no custo de entrega estimado em relação a função
Beardwood, que é comumente usada nesse cenários, e ganhos similares em
comparação com outros métodos de aproximação. / [en] The districting-and-routing problem is a strategic problem in which basic
geographical units (e.g., zip codes) should be aggregated into delivery regions,
and each delivery region is characterized by a routing cost estimated over an
extended planning horizon. The objective is to minimize the expected routing
costs while ensuring regional separability through the definition of the districts.
Repeatedly simulating routing costs on a set of scenarios while searching for
good districts can be computationally intensive, so existing solution approaches
for this problem rely on approximation functions. In contrast, we propose to
rely on a graph neural network (GNN) trained on a set of demand scenarios,
which is then used within an optimization approach to infer routing costs while
solving the districting problem. Our computational experiments on various
metropolitan areas show that the GNN produces accurate cost predictions.
Moreover, using this better estimator during the search positively impacts the
quality of the districting solutions and leads to 10.35 percent delivery-cost savings
over the commonly-used Beardwood estimator and similar gains compared to
other approximation methods.
|
7 |
[pt] CLASSIFICAÇÃO DE GLIOMAS UTILIZANDO ÍNDICES DE BIODIVERSIDADE E DE DIVERSIDADE FILOGENÉTICA EM IMAGENS POR RESSONÂNCIA MAGNÉTICA ATRAVÉS DE UMA ABORDAGEM RADIOMICS / [en] RADIMOCS ANALYSIS FOR GLIOMA GRADING USING BIODIVERSITY AND PHYLOGENETIC DIVERSITY INDICES ON MULTI-MODAL MAGNETIC RESONANCE IMAGINGFERNANDA DA CUNHA DUARTE 26 March 2020 (has links)
[pt] Gliomas estão entre os tumores cerebrais malignos mais comuns. Eles
podem ser classificados entre gliomas de baixo e alto grau e sua identificação
precoce é fundamental para o direcionamento do tratamento aplicado.
Utilizando uma abordagem radiomics, o presente trabalho propõe o uso de
índices de biodiversidade e de diversidade filogenética, definidos no campo
da biologia, no problema de classificação de gliomas. O método proposto
apresentou resultados promissores, com AUC-ROC (area under the ROC
curve), acurácia, sensibilidade e especificidade de 0,951, 0,930, 0,967 e 0,827,
respectivamente. / [en] Gliomas are among the most common malignant brain tumors. They
can be classified into low-grade and high-grade gliomas and their early
identification is crucial for treatment direction. Using a radiomics approach,
the present work proposes the use of biodiversity and phylogenetic diversity
biology indices to handle the glioma classification problem. The proposed
method presented promising results, with AUC-ROC (area under the ROC
curve), accuracy, sensitivity and specificity of 0,951, 0,930, 0,967 and 0,827,
respectively.
|
8 |
[en] MEDIATION OF MASSIVE ONLINE OPEN COURSES (MOOC) AND THEIR EFFECTS ON STUDENT PARTICIPATION AND PERFORMANCE / [pt] MEDIAÇÃO DE CURSOS ONLINE ABERTOS E MASSIVOS (MOOC) E SEUS EFEITOS NA PARTICIPAÇÃO E DESEMPENHO DOS ESTUDANTESLUIS FELIPE SAO THIAGO DE CARVALHO 29 January 2019 (has links)
[pt] Conduzimos uma pesquisa de campo a partir de um curso online aberto e massivo (MOOC), realizado no último trimestre de 2017, utilizando o ambiente virtual de aprendizagem da PUC-Rio. A partir da experiência com este curso, estudamos a dinâmica de participação dos alunos nas atividades pedagógicas e os efeitos no desempenho, baseados em exames de avaliação. Também estudamos a interação entre os participantes do curso a partir dos fóruns de discussão com o apoio de um mediador. Um grupo de controle sem a participação do mediador foi criado, para viabilizar um estudo comparativo de resultados. Além disso, ampliamos o estudo para avaliar também possíveis efeitos do mediador no comportamento dos alunos nas atividades didáticas do curso. Ao final traçamos um perfil dos alunos do curso e realizamos comparações com cursos MOOC realizados por outras instituições de ensino. / [en] We conducted a field study from a massive open online course (MOOC), held in the last quarter of 2017, using PUC-Rio s virtual learning platform. From the experience with this course, we studied the dynamics of students participation on the course activities and the effects on performance in the evaluation. We also studied the interaction between course participants on discussion forums with the support of a mediator. A control group without the participation of the mediator was created, to make feasible a comparative study of results. In addition, we extended the study to evaluate possible mediator effects on student behavior in other course activities. At the end we draw a profile of the students of the course and compared with MOOC courses conducted by other educational institutions.
|
9 |
[en] PREDICTIVE MODELS FOR STUDENT ATTRITION IN PRIVATE GRADUATION: AN APPLICATION OF MACHINE LEARNING TO RELATIONSHIP MARKETING MANAGEMENT / [pt] MODELOS PREDITIVOS PARA EVASÃO DE ALUNOS NO ENSINO SUPERIOR PRIVADO: UMA APLICAÇÃO DE MACHINE LEARNING PARA GESTÃO DE MARKETING DE RELACIONAMENTOFRANCISCO COIMBRA CARNEIRO PEREIRA 04 January 2018 (has links)
[pt] Perdendo em média mais de 20 por cento da base de alunos todo semestre, a evasão de alunos no ensino superior privado representa um desafio para a gestão dessas instituições. Diferentes abordagens são utilizadas para combater este problema. Para a gestão de marketing de retenção, a identificação dos alunos é o primeiro passo necessário para aplicar uma estratégia de interação personalizada. Nesse sentido, este trabalho apresenta uma metodologia quantitativa para classificação de risco de evasão de alunos ativos. Baseado em dados históricos de alunos que evadiram ou se formaram, modelos gerados por algoritmos de machine learning foram calculados e comparados e, na sequência, utilizados para classificar alunos ativos. Por fim, estimou-se o lifetime value desses alunos para auxiliar na definição de estratégias de retenção. / [en] Losing more than 20 percent of its students each semester, the student attrition in private graduation courses challenges its institutions management. Different approaches to address this problem have been used. To retention marketing management the identification of students is the first necessary step to apply a personalized interaction strategy. In this sense, this work uses a quantitative methodology to classify its students by risk of attrition. Based in historic data of former students of an institution, models were generated by machine learning algorithms and its results compared. Then they were used to classify active students in the educational institution. Afterwards, their lifetime value were estimated in order to help in the definition of retention strategies.
|
10 |
[en] PESSIMISTIC Q-LEARNING: AN ALGORITHM TO CREATE BOTS FOR TURN-BASED GAMES / [pt] Q-LEARNING PESSIMISTA: UM ALGORITMO PARA GERAÇÃO DE BOTS DE JOGOS EM TURNOSADRIANO BRITO PEREIRA 25 January 2017 (has links)
[pt] Este documento apresenta um novo algoritmo de aprendizado por reforço, o Q-Learning Pessimista. Nossa motivação é resolver o problema de gerar bots capazes de jogar jogos baseados em turnos e contribuir para obtenção de melhores resultados através dessa extensão do algoritmo Q-Learning. O Q-Learning Pessimista explora a flexibilidade dos cálculos gerados pelo Q-Learning tradicional sem a utilização de força bruta. Para medir a qualidade do bot gerado, consideramos qualidade como a soma do potencial de vitória e empate em um jogo. Nosso propósito fundamental é gerar bots de boa qualidade para diferentes jogos. Desta forma, podemos utilizar este algoritmo para famílias de jogos baseados em turno. Desenvolvemos um framework chamado Wisebots e realizamos experimentos com alguns cenários aplicados aos seguintes jogos tradicionais: TicTacToe, Connect-4 e CardPoints. Comparando a qualidade do Q-Learning Pessimista com a do Q-Learning tradicional, observamos ganhos de 0,8 por cento no TicTacToe, obtendo um algoritmo que nunca perde. Observamos também ganhos de 35 por cento no Connect-4 e de 27 por cento no CardPoints, elevando ambos da faixa de 50 por cento a 60 por cento para 90 por cento a 100 por cento de qualidade. Esses resultados ilustram o potencial de melhoria com o uso do Q-Learning Pessimista, sugerindo sua aplicação aos diversos tipos de jogos de turnos. / [en] This document presents a new algorithm for reinforcement learning method, Q-Learning Pessimistic. Our motivation is to resolve the problem of generating bots able to play turn-based games and contribute to achieving better results through this extension of the Q-Learning algorithm. The Q-Learning Pessimistic explores the flexibility of the calculations generated by the traditional Q-learning without the use of force brute. To measure the quality of bot generated, we consider quality as the sum of the potential to win and tie in a game. Our fundamental purpose, is to generate bots with good quality for different games. Thus, we can use this algorithm to families of turn-based games. We developed a framework called Wisebots and conducted experiments with some scenarios applied to the following traditional games TicTacToe, Connect-4 and CardPoints. Comparing the quality of Pessimistic Q-Learning with the traditional Q-Learning, we observed gains to 100 per cent in the TicTacToe, obtaining an algorithm that never loses. Also observed in 35 per cent gains Connect-4 and 27 per cent in CardPoints, increasing both the range of 60 per cent to 80 per cent for 90 per cent to 100 per cent of quality. These results illustrate the potential for improvement with the use of Q-Learning Pessimistic, suggesting its application to various types of games.
|
Page generated in 0.4409 seconds