Return to search

[en] ENABLING AUTONOMOUS DATA ANNOTATION: A HUMAN-IN-THE-LOOP REINFORCEMENT LEARNING APPROACH / [pt] HABILITANDO ANOTAÇÕES DE DADOS AUTÔNOMOS: UMA ABORDAGEM DE APRENDIZADO POR REFORÇO COM HUMANO NO LOOP

[pt] As técnicas de aprendizado profundo têm mostrado contribuições significativas em vários campos, incluindo a análise de imagens. A grande maioria
dos trabalhos em visão computacional concentra-se em propor e aplicar
novos modelos e algoritmos de aprendizado de máquina. Para tarefas de
aprendizado supervisionado, o desempenho dessas técnicas depende de uma
grande quantidade de dados de treinamento, bem como de dados rotulados. No entanto, a rotulagem é um processo caro e demorado. Uma recente
área de exploração são as reduções dos esforços na preparação de dados,
deixando-os sem inconsistências, ruídos, para que os modelos atuais possam obter um maior desempenho. Esse novo campo de estudo é chamado
de Data-Centric IA. Apresentamos uma nova abordagem baseada em Deep
Reinforcement Learning (DRL), cujo trabalho é voltado para a preparação
de um conjunto de dados em problemas de detecção de objetos, onde as anotações de caixas delimitadoras são feitas de modo autônomo e econômico.
Nossa abordagem consiste na criação de uma metodologia para treinamento
de um agente virtual a fim de rotular automaticamente os dados, a partir do
auxílio humano como professor desse agente. Implementamos o algoritmo
Deep Q-Network para criar o agente virtual e desenvolvemos uma abordagem de aconselhamento para facilitar a comunicação do humano professor
com o agente virtual estudante. Para completar nossa implementação, utilizamos o método de aprendizado ativo para selecionar casos onde o agente
possui uma maior incerteza, necessitando da intervenção humana no processo de anotação durante o treinamento. Nossa abordagem foi avaliada
e comparada com outros métodos de aprendizado por reforço e interação
humano-computador, em diversos conjuntos de dados, onde o agente virtual precisou criar novas anotações na forma de caixas delimitadoras. Os
resultados mostram que o emprego da nossa metodologia impacta positivamente para obtenção de novas anotações a partir de um conjunto de dados
com rótulos escassos, superando métodos existentes. Desse modo, apresentamos a contribuição no campo de Data-Centric IA, com o desenvolvimento
de uma metodologia de ensino para criação de uma abordagem autônoma
com aconselhamento humano para criar anotações econômicas a partir de
anotações escassas. / [en] Deep learning techniques have shown significant contributions in various
fields, including image analysis. The vast majority of work in computer
vision focuses on proposing and applying new machine learning models
and algorithms. For supervised learning tasks, the performance of these
techniques depends on a large amount of training data and labeled data.
However, labeling is an expensive and time-consuming process.
A recent area of exploration is the reduction of efforts in data preparation,
leaving it without inconsistencies and noise so that current models can
obtain greater performance. This new field of study is called Data-Centric
AI. We present a new approach based on Deep Reinforcement Learning
(DRL), whose work is focused on preparing a dataset, in object detection
problems where the bounding box annotations are done autonomously and
economically. Our approach consists of creating a methodology for training
a virtual agent in order to automatically label the data, using human
assistance as a teacher of this agent.
We implemented the Deep Q-Network algorithm to create the virtual agent
and developed a counseling approach to facilitate the communication of the
human teacher with the virtual agent student. We used the active learning
method to select cases where the agent has more significant uncertainty,
requiring human intervention in the annotation process during training to
complete our implementation. Our approach was evaluated and compared
with other reinforcement learning methods and human-computer interaction
in different datasets, where the virtual agent had to create new annotations
in the form of bounding boxes. The results show that the use of our
methodology has a positive impact on obtaining new annotations from
a dataset with scarce labels, surpassing existing methods. In this way,
we present the contribution in the field of Data-Centric AI, with the
development of a teaching methodology to create an autonomous approach
with human advice to create economic annotations from scarce annotations.

Identiferoai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:61195
Date10 November 2022
CreatorsLEONARDO CARDIA DA CRUZ
ContributorsALBERTO BARBOSA RAPOSO
PublisherMAXWELL
Source SetsPUC Rio
LanguagePortuguese
Detected LanguagePortuguese
TypeTEXTO

Page generated in 0.0029 seconds