Return to search

[en] A FEW-SHOT LEARNING APPROACH FOR VIDEO ANNOTATION / [pt] UMA ABORDAGEM FEW-SHOT LEARNING PARA ANOTAÇÃO DE VÍDEOS

[pt] Cada vez mais, os vídeos se tornam uma parte integrante de nossa vida
cotidiana. Plataformas como YouTube, Facebook e Instagram recebem uma
enorme quantidade de horas de vídeo todos os dias. Quando focamos na
categoria de vídeos esportivos, é evidente o crescente interesse em obter dados
estatísticos, especialmente no futebol. Isso é valioso tanto para melhorar a
performance de atletas e equipes quanto para plataformas que utilizam essas
informações, como as de apostas. Consequentemente, o interesse em resolver
problemas relacionados à Visão Computacional tem aumentado. No caso do
Aprendizado Supervisionado, a qualidade das anotações dos dados é mais um
ponto importante para o sucesso das pesquisas. Existem várias ferramentas
de anotação disponíveis no mercado, porém poucas com o foco nos quadros
relevantes e com suporte a modelos de Inteligência Artificial. Neste sentido, este
trabalho envolve a utilização da técnica de Transfer Learning com a extração
de features em uma Rede Neural Convolucional (CNN); a investigação de um
modelo de classificação baseado na abordagem Few-Shot Learning em conjunto
com o algoritmo K-Nearest Neighbors (KNN); a avaliação dos resultados com
abordagens diferentes para o balanceamento de classes; o estudo da geração do
gráfico 2D com o t-Distributed Stochastic Neighbor Embedding (t-SNE) para
análise das anotações e a criação de uma ferramenta para anotação de frames
importantes em vídeos, com o intuito de auxiliar as pesquisas e testes. / [en] More and more videos are part of our daily life. Platforms like Youtube,
Facebook and Instagram receive a large amount of hours of videos every
day. When we focus on the sports videos category, the growing interest in
obtaining statistical data is evident, especially in soccer. This is valuable
both for improving the performance of athletes and teams and for platforms
that use this information, such as betting platforms. Consequently, interest
in solving problems related to Computer Vision has increased. In the case
of Supervised Learning, the quality of data annotations is another important
point for the success of research. There are several annotation tools available on
the market, but few focus on relevant frames and support Artificial Intelligence
models. In this sense, this work involves the use of the Transfer Learning
technique for Feature Extraction in a Convolutional Neural Network (CNN);
the investigation of a classification model based on the Few-Shot Learning
approach together with the K-Nearest Neighbors (KNN) algorithm; evaluating
results with different approaches to class balancing; the study of 2D graph
generation with t-Distributed Stochastic Neighbor Embedding (t-SNE) for
annotation analysis and the creation of a tool for annotating important frames
in videos, with the aim of assisting research and testing.

Identiferoai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:67206
Date04 July 2024
CreatorsDEBORA STUCK DELGADO DE SOUZA
ContributorsHELIO CORTES VIEIRA LOPES
PublisherMAXWELL
Source SetsPUC Rio
LanguagePortuguese
Detected LanguageEnglish
TypeTEXTO

Page generated in 0.0022 seconds