[pt] O presente trabalho inicia com uma investigação sobre o uso de modelos
de Aprendizado Profundo 3D para a detecção aprimorada de morangos em
túneis de cultivo. Focou-se em duas tarefas principais: primeiramente, a
detecção de frutas, comparando o modelo original MaskRCNN com uma
versão adaptada que integra informações de profundidade (MaskRCNN-D).
Ambos os modelos são capazes de classificar morangos baseados em sua
maturidade (maduro, não maduro) e estado de saúde (afetados por doença
ou fungo). Em segundo lugar, focou-se em identificar a região mais ampla
dos morangos, cumprindo um requisito para um sistema de espectrômetro
capaz de medir o conteúdo de açúcar das frutas. Nesta tarefa, comparouse um algoritmo baseado em contorno com uma versão aprimorada do
modelo VGG-16. Os resultados demonstram que a integração de dados
de profundidade no MaskRCNN-D resulta em até 13.7 por cento de melhoria no
mAP através de diversos conjuntos de teste de morangos, incluindo os
simulados, enfatizando a eficácia do modelo em cenários agrícolas reais e
simulados. Além disso, nossa abordagem de solução ponta-a-ponta, que
combina a detecção de frutas (MaskRCNN-D) e os modelos de identificação
da região mais ampla (VGG-16 aprimorado), mostra um erro de localização
notavelmente baixo, alcançando até 11.3 pixels de RMSE em uma imagem
de morango cortada de 224 × 224. Finalmente, explorou-se o desafio de
aprimorar a qualidade das leituras de dados do espectrômetro através do
posicionamento automático do sensor. Para tal, projetou-se e treinou-se um
modelo de Aprendizado Profundo com dados simulados, capaz de prever
a acurácia do sensor com base em uma imagem dada de um morango e o
deslocamento desejado da posição do sensor. Usando este modelo, calcula-se
o gradiente da saída de acurácia em relação à entrada de deslocamento. Isso
resulta em um vetor indicando a direção e magnitude com que o sensor deve
ser movido para melhorar a acurácia do sinal do sensor. Propôs-se então
uma solução de Servo Visão baseada neste vetor, obtendo um aumento
significativo na acurácia média do sensor e melhoria na consistência em
novas iterações simuladas. / [en] The present work begins with an investigation into the use of 3D Deep
Learning models for enhanced strawberry detection in polytunnels. We
focus on two main tasks: firstly, fruit detection, comparing the standard
MaskRCNN with an adapted version that integrates depth information
(MaskRCNN-D). Both models are capable of classifying strawberries based
on their maturity (ripe, unripe) and health status (affected by disease or
fungus). Secondly, we focus on identifying the widest region of strawberries,
fulfilling a requirement for a spectrometer system capable of measuring
their sugar content. In this task, we compare a contour-based algorithm
with an enhanced version of the VGG-16 model. Our findings demonstrate
that integrating depth data into the MaskRCNN-D results in up to a
13.7 percent improvement in mAP across various strawberry test sets, including
simulated ones, emphasizing the model s effectiveness in both real-world
and simulated agricultural scenarios. Furthermore, our end-to-end pipeline
approach, which combines the fruit detection (MaskRCNN-D) and widest
region identification models (enhanced VGG-16), shows a remarkably low
localization error, achieving down to 11.3 pixels of RMSE in a 224 × 224
strawberry cropped image. Finally, we explore the challenge of enhancing
the quality of the data readings from the spectrometer through automatic
sensor positioning. To this end, we designed and trained a Deep Learning
model with simulated data, capable of predicting the sensor accuracy based
on a given image of the strawberry and the subsequent displacement of
the sensor s position. Using this model, we calculate the gradient of the
accuracy output with respect to the displacement input. This results in a
vector indicating the direction and magnitude with which the sensor should
be moved to improve the sensor signal accuracy. A Visual Servoing solution
based on this vector provided a significant increase in the average sensor
accuracy and improvement in consistency across new simulated iterations.
| Identifer | oai:union.ndltd.org:puc-rio.br/oai:MAXWELL.puc-rio.br:67743 |
| Date | 27 August 2024 |
| Creators | GABRIEL LINS TENORIO |
| Contributors | WOUTER CAARLS |
| Publisher | MAXWELL |
| Source Sets | PUC Rio |
| Language | English |
| Detected Language | Portuguese |
| Type | TEXTO |
Page generated in 0.0023 seconds