O emprego de sistemas computacionais na Agricultura de Precisão (AP) fomenta a automação de processos e tarefas aplicadas nesta área, precisamente voltadas à inspeção e análise de culturas agrícolas, e locomoção guiada/autônoma de robôs móveis. Neste contexto, no presente trabalho foi proposta a aplicação de técnicas de visão computacional nas tarefas citadas, desenvolvidas em abordagens distintas, a serem aplicadas em uma plataforma de robô móvel agrícola, em desenvolvimento no NEPAS/EESC/USP. Para o problema de locomoção do robô (primeira abordagem), foi desenvolvida uma arquitetura de aquisição, processamento e análise de imagens com o objetivo de segmentar, classificar e reconhecer padrões de navegação das linhas de plantio, como referências de guiagem do robô móvel, entre plantações de laranja, milho e cana. Na segunda abordagem, tais técnicas de processamento de imagens são aplicadas também na inspeção e localização das culturas laranja (primário) e milho (secundário), para análise de suas características naturais, localização e quantificação. Para as duas abordagens, a estratégia adotada nas etapas de processamento de imagens abrange: filtragem no domínio espacial das imagens adquiridas; pré-processamento nos espaços de cores RGB e HSV; segmentação não supervisionada JSEG customizada à quantização de cores em regiões não homogêneas nestes espaços de cores; normalização e extração de características dos histogramas das imagens pré-processadas para os conjuntos de treinamento e teste através da análise das componentes principais; reconhecimento de padrões e classificação cognitiva e estatística. A metodologia desenvolvida contemplou bases de dados para cada abordagem entre 700 e 900 imagens de cenas naturais sob condições distintas de aquisição, apresentando resultados significativos quanto ao algoritmo de segmentação nas duas abordagens, mas em menor grau em relação à localização de gramíneas, sendo que os milhos requerem outras técnicas de segmentação, que não aplicadas apenas em quantização de regiões não homogêneas. A classificação estatística, Bayes e Bayes Ingênuo, mostrou-se superior à cognitiva RNA e Fuzzy nas duas abordagens, e posterior construção dos mapas de classe no espaço de cores HSV. Neste mesmo espaço de cores, a quantificação e localização de frutos apresentaram melhores resultados que em RGB. Com isso, as cenas naturais nas duas abordagens foram devidamente processadas, de acordo com os materiais e métodos empregados na segmentação, classificação e reconhecimento de padrões, fornecendo características intrínsecas e distintas das técnicas de visão computacional propostas a cada abordagem. / The use of computer systems in Precision Agriculture (PA) promotes the processes automation and its applied tasks, specifically the inspection and analysis of agricultural crops, and guided/autonomous locomotion of mobile robots. In this context, it was proposed in the present work the application of computer vision techniques on such mentioned tasks, developed in different approaches, to be applied in an agricultural mobile robot platform, under development at NEPAS/EESC/USP. For agricultural mobile robot locomotion, an architecture for the acquisition, image processing and analysis was built, in order to segment, classify and recognize patterns of planting rows, as references way points for guiding the mobile robot. In the second approach, such image processing techniques were applied also in the inspection and location of the orange crop (primary) and maize crop (secondary) aiming its natural features, location and quantification. For both mentioned approaches, the adopted image processing steps include: filtering in the spatial domain for acquired images; pre-processing in RGB and HSV color spaces; JSEG unsupervised segmentation algorithm, applied to color quantization in non-homogeneous regions; normalization and histograms feature extraction of preprocessed images for training and test sets, fulfilled by the principal components analysis (PCA); pattern recognition and cognitive and statistical classification. The developed methodology includes sets of 700 and 900 images databases for each approach of natural scenes under different conditions of acquisition, providing great results on the segmentation algorithm, but not as appropriate as in the location of maize grass, considering other segmentation techniques, applied not only in the quantization of non-homogeneous regions. Statistical classification, Bayes and Naive Bayes, outperforms the cognitives Fuzzy and ANN on two approaches and subsequent class maps construction in HSV color space. Quantification and localization of fruits had more accurate results in HSV than RGB. Thus, natural scenes in two approaches were properly processed, according to the materials and methods employed in segmentation, classification and pattern recognition, providing intrinsic and different features of the proposed computer vision techniques to each approach.

Sistemas computacionais empregados na Agricultura de Precisão (AP) são dedicados, atualmente, a prover relativa amostragem, precisão e nível de processamento de dados requeridas pelas práticas agrícolas, que não são comuns a agricultura convencional, elevando custos com a produção e pesquisas direcionadas ao sensoriamento remoto, para o mapeamento e inspeção das linhas de plantio. São tarefas a priori realizadas com o uso de sensores proprioceptivos e exteroceptivos, instrumentação embarcada, informações geográficas e implementos existentes na produção e cultivo, que auxiliam as atividades do agricultor durante as etapas de plantação, maturação, conservação e colheita de determinada cultura. Ainda, estas tarefas são auxiliadas com uso de robôs agrícolas móveis terrestres, como plataformas veiculares autônomas para a locomoção entre as linhas de plantio na aquisição de dados do campo. Dadas estas informações e relacionando o grau de investimento e desenvolvimento destas tecnologias, o objetivo deste trabalho é auxiliar a inspeção, quantificação e qualificação de culturas agrícolas (citricultura) de determinada área de plantio através da análise e identificação de dados por fusão sensorial, associada a processamento de imagens digitais, termografia óptica e sensores de fluxo óptico e refletância, baseado na extração de objetos de cenas naturais reais, identificando itens como frutos, gramíneas, caules, ramos, folhas e galhos, provendo assim um conjunto de dados qualitativos e quantitativos da cultura analisada. A partir de um sistema de visão computacional e fusão sensorial, com câmeras GigE/IP-CMOS, conjunto de sonares, câmera térmica, sensores de fluxo óptico e sensores de refletância, são embarcados nas laterais da estrutura veicular, com a mesma relação do centro geométrico cinemático do robô agrícola móvel. Após a aquisição dos dados, são aplicadas técnicas de processamento de imagens e sinais para a segmentação de regiões não homogêneas, e reconhecimento de padrões por classificadores estatísticos. Tais técnicas são programadas em OpenCV e MATLAB, de forma offline. Classificadores cognitivos que realizam as correspondências de padrões e classes são pretendidos na combinação de técnicas de fusão de dados ponderada, para que, durante a locomoção do robô agrícola móvel, as etapas de processamento de imagens e combinação de parâmetros para a classificação sejam manipuláveis para análise a posteriori, conflitando os dados existentes com prováveis alterações decorrentes na cultura e na biomassa. / Computer systems are used in Precision Agriculture (PA) to provide relational sampling, accuracy and data processing required for agricultural practices and schemes, which are not common to conventional agriculture, demanding higher costs of production and research directed to the remote sensing for mapping and inspection of crop rows. Tasks are carried out using a priori On-the-Go sensors, and proprioceptive and exteroceptive ones, embedded instrumentation, geographic information and existing implements on production and farming, which these activities ensure during the steps of planting, maturation, maintenance and harvesting of a particular culture. Also, these tasks are aided with the use of terrestrial agricultural mobile robots such as autonomous vehicle platforms for locomotion between the crop rows in the acquisition of field data. Given this information and relating the investment and development of these technologies, the goal of this work is to assist the inspection, quantification and qualification of agricultural crops (citrus) of planting area through analyzing and identifying data for sensor fusion, associated with digital image processing, optical thermal imaging and optical flow sensors and reflectance, based on the extraction of real natural scenes objects, identifying items such as fruits, grasses, stems, branches and leaves, thus providing a qualitative and quantitative set of data analyzed culture. As of a computer vision system and sensor fusion, Gigabit Ethernet cameras, sonars, thermal camera, infrared optical flow sensors and monochrome CMOS sensors are embedded in two sides of the vehicle structure, with the same geometric center ratio of the agricultural mobile robot. After data acquisition, image and signal processing techniques are applied for non homogeneous region segmentation, and pattern recognition through statistical classifiers. Such techniques are programmed in MATLAB and OpenCV, embedded in a computer platform. Cognitive classifiers that perform pattern and classes matching are intended on a combination of weighted data fusion techniques, that during locomotion of the agricultural mobile robot, the steps of image processing and combination of parameters for classification are manipulated for analysis retrospectively, conflicting existing data with likely changes resulting in culture and biomass.

Sistemas computacionais empregados na Agricultura de Precisão (AP) são dedicados, atualmente, a prover relativa amostragem, precisão e nível de processamento de dados requeridas pelas práticas agrícolas, que não são comuns a agricultura convencional, elevando custos com a produção e pesquisas direcionadas ao sensoriamento remoto, para o mapeamento e inspeção das linhas de plantio. São tarefas a priori realizadas com o uso de sensores proprioceptivos e exteroceptivos, instrumentação embarcada, informações geográficas e implementos existentes na produção e cultivo, que auxiliam as atividades do agricultor durante as etapas de plantação, maturação, conservação e colheita de determinada cultura. Ainda, estas tarefas são auxiliadas com uso de robôs agrícolas móveis terrestres, como plataformas veiculares autônomas para a locomoção entre as linhas de plantio na aquisição de dados do campo. Dadas estas informações e relacionando o grau de investimento e desenvolvimento destas tecnologias, o objetivo deste trabalho é auxiliar a inspeção, quantificação e qualificação de culturas agrícolas (citricultura) de determinada área de plantio através da análise e identificação de dados por fusão sensorial, associada a processamento de imagens digitais, termografia óptica e sensores de fluxo óptico e refletância, baseado na extração de objetos de cenas naturais reais, identificando itens como frutos, gramíneas, caules, ramos, folhas e galhos, provendo assim um conjunto de dados qualitativos e quantitativos da cultura analisada. A partir de um sistema de visão computacional e fusão sensorial, com câmeras GigE/IP-CMOS, conjunto de sonares, câmera térmica, sensores de fluxo óptico e sensores de refletância, são embarcados nas laterais da estrutura veicular, com a mesma relação do centro geométrico cinemático do robô agrícola móvel. Após a aquisição dos dados, são aplicadas técnicas de processamento de imagens e sinais para a segmentação de regiões não homogêneas, e reconhecimento de padrões por classificadores estatísticos. Tais técnicas são programadas em OpenCV e MATLAB, de forma offline. Classificadores cognitivos que realizam as correspondências de padrões e classes são pretendidos na combinação de técnicas de fusão de dados ponderada, para que, durante a locomoção do robô agrícola móvel, as etapas de processamento de imagens e combinação de parâmetros para a classificação sejam manipuláveis para análise a posteriori, conflitando os dados existentes com prováveis alterações decorrentes na cultura e na biomassa. / Computer systems are used in Precision Agriculture (PA) to provide relational sampling, accuracy and data processing required for agricultural practices and schemes, which are not common to conventional agriculture, demanding higher costs of production and research directed to the remote sensing for mapping and inspection of crop rows. Tasks are carried out using a priori On-the-Go sensors, and proprioceptive and exteroceptive ones, embedded instrumentation, geographic information and existing implements on production and farming, which these activities ensure during the steps of planting, maturation, maintenance and harvesting of a particular culture. Also, these tasks are aided with the use of terrestrial agricultural mobile robots such as autonomous vehicle platforms for locomotion between the crop rows in the acquisition of field data. Given this information and relating the investment and development of these technologies, the goal of this work is to assist the inspection, quantification and qualification of agricultural crops (citrus) of planting area through analyzing and identifying data for sensor fusion, associated with digital image processing, optical thermal imaging and optical flow sensors and reflectance, based on the extraction of real natural scenes objects, identifying items such as fruits, grasses, stems, branches and leaves, thus providing a qualitative and quantitative set of data analyzed culture. As of a computer vision system and sensor fusion, Gigabit Ethernet cameras, sonars, thermal camera, infrared optical flow sensors and monochrome CMOS sensors are embedded in two sides of the vehicle structure, with the same geometric center ratio of the agricultural mobile robot. After data acquisition, image and signal processing techniques are applied for non homogeneous region segmentation, and pattern recognition through statistical classifiers. Such techniques are programmed in MATLAB and OpenCV, embedded in a computer platform. Cognitive classifiers that perform pattern and classes matching are intended on a combination of weighted data fusion techniques, that during locomotion of the agricultural mobile robot, the steps of image processing and combination of parameters for classification are manipulated for analysis retrospectively, conflicting existing data with likely changes resulting in culture and biomass.

O emprego de sistemas computacionais na Agricultura de Precisão (AP) fomenta a automação de processos e tarefas aplicadas nesta área, precisamente voltadas à inspeção e análise de culturas agrícolas, e locomoção guiada/autônoma de robôs móveis. Neste contexto, no presente trabalho foi proposta a aplicação de técnicas de visão computacional nas tarefas citadas, desenvolvidas em abordagens distintas, a serem aplicadas em uma plataforma de robô móvel agrícola, em desenvolvimento no NEPAS/EESC/USP. Para o problema de locomoção do robô (primeira abordagem), foi desenvolvida uma arquitetura de aquisição, processamento e análise de imagens com o objetivo de segmentar, classificar e reconhecer padrões de navegação das linhas de plantio, como referências de guiagem do robô móvel, entre plantações de laranja, milho e cana. Na segunda abordagem, tais técnicas de processamento de imagens são aplicadas também na inspeção e localização das culturas laranja (primário) e milho (secundário), para análise de suas características naturais, localização e quantificação. Para as duas abordagens, a estratégia adotada nas etapas de processamento de imagens abrange: filtragem no domínio espacial das imagens adquiridas; pré-processamento nos espaços de cores RGB e HSV; segmentação não supervisionada JSEG customizada à quantização de cores em regiões não homogêneas nestes espaços de cores; normalização e extração de características dos histogramas das imagens pré-processadas para os conjuntos de treinamento e teste através da análise das componentes principais; reconhecimento de padrões e classificação cognitiva e estatística. A metodologia desenvolvida contemplou bases de dados para cada abordagem entre 700 e 900 imagens de cenas naturais sob condições distintas de aquisição, apresentando resultados significativos quanto ao algoritmo de segmentação nas duas abordagens, mas em menor grau em relação à localização de gramíneas, sendo que os milhos requerem outras técnicas de segmentação, que não aplicadas apenas em quantização de regiões não homogêneas. A classificação estatística, Bayes e Bayes Ingênuo, mostrou-se superior à cognitiva RNA e Fuzzy nas duas abordagens, e posterior construção dos mapas de classe no espaço de cores HSV. Neste mesmo espaço de cores, a quantificação e localização de frutos apresentaram melhores resultados que em RGB. Com isso, as cenas naturais nas duas abordagens foram devidamente processadas, de acordo com os materiais e métodos empregados na segmentação, classificação e reconhecimento de padrões, fornecendo características intrínsecas e distintas das técnicas de visão computacional propostas a cada abordagem. / The use of computer systems in Precision Agriculture (PA) promotes the processes automation and its applied tasks, specifically the inspection and analysis of agricultural crops, and guided/autonomous locomotion of mobile robots. In this context, it was proposed in the present work the application of computer vision techniques on such mentioned tasks, developed in different approaches, to be applied in an agricultural mobile robot platform, under development at NEPAS/EESC/USP. For agricultural mobile robot locomotion, an architecture for the acquisition, image processing and analysis was built, in order to segment, classify and recognize patterns of planting rows, as references way points for guiding the mobile robot. In the second approach, such image processing techniques were applied also in the inspection and location of the orange crop (primary) and maize crop (secondary) aiming its natural features, location and quantification. For both mentioned approaches, the adopted image processing steps include: filtering in the spatial domain for acquired images; pre-processing in RGB and HSV color spaces; JSEG unsupervised segmentation algorithm, applied to color quantization in non-homogeneous regions; normalization and histograms feature extraction of preprocessed images for training and test sets, fulfilled by the principal components analysis (PCA); pattern recognition and cognitive and statistical classification. The developed methodology includes sets of 700 and 900 images databases for each approach of natural scenes under different conditions of acquisition, providing great results on the segmentation algorithm, but not as appropriate as in the location of maize grass, considering other segmentation techniques, applied not only in the quantization of non-homogeneous regions. Statistical classification, Bayes and Naive Bayes, outperforms the cognitives Fuzzy and ANN on two approaches and subsequent class maps construction in HSV color space. Quantification and localization of fruits had more accurate results in HSV than RGB. Thus, natural scenes in two approaches were properly processed, according to the materials and methods employed in segmentation, classification and pattern recognition, providing intrinsic and different features of the proposed computer vision techniques to each approach.