A geração de ambientes virtuais de áreas urbanas ou cenas naturais coloca um grande número de problemas no âmbito da Computação Gráfica, dado que a quantidade de informação necessária para a criação de modelos realistas é dependente da dimensão e complexidade da área a modelar. A construção de um grande número de modelos de objetos naturais de forma detalhada é extremamente trabalhosa. Enquanto os modelos de estruturas artificiais, tais como máquinas ou edifícios podem ser obtidos a partir de fontes CAD, o mesmo não ocorre as plantas e outros fenômenos naturais. Embora muitos ambientes virtuais sejam criados por modelagem manual e individual de cada um dos seus componentes, os processos automáticos e semi-automáticos de reconstrução de ambientes naturais 3D provaram que podem ser muito mais eficientes, reduzindo a duração, o custo e a alocação de recursos humanos. A integração entre diferentes tecnologias e ferramentas que possibilitem a identificação de elementos em um cenário agrícola, modelagem de objetos 3D e a posterior apresentação e utilização do ambiente virtual em um sistema do tipo CAVE não é uma tarefa trivial. Dessa forma, o objetivo desta pesquisa é desenvolver uma metodologia de montagem automática de ambientes virtuais agrícolas baseada na extração de objetos de cenas naturais reais a partir de imagens de vídeo para utilização no sistema de multiprojeção imersivo do Laboratório Multiusuário de Visualização 3D Imersiva de São Carlos (LMVI). A partir de um modelo de dados 3D projetado em um sistema que oferece um alto grau de imersão e interação como o LMVI, pode-se fazer comparações com outros modelos de dados ou com o mesmo modelo em épocas diferentes. Através da comparação entre modelos é possível identificar alterações que ocorreram no ambiente ao longo do tempo (tanto naturais como causadas pelo homem) auxiliando na tomada de decisão em processos agrícolas. / The generation of virtual environments for urban or natural scenes poses a number of problems within the Computer Graphics, since the amount of information needed to create realistic models is dependent on the size and complexity of the area to be modeled.The construction of a large number of natural object models in detail is extremely laborious. While the models of artificial structures, such as machines or buildings can be obtained from CAD sources, the same is not true plants and other natural phenomena. Although many virtual environments are created by individual and manual modeling of each of their components, the processes of automatic and semi-automatic 3D reconstruction of natural environments have proved to be much more efficient, reducing duration, cost and allocation of human resources.The integration between different technologies and tools that enable the identication of elements in an agricultural setting, modeling of 3D objects and the subsequent presentation and use of virtual environment in a CAVE-like system is not a trivial task. Thus, the objective of this research is to develop a methodology for automatic mounting of agricultural virtual environments based on the extraction of objects of natural scenes from real video images for use in the immersive multiprojection system of the Multiuser Laboratory of 3D Immersive Visualization of Sao Carlos (MLIV). From a 3d data model projected in a system that offers a high degree of immersion and interaction as MLIV, one can make comparisons with other data models or with the same model at different periods. Through the comparison between models is possible to identify changes that occurred in the environment over time (both natural and manmade) assisting the decision making in agricultural processes.

A geração de ambientes virtuais de áreas urbanas ou cenas naturais coloca um grande número de problemas no âmbito da Computação Gráfica, dado que a quantidade de informação necessária para a criação de modelos realistas é dependente da dimensão e complexidade da área a modelar. A construção de um grande número de modelos de objetos naturais de forma detalhada é extremamente trabalhosa. Enquanto os modelos de estruturas artificiais, tais como máquinas ou edifícios podem ser obtidos a partir de fontes CAD, o mesmo não ocorre as plantas e outros fenômenos naturais. Embora muitos ambientes virtuais sejam criados por modelagem manual e individual de cada um dos seus componentes, os processos automáticos e semi-automáticos de reconstrução de ambientes naturais 3D provaram que podem ser muito mais eficientes, reduzindo a duração, o custo e a alocação de recursos humanos. A integração entre diferentes tecnologias e ferramentas que possibilitem a identificação de elementos em um cenário agrícola, modelagem de objetos 3D e a posterior apresentação e utilização do ambiente virtual em um sistema do tipo CAVE não é uma tarefa trivial. Dessa forma, o objetivo desta pesquisa é desenvolver uma metodologia de montagem automática de ambientes virtuais agrícolas baseada na extração de objetos de cenas naturais reais a partir de imagens de vídeo para utilização no sistema de multiprojeção imersivo do Laboratório Multiusuário de Visualização 3D Imersiva de São Carlos (LMVI). A partir de um modelo de dados 3D projetado em um sistema que oferece um alto grau de imersão e interação como o LMVI, pode-se fazer comparações com outros modelos de dados ou com o mesmo modelo em épocas diferentes. Através da comparação entre modelos é possível identificar alterações que ocorreram no ambiente ao longo do tempo (tanto naturais como causadas pelo homem) auxiliando na tomada de decisão em processos agrícolas. / The generation of virtual environments for urban or natural scenes poses a number of problems within the Computer Graphics, since the amount of information needed to create realistic models is dependent on the size and complexity of the area to be modeled.The construction of a large number of natural object models in detail is extremely laborious. While the models of artificial structures, such as machines or buildings can be obtained from CAD sources, the same is not true plants and other natural phenomena. Although many virtual environments are created by individual and manual modeling of each of their components, the processes of automatic and semi-automatic 3D reconstruction of natural environments have proved to be much more efficient, reducing duration, cost and allocation of human resources.The integration between different technologies and tools that enable the identication of elements in an agricultural setting, modeling of 3D objects and the subsequent presentation and use of virtual environment in a CAVE-like system is not a trivial task. Thus, the objective of this research is to develop a methodology for automatic mounting of agricultural virtual environments based on the extraction of objects of natural scenes from real video images for use in the immersive multiprojection system of the Multiuser Laboratory of 3D Immersive Visualization of Sao Carlos (MLIV). From a 3d data model projected in a system that offers a high degree of immersion and interaction as MLIV, one can make comparisons with other data models or with the same model at different periods. Through the comparison between models is possible to identify changes that occurred in the environment over time (both natural and manmade) assisting the decision making in agricultural processes.

O emprego de sistemas computacionais na Agricultura de Precisão (AP) fomenta a automação de processos e tarefas aplicadas nesta área, precisamente voltadas à inspeção e análise de culturas agrícolas, e locomoção guiada/autônoma de robôs móveis. Neste contexto, no presente trabalho foi proposta a aplicação de técnicas de visão computacional nas tarefas citadas, desenvolvidas em abordagens distintas, a serem aplicadas em uma plataforma de robô móvel agrícola, em desenvolvimento no NEPAS/EESC/USP. Para o problema de locomoção do robô (primeira abordagem), foi desenvolvida uma arquitetura de aquisição, processamento e análise de imagens com o objetivo de segmentar, classificar e reconhecer padrões de navegação das linhas de plantio, como referências de guiagem do robô móvel, entre plantações de laranja, milho e cana. Na segunda abordagem, tais técnicas de processamento de imagens são aplicadas também na inspeção e localização das culturas laranja (primário) e milho (secundário), para análise de suas características naturais, localização e quantificação. Para as duas abordagens, a estratégia adotada nas etapas de processamento de imagens abrange: filtragem no domínio espacial das imagens adquiridas; pré-processamento nos espaços de cores RGB e HSV; segmentação não supervisionada JSEG customizada à quantização de cores em regiões não homogêneas nestes espaços de cores; normalização e extração de características dos histogramas das imagens pré-processadas para os conjuntos de treinamento e teste através da análise das componentes principais; reconhecimento de padrões e classificação cognitiva e estatística. A metodologia desenvolvida contemplou bases de dados para cada abordagem entre 700 e 900 imagens de cenas naturais sob condições distintas de aquisição, apresentando resultados significativos quanto ao algoritmo de segmentação nas duas abordagens, mas em menor grau em relação à localização de gramíneas, sendo que os milhos requerem outras técnicas de segmentação, que não aplicadas apenas em quantização de regiões não homogêneas. A classificação estatística, Bayes e Bayes Ingênuo, mostrou-se superior à cognitiva RNA e Fuzzy nas duas abordagens, e posterior construção dos mapas de classe no espaço de cores HSV. Neste mesmo espaço de cores, a quantificação e localização de frutos apresentaram melhores resultados que em RGB. Com isso, as cenas naturais nas duas abordagens foram devidamente processadas, de acordo com os materiais e métodos empregados na segmentação, classificação e reconhecimento de padrões, fornecendo características intrínsecas e distintas das técnicas de visão computacional propostas a cada abordagem. / The use of computer systems in Precision Agriculture (PA) promotes the processes automation and its applied tasks, specifically the inspection and analysis of agricultural crops, and guided/autonomous locomotion of mobile robots. In this context, it was proposed in the present work the application of computer vision techniques on such mentioned tasks, developed in different approaches, to be applied in an agricultural mobile robot platform, under development at NEPAS/EESC/USP. For agricultural mobile robot locomotion, an architecture for the acquisition, image processing and analysis was built, in order to segment, classify and recognize patterns of planting rows, as references way points for guiding the mobile robot. In the second approach, such image processing techniques were applied also in the inspection and location of the orange crop (primary) and maize crop (secondary) aiming its natural features, location and quantification. For both mentioned approaches, the adopted image processing steps include: filtering in the spatial domain for acquired images; pre-processing in RGB and HSV color spaces; JSEG unsupervised segmentation algorithm, applied to color quantization in non-homogeneous regions; normalization and histograms feature extraction of preprocessed images for training and test sets, fulfilled by the principal components analysis (PCA); pattern recognition and cognitive and statistical classification. The developed methodology includes sets of 700 and 900 images databases for each approach of natural scenes under different conditions of acquisition, providing great results on the segmentation algorithm, but not as appropriate as in the location of maize grass, considering other segmentation techniques, applied not only in the quantization of non-homogeneous regions. Statistical classification, Bayes and Naive Bayes, outperforms the cognitives Fuzzy and ANN on two approaches and subsequent class maps construction in HSV color space. Quantification and localization of fruits had more accurate results in HSV than RGB. Thus, natural scenes in two approaches were properly processed, according to the materials and methods employed in segmentation, classification and pattern recognition, providing intrinsic and different features of the proposed computer vision techniques to each approach.

Os sistemas automáticos são normalmente empregados na indústria com o objetivo de otimizar a produção. Na agro-indústria, estes sistemas são usados com o mesmo propósito, sendo que dentre estes sistemas é possível destacar os que empregam a visão computacional, pois esta tem sido usada para inspeção de lavouras, colheita mecanizada, guiagem de veículos e robôs entre outras aplicações. No presente trabalho, técnicas de visão computacional foram utilizadas para segmentar e classificar elementos presentes em imagens obtidas de pomares de laranjeiras. Uma arquitetura modular foi utilizada na qual a imagem é segmentada automaticamente e, posteriormente, os segmentos são classificados. Nesta arquitetura, o algoritmo de segmentação e o classificador podem ser alterados sem prejudicar a flexibilidade do sistema implementado. Foram realizados experimentos com um banco de imagens composto por 658 imagens. Estas imagens foram obtidas sob diferentes condições de iluminação durante o período que as frutas estavam maduras. Estes experimentos foram realizados para avaliar, no contexto da arquitetura desenvolvida, o algoritmo de segmentação JSEG, vetores de características derivados dos espaços de cores RGB e HSV, além de três tipos de classificadores: bayesiano, classificador ingênuo de Bayes e classificador baseado no perceptron multicamadas. Finalmente, foram construídos os mapas de classes. As funções de distribuição de probabilidades foram estimadas com o algoritmo de Figueiredo-Jain. Dos resultados obtidos, deve-se destacar que o algoritmo de segmentação mostrou-se adequado aos propósitos deste trabalho e o classificador bayesiano mostrou-se mais prático que o classificador baseado no perceptron multicamadas. Por fim, a arquitetura mostrou-se adequada para o reconhecimento de cenas obtidas em pomares de laranjeiras. / Automation systems are usually used in the industry to optimize the production. In the agroindustry, these systems are used with the same intentions. Among them are systems that use computer vision for inspection, mechanized harvest, vehicles and robots guidance and other applications. Because of this, in the present work, techniques of computer vision were used to segment and classify elements in the images from oranges orchards. A modular architecture was used. The image are automatically segmented and, then the segments are classified. In this architecture, the segmentation algorithm and the classifier can be modified without loss of flexibility. The experiments were carried out with 658 images. These images were acquired under different illumination conditions during the period that the fruits are mature. These experiments were carried out to evaluate, in the context of developed architecture, the segmentation algorithm JSEG, characteristics vectors derived from the colors spaces RGB and HSV and three classifiers: Bayes\'s classifier, Bayes\'s naive classifier and multilayer perceptron classifier. Finally, the class maps were constructed. The Figueiredo-Jain algorithm was used to estimate the probability distribution functions. The results show that the segmentation algorithm is adequate to this work and the Bayes classifier is more practical that the multilayer perceptron classifier. Finally, the architecture is adequate for recognition of images acquired in orange orchards.

O emprego de sistemas computacionais na Agricultura de Precisão (AP) fomenta a automação de processos e tarefas aplicadas nesta área, precisamente voltadas à inspeção e análise de culturas agrícolas, e locomoção guiada/autônoma de robôs móveis. Neste contexto, no presente trabalho foi proposta a aplicação de técnicas de visão computacional nas tarefas citadas, desenvolvidas em abordagens distintas, a serem aplicadas em uma plataforma de robô móvel agrícola, em desenvolvimento no NEPAS/EESC/USP. Para o problema de locomoção do robô (primeira abordagem), foi desenvolvida uma arquitetura de aquisição, processamento e análise de imagens com o objetivo de segmentar, classificar e reconhecer padrões de navegação das linhas de plantio, como referências de guiagem do robô móvel, entre plantações de laranja, milho e cana. Na segunda abordagem, tais técnicas de processamento de imagens são aplicadas também na inspeção e localização das culturas laranja (primário) e milho (secundário), para análise de suas características naturais, localização e quantificação. Para as duas abordagens, a estratégia adotada nas etapas de processamento de imagens abrange: filtragem no domínio espacial das imagens adquiridas; pré-processamento nos espaços de cores RGB e HSV; segmentação não supervisionada JSEG customizada à quantização de cores em regiões não homogêneas nestes espaços de cores; normalização e extração de características dos histogramas das imagens pré-processadas para os conjuntos de treinamento e teste através da análise das componentes principais; reconhecimento de padrões e classificação cognitiva e estatística. A metodologia desenvolvida contemplou bases de dados para cada abordagem entre 700 e 900 imagens de cenas naturais sob condições distintas de aquisição, apresentando resultados significativos quanto ao algoritmo de segmentação nas duas abordagens, mas em menor grau em relação à localização de gramíneas, sendo que os milhos requerem outras técnicas de segmentação, que não aplicadas apenas em quantização de regiões não homogêneas. A classificação estatística, Bayes e Bayes Ingênuo, mostrou-se superior à cognitiva RNA e Fuzzy nas duas abordagens, e posterior construção dos mapas de classe no espaço de cores HSV. Neste mesmo espaço de cores, a quantificação e localização de frutos apresentaram melhores resultados que em RGB. Com isso, as cenas naturais nas duas abordagens foram devidamente processadas, de acordo com os materiais e métodos empregados na segmentação, classificação e reconhecimento de padrões, fornecendo características intrínsecas e distintas das técnicas de visão computacional propostas a cada abordagem. / The use of computer systems in Precision Agriculture (PA) promotes the processes automation and its applied tasks, specifically the inspection and analysis of agricultural crops, and guided/autonomous locomotion of mobile robots. In this context, it was proposed in the present work the application of computer vision techniques on such mentioned tasks, developed in different approaches, to be applied in an agricultural mobile robot platform, under development at NEPAS/EESC/USP. For agricultural mobile robot locomotion, an architecture for the acquisition, image processing and analysis was built, in order to segment, classify and recognize patterns of planting rows, as references way points for guiding the mobile robot. In the second approach, such image processing techniques were applied also in the inspection and location of the orange crop (primary) and maize crop (secondary) aiming its natural features, location and quantification. For both mentioned approaches, the adopted image processing steps include: filtering in the spatial domain for acquired images; pre-processing in RGB and HSV color spaces; JSEG unsupervised segmentation algorithm, applied to color quantization in non-homogeneous regions; normalization and histograms feature extraction of preprocessed images for training and test sets, fulfilled by the principal components analysis (PCA); pattern recognition and cognitive and statistical classification. The developed methodology includes sets of 700 and 900 images databases for each approach of natural scenes under different conditions of acquisition, providing great results on the segmentation algorithm, but not as appropriate as in the location of maize grass, considering other segmentation techniques, applied not only in the quantization of non-homogeneous regions. Statistical classification, Bayes and Naive Bayes, outperforms the cognitives Fuzzy and ANN on two approaches and subsequent class maps construction in HSV color space. Quantification and localization of fruits had more accurate results in HSV than RGB. Thus, natural scenes in two approaches were properly processed, according to the materials and methods employed in segmentation, classification and pattern recognition, providing intrinsic and different features of the proposed computer vision techniques to each approach.

Os sistemas automáticos são normalmente empregados na indústria com o objetivo de otimizar a produção. Na agro-indústria, estes sistemas são usados com o mesmo propósito, sendo que dentre estes sistemas é possível destacar os que empregam a visão computacional, pois esta tem sido usada para inspeção de lavouras, colheita mecanizada, guiagem de veículos e robôs entre outras aplicações. No presente trabalho, técnicas de visão computacional foram utilizadas para segmentar e classificar elementos presentes em imagens obtidas de pomares de laranjeiras. Uma arquitetura modular foi utilizada na qual a imagem é segmentada automaticamente e, posteriormente, os segmentos são classificados. Nesta arquitetura, o algoritmo de segmentação e o classificador podem ser alterados sem prejudicar a flexibilidade do sistema implementado. Foram realizados experimentos com um banco de imagens composto por 658 imagens. Estas imagens foram obtidas sob diferentes condições de iluminação durante o período que as frutas estavam maduras. Estes experimentos foram realizados para avaliar, no contexto da arquitetura desenvolvida, o algoritmo de segmentação JSEG, vetores de características derivados dos espaços de cores RGB e HSV, além de três tipos de classificadores: bayesiano, classificador ingênuo de Bayes e classificador baseado no perceptron multicamadas. Finalmente, foram construídos os mapas de classes. As funções de distribuição de probabilidades foram estimadas com o algoritmo de Figueiredo-Jain. Dos resultados obtidos, deve-se destacar que o algoritmo de segmentação mostrou-se adequado aos propósitos deste trabalho e o classificador bayesiano mostrou-se mais prático que o classificador baseado no perceptron multicamadas. Por fim, a arquitetura mostrou-se adequada para o reconhecimento de cenas obtidas em pomares de laranjeiras. / Automation systems are usually used in the industry to optimize the production. In the agroindustry, these systems are used with the same intentions. Among them are systems that use computer vision for inspection, mechanized harvest, vehicles and robots guidance and other applications. Because of this, in the present work, techniques of computer vision were used to segment and classify elements in the images from oranges orchards. A modular architecture was used. The image are automatically segmented and, then the segments are classified. In this architecture, the segmentation algorithm and the classifier can be modified without loss of flexibility. The experiments were carried out with 658 images. These images were acquired under different illumination conditions during the period that the fruits are mature. These experiments were carried out to evaluate, in the context of developed architecture, the segmentation algorithm JSEG, characteristics vectors derived from the colors spaces RGB and HSV and three classifiers: Bayes\'s classifier, Bayes\'s naive classifier and multilayer perceptron classifier. Finally, the class maps were constructed. The Figueiredo-Jain algorithm was used to estimate the probability distribution functions. The results show that the segmentation algorithm is adequate to this work and the Bayes classifier is more practical that the multilayer perceptron classifier. Finally, the architecture is adequate for recognition of images acquired in orange orchards.