Fungal infection and mycotoxin contamination in agricultural products are a serious food safety issue. The detection of fungal infection and mycotoxin contamination in food products should be in a rapid way. A Near-infrared (NIR) hyperspectral imaging system was used to detect fungal infection in 2013 crop year canola, wheat, and barley at different periods after inoculation and different concentration levels of ochratoxin A in wheat and barley. Artificially fungal infected (Fungi: Aspergillus glaucus, Penicillium spp.) kernels of canola, wheat and barley, were subjected to single kernel imaging after 2, 4, 6, 8, and 10 weeks post inoculation in the NIR region from 1000 to 1600 nm at 61 evenly distributed wavelengths at 10 nm intervals. The acquired image data were in the three-dimensional hypercube forms, and these were transformed into two-dimensional data. The two-dimensional data were subjected to principal component analysis to identify significant wavelengths based on the highest principal component factor loadings. Wavelengths 1100, 1130, 1250, and 1300 nm were identified as significant for detection of fungal infection in canola kernels, wavelengths 1280, 1300, and 1350 nm were identified as significant for detection of fungal infection in wheat kernels, and wavelengths 1260, 1310, and 1360 nm were identified as significant for detection of fungal infection in barley kernels. The linear, quadratic and Mahalanobis statistical discriminant classifiers differentiated healthy canola kernels with > 95% and fungal infected canola kernels with > 90% classification accuracy. All the three classifiers discriminated healthy wheat and barley kernels with > 90% and fungal infected wheat and barley kernels with > 80% classification accuracy. The wavelengths 1300, 1350, and 1480 nm were identified as significant for detection of ochratoxin A contaminated wheat kernels, and wavelengths 1310, 1360, 1480 nm were identified as significant for detection of ochratoxin A contaminated barley kernels. All the three statistical classifiers differentiated healthy wheat and barley kernels and ochratoxin A contaminated wheat and barley kernels with a classification accuracy of 100%. The classifiers were able to discriminate between different durations of fungal infections in canola, wheat, and barley kernels with classification accuracy of more than 80% at initial periods (2 weeks) of fungal infection and 100% at the later periods of fungal infection. Different concentration levels of ochratoxin A contamination in wheat and barley kernels were discriminated with a classification accuracy of > 98% at ochratoxin A concentration level of ≤ 72 ppb in wheat kernels and ≤ 140 ppb in barley kernels and with 100% classification accuracy at higher concentration levels. / May 2016

A idéia de capacitar uma máquina a reconhecer o ambiente em que atua tem motivado pesquisadores a investir esforços no estudo do mais complexo dos sentidos humanos, a visão. A visão é, antes de tudo, uma tarefa de representação e processamento de informações, sendo portanto adequada ao tratamento computacional. Visto que ainda não se possuem métodos que tenham resultados equivalentes ao que seria obtido com um usuário humano, tem-se estudado intensamente a utilização de feições para um melhor aproveitamento de seu potencial. Dentre estas feições, a forma de um objeto proporciona um poderoso indício de sua identidade e funcionalidade, podendo ser utilizada para seu reconhecimento. Isso distingue a forma de outras feições visuais elementares, como a cor, o movimento ou a textura, que, apesar de igualmente importantes, normalmente não revelam a identidade de um objeto. Assim sendo, a possibilidade de avaliar a robustez e a estabilidade de técnicas alternativas para a representação de forma é vital para prever o desempenho de cada técnica na presença de alguma incerteza ou discrepância. Neste trabalho, alguns descritores de forma descritos na literatura foram implementados e utilizados em estudos de caso para avaliar sua eficácia. Estes estudos de caso foram realizados utilizando-se caracteres, todavia, com finalidades bastante distintas. O primeiro estudo de caso é voltado para aplicações como a robótica móvel, com reconhecimento de comandos localizados no ambiente por parte do robô. Já o estudo de caso principal está direcionado para aplicações de reconhecimento de placas de automóveis, que poderia tanto ser utilizado para monitoramento e controle do fluxo de trânsito, quanto para controle de infrações. Muitas aplicações, incluindo aquelas que envolvem a recuperação e indexação de objetos visuais, são apropriadas para a utilização de feições de forma. Outra característica importante do presente trabalho é a de realçar que a seleção de um bom descritor reduz o esforço necessário na etapa de classificação, o qual é computacionalmente elevado. / The idea of enabling a machine to recognize the environment with which it interacts has motivated researchers to dedicate efforts in studying the most complex of the human senses: vision. Vision is essentially a task of information representation and processing, what makes it suitable for computational treatment. Given that currently there are no methods that perform equivalently to humans, the use of features has been intensively studied in order to improve the performance of the existing methods. Among these features, the shape of an object provides a powerful sign of its identity and functionality, what enables the exploitation of this feature with the purpose of recognition. This evidence distinguishes shape from other visual features, such as color, motion or texture, which, although equally important, normally do not reveal the identity of an object. As a result, the possibility of evaluating the robustness and stability of alternate techniques for shape representation is essential in order to measure the performance of each technique in the presence of uncertainty. In this work, some shape descriptors available in the literature were implemented and used in case studies aiming at evaluating their effectiveness. These case studies were carried out using characters, although, with very different purposes. The first case study is geared towards applications such as mobile robotics, where the robot recognizes commands available in the environment. The main case study is focused on applications of license plate recognition, which could be used both in situations of surveillance and traffic control and in situations of infraction. Many applications, including those that involve the search and indexing of visual objects, are suited for the use of shape features. Another important characteristic of this work is that it emphasizes that the selection of a good shape description reduces the effort during the classification step, which is computationally elevated.

A idéia de capacitar uma máquina a reconhecer o ambiente em que atua tem motivado pesquisadores a investir esforços no estudo do mais complexo dos sentidos humanos, a visão. A visão é, antes de tudo, uma tarefa de representação e processamento de informações, sendo portanto adequada ao tratamento computacional. Visto que ainda não se possuem métodos que tenham resultados equivalentes ao que seria obtido com um usuário humano, tem-se estudado intensamente a utilização de feições para um melhor aproveitamento de seu potencial. Dentre estas feições, a forma de um objeto proporciona um poderoso indício de sua identidade e funcionalidade, podendo ser utilizada para seu reconhecimento. Isso distingue a forma de outras feições visuais elementares, como a cor, o movimento ou a textura, que, apesar de igualmente importantes, normalmente não revelam a identidade de um objeto. Assim sendo, a possibilidade de avaliar a robustez e a estabilidade de técnicas alternativas para a representação de forma é vital para prever o desempenho de cada técnica na presença de alguma incerteza ou discrepância. Neste trabalho, alguns descritores de forma descritos na literatura foram implementados e utilizados em estudos de caso para avaliar sua eficácia. Estes estudos de caso foram realizados utilizando-se caracteres, todavia, com finalidades bastante distintas. O primeiro estudo de caso é voltado para aplicações como a robótica móvel, com reconhecimento de comandos localizados no ambiente por parte do robô. Já o estudo de caso principal está direcionado para aplicações de reconhecimento de placas de automóveis, que poderia tanto ser utilizado para monitoramento e controle do fluxo de trânsito, quanto para controle de infrações. Muitas aplicações, incluindo aquelas que envolvem a recuperação e indexação de objetos visuais, são apropriadas para a utilização de feições de forma. Outra característica importante do presente trabalho é a de realçar que a seleção de um bom descritor reduz o esforço necessário na etapa de classificação, o qual é computacionalmente elevado. / The idea of enabling a machine to recognize the environment with which it interacts has motivated researchers to dedicate efforts in studying the most complex of the human senses: vision. Vision is essentially a task of information representation and processing, what makes it suitable for computational treatment. Given that currently there are no methods that perform equivalently to humans, the use of features has been intensively studied in order to improve the performance of the existing methods. Among these features, the shape of an object provides a powerful sign of its identity and functionality, what enables the exploitation of this feature with the purpose of recognition. This evidence distinguishes shape from other visual features, such as color, motion or texture, which, although equally important, normally do not reveal the identity of an object. As a result, the possibility of evaluating the robustness and stability of alternate techniques for shape representation is essential in order to measure the performance of each technique in the presence of uncertainty. In this work, some shape descriptors available in the literature were implemented and used in case studies aiming at evaluating their effectiveness. These case studies were carried out using characters, although, with very different purposes. The first case study is geared towards applications such as mobile robotics, where the robot recognizes commands available in the environment. The main case study is focused on applications of license plate recognition, which could be used both in situations of surveillance and traffic control and in situations of infraction. Many applications, including those that involve the search and indexing of visual objects, are suited for the use of shape features. Another important characteristic of this work is that it emphasizes that the selection of a good shape description reduces the effort during the classification step, which is computationally elevated.

A idéia de capacitar uma máquina a reconhecer o ambiente em que atua tem motivado pesquisadores a investir esforços no estudo do mais complexo dos sentidos humanos, a visão. A visão é, antes de tudo, uma tarefa de representação e processamento de informações, sendo portanto adequada ao tratamento computacional. Visto que ainda não se possuem métodos que tenham resultados equivalentes ao que seria obtido com um usuário humano, tem-se estudado intensamente a utilização de feições para um melhor aproveitamento de seu potencial. Dentre estas feições, a forma de um objeto proporciona um poderoso indício de sua identidade e funcionalidade, podendo ser utilizada para seu reconhecimento. Isso distingue a forma de outras feições visuais elementares, como a cor, o movimento ou a textura, que, apesar de igualmente importantes, normalmente não revelam a identidade de um objeto. Assim sendo, a possibilidade de avaliar a robustez e a estabilidade de técnicas alternativas para a representação de forma é vital para prever o desempenho de cada técnica na presença de alguma incerteza ou discrepância. Neste trabalho, alguns descritores de forma descritos na literatura foram implementados e utilizados em estudos de caso para avaliar sua eficácia. Estes estudos de caso foram realizados utilizando-se caracteres, todavia, com finalidades bastante distintas. O primeiro estudo de caso é voltado para aplicações como a robótica móvel, com reconhecimento de comandos localizados no ambiente por parte do robô. Já o estudo de caso principal está direcionado para aplicações de reconhecimento de placas de automóveis, que poderia tanto ser utilizado para monitoramento e controle do fluxo de trânsito, quanto para controle de infrações. Muitas aplicações, incluindo aquelas que envolvem a recuperação e indexação de objetos visuais, são apropriadas para a utilização de feições de forma. Outra característica importante do presente trabalho é a de realçar que a seleção de um bom descritor reduz o esforço necessário na etapa de classificação, o qual é computacionalmente elevado. / The idea of enabling a machine to recognize the environment with which it interacts has motivated researchers to dedicate efforts in studying the most complex of the human senses: vision. Vision is essentially a task of information representation and processing, what makes it suitable for computational treatment. Given that currently there are no methods that perform equivalently to humans, the use of features has been intensively studied in order to improve the performance of the existing methods. Among these features, the shape of an object provides a powerful sign of its identity and functionality, what enables the exploitation of this feature with the purpose of recognition. This evidence distinguishes shape from other visual features, such as color, motion or texture, which, although equally important, normally do not reveal the identity of an object. As a result, the possibility of evaluating the robustness and stability of alternate techniques for shape representation is essential in order to measure the performance of each technique in the presence of uncertainty. In this work, some shape descriptors available in the literature were implemented and used in case studies aiming at evaluating their effectiveness. These case studies were carried out using characters, although, with very different purposes. The first case study is geared towards applications such as mobile robotics, where the robot recognizes commands available in the environment. The main case study is focused on applications of license plate recognition, which could be used both in situations of surveillance and traffic control and in situations of infraction. Many applications, including those that involve the search and indexing of visual objects, are suited for the use of shape features. Another important characteristic of this work is that it emphasizes that the selection of a good shape description reduces the effort during the classification step, which is computationally elevated.

O emprego de sistemas computacionais na Agricultura de Precisão (AP) fomenta a automação de processos e tarefas aplicadas nesta área, precisamente voltadas à inspeção e análise de culturas agrícolas, e locomoção guiada/autônoma de robôs móveis. Neste contexto, no presente trabalho foi proposta a aplicação de técnicas de visão computacional nas tarefas citadas, desenvolvidas em abordagens distintas, a serem aplicadas em uma plataforma de robô móvel agrícola, em desenvolvimento no NEPAS/EESC/USP. Para o problema de locomoção do robô (primeira abordagem), foi desenvolvida uma arquitetura de aquisição, processamento e análise de imagens com o objetivo de segmentar, classificar e reconhecer padrões de navegação das linhas de plantio, como referências de guiagem do robô móvel, entre plantações de laranja, milho e cana. Na segunda abordagem, tais técnicas de processamento de imagens são aplicadas também na inspeção e localização das culturas laranja (primário) e milho (secundário), para análise de suas características naturais, localização e quantificação. Para as duas abordagens, a estratégia adotada nas etapas de processamento de imagens abrange: filtragem no domínio espacial das imagens adquiridas; pré-processamento nos espaços de cores RGB e HSV; segmentação não supervisionada JSEG customizada à quantização de cores em regiões não homogêneas nestes espaços de cores; normalização e extração de características dos histogramas das imagens pré-processadas para os conjuntos de treinamento e teste através da análise das componentes principais; reconhecimento de padrões e classificação cognitiva e estatística. A metodologia desenvolvida contemplou bases de dados para cada abordagem entre 700 e 900 imagens de cenas naturais sob condições distintas de aquisição, apresentando resultados significativos quanto ao algoritmo de segmentação nas duas abordagens, mas em menor grau em relação à localização de gramíneas, sendo que os milhos requerem outras técnicas de segmentação, que não aplicadas apenas em quantização de regiões não homogêneas. A classificação estatística, Bayes e Bayes Ingênuo, mostrou-se superior à cognitiva RNA e Fuzzy nas duas abordagens, e posterior construção dos mapas de classe no espaço de cores HSV. Neste mesmo espaço de cores, a quantificação e localização de frutos apresentaram melhores resultados que em RGB. Com isso, as cenas naturais nas duas abordagens foram devidamente processadas, de acordo com os materiais e métodos empregados na segmentação, classificação e reconhecimento de padrões, fornecendo características intrínsecas e distintas das técnicas de visão computacional propostas a cada abordagem. / The use of computer systems in Precision Agriculture (PA) promotes the processes automation and its applied tasks, specifically the inspection and analysis of agricultural crops, and guided/autonomous locomotion of mobile robots. In this context, it was proposed in the present work the application of computer vision techniques on such mentioned tasks, developed in different approaches, to be applied in an agricultural mobile robot platform, under development at NEPAS/EESC/USP. For agricultural mobile robot locomotion, an architecture for the acquisition, image processing and analysis was built, in order to segment, classify and recognize patterns of planting rows, as references way points for guiding the mobile robot. In the second approach, such image processing techniques were applied also in the inspection and location of the orange crop (primary) and maize crop (secondary) aiming its natural features, location and quantification. For both mentioned approaches, the adopted image processing steps include: filtering in the spatial domain for acquired images; pre-processing in RGB and HSV color spaces; JSEG unsupervised segmentation algorithm, applied to color quantization in non-homogeneous regions; normalization and histograms feature extraction of preprocessed images for training and test sets, fulfilled by the principal components analysis (PCA); pattern recognition and cognitive and statistical classification. The developed methodology includes sets of 700 and 900 images databases for each approach of natural scenes under different conditions of acquisition, providing great results on the segmentation algorithm, but not as appropriate as in the location of maize grass, considering other segmentation techniques, applied not only in the quantization of non-homogeneous regions. Statistical classification, Bayes and Naive Bayes, outperforms the cognitives Fuzzy and ANN on two approaches and subsequent class maps construction in HSV color space. Quantification and localization of fruits had more accurate results in HSV than RGB. Thus, natural scenes in two approaches were properly processed, according to the materials and methods employed in segmentation, classification and pattern recognition, providing intrinsic and different features of the proposed computer vision techniques to each approach.

O emprego de sistemas computacionais na Agricultura de Precisão (AP) fomenta a automação de processos e tarefas aplicadas nesta área, precisamente voltadas à inspeção e análise de culturas agrícolas, e locomoção guiada/autônoma de robôs móveis. Neste contexto, no presente trabalho foi proposta a aplicação de técnicas de visão computacional nas tarefas citadas, desenvolvidas em abordagens distintas, a serem aplicadas em uma plataforma de robô móvel agrícola, em desenvolvimento no NEPAS/EESC/USP. Para o problema de locomoção do robô (primeira abordagem), foi desenvolvida uma arquitetura de aquisição, processamento e análise de imagens com o objetivo de segmentar, classificar e reconhecer padrões de navegação das linhas de plantio, como referências de guiagem do robô móvel, entre plantações de laranja, milho e cana. Na segunda abordagem, tais técnicas de processamento de imagens são aplicadas também na inspeção e localização das culturas laranja (primário) e milho (secundário), para análise de suas características naturais, localização e quantificação. Para as duas abordagens, a estratégia adotada nas etapas de processamento de imagens abrange: filtragem no domínio espacial das imagens adquiridas; pré-processamento nos espaços de cores RGB e HSV; segmentação não supervisionada JSEG customizada à quantização de cores em regiões não homogêneas nestes espaços de cores; normalização e extração de características dos histogramas das imagens pré-processadas para os conjuntos de treinamento e teste através da análise das componentes principais; reconhecimento de padrões e classificação cognitiva e estatística. A metodologia desenvolvida contemplou bases de dados para cada abordagem entre 700 e 900 imagens de cenas naturais sob condições distintas de aquisição, apresentando resultados significativos quanto ao algoritmo de segmentação nas duas abordagens, mas em menor grau em relação à localização de gramíneas, sendo que os milhos requerem outras técnicas de segmentação, que não aplicadas apenas em quantização de regiões não homogêneas. A classificação estatística, Bayes e Bayes Ingênuo, mostrou-se superior à cognitiva RNA e Fuzzy nas duas abordagens, e posterior construção dos mapas de classe no espaço de cores HSV. Neste mesmo espaço de cores, a quantificação e localização de frutos apresentaram melhores resultados que em RGB. Com isso, as cenas naturais nas duas abordagens foram devidamente processadas, de acordo com os materiais e métodos empregados na segmentação, classificação e reconhecimento de padrões, fornecendo características intrínsecas e distintas das técnicas de visão computacional propostas a cada abordagem. / The use of computer systems in Precision Agriculture (PA) promotes the processes automation and its applied tasks, specifically the inspection and analysis of agricultural crops, and guided/autonomous locomotion of mobile robots. In this context, it was proposed in the present work the application of computer vision techniques on such mentioned tasks, developed in different approaches, to be applied in an agricultural mobile robot platform, under development at NEPAS/EESC/USP. For agricultural mobile robot locomotion, an architecture for the acquisition, image processing and analysis was built, in order to segment, classify and recognize patterns of planting rows, as references way points for guiding the mobile robot. In the second approach, such image processing techniques were applied also in the inspection and location of the orange crop (primary) and maize crop (secondary) aiming its natural features, location and quantification. For both mentioned approaches, the adopted image processing steps include: filtering in the spatial domain for acquired images; pre-processing in RGB and HSV color spaces; JSEG unsupervised segmentation algorithm, applied to color quantization in non-homogeneous regions; normalization and histograms feature extraction of preprocessed images for training and test sets, fulfilled by the principal components analysis (PCA); pattern recognition and cognitive and statistical classification. The developed methodology includes sets of 700 and 900 images databases for each approach of natural scenes under different conditions of acquisition, providing great results on the segmentation algorithm, but not as appropriate as in the location of maize grass, considering other segmentation techniques, applied not only in the quantization of non-homogeneous regions. Statistical classification, Bayes and Naive Bayes, outperforms the cognitives Fuzzy and ANN on two approaches and subsequent class maps construction in HSV color space. Quantification and localization of fruits had more accurate results in HSV than RGB. Thus, natural scenes in two approaches were properly processed, according to the materials and methods employed in segmentation, classification and pattern recognition, providing intrinsic and different features of the proposed computer vision techniques to each approach.

This project is based upon two previous projects handed to the author by the Norwegian University of Science and Technology in co-operation with Disruptive Technologies.   The report discusses sound sensing and Neural Networks, and their application in IoT. The goal was to determine what type of Neural Networks or classification methods was most suited for audio classification. This was done by applying various classification methods and Neural Networks on a data set consisting of 8732 sound samples. These methods where logistic regression, Feed-Forward Neural Network, Convolutional Neural Network, Gated Recurrent Unit, and Long Short-term Memory network. To compare the Neural Networks the accuracy of the training data set and the validation data set were evaluated. Out of these methods the feed-forward network yielded the highest validation accuracy and is the preferable classification method. However, with more work and refinement the Long Short-term memory may prove to be the better solution.   Future work with a Vesper V1010 piezoelectric microphone and IoT implementation is discussed, as well as the social and ethical difficulties proposed by what is essentially a data gathering system.