Made available in DSpace on 2017-07-21T14:19:27Z (GMT). No. of bitstreams: 1 Voncarlos Marcelo Araujo.pdf: 3791024 bytes, checksum: c5d2b6c030643b2e46f5ae7004f73ca8 (MD5) Previous issue date: 2016-03-04 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The biodiversity of plant species plays a key role in the Earth's ecology, providing food, shelter and maintaining a healthy breathable atmosphere for all living beings. The plants also have medicinal properties and are used for alternative energy sources, such as biofuel. However, the number of plants endangered has gradually increased and the difficulties in the plants manual recognition process, does become a complex and slow task. A viable method for the identification of plants, or to provide a categorization of the plant, is the plant image acquisition and use pattern recognition techniques. In this way, the use of computers, despite having little contribution in the area, can provide important information on the taxonomy of plants, and can serve as a basis for systems that perform tasks such as the selection of certain plants or to guide the specialist for possible decision-making. This paper proposes a method for classification of plants based on collaborative images of the world experts. This method is able to deal with some complexities imposed during the capture of images, as the presence of noise (lighting, shadows and undesirable objects) and plants position variations. To accomplish this task are used texture descriptors based on SIFT, SURF and HOG, which have shown excellent results in several works. To enable testing of the proposed method, we used an image provided by the global task basis for recognition of plants in 2011, ImageCLEF, containing about 2,586 plant samples composed by 41 species divided into two distinct categories: the first one with 13 species and images with presence of noise, and with the second species and 28 sheets of images plotted on a white background. The results of the experiments show that the classifiers trained with texture descriptors are able to achieve good hit rates close to 70%, given the complexity of the problem. Classifiers combination methods have also been used and have been shown capable to improve the performance of classifiers, especially in the test with images that has the presence of noises. / A biodiversidade das espécies de plantas desempenha um papel fundamental na ecologia da Terra, fornecendo alimento, abrigo e mantendo uma atmosfera respirável saudável para todos os seres vivos. As plantas também têm propriedades medicinais e são utilizadas para fontes alternativas de energia, como o biocombustível. No entanto, o número de plantas em risco de extinção tem aumentado gradativamente e as dificuldades presentes no processo manual de reconhecimento de plantas, torna esta tarefa muito complexa e morosa. Uma metodologia viável para a identificação das plantas, ou para fornecer uma categorização de plantas, é a aquisição da imagem da planta e o uso técnicas de reconhecimento de padrões. Dessa forma, o uso da computação, apesar de ainda ter pequena contribuição na área, pode prover informações importantes sobre a taxonomia das plantas, além de poder servir como base para sistemas que executem tarefas como a de seleção de determinado tipo de plantas ou que guiem o especialista para possíveis tomadas de decisões. Neste trabalho é proposto um método para classificação de plantas baseado em imagens colaborativas de especialistas do mundo inteiro. Esse método é capaz de lidar com algumas complexidades impostas durante a captura das imagens, como a presença de ruídos (luminosidade, sombras e objetos indesejáveis) e variações de posições das plantas. Para cumprir essa tarefa são utilizados descritores de textura baseados em SIFT, SURF e HOG, que têm mostrado excelentes resultados em diversos trabalhos. Para possibilitar os testes do método proposto, foi empregada uma base de imagens disponibilizada pela tarefa mundial de reconhecimento de plantas em 2011, ImageCLEF, que contém cerca de 2.586 amostras de plantas composta por 41 espécies divididas em duas categorias distintas: a primeira com 13 espécies e imagens com presença de ruídos, e a segunda com 28 espécies e imagens de folhas plotadas em um fundo branco. Os resultados dos experimentos mostram que os classificadores treinados com descritores de textura são capazes de atingir boas taxas de acertos, próximas a 70%, dada a complexidade do problema. Métodos de combinação de classificadores também foram utilizados e se mostraram capazes de melhorar o desempenho dos classificadores, principalmente nos testes com imagens que tem a presença de ruídos.

Made available in DSpace on 2017-07-21T14:19:40Z (GMT). No. of bitstreams: 1 Marinaldo Gaspareto.pdf: 1456191 bytes, checksum: ffaf0b449c6b9d107bdf1946a4619315 (MD5) Previous issue date: 2013-09-10 / A problem regarding the implementation of navigation systems for autonomous moving robots is to detect the objects of interest and obstacles which are in the environment. This study considers the detection of walls / low walls of agricultural greenhouses in digital images obtained without illumination control. The proposed approach employs techniques of digital image processing and digital classification to detect the object of interest. The classifier has been developed digital type Naive Bayes. Two important issues when employing classification methods in computer vision is the accuracy of the classifier and the complexity of computing time. The selection of attributes descriptors that comprise a classifier has great impact on these two factors, generally the fewer attributes are required, the lower the computational cost. Regarding it, this study compared the performance of two methods of feature selection based on principal component analysis, named B2 and B4 in two cases. In the first scenario the feature selection was conducted on all the data extracted from all images. The second selection was performed for images grouped by similarity. After selection, the selected attributes for each approach was used to construct the type Naive Bayes classifier with 12, 17, 22 and 27 input variables. The results indicate that the grouping of images is useful when: (a) the distance from the center of the group to the center of the original database exceeds a threshold and (b) a correlation among the descriptors variables and the target variable is greater than in the group as a whole complete data. Keywords: Greenhouses, Autonomous navigation, Selection attributes, Naive Bayes classifiers. / Um problema relativo à implementação de sistemas de navegação para robôs autônomos móveis é a detecção dos objetos de interesse e dos obstáculos que estão no ambiente. Este trabalho considera a detecção das paredes/muretas de estufas agrícolas em imagens digitais adquiridas sem controle de iluminação. A abordagem proposta emprega técnicas de processamento digital de imagens e classificação digital para detectar o objeto de interesse. O classificador digital desenvolvido foi do tipo Naive Bayes. Duas questões importantes quando do emprego de métodos de classificação em visão computacional são a acurácia do classificador e a complexidade de tempo de computação. A seleção dos atributos descritores que compõem um classificador tem grande impacto sobre estes dois fatores, de um modo geral, quanto menos atributos forem necessários, menor o custo computacional. Considerando isso, este trabalho comparou o desempenho de dois métodos de seleção de atributos baseados na análise de componentes principais, chamados B2 e B4 em duas situações. Na primeira situação, a seleção de atributos foi realizada sobre o conjunto dos dados extraídos de todas as imagens. Na segunda, a seleção foi realizada para imagens agrupadas por similaridade. Após a seleção, os atributos selecionados em cada uma das abordagens foram usados para construir classificadores do tipo Naive Bayes com 12, 17, 22 e 27 variáveis de entrada. Os resultados indicam que o agrupamento de imagens é útil quando: (a) a distância do centro do grupo ao centro da base original ultrapassa um limiar e (b) a correlação entre as variáveis descritoras e a variável meta é maior no grupo do que no conjunto completo de dados.

Glaucoma é uma neuropatia óptica cuja progressão gera comprometimento no campo visual e cegueira. Devido aos danos irreversíveis, a identicação precoce e correta é vital para o controle da progressão da doença. Para diagnóstico de glaucoma , oftalmologistas analisam dados de campo visual e da anatomia ocular obtidos através de testes. Para reduzir a quantidade de resultados falso negativos e falso positivos, diversas técnicas tem sido desenvolvidas para incrementar a sensibilidade e especicidade dos testes diagnósticos de glaucoma. Para aplicações médicas, existem estudos que indicam como uma abordagem promissora o uso de classicadores de aprendizagem de máquina baseados em diferentes conceitos como Árvores de Decisão, Redes Neurais Articiais e abordagem Bayesiana. Apesar da disponibilidade de sosticados algoritmos para desenvolvimento de classicadores, o sucesso do treinamento destes classicadores é altamente dependente de dados de qualidade. Dados de qualidade signicam que os exemplos fornecidos para treinamento devem representar a maior quantidade possível de situações encontradas no mundo real. Estes requisitos são normalmente atendidos se dados de uma grande quantidade de pacientes estiver disponível. Entretanto, diversos fatores como o perl da população avaliada, a duração das tarefas de coleta de dados, disponibilidade de equipamentos e de prossionais de saúde, além do comprometimento dos pacientes com o programa de pesquisa, restringem o tamanho do conjunto de dados. Uma possível estratégia para resolver o problema da escassez de dados para a tarefa de treinamento dos classicadores é o emprego de dados articiais que representam populações reais. Estes dados articiais serão adequados ao treinamento dos classicadores se possuírem características estatísticas de populações reais. O uso de populações articiais possibilitará a criação de conjuntos de dados com número adequado de pacientes, sem gastar anos coletando dados. Neste trabalho é apresentado um gerador de dados articiais denominado GLOR, baseado em um método de Monte Carlo, que é adequado ao treinamento de classicadores para o diagnóstico de glaucoma. A população gerada é caracterizada por dados funcionais e estruturais fornecidos pelos instrumentos de perimetria computadorizada padrão ou Standard Automated Perimetry (SAP) e tomograa de coerência óptica de alta denição ou High Denition Optical Coherence Tomography (HD-OCT). Os resultados experimentais, obtidos após o treinamento de uma Rede Neural Articial empregando população gerada pelo GLOR contendo 4500 indivíduos normais e 500 glaucomatosos e avaliação com dados de uma população real formada por 44 indivíduos normais e 26 glaucomatosos, foram: acurácia total de 87,1%, sensibilidade de 80,8%, especicidade de 90,9% e área sob curva ROC de 0,941. Tais resultados indicam que o GLOR pode ser empregado satisfatoriamente no desenvolvimento de novos métodos que possam elevar a sensibilidade e especicidade no diagnóstico de glaucoma. / Glaucoma is an optical neuropathy, whose progression results in visual eld impairments and blindness. Due to its irreversible damages, early and correct identication is very important to control glaucoma\'s progression. For glaucoma diagnosis, ophthalmologists analyze patient\'s visual eld and eyes structural data obtained by using eyes\' test equipments. In order to reduce the quantity of false-negative and false-positive results, several new techniques have been developed to increment the sensitivity and specicity of glaucoma diagnostic tests. A promising approach is the use of machine learning classiers. Classiers based on dierent concepts like Decision Trees, Articial Neural Networks, and Bayesian approach, have been developed for medical applications. Despite the availability of sophisticated algorithms for classiers development, successful training of classiers is highly dependent of good training data. Good data means that examples provided for classier training should represent the many dierent situations found in real world. These requirements are usually accomplished if data from a large number of patients is available. However, several factors like prole of evaluated population, duration of the data acquisition activities, existence of healthcare professionals, and equipment availability, and people\'s commitment to the research program, restrict the size of patient\'s dataset. A possible approach to overcome the lack of patient\'s data to perform the classier\'s training task is to use articial data that represent a real population. This articial data would be suitable for classiers training if it has similar statistical properties of a real population. The use of articial population will enable the creation of datasets with required number of patients, and without spending years measuring patients. It will also be possible to simulate scenarios and strategies before a long term research program starts. In this work is presented an articial data generator named GLOR, based on a Monte Carlo method, and suitable for the training of classiers for glaucoma diagnosis. The generated population is characterized by eyes\'functional and structural data provided by Standard Automated Perimetry (SAP) and High Denition Optical Coherence Tomography (HD-OCT) instruments. The experimental results, obtained after an Articial Neural Network training employing a population generated by GLOR comprising of 4500 normal and 500 glaucomatous individuals and evaluated by using real population data from 44 normal and 26 glaucomatous subjects, were: 87.1% for overall accuracy, 80.8% for sensitivity, 90.9% for specicity and 0.941 for the area under ROC curve. These results show that GLOR can be used as a promising approach to accelerate the development of new methods to increment sensitivity and specicity of glaucoma diagnosis.

A aprendizagem incremental requer que o mecanismo de aprendizagem seja baseado no acúmulo dinâmico da informação extraída das experiências realizadas. A aprendizagem de máquina usando adaptatividade considera a integração de técnicas de aprendizagem de máquina simbólicas com técnicas adaptativas para a solução de problemas de aprendizagem. A palavra adaptatividade sugere a capacidade de modificação do conjunto de regras aprendidas em resposta a eventos que podem ocorrer durante o processo de aprendizagem, ou então autoajustes no conjunto de parâmetros. Os dispositivos adaptativos que possuem a capacidade de reter em suas regras informações extraídas de suas entradas podem acumular informações, para que sejam utilizadas quando forem necessárias. As estratégias de interesse para a incorporação da adaptatividade incluem a utilização de métodos e técnicas de aprendizagem de máquina, em particular as que implementam aprendizado supervisionado e tomada de decisão. O objetivo deste trabalho é explorar a utilização de técnicas adaptativas no processo de aprendizado por máquina, tanto de forma exclusiva como em conjunto com outras técnicas de aprendizagem. Para atingir este objetivo, propõe-se aqui a utilização de dispositivos adaptativos para representar o conhecimento adquirido através da aprendizagem incremental. Além disso, é feito um estudo de caso que combina aprendizagem de máquina com técnicas adaptativas para implementar um esquema de aprendizagem autônoma de estratégias, com o objetivo de vencer uma particular instância do jogo que é apresentado. A aprendizagem de um jogo exige a tomada de decisão, que é um processo complexo e dinâmico. Com a finalidade de fornecer um substrato geral para a criação, manipulação e análise de regras em problemas de tomada de decisão, utilizando tabelas de decisão adaptativas, a ferramenta de software Adapt-DT foi implementada. Um exemplo ilustrativo utilizando tabelas de decisão adaptativa como meio para a representação de conhecimento é apresentado, para exercitar a utilização da ferramenta. Isto permite concluir que os dispositivos adaptativos podem ser utilizados para representar o conhecimento adequadamente, com vantagens sobre outros métodos tradicionais. / Incremental learning requires a learning mechanism based on the information extracted from dynamically accumulated experiments. Adaptivity-oriented machine-learning combines adaptive techniques with symbolic ones for solving machine-learning problems. The term adaptivity means the ability of a learning process to change its own set of rules in response to events occurred during the learning process, or, equivalently, self-tuning the set of parameters. The adaptive devices with withhold information ability inside their rules, extracted from input from their own set of rules, can accumulate information to be used whenever they are necessary. The strategies of interest to adopt adaptivity include the use of machine learning techniques and methods, particularly the ones that implement supervised learning and decision-making. This work purposes to investigate the application of adaptive techniques in machine learning process, either exclusively and in cooperation with other techniques. In order to achieve this target, the use of adaptive devices to represent the knowledge gathered through incremental learning is proposed. Additionally, a case study that combines both machine learning and adaptive techniques to implement a scheme of autonomous learning strategies is also performed with the goal of winning an instance of the simple game. Decision-making is required to learning how to play a game, which is a complex and dynamic process. So as to provide a general framework for the creation, manipulation and analysis of rules in decision-making problems using adaptive decision tables, the Adapt-DT tool was implemented. An illustrative example using adaptive decision tables as a means to represent knowledge is introduced to the tool evaluation. This supports the conclusion that adaptive devices can be used to adequately represent the knowledge, with advantages over other traditional methods.

O emprego de sistemas computacionais na Agricultura de Precisão (AP) fomenta a automação de processos e tarefas aplicadas nesta área, precisamente voltadas à inspeção e análise de culturas agrícolas, e locomoção guiada/autônoma de robôs móveis. Neste contexto, no presente trabalho foi proposta a aplicação de técnicas de visão computacional nas tarefas citadas, desenvolvidas em abordagens distintas, a serem aplicadas em uma plataforma de robô móvel agrícola, em desenvolvimento no NEPAS/EESC/USP. Para o problema de locomoção do robô (primeira abordagem), foi desenvolvida uma arquitetura de aquisição, processamento e análise de imagens com o objetivo de segmentar, classificar e reconhecer padrões de navegação das linhas de plantio, como referências de guiagem do robô móvel, entre plantações de laranja, milho e cana. Na segunda abordagem, tais técnicas de processamento de imagens são aplicadas também na inspeção e localização das culturas laranja (primário) e milho (secundário), para análise de suas características naturais, localização e quantificação. Para as duas abordagens, a estratégia adotada nas etapas de processamento de imagens abrange: filtragem no domínio espacial das imagens adquiridas; pré-processamento nos espaços de cores RGB e HSV; segmentação não supervisionada JSEG customizada à quantização de cores em regiões não homogêneas nestes espaços de cores; normalização e extração de características dos histogramas das imagens pré-processadas para os conjuntos de treinamento e teste através da análise das componentes principais; reconhecimento de padrões e classificação cognitiva e estatística. A metodologia desenvolvida contemplou bases de dados para cada abordagem entre 700 e 900 imagens de cenas naturais sob condições distintas de aquisição, apresentando resultados significativos quanto ao algoritmo de segmentação nas duas abordagens, mas em menor grau em relação à localização de gramíneas, sendo que os milhos requerem outras técnicas de segmentação, que não aplicadas apenas em quantização de regiões não homogêneas. A classificação estatística, Bayes e Bayes Ingênuo, mostrou-se superior à cognitiva RNA e Fuzzy nas duas abordagens, e posterior construção dos mapas de classe no espaço de cores HSV. Neste mesmo espaço de cores, a quantificação e localização de frutos apresentaram melhores resultados que em RGB. Com isso, as cenas naturais nas duas abordagens foram devidamente processadas, de acordo com os materiais e métodos empregados na segmentação, classificação e reconhecimento de padrões, fornecendo características intrínsecas e distintas das técnicas de visão computacional propostas a cada abordagem. / The use of computer systems in Precision Agriculture (PA) promotes the processes automation and its applied tasks, specifically the inspection and analysis of agricultural crops, and guided/autonomous locomotion of mobile robots. In this context, it was proposed in the present work the application of computer vision techniques on such mentioned tasks, developed in different approaches, to be applied in an agricultural mobile robot platform, under development at NEPAS/EESC/USP. For agricultural mobile robot locomotion, an architecture for the acquisition, image processing and analysis was built, in order to segment, classify and recognize patterns of planting rows, as references way points for guiding the mobile robot. In the second approach, such image processing techniques were applied also in the inspection and location of the orange crop (primary) and maize crop (secondary) aiming its natural features, location and quantification. For both mentioned approaches, the adopted image processing steps include: filtering in the spatial domain for acquired images; pre-processing in RGB and HSV color spaces; JSEG unsupervised segmentation algorithm, applied to color quantization in non-homogeneous regions; normalization and histograms feature extraction of preprocessed images for training and test sets, fulfilled by the principal components analysis (PCA); pattern recognition and cognitive and statistical classification. The developed methodology includes sets of 700 and 900 images databases for each approach of natural scenes under different conditions of acquisition, providing great results on the segmentation algorithm, but not as appropriate as in the location of maize grass, considering other segmentation techniques, applied not only in the quantization of non-homogeneous regions. Statistical classification, Bayes and Naive Bayes, outperforms the cognitives Fuzzy and ANN on two approaches and subsequent class maps construction in HSV color space. Quantification and localization of fruits had more accurate results in HSV than RGB. Thus, natural scenes in two approaches were properly processed, according to the materials and methods employed in segmentation, classification and pattern recognition, providing intrinsic and different features of the proposed computer vision techniques to each approach.

Glaucoma é uma neuropatia óptica cuja progressão gera comprometimento no campo visual e cegueira. Devido aos danos irreversíveis, a identicação precoce e correta é vital para o controle da progressão da doença. Para diagnóstico de glaucoma , oftalmologistas analisam dados de campo visual e da anatomia ocular obtidos através de testes. Para reduzir a quantidade de resultados falso negativos e falso positivos, diversas técnicas tem sido desenvolvidas para incrementar a sensibilidade e especicidade dos testes diagnósticos de glaucoma. Para aplicações médicas, existem estudos que indicam como uma abordagem promissora o uso de classicadores de aprendizagem de máquina baseados em diferentes conceitos como Árvores de Decisão, Redes Neurais Articiais e abordagem Bayesiana. Apesar da disponibilidade de sosticados algoritmos para desenvolvimento de classicadores, o sucesso do treinamento destes classicadores é altamente dependente de dados de qualidade. Dados de qualidade signicam que os exemplos fornecidos para treinamento devem representar a maior quantidade possível de situações encontradas no mundo real. Estes requisitos são normalmente atendidos se dados de uma grande quantidade de pacientes estiver disponível. Entretanto, diversos fatores como o perl da população avaliada, a duração das tarefas de coleta de dados, disponibilidade de equipamentos e de prossionais de saúde, além do comprometimento dos pacientes com o programa de pesquisa, restringem o tamanho do conjunto de dados. Uma possível estratégia para resolver o problema da escassez de dados para a tarefa de treinamento dos classicadores é o emprego de dados articiais que representam populações reais. Estes dados articiais serão adequados ao treinamento dos classicadores se possuírem características estatísticas de populações reais. O uso de populações articiais possibilitará a criação de conjuntos de dados com número adequado de pacientes, sem gastar anos coletando dados. Neste trabalho é apresentado um gerador de dados articiais denominado GLOR, baseado em um método de Monte Carlo, que é adequado ao treinamento de classicadores para o diagnóstico de glaucoma. A população gerada é caracterizada por dados funcionais e estruturais fornecidos pelos instrumentos de perimetria computadorizada padrão ou Standard Automated Perimetry (SAP) e tomograa de coerência óptica de alta denição ou High Denition Optical Coherence Tomography (HD-OCT). Os resultados experimentais, obtidos após o treinamento de uma Rede Neural Articial empregando população gerada pelo GLOR contendo 4500 indivíduos normais e 500 glaucomatosos e avaliação com dados de uma população real formada por 44 indivíduos normais e 26 glaucomatosos, foram: acurácia total de 87,1%, sensibilidade de 80,8%, especicidade de 90,9% e área sob curva ROC de 0,941. Tais resultados indicam que o GLOR pode ser empregado satisfatoriamente no desenvolvimento de novos métodos que possam elevar a sensibilidade e especicidade no diagnóstico de glaucoma. / Glaucoma is an optical neuropathy, whose progression results in visual eld impairments and blindness. Due to its irreversible damages, early and correct identication is very important to control glaucoma\'s progression. For glaucoma diagnosis, ophthalmologists analyze patient\'s visual eld and eyes structural data obtained by using eyes\' test equipments. In order to reduce the quantity of false-negative and false-positive results, several new techniques have been developed to increment the sensitivity and specicity of glaucoma diagnostic tests. A promising approach is the use of machine learning classiers. Classiers based on dierent concepts like Decision Trees, Articial Neural Networks, and Bayesian approach, have been developed for medical applications. Despite the availability of sophisticated algorithms for classiers development, successful training of classiers is highly dependent of good training data. Good data means that examples provided for classier training should represent the many dierent situations found in real world. These requirements are usually accomplished if data from a large number of patients is available. However, several factors like prole of evaluated population, duration of the data acquisition activities, existence of healthcare professionals, and equipment availability, and people\'s commitment to the research program, restrict the size of patient\'s dataset. A possible approach to overcome the lack of patient\'s data to perform the classier\'s training task is to use articial data that represent a real population. This articial data would be suitable for classiers training if it has similar statistical properties of a real population. The use of articial population will enable the creation of datasets with required number of patients, and without spending years measuring patients. It will also be possible to simulate scenarios and strategies before a long term research program starts. In this work is presented an articial data generator named GLOR, based on a Monte Carlo method, and suitable for the training of classiers for glaucoma diagnosis. The generated population is characterized by eyes\'functional and structural data provided by Standard Automated Perimetry (SAP) and High Denition Optical Coherence Tomography (HD-OCT) instruments. The experimental results, obtained after an Articial Neural Network training employing a population generated by GLOR comprising of 4500 normal and 500 glaucomatous individuals and evaluated by using real population data from 44 normal and 26 glaucomatous subjects, were: 87.1% for overall accuracy, 80.8% for sensitivity, 90.9% for specicity and 0.941 for the area under ROC curve. These results show that GLOR can be used as a promising approach to accelerate the development of new methods to increment sensitivity and specicity of glaucoma diagnosis.

A aprendizagem incremental requer que o mecanismo de aprendizagem seja baseado no acúmulo dinâmico da informação extraída das experiências realizadas. A aprendizagem de máquina usando adaptatividade considera a integração de técnicas de aprendizagem de máquina simbólicas com técnicas adaptativas para a solução de problemas de aprendizagem. A palavra adaptatividade sugere a capacidade de modificação do conjunto de regras aprendidas em resposta a eventos que podem ocorrer durante o processo de aprendizagem, ou então autoajustes no conjunto de parâmetros. Os dispositivos adaptativos que possuem a capacidade de reter em suas regras informações extraídas de suas entradas podem acumular informações, para que sejam utilizadas quando forem necessárias. As estratégias de interesse para a incorporação da adaptatividade incluem a utilização de métodos e técnicas de aprendizagem de máquina, em particular as que implementam aprendizado supervisionado e tomada de decisão. O objetivo deste trabalho é explorar a utilização de técnicas adaptativas no processo de aprendizado por máquina, tanto de forma exclusiva como em conjunto com outras técnicas de aprendizagem. Para atingir este objetivo, propõe-se aqui a utilização de dispositivos adaptativos para representar o conhecimento adquirido através da aprendizagem incremental. Além disso, é feito um estudo de caso que combina aprendizagem de máquina com técnicas adaptativas para implementar um esquema de aprendizagem autônoma de estratégias, com o objetivo de vencer uma particular instância do jogo que é apresentado. A aprendizagem de um jogo exige a tomada de decisão, que é um processo complexo e dinâmico. Com a finalidade de fornecer um substrato geral para a criação, manipulação e análise de regras em problemas de tomada de decisão, utilizando tabelas de decisão adaptativas, a ferramenta de software Adapt-DT foi implementada. Um exemplo ilustrativo utilizando tabelas de decisão adaptativa como meio para a representação de conhecimento é apresentado, para exercitar a utilização da ferramenta. Isto permite concluir que os dispositivos adaptativos podem ser utilizados para representar o conhecimento adequadamente, com vantagens sobre outros métodos tradicionais. / Incremental learning requires a learning mechanism based on the information extracted from dynamically accumulated experiments. Adaptivity-oriented machine-learning combines adaptive techniques with symbolic ones for solving machine-learning problems. The term adaptivity means the ability of a learning process to change its own set of rules in response to events occurred during the learning process, or, equivalently, self-tuning the set of parameters. The adaptive devices with withhold information ability inside their rules, extracted from input from their own set of rules, can accumulate information to be used whenever they are necessary. The strategies of interest to adopt adaptivity include the use of machine learning techniques and methods, particularly the ones that implement supervised learning and decision-making. This work purposes to investigate the application of adaptive techniques in machine learning process, either exclusively and in cooperation with other techniques. In order to achieve this target, the use of adaptive devices to represent the knowledge gathered through incremental learning is proposed. Additionally, a case study that combines both machine learning and adaptive techniques to implement a scheme of autonomous learning strategies is also performed with the goal of winning an instance of the simple game. Decision-making is required to learning how to play a game, which is a complex and dynamic process. So as to provide a general framework for the creation, manipulation and analysis of rules in decision-making problems using adaptive decision tables, the Adapt-DT tool was implemented. An illustrative example using adaptive decision tables as a means to represent knowledge is introduced to the tool evaluation. This supports the conclusion that adaptive devices can be used to adequately represent the knowledge, with advantages over other traditional methods.

Modelos para aprendizado não supervisionado podem fornecer restrições complementares úteis para melhorar a capacidade de generalização de classificadores. Baseando-se nessa premissa, um algoritmo existente, denominado de C3E (Consensus between Classification and Clustering Ensembles), recebe como entradas estimativas de distribuições de probabilidades de classes para objetos de um conjunto alvo, bem como uma matriz de similaridades entre esses objetos. Tal matriz é tipicamente construída por agregadores de agrupadores de dados, enquanto que as distribuições de probabilidades de classes são obtidas por um agregador de classificadores induzidos por um conjunto de treinamento. Como resultado, o C3E fornece estimativas refinadas das distribuições de probabilidades de classes como uma forma de consenso entre classificadores e agrupadores. A ideia subjacente é de que objetos similares são mais propensos a compartilharem o mesmo rótulo de classe. Nesta tese, uma versão mais simples do algoritmo C3E, baseada em uma função de perda quadrática (C3E-SL), foi investigada em uma abordagem que permitiu a estimação automática (a partir dos dados) de seus parâmetros críticos. Tal abordagem faz uso de um nova estratégia evolutiva concebida especialmente para tornar o C3E-SL mais prático e flexível, abrindo caminho para que variantes do algoritmo pudessem ser desenvolvidas. Em particular, para lidar com a escassez de dados rotulados, um novo algoritmo que realiza aprendizado semissupervisionado foi proposto. Seu mecanismo explora estruturas intrínsecas dos dados a partir do C3E-SL em um procedimento de autotreinamento (self-training). Esta noção também inspirou a concepção de um outro algoritmo baseado em aprendizado ativo (active learning), o qual é capaz de se autoadaptar para aprender novas classes que possam surgir durante a predição de novos dados. Uma extensa análise experimental, focada em problemas do mundo real, mostrou que os algoritmos propostos são bastante úteis e promissores. A combinação de classificadores e agrupadores resultou em modelos de classificação com grande potencial prático e que são menos dependentes do usuário ou do especialista de domínio. Os resultados alcançados foram tipicamente melhores em comparação com os obtidos por classificadores tradicionalmente usados. / Unsupervised learning models can provide a variety of supplementary constraints to improve the generalization capability of classifiers. Based on this assumption, an existing algorithm, named C3E (from Consensus between Classification and Clustering Ensembles), receives as inputs class probability distribution estimates for objects in a target set as well as a similarity matrix. Such a similarity matrix is typically built from clusterers induced on the target set, whereas the class probability distributions are obtained by an ensemble of classifiers induced from a training set. As a result, C3E provides refined estimates of the class probability distributions, from the consensus between classifiers and clusterers. The underlying idea is that similar new objects in the target set are more likely to share the same class label. In this thesis, a simpler version of the C3E algorithm, based on a Squared Loss function (C3E-SL), was investigated from an approach that enables the automatic estimation (from data) of its critical parameters. This approach uses a new evolutionary strategy designed to make C3E-SL more practical and flexible, making room for the development of variants of the algorithm. To address the scarcity of labeled data, a new algorithm that performs semi-supervised learning was proposed. Its mechanism exploits the intrinsic structure of the data by using the C3E-SL algorithm in a self-training procedure. Such a notion inspired the development of another algorithm based on active learning, which is able to self-adapt to learn new classes that may emerge when classifying new data. An extensive experimental analysis, focused on real-world problems, showed that the proposed algorithms are quite useful and promising. The combination of supervised and unsupervised learning yielded classifiers of great practical value and that are less dependent on user-defined parameters. The achieved results were typically better than those obtained by traditional classifiers.

This project is based upon two previous projects handed to the author by the Norwegian University of Science and Technology in co-operation with Disruptive Technologies.   The report discusses sound sensing and Neural Networks, and their application in IoT. The goal was to determine what type of Neural Networks or classification methods was most suited for audio classification. This was done by applying various classification methods and Neural Networks on a data set consisting of 8732 sound samples. These methods where logistic regression, Feed-Forward Neural Network, Convolutional Neural Network, Gated Recurrent Unit, and Long Short-term Memory network. To compare the Neural Networks the accuracy of the training data set and the validation data set were evaluated. Out of these methods the feed-forward network yielded the highest validation accuracy and is the preferable classification method. However, with more work and refinement the Long Short-term memory may prove to be the better solution.   Future work with a Vesper V1010 piezoelectric microphone and IoT implementation is discussed, as well as the social and ethical difficulties proposed by what is essentially a data gathering system.

Cette thèse porte sur la théorie de la discrimination multi-classe à marge. Elle a pour cadre la théorie statistique de l’apprentissage de Vapnik et Chervonenkis. L’objectif est d’établir des bornes de généralisation possédant une dépendances explicite au nombre C de catégories, à la taille m de l’échantillon et au paramètre de marge gamma, lorsque la fonction de perte considérée est une fonction de perte à marge possédant la propriété d’être lipschitzienne. La borne de généralisation repose sur la performance empirique du classifieur ainsi que sur sa "capacité". Dans cette thèse, les mesures de capacité considérées sont les suivantes : la complexité de Rademacher, les nombres de recouvrement et la dimension fat-shattering. Nos principales contributions sont obtenues sous l’hypothèse que les classes de fonctions composantes calculées par le classifieur ont des dimensions fat-shattering polynomiales et que les fonctions composantes sont indépendantes. Dans le contexte du schéma de calcul introduit par Mendelson, qui repose sur les relations entre les mesures de capacité évoquées plus haut, nous étudions l’impact que la décomposition au niveau de l’une de ces mesures de capacité a sur les dépendances (de la borne de généralisation) à C, m et gamma. En particulier, nous démontrons que la dépendance à C peut être considérablement améliorée par rapport à l’état de l’art si la décomposition est reportée au niveau du nombre de recouvrement ou de la dimension fat-shattering. Ce changement peut affecter négativement le taux de convergence (dépendance à m), ce qui souligne le fait que l’optimisation par rapport aux trois paramètres fondamentaux se traduit par la recherche d’un compromis. / This thesis deals with the theory of margin multi-category classification, and is based on the statistical learning theory founded by Vapnik and Chervonenkis. We are interested in deriving generalization bounds with explicit dependencies on the number C of categories, the sample size m and the margin parameter gamma, when the loss function considered is a Lipschitz continuous margin loss function. Generalization bounds rely on the empirical performance of the classifier as well as its "capacity". In this work, the following scale-sensitive capacity measures are considered: the Rademacher complexity, the covering numbers and the fat-shattering dimension. Our main contributions are obtained under the assumption that the classes of component functions implemented by a classifier have polynomially growing fat-shattering dimensions and that the component functions are independent. In the context of the pathway of Mendelson, which relates the Rademacher complexity to the covering numbers and the latter to the fat-shattering dimension, we study the impact that decomposing at the level of one of these capacity measures has on the dependencies on C, m and gamma. In particular, we demonstrate that the dependency on C can be substantially improved over the state of the art if the decomposition is postponed to the level of the metric entropy or the fat-shattering dimension. On the other hand, this impacts negatively the rate of convergence (dependency on m), an indication of the fact that optimizing the dependencies on the three basic parameters amounts to looking for a trade-off.