Knowledge bases are employed in a variety of applications, from natural language processing to semantic web search; alas, in practice, their usefulness is hurt by their incompleteness. To address this issue, several techniques aim at performing knowledge base completion, of which embedding models are efficient, attain state-of-the-art accuracy, and eliminate the need for feature engineering. However, embedding models predictions are notoriously hard to interpret. In this work, we propose model-agnostic methods that allow one to interpret embedding models by extracting weighted Horn rules from them. More specifically, we show how the so-called \"pedagogical techniques\", from the literature on neural networks, can be adapted to take into account the large-scale relational aspects of knowledge bases, and show experimentally their strengths and weaknesses. / Bases de conhecimento apresentam diversas aplicações, desde processamento de linguagem natural a pesquisa semântica da web; contudo, na prática, sua utilidade é prejudicada por não serem totalmente completas. Para solucionar esse problema, diversas técnicas focam em completar bases de conhecimento, das quais modelos de embedding são eficientes, atingem estado da arte em acurácia, e eliminam a necessidade de fazer-se engenharia de características dos dados de entrada. Entretanto, as predições dos modelos de embedding são notoriamente difíceis de serem interpretadas. Neste trabalho, propomos métodos agnósticos a modelo que permitem interpretar modelos de embedding através da extração de regras Horn ponderadas por pesos dos mesmos. Mais espeficicamente, mostramos como os chamados \"métodos pedagógicos\", da literatura de redes neurais, podem ser adaptados para lidar com os aspectos relacionais e de larga escala de bases de conhecimento, e mostramos experimentalmente seus pontos fortes e fracos.

Knowledge bases are employed in a variety of applications, from natural language processing to semantic web search; alas, in practice, their usefulness is hurt by their incompleteness. To address this issue, several techniques aim at performing knowledge base completion, of which embedding models are efficient, attain state-of-the-art accuracy, and eliminate the need for feature engineering. However, embedding models predictions are notoriously hard to interpret. In this work, we propose model-agnostic methods that allow one to interpret embedding models by extracting weighted Horn rules from them. More specifically, we show how the so-called \"pedagogical techniques\", from the literature on neural networks, can be adapted to take into account the large-scale relational aspects of knowledge bases, and show experimentally their strengths and weaknesses. / Bases de conhecimento apresentam diversas aplicações, desde processamento de linguagem natural a pesquisa semântica da web; contudo, na prática, sua utilidade é prejudicada por não serem totalmente completas. Para solucionar esse problema, diversas técnicas focam em completar bases de conhecimento, das quais modelos de embedding são eficientes, atingem estado da arte em acurácia, e eliminam a necessidade de fazer-se engenharia de características dos dados de entrada. Entretanto, as predições dos modelos de embedding são notoriamente difíceis de serem interpretadas. Neste trabalho, propomos métodos agnósticos a modelo que permitem interpretar modelos de embedding através da extração de regras Horn ponderadas por pesos dos mesmos. Mais espeficicamente, mostramos como os chamados \"métodos pedagógicos\", da literatura de redes neurais, podem ser adaptados para lidar com os aspectos relacionais e de larga escala de bases de conhecimento, e mostramos experimentalmente seus pontos fortes e fracos.

Esta dissertação apresenta um sistema de indução de classificadores fuzzy. Ao invés de utilizar a abordagem tradicional de sistemas fuzzy baseados em regras, foi utilizado o modelo de Árvore de Padrões Fuzzy(APF), que é um modelo hierárquico, com uma estrutura baseada em árvores que possuem como nós internos operadores lógicos fuzzy e as folhas são compostas pela associação de termos fuzzy com os atributos de entrada. O classificador foi obtido sintetizando uma árvore para cada classe, esta árvore será uma descrição lógica da classe o que permite analisar e interpretar como é feita a classificação. O método de aprendizado originalmente concebido para a APF foi substituído pela Programação Genética Cartesiana com o intuito de explorar melhor o espaço de busca. O classificador APF foi comparado com as Máquinas de Vetores de Suporte, K-Vizinhos mais próximos, florestas aleatórias e outros métodos Fuzzy-Genéticos em diversas bases de dados do UCI Machine Learning Repository e observou-se que o classificador APF apresenta resultados competitivos. Ele também foi comparado com o método de aprendizado original e obteve resultados comparáveis com árvores mais compactas e com um menor número de avaliações. / This work presents a system for induction of fuzzy classifiers. Instead of the traditional fuzzy based rules, it was used a model called Fuzzy Pattern Trees (FPT), which is a hierarchical tree-based model, having as internal nodes, fuzzy logical operators and the leaves are composed of a combination of fuzzy terms with the input attributes. The classifier was obtained by creating a tree for each class, this tree will be a logic class description which allows the interpretation of the results. The learning method originally designed for FPT was replaced by Cartesian Genetic Programming in order to provide a better exploration of the search space. The FPT classifier was compared against Support Vector Machines, K Nearest Neighbour, Random Forests and others Fuzzy-Genetics methods on several datasets from the UCI Machine Learning Repository and it presented competitive results. It was also compared with Fuzzy Pattern trees generated by the former learning method and presented comparable results with smaller trees and a lower number of functions evaluations.

Made available in DSpace on 2016-06-02T19:05:32Z (GMT). No. of bitstreams: 1 2113.pdf: 882226 bytes, checksum: 022c380c1d469988d9e4617a030f17c3 (MD5) Previous issue date: 2008-08-06 / The combination of fuzzy systems with clustering algorithms has great acceptance in the scientific community mainly due to its adherence to the advantage balance principle of computational intelligence, in which different methodologies collaborate with each other potentializing the usefulness and applicability of the resulting systems. Fuzzy Modeling using clustering algorithms presents the transparency and comprehensibility typical of the linguistic fuzzy systems at the same time that benefits from the possibilities of dimensionality reduction by means of clustering. In this work is presented the Fuzzy-CCM method (Fuzzy Conditional Clustering based Modeling) which consists of a new approach for Fuzzy Modeling based on the Fuzzy Conditional Clustering algorithm aiming at providing new means to address the topic of interpretability of fuzzy rules bases. With the Fuzzy-CCM method the balance between interpretability and accuracy of fuzzy rules is dealt with through the definition of contexts defined by a small number of input variables and the generation of clusters induced by these contexts. The rules are generated in a different format, with linguistic variables and clusters in the antecedent. Some experiments have been carried out using different knowledge domains in order to validate the proposed approach by comparing the results with the ones obtained by the Wang&Mendel and conventional Fuzzy C-Means methods. The theoretical foundations, the advantages of the method, the experiments and results are presented and discussed. / A combinação de sistemas fuzzy com algoritmos de agrupamento tem grande aceitação na comunidade científica devido; principalmente, a sua aderência ao princípio de balanceamento de vantagens da inteligência computacional, no qual metodologias diferentes colaboram entre si, potencializando a utilidade e aplicabilidade dos sistemas resultantes. A modelagem fuzzy usando algoritmos de agrupamento apresenta a transparência e facilidade de compreensão típica dos sistemas fuzzy lingüísticos ao mesmo tempo em que se beneficia das possibilidades de redução da dimensionalidade por intermédio do agrupamento. Neste trabalho é apresentado o método Fuzzy-CCM (Fuzzy Conditional Clustering based Modeling), que consiste de uma nova abordagem de Modelagem Fuzzy baseada no algoritmo de Agrupamento Fuzzy Condicional, cujo objetivo é prover novos meios de tratar a questão da interpretabilidade de bases de regras fuzzy. Com o método Fuzzy-CCM, o balanço entre interpretabilidade e acuidade de regras fuzzy é tratado por meio da definição de contextos formados com um pequeno número de variáveis de entrada e a geração de grupos condicionados por estes contextos. As regras são geradas em um formato diferente, que contêm variáveis lingüísticas e grupos no seu antecedente. Alguns experimentos foram executados usando diferentes domínios de conhecimento a fim de validar a abordagem proposta, comparando os resultados obtidos usando a nova abordagem com os resultados obtidos usando os métodos Wang&Mendel e Fuzzy C-Means. A fundamentação teórica, as vantagens do método, os experimentos e os resultados obtidos são apresentados e discutidos.

Esta dissertação apresenta um sistema de indução de classificadores fuzzy. Ao invés de utilizar a abordagem tradicional de sistemas fuzzy baseados em regras, foi utilizado o modelo de Árvore de Padrões Fuzzy(APF), que é um modelo hierárquico, com uma estrutura baseada em árvores que possuem como nós internos operadores lógicos fuzzy e as folhas são compostas pela associação de termos fuzzy com os atributos de entrada. O classificador foi obtido sintetizando uma árvore para cada classe, esta árvore será uma descrição lógica da classe o que permite analisar e interpretar como é feita a classificação. O método de aprendizado originalmente concebido para a APF foi substituído pela Programação Genética Cartesiana com o intuito de explorar melhor o espaço de busca. O classificador APF foi comparado com as Máquinas de Vetores de Suporte, K-Vizinhos mais próximos, florestas aleatórias e outros métodos Fuzzy-Genéticos em diversas bases de dados do UCI Machine Learning Repository e observou-se que o classificador APF apresenta resultados competitivos. Ele também foi comparado com o método de aprendizado original e obteve resultados comparáveis com árvores mais compactas e com um menor número de avaliações. / This work presents a system for induction of fuzzy classifiers. Instead of the traditional fuzzy based rules, it was used a model called Fuzzy Pattern Trees (FPT), which is a hierarchical tree-based model, having as internal nodes, fuzzy logical operators and the leaves are composed of a combination of fuzzy terms with the input attributes. The classifier was obtained by creating a tree for each class, this tree will be a logic class description which allows the interpretation of the results. The learning method originally designed for FPT was replaced by Cartesian Genetic Programming in order to provide a better exploration of the search space. The FPT classifier was compared against Support Vector Machines, K Nearest Neighbour, Random Forests and others Fuzzy-Genetics methods on several datasets from the UCI Machine Learning Repository and it presented competitive results. It was also compared with Fuzzy Pattern trees generated by the former learning method and presented comparable results with smaller trees and a lower number of functions evaluations.

[pt] A série temporal é a representação mais comum para a evoluçãao no tempo de uma variável qualquer. Em um problema de previsão de séries temporais, procura-se ajustar um modelo para obter valores futuros da série, supondo que as informações necessárias para tal se encontram no próprio histórico da série. Como os fenômenos representados pelas séries temporais nem sempre existem de maneira isolada, pode-se enriquecer o modelo com os valores históricos de outras séries temporais relacionadas. A estrutura formada por diversas séries de mesmo intervalo e dimensão ocorrendo paralelamente é denominada série temporal multivariada. Esta dissertação propõe uma metodologia de geração de um Sistema de Inferência Fuzzy (SIF) para previsão de séries temporais multivariadas a partir de dados históricos, com o objetivo de obter bom desempenho tanto em termos de acurácia de previsão como no quesito interpretabilidade da base de regras – com o intuito de extrair conhecimento sobre o relacionamento entre as séries. Para tal, são abordados diversos aspectos relativos ao funcionamento e à construção de um SIF, levando em conta a sua complexidade e claridade semântica. O modelo é avaliado por meio de sua aplicação em séries temporais multivariadas da base completa da competição M3, comparandose a sua acurácia com as dos métodos participantes. Além disso, através de dois estudos de caso com dados reais públicos, suas possibilidades de extração de conhecimento são exploradas por meio de dois estudos de caso construídos a partir de dados reais. Os resultados confirmam a capacidade do AutoMFIS de modelar de maneira satisfatória séries temporais multivariadas e de extrair conhecimento da base de dados. / [en] A time series is the most commonly used representation for the evolution of a given variable over time. In a time series forecasting problem, a model aims at predicting the series future values, assuming that all information needed to do so is contained in the series past behavior. Since the phenomena described by the time series does not always exist in isolation, it is possible to enhance the model with historical data from other related time series. The structure formed by several different time series occurring in parallel, each featuring the same interval and dimension, is called a multivariate time series. This dissertation proposes a methodology for the generation of a Fuzzy Inference System (FIS) for multivariate time series forecasting from historical data, aiming at good performance in both forecasting accuracy and rule base interpretability – in order to extract knowledge about the relationship between the modeled time series. Several aspects related to the operation and construction of such a FIS are investigated regarding complexity and semantic clarity. The model is evaluated by applying it to multivariate time series obtained from the complete M3 competition database and by comparing it to other methods in terms of accuracy. In addition knowledge extraction possibilities are explored through two case studies built from actual data. Results confirm that AutoMFIS is indeed capable of modeling time series behaviors in a satisfactory way and of extractig meaningful knowldege from the databases.

[pt] Por definição, a série temporal representa o comportamento de uma variável em função do tempo. Para o processo de previsão de séries, o modelo deve ser capaz de aprender a dinâmica temporal das variáveis para obter valores futuros. Contudo, prever séries temporais com exatidão é uma tarefa que vai além de escolher o modelo mais complexo, e portanto a etapa de análise é um processo fundamental para orientar o ajuste do modelo. Especificamente em problemas multivariados, o AutoMFIS é um modelo baseado na lógica fuzzy, desenvolvido para introduzir uma explicabilidade dos resultados através de regras semanticamente compreensíveis. Mesmo com características promissoras e positivas, este sistema possui limitações que tornam sua utilização impraticável em problemas com bases de dados com alta dimensionalidade. E com a presença cada vez maior de bases de dados mais volumosas, é necessário que a síntese automática de sistemas fuzzy seja adaptada para abranger essa nova classe de problemas de previsão. Por conta desta necessidade, a presente dissertação propõe a extensão do modelo AutoMFIS para a previsão de séries temporais com alta dimensionalidade, chamado de e-AutoMFIS. Apresentase uma nova metodologia, baseada em comitê de previsores, para o aprendizado distribuído de geração de regras fuzzy. Neste trabalho, são descritas as características importantes do modelo proposto, salientando as modificações realizadas para aprimorar tanto a previsão quanto a interpretabilidade do sistema. Além disso, também é avaliado o seu desempenho em problemas reais, comparando-se a acurácia dos resultados com as de outras técnicas descritas na literatura. Por fim, em cada problema selecionado também é considerado o aspecto da interpretabilidade, discutindo-se os critérios utilizados para a análise de explicabilidade. / [en] By definition, the time series represents the behavior of a variable as a time function. For the series forecasting process, the model must be able to learn the temporal dynamics of the variables in order to obtain consistent future values. However, an accurate time series prediction is a task that goes beyond choosing the most complex (or promising) model that is applicable to the type of problem, and therefore the analysis step is a fundamental procedure to guide the adaptation of a model. Specifically, in multivariate problems, AutoMFIS is a model based on fuzzy logic, developed not only to give accurate forecasts but also to introduce the explainability of results through semantically understandable rules. Even with such promising characteristics, this system has shown practical limitations in problems that involve datasets of high dimensionality. With the increasing demand formethods to deal with large datasets, it should be great that approaches for the automatic synthesis of fuzzy systems could be adapted to cover a new class of forecasting problems. This dissertation proposes an extension of the base model AutoMFIS modeling method for time series forecasting with high dimensionality data, named as e-AutoMFIS. Based on the Ensemble learning theory, this new methodology applies distributed learning to generate fuzzy rules. The main characteristics of the proposed model are described, highlighting the changes in order to improve both the accuracy and the interpretability of the system. The proposed model is also evaluated in different case studies, in which the results are compared in terms of accuracy against the results produced by other methods in the literature. In addition, in each selected problem, the aspect of interpretability is also assessed, which is essential for explainability evaluation.

[pt] Turbinas a gás são equipamentos muito complexos e caros. No caso de falha em uma turbina, há obviamente perdas diretas, mas as indiretas são normalmente muito maiores, uma vez que tal equipamento é crítico para a operação de instalações industriais, aviões e veículos pesados. Portanto, é fundamental que turbinas a gás sejam providas com um sistema eficiente de monitoramento e diagnóstico. Isto é especialmente relevante no Brasil, cuja frota de turbinas tem crescido muito nos últimos anos, devido, principalmente, ao aumento do número de usinas termelétricas e ao crescimento da aviação civil. Este trabalho propõe um Sistema de Inferência Fuzzy (SIF) com extração automática de regras para diagnóstico de desempenho de turbinas a gás aeronáuticas. O sistema proposto faz uso de uma abordagem residual – medições da turbina real são comparadas frente a uma referência de turbina saudável – para tratamento dos dados brutos de entrada para os módulos de detecção e isolamento, que, de forma hierárquica, são responsáveis por detectar e isolar falhas em nível de componentes, sensores e atuadores. Como dados reais de falhas em turbinas a gás são de difícil acesso e de obtenção cara, a metodologia é validada frente a uma base de dados de falhas simuladas por um software especialista. Os resultados mostram que o SIF é capaz de detectar e isolar corretamente falhas, além de fornecer interpretabilidade linguística, característica importante no processo de tomada de decisão no contexto de manutenção. / [en] A Gas turbine is a complex and expensive equipment. In case of a failure indirect losses are typically much larger than direct ones, since such equipment plays a critical role in the operation of industrial installations, aircrafts, and heavy vehicles. Therefore, it is vital that gas turbines be provided with an efficient monitoring and diagnostic system. This is especially relevant in Brazil, where the turbines fleet has risen substantially in recent years, mainly due to the increasing number of thermal power plants and to the growth of civil aviation. This work proposes a Fuzzy Inference System (FIS) with automatic rule extraction for gas path diagnosis. The proposed system makes use of a residual approach – gas path measurements are compared to a healthy engine reference – for preprocessing raw input data that are forwarded to the detection and isolation modules. These operate in a hierarchical manner and are responsible for fault detection and isolation in components, sensors and actuators. Since gas turbines failure data are difficult to access and expensive to obtain, the methodology is validated by using a database fault simulated by a specialist software. The results show that the SIF is able to correctly detect and isolate failures and to provide linguistic interpretability, which is an important feature in the decision-making process regarding maintenance.

[pt] A perda de percurso (PL) é um parâmetro essencial em modelos de propagação e crucial na determinação da área de cobertura de sistemas móveis. Os métodos de aprendizado de máquina (ML) tornaram-se ferramentas promissoras para a previsão de propagação de rádio. No entanto, ainda existem alguns desafios para sua implantação completa, relacionados à seleção das entradas mais significativas do modelo, à compreensão de suas contribuições para as previsões do modelo e à avaliação adicional da capacidade de generalização para amostras desconhecidas. Esta tese tem como objetivo projetar modelos de PL baseados em ML otimizados para diferentes aplicações das tecnologias 5G e além. Essas aplicações abrangem links de ondas milimétricas (mmWave) para ambientes indoor e outdoor na faixa de frequência de 26,5 a 40 GHz, cobertura de macrocélulas no espectro sub-6 GHz e comunicações veiculares usando campanhas de medições desenvolvidas em CETUC, Rio de Janeiro, Brazil. Vários algoritmos de ML são explorados, como redes neurais artificiais (ANN), regressão de vetor de suporte (SVR), floresta aleatória (RF) e aumento de árvore de gradiente (GTB). Além disso, estendemos dois modelos empíricos para mmWave com previsão de PL melhorada. Propomos uma metodologia para seleção robusta de modelos de ML e uma metodologia para selecionar os preditores mais adequados para as máquinas consideradas com base na melhoria de desempenho e na interpretabilidade do modelo. Além disso, para o canal veículo-veículo (V2V), uma técnica de rede neural convolucional (CNN) também é proposta usando uma abordagem de aprendizado por transferência para lidar com conjuntos de dados pequenos. Os testes de generalização propostos mostram a capacidade dos modelos de ML de aprender o padrão entre as entradas do modelo e a PL, mesmo em ambientes e cenários mais desafiadores de amostras desconhecidas. / [en] Path loss (PL) is an essential parameter in propagation models and critical in determining mobile systems’ coverage area. Machine learning (ML) methods have become promising tools for radio propagation prediction. However, there are still some challenges for its full deployment, concerning to selection of the most significant model s inputs, understanding their contributions to the model s predictions, and a further evaluation of the generalization capacity for unknown samples. This thesis aims to design optimized ML-based PL models for different applications for the 5G and beyond technologies. These applications encompass millimeter wave (mmWave) links for indoor and outdoor environments in the frequency band from 26.5 to 40 GHz, macrocell coverage in the sub-6 GHz spectrum, and vehicular communications using measurements campaign carried out by the Laboratory of Radio-propagation, CETUC, in Rio de Janeiro, Brazil. Several ML algorithms are exploited, such as artificial neural network (ANN), support vector regression (SVR), random forest (RF), and gradient tree boosting (GTB). Furthermore, we have extended two empirical models for mmWave with improved PL prediction. We proposes a methodology for robust ML model selection and a methodology to select the most suitable predictors for the machines considered based on performance improvement and the model’s interpretability. In adittion, for the vehicle-to-vehicle (V2V) channel, a convolutional neural network (CNN) technique is also proposed using a transfer learning approach to deal with small datasets. The generalization tests proposed shows the ability of the ML models to learn the pattern between the model’s inputs and PL, even in more challenging environments and scenarios of unknown samples.

[pt] À medida que os modelos de aprendizado de máquina penetram áreas críticas como medicina, sistema de justiça criminal e mercados financeiros, sua opacidade, que impede que as pessoas interpretem a maioria deles, se tornou um problema a ser resolvido. Neste trabalho, apresentamos uma nova taxonomia para classificar qualquer método, abordagem ou estratégia para lidar com o problema da interpretabilidade de modelos de aprendizado de máquina. A taxonomia proposta que preenche uma lacuna existente nas estruturas de taxonomia atuais em relação à percepção subjetiva de diferentes intérpretes sobre um mesmo modelo. Para avaliar a taxonomia proposta, classificamos as contribuições de artigos científicos relevantes da área. / [en] As machine learning models penetrate critical areas like medicine, the criminal justice system, and financial markets, their opacity, which hampers humans ability to interpret most of them, has become a problem to be solved. In this work, we present a new taxonomy to classify any method, approach or strategy to deal with the problem of interpretability of machine learning models. The proposed taxonomy fills a gap in the current taxonomy frameworks regarding the subjective perception of different interpreters about the same model. To evaluate the proposed taxonomy, we have classified the contributions of some relevant scientific articles in the area.