Para o sucesso do processo de mineração de dados é importante que o conhecimento extraí?do seja compreensível e interessante para que o usuário final possa utilizá-lo em um sistema inteligente ou em processos de tomada de decisão. Um grande problema, porém, é identificado quando a tarefa de mineração de dados denominada associação é utilizada: a geração de um grande volume de regras. Taxonomias podem ser utilizadas para facilitar a análise e interpretação das regras de associação, uma vez que as mesmas provêm uma visão de como os itens podem ser hierarquicamente classificados. Em função dessa hierarquia é possível obter regras mais gerais que representem um conjunto de itens. Dentro desse contexto, neste trabalho é apresentada uma metodologia para construção semi-automática de taxonomias, que inclui procedimentos automáticos e interativos para a realização dessa tarefa. Essa combinação possibilita a utilização do conhecimento do especialista e também o auxilia na identificação de grupos. Entre os principais resultados deste trabalho, pode-se destacar a proposta e implementação do algoritmo SACT (Semi-automatic Construction of Taxonomies - Construção Semi-automática de Taxonomias), que provê a utilização da metodologia proposta. Para viabilizar a utilização do algoritmo, foi desenvolvido o módulo computacional RulEESACT. Com o objetivo de viabilizar e analisar a qualidade da metodologia proposta e do módulo desenvolvido, foi realizado um estudo de caso no qual foram construída taxonomias para duas bases de dados utilizando o RulEE-SACT. Uma das taxonomias foi analisada e validada por uma especialista do domínio. Posteriormente, as taxonomias e as bases de transações foram fornecidas para dois algoritmos de generalização de regras de associação a fim de analisar a aplicação das taxonomias geradas / I n the data mining process it is important that the extracted knowledge is understandable and interesting to the final user, so it can be used to support in the decision making. However, the data mining task named association has one problem: it generates a big volume of rules. Taxonomies can be used to facilitate the analysis and interpretation of association rules, because they provide an hierarchical vision of the items. This hierarchy enables the obtainment of more general rules, which represent a set of items. In this context, a methodology to semi-automatically construct taxonomies is proposed in this work. This methodology includes automatic and interactives procedures in order to construct the taxonomies, using the specialist?s knowledge and also assisting in the identification of groups. One of the main results of this work is the proposal and implementation of the SACT (Semi-automatic Construction of Taxonomies) algorithm, which provides the use of the proposed methodology. In order to facilitate the use of this algorithm, a computational module named RulEE-SACT was developed. Aiming to analyze the viability and quality of the proposed methodology and the developed module, a case study was done. In this case study, taxonomies of two databases were constructed using the RulEE-SACT. One of them was analyzed and validated by a domain specialist. Then the taxonomies and the databases were supplied to two algorithms which generalize association rules, aiming to analyze the use of the generated taxonomies

Made available in DSpace on 2015-02-04T21:45:25Z (GMT). No. of bitstreams: 1 Fernando Kauffmann Barbosa.pdf: 1315677 bytes, checksum: e5fd5031c620acf3943773dd039c0747 (MD5) Previous issue date: 2007-01-30 / Esta dissertação apresenta um agente, o FNA (Fast Navigation Agent), que tem como objetivo aumentar a facilidade e rapidez de acesso às páginas Web de maior interesse de um visitante, em sites que possuem uma grande quantidade de informações e serviços. O FNA faz parte do conteúdo das páginas Web do site, interage com o visitante e traça o seu perfil de navegação. O FNA utiliza técnicas de mineração de uso na Web e um algoritmo de Regras de Associação.

A associação é uma tarefa de mineração de dados que tem sido muito utilizada em problemas reais, porém o grande número de regras de associação que podem ser geradas dificulta a identificação de conhecimento interessante aos usuários. Para apoiar a identificação de regras interessantes podem ser utilizadas medidas de avaliação de conhecimento, que normalmente são classificadas como objetivas ou subjetivas. As medidas objetivas são mais gerais, mas podem não ser suficientes por não considerarem aspectos relacionados ao usuário ou ao domínio da aplicação. Por outro lado pode haver dificuldade em se obter a subjetividade do usuário necessária para o cálculo das medidas subjetivas. Diante desse contexto, neste trabalho é proposta uma metodologia para identificação de regras de associação interessantes que combina análises com medidas objetivas e subjetivas, visando aproveitar as vantagens de cada tipo e facilitar a participação do especialista. As medidas objetivas são utilizadas para selecionar algumas regras potencialmente interessantes para serem avaliadas por um especialista. As medidas subjetivas são calculadas utilizando essas regras com as avaliações do especialista. Essas medidas subjetivas então são utilizadas para auxiliar a identificação de regras interessantes de acordo com o conhecimento obtido durante a avaliação. Para viabilizar a aplicação dessa metodologia foi desenvolvido um módulo computacional de exploração de regras de associação com medidas subjetivas, denominado RulEE-SEAR. Utilizando esse módulo e outras ferramentas já existentes foi realizado um estudo de caso com uma base de dados real sobre qualidade de vida urbana. Nesse estudo de caso o processo de identificação de regras de associação interessantes foi realizado com especialista da área e verificou-se a viabilidade da metodologia proposta. / Association is a data mining task which has been applied in several real problems. However, due to the huge number of association rules that can be generated, it is hard for users to identify interesting knowledge. To assist users in finding interesting rules, evaluation measures can be used. Those measures are usually divided into objective and subjective. Objective measures are more general, but they can be insufficient because they do not consider user's and domain's features. On the other hand, getting users's knowledge and interest needed to calculate subjective measures can be a difficult task. In this context, a methodology to identify interesting association rules is proposed in this work. This methodology combines analysis with objective and subjective measures, aiming to use the advantages of each kind of measure and to make user's participation easier. Objective measures are used to select some potentially interesting rules for the user's evaluation. These rules and the evaluation are used to calculate subjective measures. Then, the subjective measures are used to assist the user in identifying interesting rules according to the knowledge obtained during the evaluation. To make the methodology use practicable, a computational module, named RulEE-SEAR, was developed to explore the association rules with subjective measures. Using this module and other existing tools, a case study was done. A urban life quality database was used and a specialist in this area participated in the interesting association rules identification. That case study showed that the methodology proposed is feasible.

Mineração de Dados é um processo de natureza iterativa e interativa responsável por identificar padrões em grandes conjuntos de dados, objetivando extrair conhecimento válido, útil e inovador a partir desses. Em Mineração de Dados, Regras de Associação é uma técnica que consiste na identificação de padrões intrínsecos ao conjunto de dados. Essa técnica tem despertado grande interesse nos pesquisadores de Mineração de Dados e nas organizações, entretanto, a mesma possui o inconveniente de gerar grande volume de conhecimento no formato de regras, dificultando a análise e interpretação dos resultados pelo usuário. Nesse contexto, este trabalho tem como objetivo principal generalizar e eliminar Regras de Associação não interessantes e/ou redundantes, facilitando, dessa maneira, a análise das regras obtidas com relação à compreensibilidade e tamanho do conjunto de regras. A generalização das Regras de Associação é realizada com o uso de taxonomias. Entre os principais resultados deste trabalho destacam-se a proposta e a implementação do algoritmo GART e do módulo computacional RulEE-GAR. O algoritmo GART (Generalization of Association Rules using Taxonomies - Generalização de Regras de Associação usando Taxonomias) utiliza taxonomias para generalizar Regras de Associação. Já o módulo RulEE-GAR, além de facilitar o uso do algoritmo GART durante a identificação de taxonomias e generalização de regras, provê funcionalidades para analisar as Regras de Associação generalizadas. Os experimentos realizados, neste trabalho, mostraram que o uso de taxonomias na generalização de Regras de Associação pode reduzir o volume de um conjunto de regras. / Data Mining refers to the process of finding patterns in large data sets. The Association Rules in Data Mining try to identify intrinsic behaviors of the data set. This has motivated researchers of Data Mining and organizations. However, the Association Rules have the inconvenient of generating a great amount of knowledge in the form of rules. This makes the analysis and interpretation of the results difficult for the user. Taking this into account, the main objective of this research is the generalization and elimination of non-interesting and/or redundant Association Rules. This facilite the analysis of the rules with respect to the compreensibility and the size of the rule set. The generalization is realized using taxonomies. The main results of this research are the proposal and the implementation of the algorithm GART and of the computational module RulEE-GAR. The algorithm GART (Generalization of Association Rules using Taxonomies) uses taxonomies to generalize Association Rules. The module RulEE-GAR facilitates the use of the algorithm GART in the identification of taxonomies and generalization of rules and provide functionalities to the analysis of the generalized Association Rules. The results of experiments showed that the employment of taxonomies in the generalization of Association Rules can reduce the size of a rule set.

Dentre as técnicas de mineração de dados encontra-se a associação, a qual identifica todas as associações intrínsecas contidas na base de dados. Entretanto, essa característica, vantajosa por um lado, faz com que um grande número de padrões seja gerado, sendo que muito deles, mesmo sendo estatisticamente aceitos, são triviais, falsos, ou irrelevantes à aplicação. Além disso, a técnica de associação tradicional gera padrões compostos apenas por itens contidos na base de dados, o que leva à extração, em geral, de um conhecimento muito específico. Essa especificidade dificulta a obtenção de uma visão geral do domínio pelos usuários finais, que visam a utilização/exploração de conhecimentos úteis e compreensíveis. Assim, o pós-processamento das regras descobertas se torna um importante tópico, uma vez que há a necessidade de se validar as regras obtidas. Diante do exposto, este trabalho apresenta uma abordagem de pós-processamento de regras de associação que utiliza conhecimento de domínio, expresso via taxonomias, para obter um conjunto de regras de associação generalizadas compacto e representativo. Além disso, a fim de avaliar a representatividade de padrões generalizados, é apresentado também neste trabalho um estudo referente à utilização de medidas de interesse objetivas quando aplicadas a regras de associação generalizadas. Nesse estudo, a semântica da generalização é levada em consideração, já que cada uma delas fornece uma visão distinta do domínio. Como resultados desta tese, foi possível observar que: um conjunto de regras de associação pode ser compactado na presença de um conjunto de taxonomias; para cada uma das semânticas de generalização existe um conjunto de medidas mais apropriado para ser utilizado na avaliação de regras generalizadas / The association technique, one of the data mining techniques, identifies all the intrinsic associations in database. This characteristic, which can be advantageous on the one hand, generates a large number of patterns. Many of these patterns, even statistically accepted, are trivial, spurious, or irrelevant to the application. In addition, the association technique generates patterns composed only by items in database, which in general implies a very specific knowledge. This specificity makes it difficult to obtain a general view of the domain by the final users, who aims the utilization/exploration of useful and comprehensible knowledge . Thus, the post-processing of the discovered rules becomes an important topic, since it is necessary to validate the obtained rules. In this context, this work presents an approach for post-processing association rules that uses domain knowledge, expressed by taxonomies, to obtain a reduced and representative generalized association rule set. In addition, in order to evaluate the representativeness of generalized patterns, a study referent to the use of objective interest measures when applied to generalized association rules is presented. In this study, the generalization semantics is considered, since each semantic provides a distinct view of the domain. As results of this thesis, it was possible to observe that: an association rule set can be compacted with a taxonomy set; for each generalization semantic there is a measure set that is more appropriate to be used in the generalized rules evaluation

O objectivo principal da presente dissertação é avaliar a aplicabilidade da Extracção de Conhecimento em Bases de Dados a uma base de dados académica tomando como estudo de caso a Faculdade de Engenharia da Universidade do Porto. A metodologia seguida consistiu na aplicação de algumas técnicas de prospecção de dados (classificação a análise de ligações) aos dados relativos aos últimos cinco anos lectivos. A análise incidiu sobre as interdependências entre disciplinas e o perfil dos alunos baseado no desempenho no primeiro ano. A partir de modelos gerados (Árvores e regras de decisão, e regras de associação) conseguem-se verificar interdependências entre disciplinas e a importância relativa que estas têm no sucesso escolar de um ou mais anos, fornecendo informação útil para apoio aos orgãos de gestão em medidas correlativas, como aconselhamento aos alunos, detecção precoce de problemas de insucesso e previsões para os anos lectivos seguintes.

Made available in DSpace on 2016-06-02T19:05:33Z (GMT). No. of bitstreams: 1 2522.pdf: 1514825 bytes, checksum: ebe56f7053e2af32e46a9f292c53aa9c (MD5) Previous issue date: 2009-04-29 / Financiadora de Estudos e Projetos / Traditional approaches for mining generalized association rules are based only on database contents, and focus on exact matches among items. However, in many applications, the use of some background knowledge, as ontologies, can enhance the discovery process and generate semantically richer rules. In this way, this paper proposes the NARFO algorithm, a new algorithm for mining non-redundant and generalized association rules based on fuzzy ontologies. Fuzzy ontology is used as background knowledge, to support the discovery process and the generation of rules. One contribution of this work is the generalization of nonfrequent itemsets that helps to extract meaningful knowledge. NARFO algorithm also contributes at post-processing stage with its generalization and redundancy treatment. / Abordagens tradicionais para mineração de regras de associação generalizadas são somente baseadas no conteúdo do banco de dados, tendo um maior foco em combinações exatas entre os itens. No entanto, em muitas aplicações, o uso de um conhecimento de apoio, como ontologias, pode aprimorar o processo de descoberta de conhecimento e gerar regras de associação semanticamente mais ricas. Desse modo, neste trabalho de mestrado foi desenvolvido o algoritmo NARFO, um novo algoritmo para a mineração de regras de associação generalizadas não redundantes baseada em uma ontologia difusa. A ontologia difusa é utilizada como um conhecimento prévio de apoio, para dar suporte ao processo de descoberta e geração das regras. Uma importante contribuição desse algoritmo é a implementação da generalização de itemsets não frequentes durante o processamento do algoritmo que auxilia na obtenção de regras significantes. O algoritmo NARFO também contribui na etapa de pós-processamento, com seu tratamento de generalização e redundância.

Dentre as técnicas de mineração existentes encontra-se a associação, responsável por identificar relações que ocorrem no conjunto de dados. Embora a associação seja uma das técnicas mais utilizadas, a quantidade de padrões extraídos pode vir a sobrecarregar o usuário de tal maneira que encontrar algo interessante dentre a imensidão de padrões obtidos passa a ser um novo desafio. Para solucionar esse problema, uma grande parte dos trabalhos relacionados à associação está voltada a etapa de pós-processamento. Esses trabalhos geralmente propõem abordagens de pós-processamento que visam, segundo determinada estratégia, facilitar a busca pelos padrões interessantes ao domínio. Nos últimos anos, essas abordagens têm incluído no processo o conhecimento e/ou interesse do usuário sobre o domínio. Contudo, nas abordagens atualmente existentes, o usuário deve, por meio de algum formalismo descrever explicitamente seu conhecimento e/ou interesse, requerendo do usuário um tempo considerável, podendo levar, inclusive, a especificações incompletas e/ou incorretas. Além disso, na maioria das vezes, o usuário não tem ideia do que é provavelmente interessante, nem a partir de quais relações iniciar a busca. Nota-se, portanto, que um dos desafios dessas abordagens é considerar o conhecimento e/ou interesse do usuário. Além disso, é necessário considerar também o número de regras que o usuário analisará. A análise de regras feita por um especialista é custosa e, na maioria dos casos, o usuário quer explorar as regras geradas sem limitar a exploração ao conhecimento que ele já possui. Portanto, é importante que o usuário avalie o menor número de regras possível e, com base nessa avaliação, abordagens de pós-processamento consigam o auxiliar na busca pelas regras que ele poderá considerar interessante. Para tanto, é proposto neste trabalho que o pós-processamento seja tratado como um problema de classificação semissupervisionada transdutiva, uma vez que permite que o usuário rotule, considerando classes pré-definidas (por exemplo, \"Interessante\" ou \"Não Interessante\"), apenas algumas regras do conjunto a ser explorado para que todas as outras regras sejam automaticamente rotuladas. Além disso, por meio da definição dos rótulos de algumas regras, é possível capturar implicitamente o conhecimento e/ou interesse do usuário sobre o domínio. Para tanto, é necessário que as regras sejam modeladas de maneira a permitir: (a) selecionar as regras a serem rotuladas pelo usuário a fim de capturar implicitamente seu conhecimento e/ou interesse; (b) propagar os rótulos das regras já classificadas pelo usuário a todas as outras regras não rotuladas. Desse modo, neste trabalho, as regras foram modeladas via redes, uma vez que: (i) uma vasta quantidade de medidas de exploração de redes pode ser utilizada, em conjunto com as informações fornecidas pelo usuário, a fim de viabilizar o item (a); (ii) algoritmos de propagação de rótulos podem ser utilizados a fim de viabilizar o item (b). Diante do apresentado, ressalta-se que as contribuições deste trabalho estão na capacidade de se extrair o conhecimento e/ou interesse do usuário de acordo com as características da base de dados e direcionar sua exploração sem a necessidade de se definir previamente o que será explorado. Além disso, os resultados obtidos demonstram a capacidade da PARLP em direcionar o usuário para o conhecimento considerado interessante, reduzindo, para tanto, a quantidade de regras a serem exploradas. Por fim, este trabalho contribui também para demonstrar que é possível tratar o pós-processamento de regras de associação como um problema de propagação de rótulos. / One of the existing data mining techniques is association rules, responsible for identifying relationships that occur in the data set. Although the association rule is one of the most widely used techniques, the amount of extracted patterns can overload the user in such a way that finding interesting patterns among the large amount of obtained patterns becomes a challenge. To solve this problem, a large part of the association-related work is focused on the post-processing step. These works generally propose a post-processing approaches that, according to a certain strategy, aims facilitating the search for interesting patterns. Nowadays, approaches have included the user knowledge in the domain and / or interests on the process. However, in the current existing approaches, the user knowledge and/or interest must be explicitly described by some formalism, requiring a considerable time and may even lead to incomplete and / or incorrect specifications. In addition, the user has no idea what probably is interesting or which patterns to begin the searching. Notice that one of the challenges of these approaches is to consider the knowledge and / or user interest. In addition, consider the number of rules the user will examine is necessary. The analysis of the rules by an expert is expensive and, in most cases, the user wants to explore the rules generated without limiting exploration to the knowledge he already has. Therefore, the user evaluate the fewest amount of rules possible is important and, based on this assessment, the post-processing approaches be able to assist in the search for the rules that he may consider interesting. So, in this work is proposed that the post-processing is treated as a transductive semi supervised classification problem, since it allows the user to label some rules based on two predefined classes (e.g. \"interesting\"or \"not interesting\"), in a way that just a small amount of the rule set needs to be explored and all other association rules are automatically labeled. Furthermore, you can implicitly capture the knowledge and / or user interest in the domain by labeling some rules. Thus, the rules need to be modeled to allow: (a) select the rules to be labeled by the user to implicitly capture their knowledge and / or interest; (b) propagate the rules\' labels classified by the user to all not labeled rules. To do so, the rules were modeled via networks in this work, due to: (i) a large amount of network measures can be used in conjunction with the information provided by the user, to make item (a) possible; (ii) label propagation algorithms can be used in order to make item (b) possible. Therefore, we highlight that the contributions of this work are the ability to extract knowledge and / or user interest according to database characteristics and direct the user exploration without previously defining what will be explored. In addition, the results demonstrate that the proposed approach is able to direct the user to the knowledge considered interesting, reducing the amount of rules to be explored. Finally, this work also contributes to demonstrate that treat the post-processing of association rules as a problem of propagation of labels is possible.

Dentre as técnicas de mineração de dados encontra-se a associação, a qual identifica todas as associações intrínsecas contidas na base de dados. Entretanto, essa característica, vantajosa por um lado, faz com que um grande número de padrões seja gerado, sendo que muito deles, mesmo sendo estatisticamente aceitos, são triviais, falsos, ou irrelevantes à aplicação. Além disso, a técnica de associação tradicional gera padrões compostos apenas por itens contidos na base de dados, o que leva à extração, em geral, de um conhecimento muito específico. Essa especificidade dificulta a obtenção de uma visão geral do domínio pelos usuários finais, que visam a utilização/exploração de conhecimentos úteis e compreensíveis. Assim, o pós-processamento das regras descobertas se torna um importante tópico, uma vez que há a necessidade de se validar as regras obtidas. Diante do exposto, este trabalho apresenta uma abordagem de pós-processamento de regras de associação que utiliza conhecimento de domínio, expresso via taxonomias, para obter um conjunto de regras de associação generalizadas compacto e representativo. Além disso, a fim de avaliar a representatividade de padrões generalizados, é apresentado também neste trabalho um estudo referente à utilização de medidas de interesse objetivas quando aplicadas a regras de associação generalizadas. Nesse estudo, a semântica da generalização é levada em consideração, já que cada uma delas fornece uma visão distinta do domínio. Como resultados desta tese, foi possível observar que: um conjunto de regras de associação pode ser compactado na presença de um conjunto de taxonomias; para cada uma das semânticas de generalização existe um conjunto de medidas mais apropriado para ser utilizado na avaliação de regras generalizadas / The association technique, one of the data mining techniques, identifies all the intrinsic associations in database. This characteristic, which can be advantageous on the one hand, generates a large number of patterns. Many of these patterns, even statistically accepted, are trivial, spurious, or irrelevant to the application. In addition, the association technique generates patterns composed only by items in database, which in general implies a very specific knowledge. This specificity makes it difficult to obtain a general view of the domain by the final users, who aims the utilization/exploration of useful and comprehensible knowledge . Thus, the post-processing of the discovered rules becomes an important topic, since it is necessary to validate the obtained rules. In this context, this work presents an approach for post-processing association rules that uses domain knowledge, expressed by taxonomies, to obtain a reduced and representative generalized association rule set. In addition, in order to evaluate the representativeness of generalized patterns, a study referent to the use of objective interest measures when applied to generalized association rules is presented. In this study, the generalization semantics is considered, since each semantic provides a distinct view of the domain. As results of this thesis, it was possible to observe that: an association rule set can be compacted with a taxonomy set; for each generalization semantic there is a measure set that is more appropriate to be used in the generalized rules evaluation

Sistemas de informações geográficas permitem armazenar, manipular e armazenar, manipular e analisar dados espaciais e aspectos descritivos desses dados. A análise de dados espaciais pode ser realizada por meio de técnicas de extração de regras de associação, ou seja, regras que descrevem relacionamentos entre os dados. Porém, a mineração de regras de associação não considera as relações topológicas existentes entre dados georreferenciados. Para solucionar esse problema, Koperski and Han (1995) e Malerba et al. (2001) propuseram um processo de extração de regras integrado ao algoritmo de mineração e utilizavam predicados lógicos para representar as regras. Como alternativa a essa solução, este trabalho propõe pré-processar os dados referenciados para encontrar relações topológicas em separado e aplicar um algoritmo de mineração de regras de associação disponí?vel pela comunidade acadêmica. As regras geradas devem apresentar características descritivas dos dados e relações topológicas. Para atingir esse objetivo foi especificado um processo de extração de regras em dados georreferenciados e implementado um módulo de pré-processamento que extrai relações topológicas. O módulo foi avaliado por meio de um estudo de caso utilizando o sistema de informação geográfica da cidade de Jaboticabal, no contexto de planejamento urbano. As regras encontradas foram analisadas por um especialista utilizando as medidas de suporte e confiança. Além disso, uma análise sobre o tempo de processamento e consumo de memória para encontrar as relações topológicas foi realizada, mostrando que é possível extrair padrões utilizando o processo e o módulo proposto neste trabalho. / Geographic information systems are used to store, manipulate, and analyze spatial data and its descriptive aspects. Spatial data analysis can be done by searching association rules that describe relationships between the data. However, georeferenced data present topological relations unknown to traditional mining association rule algorithms. To solve this problem, Koperski and Han (1995) and Malerba et al. (2001) proposed a topological relation extraction process integrated to a mining association rule algorithm. This process requires all data to be translated as logical predicates. As an alternative to this solution, this work proposes to break down this process by pre-processing the georeferenced data to find topological relations, then executing traditional mining association rule algorithms. The resulting rules must present descriptive characteristics of the data and topological relations. To reach this objective, a process of rule extraction in georeferenced data was specified, in addition to a pre-processing module implementation. This module was evaluated by using a case study that uses a geographic information system of the city of Jaboticabal, in the context of urban planning. The generated rules were analyzed by a specialist using the measures of support and confidence. In addition, an analysis regarding the processing time and memory consumption was provided to find the topological relations, which shows that it is possible to extract the patterns with the proposed process and module.