[pt] Considerando a disponibilidade do Big Data para engenharia de software, como no caso do GitHub, a semi-automação da elicitação de requisitos não funcionais (NFRs) é uma estratégia fundamental para a definição de requisitos. Como tal, a elicitação de NFRs, dentro da automação da leitura de documentos, pode gerenciar a massa de informações valiosas existentes nos dados disponíveis. Esta tese explora esse contexto em três partes, a escolha de fontes apropriadas de informação, uma elicitação de descoberta de fatos e a identificação de NFRs. As avaliações realizadas mostraram que a automação enfrenta um balance entre eficiência e eficácia. Esse equilíbrio é detalhado com diferentes estratégias inovadoras. O conhecimento adquirido é organizado como um catálogo SIG (Softgoal Interdependence Graph). / [en] Considering the availability of Big Data for software engineering, as the case of GitHub, the semi-automation of non-functional requirements (NFRs) elicitation is a key strategy towards requirements definition. As such, NFRs elicitation, within the automation of document reading, can manage the mass of valuable information existing in available data. This thesis explores this context in three parts, the choice of proper sources of information, a fact-finding elicitation, and NFRs identification. The assessments performed showed that the automation faces a trade-off between efficiency and efficacy. This trade-off is detailed with different novel strategies. The acquired knowledge is organized as a SIG (Softgoal Interdependence Graph) catalog.

[pt] A avaliação sistemática de uma Instituição de Ensino Superior (IES) fornece à sua administração um feedback valioso sobre vários aspectos da vida acadêmica, como a reputação da instituição e o desempenho individual do corpo docente. Em particular, as pesquisas com alunos são uma fonte de informação de primeira mão que ajuda a avaliar o desempenho do professor e a adequação do curso. Os objetivos principais desta tese são criar e avaliar modelos de análise de sentimento dos comentários dos alunos e estratégias para resumir os comentários dos alunos. A tese primeiro descreve duas abordagens para classificar a polaridade dos comentários dos alunos, ou seja, se eles são positivos, negativos ou neutros. A primeira abordagem depende de um dicionário criado manualmente que lista os termos que representam o sentimento a ser detectado nos comentários dos alunos. A segunda abordagem adota um modelo de representação de linguagem, que não depende de um dicionário criado manualmente, mas requer algum conjunto de teste anotado manualmente. Os resultados indicaram que a primeira abordagem superou uma ferramenta de linha de base e que a segunda abordagem obteve um desempenho muito bom, mesmo quando o conjunto de comentários anotados manualmente é pequeno. A tese então explora várias estratégias para resumir um conjunto de comentários com interpretações semelhantes. O desafio está em resumir um conjunto de pequenas frases, escritas por pessoas diferentes, que podem transmitir ideias repetidas. Como estratégias, a tese testou Market Basket Analysis, Topic Models, Text Similarity, TextRank e Entailment, adotando um método de inspeção humana para avaliar os resultados obtidos, uma vez que as métricas tradicionais de sumarização de textos se mostraram inadequadas. Os resultados sugerem que o agrupamento combinado com a estratégia baseada em centróide atinge os melhores resultados. / [en] The systematic evaluation of a Higher Education Institution (HEI) provides its administration with valuable feedback about several aspects of academic life, such as the reputation of the institution and the individual performance of teachers. In particular, student surveys are a first-hand source of information that help assess teacher performance and course adequacy. The primary goals of this thesis are to create and evaluate sentiment analysis models of students comments, and strategies to summarize students comments. The thesis first describes two approaches to classify the polarity of students comments, that is, whether they are positive, negative, or neutral. The first approach depends on a manually created dictionary that lists terms that represent the sentiment to be detected in the students comments. The second approach adopts a language representation model, which does not depend on a manually created dictionary, but requires some manually annotated test set. The results indicated that the first approach outperformed a baseline tool, and that the second approach achieved very good performance, even when the set of manually annotated comments is small. The thesis then explores several strategies to summarize a set of comments with similar interpretations. The challenge lies in summarizing a set of small sentences, written by different people, which may convey repeated ideas. As strategies, the thesis tested Market Basket Analysis, Topic Models, Text Similarity, TextRank, and Entailment, adopting a human inspection method to evaluate the results obtained, since traditional text summarization metrics proved inadequate. The results suggest that clustering combined with the centroid-based strategy achieves the best results.

[pt] Em clusterização baseada em modelos, o objetivo é separar amostras de dados em grupos significativos, otimizando a aderência dos dados observados a um modelo matemático. A recente adoção de clusterização baseada em modelos tem permitido a profissionais e usuários mapearem padrões complexos nos dados e explorarem uma ampla variedade de aplicações. Esta tese investiga abordagens orientadas a modelos para detecção de comunidades e para o estudo de clusterização semissupervisionada, adotando uma perspectiva baseada em máxima verossimilhança. Focamos primeiramente na exploração de técnicas de otimização com restrições para apresentar um novo modelo de detecção de comunidades por meio de modelos de blocos estocásticos (SBMs). Mostramos que a formulação com restrições revela comunidades estruturalmente diferentes daquelas obtidas com modelos clássicos. Em seguida, estudamos um cenário onde anotações imprecisas são fornecidas na forma de relações must-link e cannot-link, e propomos um modelo de clusterização semissupervisionado. Nossa análise experimental mostra que a incorporação de supervisão parcial e de conhecimento prévio melhoram significativamente os agrupamentos. Por fim, examinamos o problema de clusterização semissupervisionada na presença de rótulos de classe não confiáveis. Investigamos o caso em que grupos de anotadores deliberadamente classificam incorretamente as amostras de dados e propomos um modelo para lidar com tais anotações incorretas. / [en] In model-based clustering, we aim to separate data samples into meaningful groups by optimizing the fit of some observed data to a mathematical model. The recent adoption of model-based clustering has allowed practitioners to model complex patterns in data and explore a wide range of applications. This thesis investigates model-driven approaches for community detection and semisupervised clustering by adopting a maximum-likelihood perspective. We first focus on exploiting constrained optimization techniques to present a new model for community detection with stochastic block models (SBMs). We show that the proposed constrained formulation reveals communities structurally different from those obtained with classical community detection models. We then study a setting where inaccurate annotations are provided as must-link and cannot-link relations, and propose a novel semi-supervised clustering model. Our experimental analysis shows that incorporating partial supervision and appropriately encoding prior user knowledge significantly enhance clustering performance. Finally, we examine the problem of semi-supervised clustering in the presence of unreliable class labels. We focus on the case where groups of untrustworthy annotators deliberately misclassify data samples and propose a model to handle such incorrect statements.

[pt] Este trabalho apresenta uma metodologia que propõe a combinação de dados quantitativos e distanciados com a leitura mais detalhada e aproximada em análises de discurso, oferecendo a oportunidade de novos olhares sobre os dados e diversas perspectivas de análise. A metodologia faz uso de recursos dos estudos linguísticos com corpus, tais como listas de frequência, preferência, categorização e leitura de linhas de concordância. Demonstra-se sua aplicação, tomando-se como objeto de exploração obras da literatura brasileira em domínio público compiladas em um corpus com cerca de 5 milhões de palavras, anotado semântica e morfossintaticamente, e utilizam-se ferramentas computacionais que permitem buscas com base em padrões léxico-sintáticos da língua portuguesa. O objetivo é identificar como as personagens masculinas e femininas são caracterizadas nos textos, possibilitando tanto elaborar uma visão geral de como mulheres e homens são construídos através da linguagem. O estudo se dá em duas frentes: observando os predicadores na descrição das personagens e as ações são desempenhadas por elas, fazendo distinção entre masculinas e femininas, comparando-as e analisando as diferenças de forma crítica. / [en] This work presents a methodology that proposes the combination of quantitative and distant-read data with detailed, closer reading in discourse analysis, enabling new possible views over data and diverse perspectives of analysis. This methodology makes use of resources most used in corpus-based linguistic, such as frequency lists, preferences, categorization, and reading concordance lines. Its application is demonstrated using as exploration object Brazilian literature titles in the public domain, compiled in a corpus with approximately 5 million words, semantically and morpho-syntactically annotated, and by using computational tools that enable searches based on lexical-syntactic patterns of the Portuguese language. The purpose is to identify how the male and female characters are portrayed in those texts, enabling the creation of a general view on how women and men are built through language. The study happens in two fronts: by observing the predicates used on describing characters and the actions these characters take, comparing the male and female results and analyzing them in a critical way.

[pt] Esta dissertação investiga a utilização de sistemas Neuro- Fuzzy Hierárquicos BSP (Binary Space Partitioning) para classificação de padrões e para extração de regras fuzzy em bases de dados. O objetivo do trabalho foi criar modelos específicos para classificação de registros a partir do modelo Neuro-Fuzzy Hierárquico BSP que é capaz de gerar sua própria estrutura automaticamente e extrair regras fuzzy, lingüisticamente interpretáveis, que explicam a estrutura dos dados. O princípio da tarefa de classificação de padrões é descobrir relacionamentos entre os dados com a intenção de prever a classe de um padrão desconhecido. O trabalho consistiu fundamentalmente de quatro partes: um estudo sobre os principais métodos de classificação de padrões; análise do sistema Neuro-Fuzzy Hierárquico BSP (NFHB) original na tarefa de classificação; definição e implementação de dois sistemas NFHB específicos para classificação de padrões; e o estudo de casos. No estudo sobre os métodos de classificação foi feito um levantamento bibliográfico da área, resultando em um "survey" onde foram apresentadas as principais técnicas utilizadas para esta tarefa. Entre as principais técnicas destacaram-se: os métodos estatísticos, algoritmos genéticos, árvores de decisão fuzzy, redes neurais, e os sistemas neuro-fuzzy. Na análise do sistema NFHB na classificação de dados levou- se em consideração as peculiaridades do modelo, que possui: aprendizado da estrutura, particionamento recursivo do espaço de entrada, aceita maior número de entradas que os outros sistemas neuro-fuzzy, além de regras fuzzy recursivas. O sistema NFHB, entretanto, não é um modelo exatamente desenvolvido para classificação de padrões. O modelo NFHB original possui apenas uma saída e para utilizá- lo como um classificador é necessário criar um critério de faixa de valores (janelas) para representar as classes. Assim sendo, decidiu-se criar novos modelos que suprissem essa deficiência. Foram definidos dois novos sistemas NFHB para classificação de padrões: NFHB-Invertido e NFHB-Class. O primeiro utiliza a arquitetura do modelo NFHB original no aprendizado e em seguida a inversão da mesma para a validação dos resultados. A inversão do sistema consistiu de um meio de adaptar o novo sistema à tarefa específica de classificação, pois passou-se a ter o número de saídas do sistema igual ao número de classes ao invés do critério de faixa de valores utilizado no modelo NFHB original. Já o sistema NFHB-Class utilizou, tanto para a fase de aprendizado, quanto para a fase de validação, o modelo NFHB original invertido. Ambos os sistemas criados possuem o número de saídas igual ao número de classes dos padrões, o que representou um grande diferencial em relação ao modelo NFHB original. Além do objetivo de classificação de padrões, o sistema NFHB-Class foi capaz de extrair conhecimento em forma de regras fuzzy interpretáveis. Essas regras são expressas da seguinte maneira: SE x é A e y é B então padrão pertence à classe Z. Realizou-se um amplo estudo de casos, abrangendo diversas bases de dados Benchmark para a tarefa de classificação, tais como: Iris Dataset, Wine Data, Pima Indians Diabetes Database, Bupa Liver Disorders e Heart Disease, e foram feitas comparações com diversos modelos e algoritmos de classificação de padrões. Os resultados encontrados com os modelos NFHB-Invertido e NFHB-Class mostraram-se, na maioria dos casos, superiores ou iguais aos melhores resultados encontrados pelos outros modelos e algoritmos aos quais foram comparados.O desempenho dos modelos NFHB-Invertido e NFHB-Class em relação ao tempo de processamento também se mostrou muito bom. Para todas as bases de dados descritas no estudo de casos (capítulo 8), os modelos convergiram para uma ótima solução de classificação, além da extração das regras fuzzy, em / [en] This dissertation investigates the use of Neuro-Fuzzy Hierarchical BSP (Binary Space Partitioning) systems for pattern classification and extraction of fuzzy rules in databases. The objective of this work was to create specific models for the classification of registers based on the Neuro-Fuzzy BSP model that is able to create its structure automatically and to extract linguistic rules that explain the data structure. The task of pattern classification is to find relationships between data with the intention of forecasting the class of an unknown pattern. The work consisted of four parts: study about the main methods of the pattern classification; evaluation of the original Neuro-Fuzzy Hierarchical BSP system (NFHB) in pattern classification; definition and implementation of two NFHB systems dedicated to pattern classification; and case studies. The study about classification methods resulted in a survey on the area, where the main techniques used for pattern classification are described. The main techniques are: statistic methods, genetic algorithms, decision trees, neural networks, and neuro-fuzzy systems. The evaluation of the NFHB system in pattern classification took in to consideration the particularities of the model which has: ability to create its own structure; recursive space partitioning; ability to deal with more inputs than other neuro-fuzzy system; and recursive fuzzy rules. The original NFHB system, however, is unsuited for pattern classification. The original NFHB model has only one output and its use in classification problems makes it necessary to create a criterion of band value (windows) in order to represent the classes. Therefore, it was decided to create new models that could overcome this deficiency. Two new NFHB systems were developed for pattern classification: NFHB-Invertido and NFHB-Class. The first one creates its structure using the same learning algorithm of the original NFHB system. After the structure has been created, it is inverted (see chapter 5) for the generalization process. The inversion of the structure provides the system with the number of outputs equal to the number of classes in the database. The second system, the NFHB-Class uses an inverted version of the original basic NFHB cell in both phases, learning and validation. Both systems proposed have the number of outputs equal to the number of the pattern classes, what means a great differential in relation to the original NFHB model. Besides the pattern classification objective, the NFHB- Class system was able to extract knowledge in form of interpretable fuzzy rules. These rules are expressed by this way: If x is A and y is B then the pattern belongs to Z class. The two models developed have been tested in many case studies, including Benchmark databases for classification task, such as: Iris Dataset, Wine Data, Pima Indians Diabetes Database, Bupa Liver Disorders and Heart Disease, where comparison has been made with several traditional models and algorithms of pattern classification. The results found with NFHB-Invertido and NFHB-Class models, in all cases, showed to be superior or equal to the best results found by the others models and algorithms for pattern classification. The performance of the NFHB- Invertido and NFHB-Class models in terms of time-processing were also very good. For all databases described in the case studies (chapter 8), the models converged to an optimal classification solution, besides the fuzzy rules extraction, in a time-processing inferior to a minute. / [es] Esta disertación investiga el uso de sistemas Neuro- Fuzzy Herárquicos BSP (Binary Space Partitioning) en problemas de clasificación de padrones y de extracción de reglas fuzzy en bases de datos. El objetivo de este trabajo fue crear modelos específicos para clasificación de registros a partir del modelo Neuro-Fuzzy Jerárquico BSP que es capaz de generar automáticamente su propia extructura y extraer reglas fuzzy, lingüisticamente interpretables, que explican la extructura de los datos. El principio de la clasificación de padrones es descubrir relaciones entre los datos con la intención de prever la clase de un padrón desconocido. El trabajo está constituido por cuatro partes: un estudio sobre los principales métodos de clasificación de padrones; análisis del sistema Neuro-Fuzzy Jerárquico BSP (NFHB) original en la clasificación; definición e implementación de dos sistemas NFHB específicos para clasificación de padrones; y el estudio de casos. En el estudio de los métodos de clasificación se realizó un levatamiento bibliográfico, creando un "survey" donde se presentan las principales técnicas utilizadas. Entre las principales técnicas se destacan: los métodos estadísticos, algoritmos genéticos, árboles de decisión fuzzy, redes neurales, y los sistemas neuro-fuzzy. En el análisis del sistema NFHB para clasificación de datos se tuvieron en cuenta las peculiaridades del modelo, que posee : aprendizaje de la extructura, particionamiento recursivo del espacio de entrada, acepta mayor número de entradas que los otros sistemas neuro-fuzzy, además de reglas fuzzy recursivas. El sistema NFHB, sin embargo, no es un modelo exactamente desarrollado para clasificación de padrones. El modelo NFHB original posee apenas una salida y para utilizarlo conmo un clasificador fue necesario crear un criterio de intervalos de valores (ventanas) para representar las clases. Así, se decidió crear nuevos modelos que supriman esta deficiencia. Se definieron dos nuevos sistemas NFHB para clasificación de padrones: NFHB- Invertido y NFHB-Clas. El primero utiliza la arquitectura del modelo NFHB original en el aprendizaje y en seguida la inversión de la arquitectura para la validación de los resultados. La inversión del sistema es un medio para adaptar el nuevo sistema, específicamente a la clasificación, ya que el sistema pasó a tener número de salidas igual al número de clases, al contrario del criterio de intervalo de valores utilizado en el modelo NFHB original. En el sistema NFHB-Clas se utilizó, tanto para la fase de aprendizajeo, cuanto para la fase de validación, el modelo NFHB original invertido. Ambos sistemas poseen el número de salidas igual al número de clases de los padrones, lo que representa una gran diferencia en relación al modelo NFHB original. Además del objetivo de clasificación de padrones, el sistema NFHB-Clas fue capaz de extraer conocimento en forma de reglas fuzzy interpretables. Esas reglas se expresan de la siguiente manera: Si x es A e y es B entonces el padrón pertenece a la clase Z. Se realizó un amplio estudio de casos, utilizando diversas bases de datos Benchmark para la clasificación, tales como: Iris Dataset, Wine Data, Pima Indians Diabetes Database, Bupa Liver Disorders y Heart Disease. Los resultados se compararon con diversos modelos y algoritmos de clasificación de padrones. Los resultados encontrados con los modelos NFHB-Invertido y NFHB-Clas se mostraron, en la mayoría de los casos, superiores o iguales a los mejores resultados encontrados por los otros modelos y algoritmos con los cuales fueron comparados. El desempeño de los modelos NFHB-Invertido y NFHB-Clas en relación al tiempo de procesamiento tambiém se mostró muy bien. Para todas las bases de datos descritas en el estudio de casos (capítulo 8), los modelos convergieron para una solución óptima, además de la extracción de las reglas fuzzy, con tiemp

[pt] No contexto de comércio eletrônico, descrições de produtos exercem grande influência na experiência de compra. Descrições bem feitas devem idealmente informar um potencial consumidor sobre detalhes relevantes do produto, esclarecendo potenciais dúvidas e facilitando a compra. Gerar boas descrições, entretanto, é uma atividade custosa, que tradicionalmente exige esforço humano. Ao mesmo tempo, existe uma grande quantidade de produtos sendo lançados a cada dia. Nesse contexto, este trabalho apresenta uma nova metodologia para a geração automatizada de descrições de produtos, usando as avaliações deixadas por usuários como fonte de informações. O método proposto é composto por três etapas: (i) a extração de sentenças adequadas para uma descrição a partir das avaliações (ii) a seleção de sentenças dentre as candidatas (iii) a geração da descrição de produto a partir das sentenças selecionadas usando um Large Language Model (LLM) de forma zero-shot. Avaliamos a qualidade das descrições geradas pelo nosso método comparando-as com descrições de produto reais postadas pelos próprios anunciantes. Nessa avaliação, contamos com a colaboração de 30 avaliadores, e verificamos que nossas descrições são preferidas mais vezes do que as descrições originais, sendo consideradas mais informativas, legíveis e relevantes. Além disso, nessa mesma avaliação replicamos um método da literatura recente e executamos um teste estatístico comparando seus resultados com o nosso método, e dessa comparação verificamos que nosso método gera descrições mais informativas e preferidas no geral. / [en] In the context of e-commerce, product descriptions have a great influence on the shopping experience. Well-made descriptions should ideally inform a potential consumer about relevant product details, clarifying potential doubt sand facilitating the purchase. Generating good descriptions, however, is a costly activity, which traditionally requires human effort. At the same time, there are a large number of products being launched every day. In this context, this work presents a new methodology for the automated generation of product descriptions, using reviews left by users as a source of information. The proposed method consists of three steps: (i) the extraction of suitable sentences for a description from the reviews (ii) the selection of sentences among the candidates (iii) the generation of the product description from the selected sentences using a Large Language Model (LLM) in a zero-shot way. We evaluate the quality of descriptions generated by our method by comparing them to real product descriptions posted by sellers themselves. In this evaluation, we had the collaboration of 30 evaluators, and we verified that our descriptions are preferred more often than the original descriptions, being considered more informative, readable and relevant. Furthermore, in this same evaluation we replicated a method from recent literature and performed a statistical test comparing its results with our method, and from this comparison we verified that our method generates more informative and preferred descriptions overall.

[pt] Devido à quantidade cada vez maior de dados armazenada pelas instituições, a área de mineração de dados tem se tornado cada vez mais relevante e vários métodos e métodos têm sido propostos de maneira a aumentar sua aplicabilidade e desempenho. Esta dissertação investiga o uso de diversos métodos e técnicas de mineração de dados na modelagem e solução de problemas de Marketing. O objetivo do trabalho foi fazer um levantamento de alguns métodos e técnicas de mineração, avaliar seus desempenhos e procurar integrá-los na solução de problemas de marketing que envolvessem tarefas de agrupamento ou classificação. O trabalho consistiu de quatro etapas principais: estudo sobre o processo de descoberta de conhecimento em bancos de dados (KDD - Knowledge Discovery in Databases); estudo sobre Marketing e alguns problemas de Marketing de Banco de Dados (DBM - Database Marketing) que envolvessem tarefas de agrupamento e classificação; levantamento e estudo de métodos e técnicas de Inteligência Computacional e Estatística que pudessem ser empregados na solução de alguns desses problemas; e estudos de caso. A primeira etapa do trabalho envolveu um estudo detalhado das diversas fases do processo de KDD: limpeza dos dados; seleção; codificação e transformação; redução de dimensionalidade; mineração; e pós-processamento. Na segunda etapa foram estudados os principais conceitos de Marketing e de DBM e a relação entre eles e o processo de KDD. Pesquisaram-se alguns dos tipos de problemas comuns na área e escolheram- se para análise dois que fossem suficientemente complexos e tivessem a possibilidade de se ter acesso a alguma empresa que fornecesse os dados e validasse a solução posteriormente. Os casos selecionados foram um de marketing direto e outro de segmentação de mercado. Na terceira etapa, foram estudados os métodos de Inteligência Computacional e Estatística usualmente empregados em tarefas de agrupamento e classificação de dados. Foram estudados: Redes Perceptron Multi-Camadas, Mapas Auto- Organizáveis, Fuzzy C-Means, K-means, sistemas Neuro-Fuzzy, Árvores de Decisão, métodos Hierárquicos de agrupamento, Regressão Logística, Fuções Discriminantes de Fisher, entre outros. Por fim, na última etapa, procurou-se integrar todos os métodos e técnicas estudados na solução de dois estudos de caso, propostos inicialmente na segunda etapa do trabalho. Uma vez proposta a solução para os estudos de caso, elas foram levadas aos especialistas em Marketing das empresas para serem validadas no âmbito do negócio. Os estudos de caso mostraram a grande utilidade e aplicabilidade dos métodos e técnicas estudadas em problemas de marketing direto e segmentação de mercado. Sem o emprego dos mesmos, a solução para muitos desses problemas tornar-se-ia extremamente imprecisa ou até mesmo inviável. Mostraram também a grande importância das fases iniciais de pré-processamento dos dados no processo de KDD. Muitos desafios persistem ainda na área de mineração de dados, como a dificuldade de modelar dados não lineares e de manipular quantidades muito grande de dados, o que garante um vasto campo para pesquisa nos próximos anos. / [en] The Data Mining field has received great attention lately, due to the increasing amount of data stored by companies and institutions. A great number of Data Mining methods have been proposed so far, which is good but sometimes leads to confusion. This dissertation investigates the performance of many different methods and techniques of Data Mining used to model and solve Marketing problems. The goal of this research was to look for and study some data mining methods, compare them, and try to integrate them to solve Marketing problems involving clustering and classification tasks. This research can be divided in four stages: a study of the process of Knowledge Discovery in Databases (KDD); a study about Marketing problems involving clustering and classification; a study of some methods and techniques of Statistics and Computational Intelligence that could be used to solve some of those problems; and case studies. On the first stage of the research, the different tasks (clustering, classification, modeling, etc) and phases (data cleansing, data selection, data transformation, Data Mining, etc) of a KDD process were studied in detail. The second stage involved a study of the main concepts of Marketing and Database Marketing and their relation to the KDD process. The most common types of problems in the field were studied and, among them, two were selected to be furthered analyzed as case studies. One case was related to Direct Marketing and the other to Market Segmentation. These two cases were chosen because they were complex enough and it was possible to find a company to provide data to the problem and access to their marketing department. On the third stage, many different methods for clustering and classification were studied and compared. Among those methods, there were: Multilayer Perceptrons, Self Organizing Maps, Fuzzy C-Means, K-Means, Neuro-Fuzzy systems, Decision Trees, Hierarquical Clustering Methods, Logistic Regression, Fisher`s Linear Discriminants, etc Finally, on the last stage, all the methods and techniques studied were put together to solve the two case studies proposed earlier. Once they were solved, their solutions were submitted to the Marketing Department of the company who provided the data, so that they could validate the results in the context of their business. The case studies were able to show the large potential of applicability of the methods and techniques studied on problems of Market Segmentation and Direct Marketing. Without employing those methods, it would be very hard or even impossible to solve those problems. The case studies also helped verify the very important role of the data pre-processing phase on the KDD process. Many challenges persist in the data mining field. One could mention, for example, the difficulty to model non-linear data and to manipulate larges amounts of data. These and many other challenges provide a vast field of research to be done in the next years. / [es] Debido a la cantidad cada vez mayor de datos almacenados por las instituiciones, el área de mineración de datos há ganado relevancia y varios métodos han sido propuestos para aumentar su aplicabilidad y desempeño. Esta disertación investiga el uso de diversos métodos y técnicas de mineración de datos en la modelación y solución de problemas de Marketing. EL objetivo del trabajo fue hacer un levantamiento de algunos métodos y técnicas de mineración, evaluar su desempeño e integrarlos en la solución de problemas de marketing que involucran tareas de agrupamiento y clasificación. EL trabajo consta de cuatro etapas principales: estudio sobre el proceso de descubrimiento de conocimientos en bancos de datos (KDD - Knowledge Discovery in Databases); estudio sobre Marketing y algunos problemas de Marketing de Banco de Datos (DBM - Database Marketing) que incluyen tareas de agrupamientoy clasificación; levantamiento y estudio de métodos y técnicas de Inteligencia Computacional y Estadística que pueden ser empleados en la solución de algunos problemas; y por último, estudios de casos. La primera etapa del trabajo contiene un estudio detallado de las diversas fases del proceso de KDD: limpeza de datos; selección; codificación y transformación; reducción de dimensionalidad; mineración; y posprocesamento. En la segunda etapa fueron estudados los principales conceptos de Marketing y de DBM y la relación entre ellos y el proceso de KDD. Algunos de los tipos de problemas comunes en la área fueron investigados, seleccionando dos de ellos, por ser suficientemente complejos y tener posibilidad de acceso a alguna empresa que suministrase los datos y evaluase posteriormente la solución. Los casos selecionados fueron uno de marketing directo y otro de segmentación de mercado. En la tercera etapa, se estudiaron los métodos de Inteligencia Computacional y Estadística que son empleados usualmente en tareas de agrupamiento y clasificación de datos. Éstos fueron: Redes Perceptron Multicamada, Mapas Autoorganizables, Fuzzy C-Means, K-means, sistemas Neuro- Fuzzy, Árboles de Decisión, métodos Jerárquicos de agrupamiento, Regresión Logística, Fuciones Discriminantes de Fisher, entre otros. En la última etapa, se integraron todos los métodos y técnicas estudiados en la solución de dos estudios de casos, propuestos inicialmente en la segunda etapa del trabajo. Una vez proposta la solución para el estudios de casos, éstas fueron evaluadas por los especialistas en Marketing de las empresas. Los estudios de casos mostraron la grande utilidad y aplicabilidad de los métodos y técnicas estudiadas en problemas de marketing directo y segmentación de mercado. Sin el empleo de dichos métodos, la solución para muchos de esos problemas sería extremadamente imprecisa o hasta incluso inviáble. Se comprobó también la gran importancia de las fases iniciales de preprocesamiento de datos en el proceso de KDD. Existen todavía muchos desafíos en el área de mineración de datos, como la dificuldad de modelar datos no lineales y de manipular cantidades muy grandes de datos, lo que garantiza un vasto campo de investigación

[pt] Este trabalho propõe um novo modelo linear por partes para a extração de regras de conhecimento de banco de dados. O modelo é uma heurística baseada em análise de árvore de regressão, como introduzido por Friedman (1979) e discutido em detalhe por Breiman (1984). A motivação desta pesquisa é trazer uma nova abordagem combinando técnicas estatísticas de modelagem e um algoritmo de busca por quebras eficiente. A decisão de quebra usada no algoritmo de busca leva em consideração informações do ajuste de equações lineares e foi implementado tendo por inspiração o trabalho de Tsay (1989). Neste, ele sugere um procedimento para construção um modelo para a análise de séries temporais chamado TAR (threshold autoregressive model), introduzido por Tong (1978) e discutido em detalhes por Tong e Lim (1980) e Tong (1983). O modelo TAR é um modelo linear por partes cuja idéia central é alterar os parâmetros do modelo linear autoregressivo de acordo com o valor de uma variável observada, chamada de variável limiar. No trabalho de Tsay, a Identificação do número e localização do potencial limiar era baseada na analise de gráficos. A idéia foi então criar um novo algoritmo todo automatizado. Este processo é um algoritmo que preserva o método de regressão por mínimos quadrados recursivo (MQR) usado no trabalho de Tsay. Esta talvez seja uma das grandes vantagens da metodologia introduzida neste trabalho, visto que Cooper (1998) em seu trabalho de análise de múltiplos regimes afirma não ser possível testar cada quebra. Da combinação da árvore de decisão com a técnica de regressão (MQR), o modelo se tornou o TS-TARX (Tree Structured - Threshold AutoRegression with eXternal variables). O procedimento consiste numa busca em árvore binária calculando a estatística F para a seleção das variáveis e o critério de informação BIC para a seleção dos modelos. Ao final, o algoritmo gera como resposta uma árvore de decisão (por meio de regras) e as equações de regressão estimadas para cada regime da partição. A principal característica deste tipo de resposta é sua fácil interpretação. O trabalho conclui com algumas aplicações em bases de dados padrões encontradas na literatura e outras que auxiliarão o entendimento do processo implementado. / [en] This research work proposes a new piecewise linear model to extract knowledge rules from databases. The model is an heuristic based on analysis of regression trees, introduced by Friedman (1979) and discussed in detail by Breiman (1984). The motivation of this research is to come up with a new approach combining both statistical modeling techniques and an efficient split search algorithm. The split decision used in the split search algorithm counts on information from adjusted linear equation and was implemented inspired by the work of Tsay (1989). In his work, he suggests a model-building procedure for a nonlinear time series model called by TAR (threshold autoregressive model), first proposed by Tong (1978) and discussed in detail by Tong and Lim (1980) and Tong (1983). The TAR model is a piecewise linear model which main idea is to set the coefficients of a linear autoregressive process in accordance with a value of observed variable, called by threshold variable. Tsay`s identification of the number and location of the potential thresholds was based on supplementary graphic devices. The idea is to get the whole process automatic on a new model-building process. This process is an algorithm that preserves the method of regression by recursive least squares (RLS) used in Tsay`s work. This regression method allowed the test of all possibilities of data split. Perhaps that is the main advantage of the methodology introduced in this work, seeing that Cooper, S. (1998) said about the impossibility of testing each break.Thus, combining decision tree methodology with a regression technique (RLS), the model became the TS-TARX (Tree Structured - Threshold AutoRegression with eXternal variables). It searches on a binary tree calculating F statistics for variable selection and the information criteria BIC for model selection. In the end, the algorithm produces as result a decision tree and a regression equation adjusted to each regime of the partition defined by the decision tree. Its major advantage is easy interpretation.This research work concludes with some applications in benchmark databases from literature and others that helps the understanding of the algorithm process.