Made available in DSpace on 2014-06-12T16:01:23Z (GMT). No. of bitstreams: 2 arquivo8461_1.pdf: 682988 bytes, checksum: d7fff8575726440e9671293cfc34d7f6 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2008 / Este trabalho investiga o impacto do uso de comitês de agrupamentos para a análise de dados de expressão gênica. Mais especificamente, é realizada uma comparação dos desempenhos obtidos com algoritmos de combinação (comitês) com aqueles dos algoritmos de agrupamento individuais (algoritmos base). Para isso, são utilizados três métodos de comitês de agrupamento mais estabelecidos na literatura: matriz de co-associação, re-rotulagem e votação e comitês baseados em particionamento de grafos. As técnicas de agrupamento individuais escolhidas para realizar a comparação são: k-médias, mistura finita de gaussianas e o algoritmo hierárquico. Além de representarem diferentes paradigmas de agrupamento, estes algoritmos estão sendo muito utilizados no contexto de expressão gênica. Os resultados obtidos indicam que os algoritmos de comitê conseguem recuperar melhor a estrutura real dos dados, quando comparados aos algoritmos individuais. Outro aspecto observado na análise desenvolvida é que os comitês homogêneos conseguem, em geral, um melhor desempenho do que os comitês heterogêneos. De forma geral, os resultados dos experimentos indicam que, tanto os algoritmos individuais, quanto as técnicas de comitê apresentaram pequenas diferenças entre o número de grupos gerados, para os melhores desempenhos, e o número real de classes existentes nos dados

Made available in DSpace on 2014-06-12T15:50:25Z (GMT). No. of bitstreams: 2 arquivo1971_1.pdf: 1243968 bytes, checksum: c2b0ffac3863dd2dac1588531b3c8f78 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2008 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Este trabalho propõe e avalia sistemas híbridos para organização automática de documentos texto baseado em Mapas Auto-Organizáveis (do inglês Self-Organizing Maps - SOM). O objetivo é obter um sistema que ao combinar SOM com outros algoritmos de agrupamento seja capaz de gerar mapas de documentos de qualidade a um custo computacional baixo para grandes coleções de documentos texto. Um mapa de documentos é resultado de pós-processamento de uma rede neural SOM treinada com os vetores representativos dos documentos de uma coleção. Um mapa de documentos é considerado de boa qualidade quando este representa bem as relações de similaridade de conteúdo entre documentos de uma coleção. Um mapa de documentos possibilita a organização de uma coleção de documentos texto de acordo com a similaridade de conteúdo e tem aplicação na melhoria dos processos de recuperação de informação, exploração, navegação e descoberta de conhecimento sobre uma coleção. Vários trabalhos na literatura de redes neurais têm utilizado SOM para criar mapas de documentos. Entretanto, o treinamento de redes SOM ainda é uma tarefa cara computacionalmente para grandes coleções de documentos texto. Alguns métodos propostos na literatura para construir mapas de documentos mais rapidamente reduzem drasticamente a qualidade do mapa gerado; além disso, sistemas híbridos envolvendo SOM com outros algoritmos de agrupamento têm sido pouco investigados na literatura. Estes fatos motivaram o presente trabalho. Os resultados mostram que a combinação cuidadosa de algoritmos tradicionais de agrupamento como K-means e Leader com redes SOM é capaz de produzir sistemas híbridos bastante eficientes. Por este motivo, sistemas híbridos foram propostos, visando à construção automática de mapas de documentos com qualidade e a um custo computacional mais baixo. Estes sistemas híbridos representam um avanço na área de sistemas de organização automática de documentos texto, bem como sistemas neurais híbridos baseados em SOM, fornecendo resultados importantes para diversas aplicações práticas no projeto de sistemas, tais como engenhos de busca, sistemas para bibliotecas digitais e sistemas para descoberta de conhecimento em texto

The Self-Organization Map (SOM) is an artificial neural network that was proposed as a tool for exploratory analysis in large dimensionality data sets, being used efficiently for data mining. One of the main topics of research in this area is related to data clustering applications. Several algorithms have been developed to perform clustering in data sets. However, the accuracy of these algorithms is data depending. This thesis is mainly dedicated to the investigation of the SOM from two different approaches: (i) data mining and (ii) complex networks. From the data mining point of view, we analyzed how the performance of the algorithm is related to the distribution of data properties. It was verified the accuracy of the algorithm based on the configuration of the parameters. Likewise, this thesis shows a comparative analysis between the SOM network and other clustering methods. The results revealed that in random configuration of parameters the SOM algorithm tends to improve its acuracy when the number of classes is small. It was also observed that when considering the default configurations of the adopted methods, the spectral approach usually outperformed the other clustering algorithms. Regarding the complex networks approach, we observed that the network structure has a fundamental influence of the algorithm accuracy. We evaluated the cases at short and middle learning time scales and three different datasets. Furthermore, we show how different topologies also affect the self-organization of the topographic map of SOM network. The self-organization of the network was studied through the partitioning of the map in groups or communities. It was used four topological measures to quantify the structure of the groups such as: modularity, number of elements per group, number of groups per map, size of the largest group in three network models. In small-world (SW) networks, the groups become denser as time increases. An opposite behavior is found in the assortative networks. Finally, we verified that if some perturbation is included in the system, like a rewiring in a SW network and the deactivation model, the system cannot be organized again. Our results enable a better understanding of SOM in terms of parameters and network structure. / Um Mapa Auto-organizativo (da sigla SOM, Self-organized map, em inglês) é uma rede neural artificial que foi proposta como uma ferramenta para análise exploratória em conjuntos de dados de grande dimensionalidade, sendo utilizada de forma eficiente na mineração de dados. Um dos principais tópicos de pesquisa nesta área está relacionado com as aplicações de agrupamento de dados. Vários algoritmos foram desenvolvidos para realizar agrupamento de dados, tendo cada um destes algoritmos uma acurácia específica para determinados tipos de dados. Esta tese tem por objetivo principal analisar a rede SOM a partir de duas abordagens diferentes: mineração de dados e redes complexas. Pela abordagem de mineração de dados, analisou-se como o desempenho do algoritmo está relacionado à distribuição ou características dos dados. Verificou-se a acurácia do algoritmo com base na configuração dos parâmetros. Da mesma forma, esta tese mostra uma análise comparativa entre a rede SOM e outros métodos de agrupamento. Os resultados revelaram que o uso de valores aleatórios nos parâmetros de configuração do algoritmo SOM tende a melhorar sua acurácia quando o número de classes é baixo. Observou-se também que, ao considerar as configurações padrão dos métodos adotados, a abordagem espectral usualmente superou os demais algoritmos de agrupamento. Pela abordagem de redes complexas, esta tese mostra que, se considerarmos outro tipo de topologia de rede, além do modelo regular geralmente utilizado, haverá um impacto na acurácia da rede. Esta tese mostra que o impacto na acurácia é geralmente observado em escalas de tempo de aprendizado curto e médio. Esse comportamento foi observado usando três conjuntos de dados diferentes. Além disso, esta tese mostra como diferentes topologias também afetam a auto-organização do mapa topográfico da rede SOM. A auto-organização da rede foi estudada por meio do particionamento do mapa em grupos ou comunidades. Foram utilizadas quatro medidas topológicas para quantificar a estrutura dos grupos em três modelos distintos de rede: modularidade, número de elementos por grupo, número de grupos por mapa, tamanho do maior grupo. Em redes de pequeno mundo, os grupos se tornam mais densos à medida que o tempo aumenta. Um comportamento oposto a isso é encontrado nas redes assortativas. Apesar da modularidade, tem um alto valor em ambos os casos.

The Self-Organization Map (SOM) is an artificial neural network that was proposed as a tool for exploratory analysis in large dimensionality data sets, being used efficiently for data mining. One of the main topics of research in this area is related to data clustering applications. Several algorithms have been developed to perform clustering in data sets. However, the accuracy of these algorithms is data depending. This thesis is mainly dedicated to the investigation of the SOM from two different approaches: (i) data mining and (ii) complex networks. From the data mining point of view, we analyzed how the performance of the algorithm is related to the distribution of data properties. It was verified the accuracy of the algorithm based on the configuration of the parameters. Likewise, this thesis shows a comparative analysis between the SOM network and other clustering methods. The results revealed that in random configuration of parameters the SOM algorithm tends to improve its acuracy when the number of classes is small. It was also observed that when considering the default configurations of the adopted methods, the spectral approach usually outperformed the other clustering algorithms. Regarding the complex networks approach, we observed that the network structure has a fundamental influence of the algorithm accuracy. We evaluated the cases at short and middle learning time scales and three different datasets. Furthermore, we show how different topologies also affect the self-organization of the topographic map of SOM network. The self-organization of the network was studied through the partitioning of the map in groups or communities. It was used four topological measures to quantify the structure of the groups such as: modularity, number of elements per group, number of groups per map, size of the largest group in three network models. In small-world (SW) networks, the groups become denser as time increases. An opposite behavior is found in the assortative networks. Finally, we verified that if some perturbation is included in the system, like a rewiring in a SW network and the deactivation model, the system cannot be organized again. Our results enable a better understanding of SOM in terms of parameters and network structure. / Um Mapa Auto-organizativo (da sigla SOM, Self-organized map, em inglês) é uma rede neural artificial que foi proposta como uma ferramenta para análise exploratória em conjuntos de dados de grande dimensionalidade, sendo utilizada de forma eficiente na mineração de dados. Um dos principais tópicos de pesquisa nesta área está relacionado com as aplicações de agrupamento de dados. Vários algoritmos foram desenvolvidos para realizar agrupamento de dados, tendo cada um destes algoritmos uma acurácia específica para determinados tipos de dados. Esta tese tem por objetivo principal analisar a rede SOM a partir de duas abordagens diferentes: mineração de dados e redes complexas. Pela abordagem de mineração de dados, analisou-se como o desempenho do algoritmo está relacionado à distribuição ou características dos dados. Verificou-se a acurácia do algoritmo com base na configuração dos parâmetros. Da mesma forma, esta tese mostra uma análise comparativa entre a rede SOM e outros métodos de agrupamento. Os resultados revelaram que o uso de valores aleatórios nos parâmetros de configuração do algoritmo SOM tende a melhorar sua acurácia quando o número de classes é baixo. Observou-se também que, ao considerar as configurações padrão dos métodos adotados, a abordagem espectral usualmente superou os demais algoritmos de agrupamento. Pela abordagem de redes complexas, esta tese mostra que, se considerarmos outro tipo de topologia de rede, além do modelo regular geralmente utilizado, haverá um impacto na acurácia da rede. Esta tese mostra que o impacto na acurácia é geralmente observado em escalas de tempo de aprendizado curto e médio. Esse comportamento foi observado usando três conjuntos de dados diferentes. Além disso, esta tese mostra como diferentes topologias também afetam a auto-organização do mapa topográfico da rede SOM. A auto-organização da rede foi estudada por meio do particionamento do mapa em grupos ou comunidades. Foram utilizadas quatro medidas topológicas para quantificar a estrutura dos grupos em três modelos distintos de rede: modularidade, número de elementos por grupo, número de grupos por mapa, tamanho do maior grupo. Em redes de pequeno mundo, os grupos se tornam mais densos à medida que o tempo aumenta. Um comportamento oposto a isso é encontrado nas redes assortativas. Apesar da modularidade, tem um alto valor em ambos os casos.

Submitted by Mario BC (mario@bc.ufrpe.br) on 2018-11-08T12:02:13Z No. of bitstreams: 1 Elaine Cristina Moreira Marques.pdf: 4610553 bytes, checksum: 274979b8aee4b03c56f9c68296eeb073 (MD5) / Made available in DSpace on 2018-11-08T12:02:13Z (GMT). No. of bitstreams: 1 Elaine Cristina Moreira Marques.pdf: 4610553 bytes, checksum: 274979b8aee4b03c56f9c68296eeb073 (MD5) Previous issue date: 2018-07-17 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / The classification of texts is a technique that aims to organize and categorize information, from textual documents present on digital platforms. Usually each of the words that constitute the documents are considered as a characteristic. This approach to simple textual representations is called Bag of Words. Although these characteristics are important for classifying documents, most of them are irrelevant and/or redundant, which causes problems such as high dimensionality, making categorization costly in terms of memory and execution. In order to reduce the large demand for computational resources, dimensionality reduction techniques are applied, such as the selection and transformation of characteristics. Characteristic selection is widely used in the literature because it has a lower computational cost compared to other techniques . In this technique, characteristics are selected without presenting modifications in the original characteristics, that is, the selection of a subset that contains only the most relevant characteristics of the original set occurs. In the transformation of characteristics occurs the formation of a new set of characteristics, this new set being smaller than the original set, containing new words caused by the combination or transformation of the original words. It is important to stress that both methods have some kind of loss of information. The objective of this work is to propose a new dimensionality reduction method that minimizes the loss of characteristic information from the creation of semantically related groups of words using clustering algorithms and Word Embeddings. With this, it is possible to reduce the amount of characteristics maintaining the semantics of each word. In this work the reduction occurred through the creation of semantic groups. Initially, the words in the databases were vectorized using Word2Vec and Glove methods. After the words were vectorized, the clustering algorithms were applied, creating smaller groups of characteristics in relation to the original groups. The method was applied in widely used databases in the literature, reaching good results, especially in more unstructured data, such as Web pages, news, Twitter posts, among others. / A classificação de textos é uma técnica que tem como objetivo organizar e categorizar informações, a partir de documentos textuais presentes nas plataformas digitais. Usualmente cada uma das palavras que constituem os documentos são consideradas como uma característica. Esta abordagem para representações textuais simples é chamada Bag of Words. Embora estas características sejam importantes para classificar documentos, a maioria delas são irrelevantes e/ou redundantes o que provoca problemas como alta dimensionalidade, tornando a categorização custosa em termos de memória e execução. Para reduzir a grande demanda de recursos computacionais, técnicas de redução de dimensionalidade são aplicadas, como a seleção e a transformação de características. A seleção de características é bastante utilizada na literatura, pelo fato desta possuir um custo computacional mais baixo em relação as outras técnicas. Nesta técnica, características são selecionadas sem apresentar modificações nas características originais, ou seja, ocorre a seleção de um subconjunto que contém apenas as características mais relevantes do conjunto original. Na transformação de características ocorre a formação de um novo conjunto de características, sendo este novo conjunto menor que o conjunto original, contendo novas palavras ocasionadas por meio da combinação ou transformação das palavras originais. É importante frisar que ambos os métodos possuem algum tipo de perda de informação. O objetivo deste trabalho é propor um novo método de redução de dimensionalidade que minimize a perda de informação das características a partir da criação de grupos de palavras semanticamente relacionadas utilizando algoritmos de agrupamento e Word Embeddings. Com isso, é possível reduzir a quantidade de características mantendo a semântica de cada palavra. Neste trabalho a redução ocorreu por meio da criação de grupos semânticos. Inicialmente as palavras das bases de dados passaram por uma vetorização, utilizando os métodos Word2Vec e o Glove. Após a vetorização das palavras, foram aplicados os algoritmos de agrupamento, criando grupos menores de características em relação aos grupos originais. O método foi aplicado em bases de dados bastante utilizadas na literatura, alcançando bons resultados, principalmente em dados mais desestruturados, como páginas da Web, notícias, postagens feitas em Twitter, entre outras.

Técnicas de Agrupamento vêm obtendo bons resultados quando utilizados em diversos problemas de análise de dados, como, por exemplo, a análise de dados de expressão gênica. Porém, uma mesma técnica de agrupamento utilizada em um mesmo conjunto de dados pode resultar em diferentes formas de agrupar esses dados, devido aos possíveis agrupamentos iniciais ou à utilização de diferentes valores para seus parâmetros livres. Assim, a obtenção de um bom agrupamento pode ser visto como um processo de otimização. Esse processo procura escolher bons agrupamentos iniciais e encontrar o melhor conjunto de valores para os parâmetros livres. Por serem métodos de busca global, Algoritmos Genéticos podem ser utilizados durante esse processo de otimização. O objetivo desse projeto de pesquisa é investigar a utilização de Técnicas de Agrupamento em conjunto com Algoritmos Genéticos para aprimorar a qualidade dos grupos encontrados por algoritmos de agrupamento, principalmente o k-médias. Esta investigação será realizada utilizando como aplicação a análise de dados de expressão gênica. Essa dissertação de mestrado apresenta uma revisão bibliográfica sobre os temas abordados no projeto, a descrição da metodologia utilizada, seu desenvolvimento e uma análise dos resultados obtidos. / Clustering techniques have been obtaining good results when used in several data analysis problems, like, for example, gene expression data analysis. However, the same clustering technique used for the same data set can result in different ways of clustering the data, due to the possible initial clustering or the use of different values for the free parameters. Thus, the obtainment of a good clustering can be seen as an optimization process. This process tries to obtain good clustering by selecting the best values for the free parameters. For being global search methods, Genetic Algorithms have been successfully used during the optimization process. The goal of this research project is to investigate the use of clustering techniques together with Genetic Algorithms to improve the quality of the clusters found by clustering algorithms, mainly the k-means. This investigation was carried out using as application the analysis of gene expression data, a Bioinformatics problem. This dissertation presents a bibliographic review of the issues covered in the project, the description of the methodology followed, its development and an analysis of the results obtained.

Técnicas de Agrupamento vêm obtendo bons resultados quando utilizados em diversos problemas de análise de dados, como, por exemplo, a análise de dados de expressão gênica. Porém, uma mesma técnica de agrupamento utilizada em um mesmo conjunto de dados pode resultar em diferentes formas de agrupar esses dados, devido aos possíveis agrupamentos iniciais ou à utilização de diferentes valores para seus parâmetros livres. Assim, a obtenção de um bom agrupamento pode ser visto como um processo de otimização. Esse processo procura escolher bons agrupamentos iniciais e encontrar o melhor conjunto de valores para os parâmetros livres. Por serem métodos de busca global, Algoritmos Genéticos podem ser utilizados durante esse processo de otimização. O objetivo desse projeto de pesquisa é investigar a utilização de Técnicas de Agrupamento em conjunto com Algoritmos Genéticos para aprimorar a qualidade dos grupos encontrados por algoritmos de agrupamento, principalmente o k-médias. Esta investigação será realizada utilizando como aplicação a análise de dados de expressão gênica. Essa dissertação de mestrado apresenta uma revisão bibliográfica sobre os temas abordados no projeto, a descrição da metodologia utilizada, seu desenvolvimento e uma análise dos resultados obtidos. / Clustering techniques have been obtaining good results when used in several data analysis problems, like, for example, gene expression data analysis. However, the same clustering technique used for the same data set can result in different ways of clustering the data, due to the possible initial clustering or the use of different values for the free parameters. Thus, the obtainment of a good clustering can be seen as an optimization process. This process tries to obtain good clustering by selecting the best values for the free parameters. For being global search methods, Genetic Algorithms have been successfully used during the optimization process. The goal of this research project is to investigate the use of clustering techniques together with Genetic Algorithms to improve the quality of the clusters found by clustering algorithms, mainly the k-means. This investigation was carried out using as application the analysis of gene expression data, a Bioinformatics problem. This dissertation presents a bibliographic review of the issues covered in the project, the description of the methodology followed, its development and an analysis of the results obtained.

Submitted by Automa??o e Estat?stica (sst@bczm.ufrn.br) on 2016-05-30T21:50:59Z No. of bitstreams: 1 LilianeRibeiroDaSilva_TESE.pdf: 2192966 bytes, checksum: a48a20dce1782c21212b8ae76c5e0fbb (MD5) / Approved for entry into archive by Arlan Eloi Leite Silva (eloihistoriador@yahoo.com.br) on 2016-06-01T00:36:02Z (GMT) No. of bitstreams: 1 LilianeRibeiroDaSilva_TESE.pdf: 2192966 bytes, checksum: a48a20dce1782c21212b8ae76c5e0fbb (MD5) / Made available in DSpace on 2016-06-01T00:36:02Z (GMT). No. of bitstreams: 1 LilianeRibeiroDaSilva_TESE.pdf: 2192966 bytes, checksum: a48a20dce1782c21212b8ae76c5e0fbb (MD5) Previous issue date: 2015-04-17 / Este trabalho prop?e uma plataforma para m?todos de agrupamentode dados do tipo intervalar e uma solu??o para dados h?bridos que contenham esse tipo de dados. O principal objetivo do uso de dados com natureza intervalar ? representar informa??o num?rica dotada de imprecis?es, que s?o normalmente capturadas a partir de medidas do mundo real. Para isso, ? necess?rio adaptar t?cnicas de valores reais para serem utilizadas em dados intervalares.Para aplica??es de agrupamento intervalares, por exemplo, ? necess?rio propor uma dist?ncia intervalar e tamb?m adaptar algoritmos de agrupamento para serem utilizados nesse contexto. Neste caso, adaptamos uma dist?ncia intervalar, chamada $d_{km}$, e propomos algoritmos de agrupamento fuzzy intervalares, Fuzzy C-Means baseado em intervalos e ckMeans baseado em intervalos, e tr?s ?ndices de valida??o intervalares. Para validar a estrutura baseada em intervalos proposta, uma an?lise emp?rica foi realizada com conjuntos de dados sint?ticos e reais. A an?lise emp?rica ? baseada em um ?ndice de validade de cluster externo, Correct Rand, e seis ?ndices de valida??o interna, sendo que tr?s s?o necess?rias adequa??es para serem utilizados com dados intervalares.? realizada uma an?lise comparativa entre os resultados existentes na literatura e os resultados obtidos. E mais, para trabalhar com dados h?bridos uma investiga??o sobre fun??es de agrega??es de i-dist?ncias ? realizada.

Made available in DSpace on 2014-12-17T14:56:14Z (GMT). No. of bitstreams: 1 LeonardoEBS_DISSERT.pdf: 24615429 bytes, checksum: 65db01cbf658b5c63cee811e9c19bafc (MD5) Previous issue date: 2013-07-29 / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior / Self-organizing maps (SOM) are artificial neural networks widely used in the data mining field, mainly because they constitute a dimensionality reduction technique given the fixed grid of neurons associated with the network. In order to properly the partition and visualize the SOM network, the various methods available in the literature must be applied in a post-processing stage, that consists of inferring, through its neurons, relevant characteristics of the data set. In general, such processing applied to the network neurons, instead of the entire database, reduces the computational costs due to vector quantization. This work proposes a post-processing of the SOM neurons in the input and output spaces, combining visualization techniques with algorithms based on gravitational forces and the search for the shortest path with the greatest reward. Such methods take into account the connection strength between neighbouring neurons and characteristics of pattern density and distances among neurons, both associated with the position that the neurons occupy in the data space after training the network. Thus, the goal consists of defining more clearly the arrangement of the clusters present in the data. Experiments were carried out so as to evaluate the proposed methods using various artificially generated data sets, as well as real world data sets. The results obtained were compared with those from a number of well-known methods existent in the literature / Os mapas auto-organiz?veis (SOM) s?o redes neurais artificiais amplamente utilizadas no campo da minera??o de dados, principalmente por se constitu?rem numa t?cnica de redu??o de dimensionalidade dada a grade fixa de neur?nios associada ? rede. A fim de particionar e visualizar adequadamente a rede SOM, os diversos m?todos existentes na literatura devem ser aplicados em uma etapa de p?s-processamento nos seus neur?nios, visando inferir caracter?sticas relevantes do conjunto de dados. Em geral, tal processamento efetuado sobre os neur?nios da rede, ao inv?s do conjunto de dados em sua totalidade, reduz o custo computacional, dada a quantiza??o vetorial. Este trabalho prop?e p?s-processamentos dos neur?nios da rede SOM nos espa?os de entrada e de sa?da, aliando t?cnicas de visualiza??o a algoritmos baseados na for?a gravitacional e na procura do menor caminho com maior recompensa. Tais m?todos levam em considera??o for?as de liga??o entre neur?nios vizinhos e caracter?sticas de dist?ncias e densidade de padr?es, ambas associadas a posi??o que o neur?nio ocupa no espa?o dos dados ap?s o treinamento da rede. Dessa forma, busca-se definir mais nitidamente a disposi??o dos agrupamentos presentes nos dados. Experimentos foram realizados para avaliar os m?todos propostos utilizando diversos conjuntos de dados gerados artificialmente, assim como conjuntos de dados do mundo real. Os resultados obtidos foram comparados com aqueles provenientes de alguns m?todos bem conhecidos existentes na literatura

Submitted by Johnny Rodrigues (johnnyrodrigues@ufcg.edu.br) on 2018-08-03T17:58:25Z No. of bitstreams: 1 ROBERTO ALMEIDA BITTENCOURT - TESE PPGCC 2012..pdf: 33887570 bytes, checksum: 348d0986ffb03c3554fefac4ab926a5a (MD5) / Made available in DSpace on 2018-08-03T17:58:25Z (GMT). No. of bitstreams: 1 ROBERTO ALMEIDA BITTENCOURT - TESE PPGCC 2012..pdf: 33887570 bytes, checksum: 348d0986ffb03c3554fefac4ab926a5a (MD5) Previous issue date: 2012-02-29 / A técnica dos modelos de reflexão é um processo de checagem de conformidade entre visões arquiteturais modulares e implementação que permite prevenir e remediar o envelhecimento de software através do combate à deterioração arquitetural. Contudo, o esforço manual necessário para aplicar a técnica pode terminar evitando seu uso na prática, especialmente no contexto de evolução de software em processos de desenvolvimento leves. Em termos mais específicos, a técnica é custosa para: i) produzir um modelo de alto nível e o mapeamento entre as entidades do código-fonte e este modelo; ii) manter tanto o modelo como o mapeamento atualizados à medida que o software evolui; e Ui) analisar a normalmente longa lista de violações arquiteturais no código fonte. Este trabalho procura habilitar a checagem de conformidade estática de software em evolução através da automação parcial do esforço manual para aplicar a técnica de modelos de reflexão. Para fazê-lo, primeiramente é avaliado o potencial de técnicas de agrupamento para a geração e manutenção de modelos de alto nívei. Também é proposta e avaliada uma técnica de mapeamento incremental entre entidades do código-fonte e modelos de alto nível baseada na combinação da recuperação de informação de vocabulário de software com dependências estruturais. Por fim, uma técnica de priorização baseada na história do software para recomendar as violações arquiteturais no código-fonte mais provavelmente relevantes do ponto de vista dos desenvolvedores de software é relatada e avaliada. Técnicas de agrupamento são avaliadas através de medidas de acurácia e estabilidade. Os resultados para quatro diferentes algoritmos de agrupamento mostram que nenhum deles consegue o melhor desempenho para todas as medidas, e que todos eles apresentam limitações para prover a geração automática de modelos de alto nível. Por outro lado, a avaliação sugere que a etapa de mapeamento da técnica de modelos de reflexão pode ser habilitada pela técnica proposta de mapeamento incremental automático que combina estrutura e vocabulário. Em dois estudos de caso, esta técnica obteve os maiores valores de medidaF em mudanças de código-fonte unitárias, pequenas ou grandes. Finalmente, a avaliação da técnica de priorização de violações mostra que, de cinco fatores estudados, a duração da violação e a co-locação da violação correlacionam bem com a relevância das violações. Os resultados sugerem que estes fatores podem ser usados para ordenar as violações mais provavelmente relevantes, com uma melhoria de pelo menos 57% em relação a uma linhabase de violações selecionadas aleatoriamente. A análise dos resultados sugere que a produção de modelos de alto nível para checagem estática de conformidade arquitetural pode ser auxi'iada por um processo semi-automático de recuperação arquitetural, e, à medida que o software evolui, por técnicas incrementais de agrupamento/mapeamento. Por outro lado, a análise dos resultados para a técnica de priorização sugere a eficácia de uma abordagem automatizada para a recomendação de violações arquiteturais a serem analisadas pelos desenvolvedore: do software. / The refíexion model technique is a static conformance checking technique to keep architecture module views and implementation conformant. It can either prevent or remedy software aging by combating architecture deterioration. However, the amount of manual effort to apply the technique may prevent its use in practice, especially in the context of software evolution in lightweight development methods. More specifically, it can be time-consuming and costly to: i) produce a high-level model and the mapping between source code entities and this model; ii) keep both model and mapping up-to-date as software evolves; and Ui) analyze the usual large number of architectural violations in the source code reported by the technique. This work tries to enable static conformance checking of evolving software by partially automating the manual effort to apply the refíexion model technique. To do so, the potential of clustering techniques to generate high-level models and keep them up-to-date is evaluated. It is also proposed and evaluated an incremental mapping approach between source code entities and high-level models based on the combination of information retrieval of software vocabulary and structural dependencies. Last, a prioritizing technique based on software history to recommend architectural violations in the source code most likely to be relevant to software developers is reported and evaluated. Clustering techniques are evaluated by measures of accuracy and stability, and results for four different clustering algorithms show that none of them performs best for ali measures, and that they are limited to provide fully automated generation of high-level models. On the other hand, evaluation suggests that the mapping step in the refíexion model technique can be enabled by the proposed incremental automated mapping technique that combines structure and vocabulary. In two case studies, the combined technique showed the highest F-measure values for both singleton, small and large source code changes. Finally, evaluation for the prioritizing technique shows that, from five studied factors, violation duration and violation co-location correlate well with violation relevance. Results suggest that these factors can be used to rank the violations most likely to be relevant, with an improvement of at least 57% against a baseline of randomly selected violations. Analysis of the results suggests that the producton of high-level models for static conformance checking can be aided by a semi-automated architecture recovery process, and, as software evolves, by incremental clustering/mapping techniques. On the other hand, analysis of the results for the prioritizing technique suggests the effectiveness of an automated approach to recommend architectural violations to bí analyzed by software developers.