O agrupamento de dados (ou do inglês Clustering) é uma tarefa não supervisionada capaz de descrever objetos em grupos (ou clusters), de maneira que objetos de um mesmo grupo sejam mais semelhantes entre si do que objetos de grupos distintos. As técnicas de agrupamento de dados são divididas em duas principais categorias: particionais e hierárquicas. As técnicas particionais dividem um conjunto de dados em um determinado número de grupos distintos, enquanto as técnicas hierárquicas fornecem uma sequência aninhada de agrupamentos particionais separados por diferentes níveis de granularidade. Adicionalmente, o agrupamento hierárquico de dados baseado em densidade é um paradigma particular de agrupamento que detecta grupos com diferentes concentrações ou densidades de objetos. Uma das técnicas mais populares desse paradigma é conhecida como HDBSCAN*. Além de prover hierarquias, HDBSCAN* é um framework que fornece detecção de outliers, agrupamento semi-supervisionado de dados e visualização dos resultados. No entanto, a maioria das técnicas hierárquicas, incluindo o HDBSCAN*, possui uma alta complexidade computacional. Fato que as tornam proibitivas para a análise de grandes conjuntos de dados. No presente trabalho de mestrado, foram propostas duas variações aproximadas de HDBSCAN* computacionalmente mais escaláveis para o agrupamento de grandes quantidades de dados. A primeira variação de HDBSCAN* segue o conceito de computação paralela e distribuída, conhecido como MapReduce. Já a segunda, segue o contexto de computação paralela utilizando memória compartilhada. Ambas as variações são baseadas em um conceito de divisão eficiente de dados, conhecido como Recursive Sampling, que permite o processamento paralelo desses dados. De maneira similar ao HDBSCAN*, as variações propostas também são capazes de fornecer uma completa análise não supervisionada de padrões em dados, incluindo a detecção de outliers. Experimentos foram realizados para avaliar a qualidade das variações propostas neste trabalho, especificamente, a variação baseada em MapReduce foi comparada com uma versão paralela e exata de HDBSCAN* conhecida como Random Blocks. Já a versão paralela em ambiente de memória compartilhada foi comparada com o estado da arte (HDBSCAN*). Em termos de qualidade de agrupamento e detecção de outliers, tanto a variação baseada em MapReduce quanto a baseada em memória compartilhada mostraram resultados próximos à versão paralela exata de HDBSCAN* e ao estado da arte, respectivamente. Já em termos de tempo computacional, as variações propostas mostraram maior escalabilidade e rapidez para o processamento de grandes quantidades de dados do que as versões comparadas. / Clustering is an unsupervised learning task able to describe a set of objects in clusters, so that objects of a same cluster are more similar than objects of other clusters. Clustering techniques are divided in two main categories: partitional and hierarchical. The particional techniques divide a dataset into a number of distinct clusters, while hierarchical techniques provide a nested sequence of partitional clusters separated by different levels of granularity. Furthermore, hierarchical density-based clustering is a particular clustering paradigm that detects clusters with different concentrations or densities of objects. One of the most popular techniques of this paradigm is known as HDBSCAN*. In addition to providing hierarchies, HDBSCAN* is a framework that provides outliers detection, semi-supervised clustering and visualization of results. However, most hierarchical techniques, including HDBSCAN*, have a high complexity computational. This fact makes them prohibitive for the analysis of large datasets. In this work have been proposed two approximate variations of HDBSCAN* computationally more scalable for clustering large amounts of data. The first variation follows the concept of parallel and distributed computing, known as MapReduce. The second one follows the context of parallel computing using shared memory. Both variations are based on a concept of efficient data division, known as Recursive Sampling, which allows parallel processing of this data. In a manner similar to HDBSCAN*, the proposed variations are also capable of providing complete unsupervised patterns analysis in data, including outliers detection. Experiments have been carried out to evaluate the quality of the variations proposed in this work, specifically, the variation based on MapReduce have been compared to a parallel and exact version of HDBSCAN*, known as Random Blocks. Already the version parallel in shared memory environment have been compared to the state of the art (HDBSCAN*). In terms of clustering quality and outliers detection, the variation based on MapReduce and other based on shared memory showed results close to the exact parallel verson of HDBSCAN* and the state of the art, respectively. In terms of computational time, the proposed variations showed greater scalability and speed for processing large amounts of data than the compared versions.

Submitted by LUIS FERNANDO CASTILHO MASCHI null (maschibr@yahoo.com.br) on 2018-03-27T13:55:29Z No. of bitstreams: 1 SUMARIZAÇÃO DE DADOS NO NODO POR PARÂMETROS.pdf: 1425727 bytes, checksum: 7815d75156e3306a56b50c9922887e5d (MD5) / Rejected by Elza Mitiko Sato null (elzasato@ibilce.unesp.br), reason: Solicitamos que realize correções na submissão seguindo as orientações abaixo: Problema 01) O ano descrito na CAPA e na FOLHA DE ROSTO deverá ser o ano de entrega da dissertação na Seção Técnica de Pós-Graduação. Problema 02) A FICHA CATALOGRÁFICA (Obrigatório pela ABNT NBR14724) deve ser a elaborada pela Biblioteca, na sua ficha falta número do CDU, palavras-chave. Problema 03) Falta a data na FOLHA DE APROVAÇÃO, que é a data efetiva da defesa. Problema 04) Faltam as palavras-chave no abstracts e no resumo. Estou encaminhando anexo um modelo das páginas pré-textuais. Lembramos que o arquivo depositado no repositório deve ser igual ao impresso. Agradecemos a compreensão on 2018-03-27T17:55:34Z (GMT) / Submitted by LUIS FERNANDO CASTILHO MASCHI null (maschibr@yahoo.com.br) on 2018-05-03T13:41:48Z No. of bitstreams: 2 SUMARIZAÇÃO DE DADOS NO NODO POR PARÂMETROS.pdf: 1425727 bytes, checksum: 7815d75156e3306a56b50c9922887e5d (MD5) SUMARIZAÇÃO DE DADOS NO NODO POR PARÂMETROS.pdf: 1342697 bytes, checksum: b2357258f4e04e3d3eafb7b6023c58ad (MD5) / Rejected by Elza Mitiko Sato null (elzasato@ibilce.unesp.br), reason: Solicitamos que realize correções na submissão seguindo as orientações abaixo: Anexar um arquivo só; data da defesa por extenso (28 de fevereiro de 2018); tirar folha em branco antes da dedicatória; colocar o Campus de Rio Claro na natureza da pesquisa. Agradecemos a compreensão. on 2018-05-04T21:30:57Z (GMT) / Submitted by LUIS FERNANDO CASTILHO MASCHI null (maschibr@yahoo.com.br) on 2018-05-11T20:01:50Z No. of bitstreams: 1 SUMARIZAÇÃO DE DADOS NO NODO POR PARÂMETROS.pdf: 1342185 bytes, checksum: 30fe378e25bc78d274d13f711fb3d38c (MD5) / Approved for entry into archive by Paula Torres Monteiro da Torres (paulatms@sjrp.unesp.br) on 2018-05-11T22:36:59Z (GMT) No. of bitstreams: 1 maschi_lf_me_sjrp_int.pdf: 1342185 bytes, checksum: 30fe378e25bc78d274d13f711fb3d38c (MD5) / Made available in DSpace on 2018-05-11T22:36:59Z (GMT). No. of bitstreams: 1 maschi_lf_me_sjrp_int.pdf: 1342185 bytes, checksum: 30fe378e25bc78d274d13f711fb3d38c (MD5) Previous issue date: 2018-02-28 / Com o surgimento da Internet das Coisas, por meio de bilhões de objetos ou dispositivos inseridos na Internet, gerando um volume de dados nunca antes imaginado. Este trabalho propõe uma maneira de coletar e processar dados locais através da tecnologia de fusão de dados chamada de sumarização de dados. A principal característica desta proposta é a fusão local de dados, através de parâmetros fornecidos pela aplicação e/ou base de dados, garantindo a qualidade dos dados coletados pelo nodo do sensor. Nos testes, um nodo sensor com a técnica proposta, aqui identificada como Sumarização de Dados no Nodo por Parâmetros (SDNP), realiza a sumarização de dados e posteriormente é comparado com outro nodo que realizou uma gravação contínua dos dados coletados. Foram criados dois conjuntos de nós para estes testes, um com um nodo de sensor que analisou a luminosidade de salas de aula, que neste caso obteve uma redução de 97% no volume de dados gerados, e outro conjunto que analisou a temperatura dessas salas, obtendo uma redução de 80% no volume de dados. Através desses testes, verificou-se que a sumarização de dados local no nodo pode ser usada para reduzir o volume de dados gerados, diminuindo assim o volume de mensagens geradas pelos ambientes IoT. / With the advent of the Internet of Things, billions of objects or devices are inserted into the global computer network, generating and processing data in a volume never before imagined. This work proposes a way to collect and process local data through the data fusion technique called summarization. The main feature of the proposal is the local data fusion through parameters provided by the application, ensuring the quality of data collected by the sensor node. In the tests, the sensor node was compared when performing the data summary with another that performed a continuous recording of the collected data. Two sets of nodes were created, one with a sensor node that analyzed the luminosity of the room, which in this case obtained a reduction of 97% in the volume of data generated, and another set that analyzed the temperature of the room, obtaining a reduction of 80 % in the data volume. Through these tests, it has been verified that the local data fusion at the node can be used to reduce the volume of data generated, consequently decreasing the volume of messages generated by IoT environments.

O agrupamento de dados (ou do inglês Clustering) é uma tarefa não supervisionada capaz de descrever objetos em grupos (ou clusters), de maneira que objetos de um mesmo grupo sejam mais semelhantes entre si do que objetos de grupos distintos. As técnicas de agrupamento de dados são divididas em duas principais categorias: particionais e hierárquicas. As técnicas particionais dividem um conjunto de dados em um determinado número de grupos distintos, enquanto as técnicas hierárquicas fornecem uma sequência aninhada de agrupamentos particionais separados por diferentes níveis de granularidade. Adicionalmente, o agrupamento hierárquico de dados baseado em densidade é um paradigma particular de agrupamento que detecta grupos com diferentes concentrações ou densidades de objetos. Uma das técnicas mais populares desse paradigma é conhecida como HDBSCAN*. Além de prover hierarquias, HDBSCAN* é um framework que fornece detecção de outliers, agrupamento semi-supervisionado de dados e visualização dos resultados. No entanto, a maioria das técnicas hierárquicas, incluindo o HDBSCAN*, possui uma alta complexidade computacional. Fato que as tornam proibitivas para a análise de grandes conjuntos de dados. No presente trabalho de mestrado, foram propostas duas variações aproximadas de HDBSCAN* computacionalmente mais escaláveis para o agrupamento de grandes quantidades de dados. A primeira variação de HDBSCAN* segue o conceito de computação paralela e distribuída, conhecido como MapReduce. Já a segunda, segue o contexto de computação paralela utilizando memória compartilhada. Ambas as variações são baseadas em um conceito de divisão eficiente de dados, conhecido como Recursive Sampling, que permite o processamento paralelo desses dados. De maneira similar ao HDBSCAN*, as variações propostas também são capazes de fornecer uma completa análise não supervisionada de padrões em dados, incluindo a detecção de outliers. Experimentos foram realizados para avaliar a qualidade das variações propostas neste trabalho, especificamente, a variação baseada em MapReduce foi comparada com uma versão paralela e exata de HDBSCAN* conhecida como Random Blocks. Já a versão paralela em ambiente de memória compartilhada foi comparada com o estado da arte (HDBSCAN*). Em termos de qualidade de agrupamento e detecção de outliers, tanto a variação baseada em MapReduce quanto a baseada em memória compartilhada mostraram resultados próximos à versão paralela exata de HDBSCAN* e ao estado da arte, respectivamente. Já em termos de tempo computacional, as variações propostas mostraram maior escalabilidade e rapidez para o processamento de grandes quantidades de dados do que as versões comparadas. / Clustering is an unsupervised learning task able to describe a set of objects in clusters, so that objects of a same cluster are more similar than objects of other clusters. Clustering techniques are divided in two main categories: partitional and hierarchical. The particional techniques divide a dataset into a number of distinct clusters, while hierarchical techniques provide a nested sequence of partitional clusters separated by different levels of granularity. Furthermore, hierarchical density-based clustering is a particular clustering paradigm that detects clusters with different concentrations or densities of objects. One of the most popular techniques of this paradigm is known as HDBSCAN*. In addition to providing hierarchies, HDBSCAN* is a framework that provides outliers detection, semi-supervised clustering and visualization of results. However, most hierarchical techniques, including HDBSCAN*, have a high complexity computational. This fact makes them prohibitive for the analysis of large datasets. In this work have been proposed two approximate variations of HDBSCAN* computationally more scalable for clustering large amounts of data. The first variation follows the concept of parallel and distributed computing, known as MapReduce. The second one follows the context of parallel computing using shared memory. Both variations are based on a concept of efficient data division, known as Recursive Sampling, which allows parallel processing of this data. In a manner similar to HDBSCAN*, the proposed variations are also capable of providing complete unsupervised patterns analysis in data, including outliers detection. Experiments have been carried out to evaluate the quality of the variations proposed in this work, specifically, the variation based on MapReduce have been compared to a parallel and exact version of HDBSCAN*, known as Random Blocks. Already the version parallel in shared memory environment have been compared to the state of the art (HDBSCAN*). In terms of clustering quality and outliers detection, the variation based on MapReduce and other based on shared memory showed results close to the exact parallel verson of HDBSCAN* and the state of the art, respectively. In terms of computational time, the proposed variations showed greater scalability and speed for processing large amounts of data than the compared versions.

No description available.

No description available.

No description available.

No description available.