Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2016 / Made available in DSpace on 2016-09-20T04:41:50Z (GMT). No. of bitstreams: 1 341624.pdf: 936772 bytes, checksum: 7c73170dc92ab000e009c8cb16e6f936 (MD5) Previous issue date: 2016 / Tecnologias emergentes muitas vezes mudam paradigmas. NoSQL é uma delas e está ganhando terreno com a onda Big Data, onde o volume de dados quebrou a barreira dos petabytes e a informação contida nestes dados é fundamental para decisões estratégicas. Nesse contexto, os tradicionais bancos de dados relacionais se mostram inadequados para gerenciar com eficiência o acesso a tais dados e, consequentemente, as metodologias tradicionais de projeto, voltadas para a construção destes bancos de dados, devem ser revistas para se adequar aos novos modelos de dados que surgiram com o NoSQL, como é o caso do modelo de dados colunar. Nota-se, especificamente para o caso de projeto de bancos de dados para BDs colunares, que a literatura carece de metodologias de projeto lógico, metodologias estas que convertem modelagens conceituais para representações lógicas adequadas e eficientes para fins de armazenamento e acesso. Assim sendo, esta dissertação propõe uma metodologia de projeto lógico para bancos de dados colunares que contribui para preencher o hiato existente entre o clássico projeto de banco de dados e a vanguarda tecnológica com o movimento NoSQL, em particular, a construção de bancos de dados colunares. Experimentos preliminares demonstraram, comparativamente, que a metodologia é promissora.<br> / Abstract: Emerging technologies often break paradigms. NoSQL is one of them and is gaining space with the Big Data ascension, where the data volume exceeded the petabyte frontier and the information within these data can be of great importance to strategic decisions. In this case, legacy relational databases show themselves inadequate to efficiently manage these data and consequently, their traditional project methodologies must be reviewed to be suitable to new models, such as columnar data model. Regarding columnar database design, the literature lacks of methodologies for logical design, i.e., processes that convert a conceptual schema to a logical schema that optimize access and storage. In this context, this work proposes an approach for logical design of columnar databases that contributes to fill the void between classic project methodologies and the technological forefront with the NoSQL movement, in particular, columnar databases. Preliminary experiments demonstrated that the methodology is promising, if compared with a baseline.

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2016 / Made available in DSpace on 2016-09-20T04:05:25Z (GMT). No. of bitstreams: 1 339905.pdf: 3424611 bytes, checksum: 5f5f32718788fb7e712cf1dca8dd9d4e (MD5) Previous issue date: 2016 / O movimento denominado NoSQL surge como tendência para solucionar os desafios inerentes às necessidades atuais de gerenciamento de dados na nuvem, como o tratamento de grandes volumes de dados, a escalabilidade horizontal e o suporte a modelos flexíveis de armazenamento de dados. A organização dos dados em BDs NoSQL requer significativas decisões de projeto, uma vez que afetam requisitos como escalabilidade, desempenho e consistência. Embora BDs NoSQL não requeiram um esquema padrão associado aos dados, eles são categorizados por modelos de dados. O presente trabalho está inserido nesta problemática e propõe uma abordagem para projeto lógico de BDs NoSQL que seguem o modelo de dados de documento. Este modelo é flexível quanto ao suporte a dados e apropriado para aplicações Web, e a abordagem define processos que convertem modelagens conceituais para representações lógicas adequadas e eficientes, para fins de manipulação correta, armazenamento e acesso a dados na nuvem. A proposta é constituída por regras de conversão capazes de transformar cada um dos construtores do modelo conceitual Entidade-Relacionamento Estendido (EER) em uma representação lógica para BDs NoSQL da categoria documento. Um processo de conversão EER-NoSQL automático é proposto, com a finalidade de ordenar a aplicação das regras na produção de um esquema NoSQL documento que tenta evitar a redundância de dados e, ao mesmo tempo, procura gerar uma representação bem estruturada das informações modeladas pelo projeto conceitual. A consideração de informações relativas à principal carga estimada para o BD que está sendo modelado produz esquemas NoSQL documento otimizados. O estudo de caso apresentado demonstra o ganho obtido por documentos conformados a estes esquemas, no tempo de ocupação diário do sistema, para a execução das operações mais frequentes do BD.<br> / Abstract: The movement called NoSQL comes as a tendency to address the challenges related to the management of data in the cloud, like the processing of large volumes of data, the horizontal scalability and the support for flexible forms of data storage. Data organization on NoSQL databases (DBs) requires significant design decisions, since they affect requirements such as scalability, performance and consistency. Although NoSQL DBs do not require a default schema associated with the data, they are categorized by data models. This work addresses this problem by proposing an approach for the logical design of NoSQL document DBs that follows the document data model. This data model is flexible in terms of data support and suitable for Web applications, and the approach defines processes that convert a conceptual modeling for proper and efficient logical representations aiming at the correct handling, storage and access to data in the cloud. Out proposal consists of conversion rules that transform each one of the concepts of the Extended Entity-Relationship (EER) conceptual model to a logical representation in a NoSQL DB of the document category. An automatic conversion process EER-NoSQL is proposed with the purpose to order the execution of the rules for generating a NoSQL document schema that tries to avoid data redundancy and, at the same time, tries to generate a well-structured representation of the conceptual schema information. Additionally, our methodology considers the information workload for the DB being modeled in order to produce an optimized NoSQL document schema. A case study presented in this work shows the efficiency improvement obtained, in terms of accessing time, for documents that respects the generated logical schemas, on considering the frequent DB operations.

O aumento de dados disponíveis para uso tem despertado o interesse na geração de conhecimento pela integração de tais dados. No entanto, a tarefa de integração requer conhecimento dos dados e também dos modelos de dados utilizados para representá-los. Ou seja, a realização da tarefa de integração de dados requer a participação de especialistas em computação, o que limita a escalabilidade desse tipo de tarefa. No contexto de Big Data, essa limitação é reforçada pela presença de uma grande variedade de fontes e modelos heterogêneos de representação de dados, como dados relacionais com dados estruturados e modelos não relacionais com dados não estruturados, essa variedade de representações apresenta uma complexidade adicional para o processo de integração de dados. Para lidar com esse cenário é necessário o uso de ferramentas de integração que reduzam ou até mesmo eliminem a necessidade de intervenção humana. Como contribuição, este trabalho oferece a possibilidade de integração de diversos modelos de representação de dados e fontes de dados heterogêneos, por meio de uma abordagem que permite o do uso de técnicas variadas, como por exemplo, algoritmos de comparação por similaridade estrutural dos dados, algoritmos de inteligência artificial, que através da geração do metadados integrador, possibilita a integração de dados heterogêneos. Essa flexibilidade permite lidar com a variedade crescente de dados, é proporcionada pela modularização da arquitetura proposta, que possibilita que integração de dados em um contexto Big Data de maneira automática, sem a necessidade de intervenção humana / The increase of data available to use has piqued interest in the generation of knowledge for the integration of such data bases. However, the task of integration requires knowledge of the data and the data models used to represent them. Namely, the accomplishment of the task of data integration requires the participation of experts in computing, which limits the scalability of this type of task. In the context of Big Data, this limitation is reinforced by the presence of a wide variety of sources and heterogeneous data representation models, such as relational data with structured and non-relational models with unstructured data, this variety of features an additional complexity representations for the data integration process. Handling this scenario is required the use of integration tools that reduce or even eliminate the need for human intervention. As a contribution, this work offers the possibility of integrating diverse data representation models and heterogeneous data sources through the use of varied techniques such as comparison algorithms for structural similarity of the artificial intelligence algorithms, data, among others. This flexibility, allows dealing with the growing variety of data, is provided by the proposed modularized architecture, which enables data integration in a context Big Data automatically, without the need for human intervention

O aumento de dados disponíveis para uso tem despertado o interesse na geração de conhecimento pela integração de tais dados. No entanto, a tarefa de integração requer conhecimento dos dados e também dos modelos de dados utilizados para representá-los. Ou seja, a realização da tarefa de integração de dados requer a participação de especialistas em computação, o que limita a escalabilidade desse tipo de tarefa. No contexto de Big Data, essa limitação é reforçada pela presença de uma grande variedade de fontes e modelos heterogêneos de representação de dados, como dados relacionais com dados estruturados e modelos não relacionais com dados não estruturados, essa variedade de representações apresenta uma complexidade adicional para o processo de integração de dados. Para lidar com esse cenário é necessário o uso de ferramentas de integração que reduzam ou até mesmo eliminem a necessidade de intervenção humana. Como contribuição, este trabalho oferece a possibilidade de integração de diversos modelos de representação de dados e fontes de dados heterogêneos, por meio de uma abordagem que permite o do uso de técnicas variadas, como por exemplo, algoritmos de comparação por similaridade estrutural dos dados, algoritmos de inteligência artificial, que através da geração do metadados integrador, possibilita a integração de dados heterogêneos. Essa flexibilidade permite lidar com a variedade crescente de dados, é proporcionada pela modularização da arquitetura proposta, que possibilita que integração de dados em um contexto Big Data de maneira automática, sem a necessidade de intervenção humana / The increase of data available to use has piqued interest in the generation of knowledge for the integration of such data bases. However, the task of integration requires knowledge of the data and the data models used to represent them. Namely, the accomplishment of the task of data integration requires the participation of experts in computing, which limits the scalability of this type of task. In the context of Big Data, this limitation is reinforced by the presence of a wide variety of sources and heterogeneous data representation models, such as relational data with structured and non-relational models with unstructured data, this variety of features an additional complexity representations for the data integration process. Handling this scenario is required the use of integration tools that reduce or even eliminate the need for human intervention. As a contribution, this work offers the possibility of integrating diverse data representation models and heterogeneous data sources through the use of varied techniques such as comparison algorithms for structural similarity of the artificial intelligence algorithms, data, among others. This flexibility, allows dealing with the growing variety of data, is provided by the proposed modularized architecture, which enables data integration in a context Big Data automatically, without the need for human intervention