The demand for so-called living or real-time data warehouses is increasing in many application areas, including manufacturing, event monitoring and telecommunications. In fields like these, users normally expect short response times for their queries and high freshness for the requested data. However, it is truly challenging to meet both requirements at the same time because of the continuous flow of write-only updates and read-only queries as well as the latency caused by arbitrarily complex ETL processes. To optimize the update flow in terms of data freshness maximization and load minimization, we propose two algorithms - local and global scheduling - that operate on the basis of different system information. We want to discuss the benefits and drawbacks of both approaches in detail and derive recommendations regarding the optimal scheduling strategy for any given system setup and workload.

Scope of this master’s thesis contains agile data warehouse design. It begins with a brief demonstration of data warehouse issues, shows the architectures dimensional data warehouse, corporate information factory and data vault. Furthermore, the thesis introduces agile methodologies suitable for data warehouses. Main part of this thesis focuses on the data warehouse design and development in Kentico Software s.r.o. using the modelstorming, shows implementation of universal ETL process for loading dimensional data warehouse, designs ETL processes, data warehouse storage and presentation layer. In the end, the thesis discusses future extensions to the data warehouse such as knowledge discovery module or large-scale data expansion.

Este trabalho estuda a viabilidade de um sistema de monitoramento e de coleta de dados através da WEB, com a construção de um e-Science Zootécnico. Foram desenvolvidos os sistemas, os meios de comunicação e monitoramento, além de um simulador de deslocamento, para otimização da distribuição de antenas e identificação dos animais. Os modelos Random Walk e Pseudo-Browniano foram utilizados para a implementação do simulador. O sistema de comunicação e o sistema gestor foram desenvolvidos e testados através de experimentos que permitiram a análise e a verificação de desempenho do sistema completo, intitulado de \"e-LAFAC\", que permite o controle integral do sistema, como a comunicação das estações fixas, com as estações móveis, através de uma rede de sensores sem fio. A metodologia utilizada no projeto, bem como os resultados obtidos, permitem concluir que, o objetivo de acompanhar e monitorar o animal durante um experimento, com coleta de dados telemétricos em tempo real e à distância, foi alcançado. / This paper studies the viability of a system of monitoring and data collecting through the WEB, with the construction of a Zootechnic e-Science. The hardware systems, the electronic communication devices and monitoring protocols were developed, besides a dislocating simulator, for the improvement and distribution of the antennas and identification of the animals. The models Random Walk and Pseudo-Brownian Motion were used for the implementation of the simulator. The communication and management system were developed and tested through experiments that enable the analysis and evaluation of the performance of the complete system, called \"e-LAFAC\", that allows the complete control of the system, as well as the communication of the fixed stations with the movable stations through a wireless sensor network. The methodology used in the project, as well as the results, allow us to conclude that the objective of following and monitoring the animal during an experiment, with the telemetric data collection in real time was obtained.

Um ambiente de data warehousing oferece suporte ao processo de tomada de decisão. Ele consolida dados de fontes de informação distribuições, autônomas e heterogêneas em um único componente, o data warehouse, e realiza o processamento eficiente de consultas analíticas, denominadas OLAP (on-line analytical processing). Um data warehouse convencional armazena apenas dados alfanuméricos. Por outro lado, um data warehouse de imagens armazena, além desses dados convencionais, características intrínsecas de imagens, permitindo a realização de consultas analíticas estendidas com predicados de similaridade entre imagens. Esses ambientes demandam, portanto, a criação de estratégias que possibilitem o processamento eficiente dessas consultas complexas e custosas. Apesar de haver na literatura trabalhos voltados a índices bitmap para ambientes de data warehousing e métodos de acesso métricos para melhorar o desempenho de consultas por similaridade entre imagens, no melhor do nosso conhecimento, não há uma técnica que investigue essas duas questões em um mesmo contexto. Esta dissertação visa preencher essa lacuna na literatura por meio das seguintes contribuições: (i) proposta do ImageDWindex, um mecanismo para a otimização de consultas analíticas estendidas com predicados de similaridade entre imagens; e (ii) definição de diferentes estratégias de processamento de consultas sobre data warehouses de imagens usando o ImageDW-index. Para validar as soluções propostas, foram desenvolvidas duas outras contribuições secundárias, que são: (iii) o ImageDW-Gen, um gerador de dados com o objetivo de povoar o data warehouse de imagens; e (iv) a proposta de quatro classes de consulta, as quais enfocam em diferentes custos de processamento dos predicados de similaridade entre imagens. Utilizando o ImageDW-Gen, foram realizados testes de desempenho para investigar as vantagens introduzidas pelas estratégias propostas, de acordo com as classes de consultas definidas. Comparado com o trabalho mais correlato existente na literatura, o uso do ImageDWindex proveu uma melhora no desempenho do processamento de consultas IOLAP que variou em média de 55,57% até 82,16%, considerando uma das estratégias propostas. / A data warehousing environment offers support to the decision-making process. It consolidates data from distributed, autonomous and heterogeneous information sources into one of its main components, the data warehouse. Furthermore, it provides effcient processing of analytical queries (i.e. OLAP queries). A conventional data warehouse stores only alphanumeric data. On the other hand, an image data warehouse stores not only alphanumeric data but also intrinsic features of images, thus allowing data warehousing environments to perform analytical similarity queries over images. This requires the development of strategies to provide efficient processing of these complex and costly queries. Although there are a number of approaches in the literature aimed at the development of bitmap index for data warehouses and metric access methods for the efficient processing of similarity queries over images, to the best of our knowledge, there is not an approach that investigate these two issues in the same setting. In this research, we fill this gap in the literature by introducing the following main contributions: (i) the proposal of the ImageDW-index, an optimization mechanism aimed at the efficient processing of analytical queries extended with similarity predicates over images; and (ii) definition of different processing strategies for image data warehouses using the ImageDW-index. In order to validate these main proposals, we also introduce two secondary contributions, as follows: (iii) the ImageDW-Gen, a data generator to populate image data warehouses; and (iv) the proposal of four query classes, each one enforcing different query processing costs associated to the similarity predicates in image data warehousing environments. Using the ImageDW-Gen, performance tests were carried out in order to investigate the advantages introduced by the proposed strategies, according to the query classes. Compared to the most related work available in the literature, the ImageDW-index provided a performance gain that varied from 55.57% to 82.16%, considering one of the proposed strategies.

Este trabalho de mestrado insere-se no contexto do projeto de uma Ferramenta Inteligente de Apoio à Pesquisa (FIP), sendo desenvolvida no Laboratório de Inteligência Computacional do ICMC-USP. A ferramenta foi proposta para recuperar, organizar e minerar grandes conjuntos de documentos científicos (na área de computação). Nesse contexto, faz-se necessário um repositório de artigos para a FIP. Ou seja, um Data Warehouse que armazene e integre todas as informações extraídas dos documentos recuperados de diferentes páginas pessoais, institucionais e de repositórios de artigos da Web. Para suportar o processamento analítico on-line (OLAP) das informações e facilitar a ?mineração? desses dados é importante que os dados estejam armazenados apropriadamente. Dessa forma, o trabalho de mestrado teve como objetivo principal projetar um Data Warehouse (DW) para a ferramenta FIP e, adicionalmente, realizar experimentos com técnicas de mineração e Aprendizado de Máquina para automatizar o processo de indexação das informações e documentos armazenados no data warehouse (descoberta de tópicos). Para as consultas multidimensionais foram construídos data marts de forma a permitir aos pesquisadores avaliar tendências e a evolução de tópicos de pesquisa / This dissertation is related to the project of an Intelligent Tool for Research Supporting (FIP), being developed at the Laboratory of Computational Intelligence at ICMC-USP. The tool was proposed to retrieve, organize, and mining large sets of scientific documents in the field of computer science. In this context, a repository of articles becomes necessary, i.e., a Data Warehouse that integrates and stores all extracted information from retrieved documents from different personal and institutional web pages, and from article repositories. Data appropriatelly stored is decisive for supporting online analytical processing (OLAP), and ?data mining? processes. Thus, the main goal of this MSc research was design the FIP Data Warehouse (DW). Additionally, we carried out experiments with Data Mining and Machine Learning techniques in order to automatize the process of indexing of information and documents stored in the data warehouse (Topic Detection). Data marts for multidimensional queries were designed in order to facilitate researchers evaluation of research topics trend and evolution

Data warehouse har länge varit, och är fortfarande, en viktig tillgång för organisationer för att lagra data för analys. Under det senaste årtionde har en exponentiell ökning av data skett, vilket givit organisationer allt större möjligheter att fatta datadrivna beslut i en helt ny utsträckning. Likväl har det i många fall även satt press på organisationer att utnyttja data som en tillgång för att reagera och ta tillvara på möjligheter i ett hårdnande affärsklimat, eller rent av för att bibehålla konkurrenskraft. För att möjliggöra för organisationer att kunna reagera i tid ställs flexibilitetskrav på de tekniker som används för att hantera data för analys. Praxis som länge rått för data warehouse spås inom kort inte längre vara aktuellt. Organisationer behöver hitta nya vägar för att snabbt lyckas ställa om och anpassa sig efter marknadens behov. Många organisationer har i dagsläget ett traditionellt data warehouse, och denna studie undersöker hur väl data virtualization kan bidra till att öka flexibiliteten genom att adderas som ett komplement. Detta undersöks genom frågeställningen:Hur kan data virtualization komplettera och förbättra ett traditionellt data warehouse?För att besvara frågeställningen genomförs en litteraturanalys och en fallstudie följt av en implementation, där datainsamlingen primärt består av tester utförda utifrån implementationsresultatet, observationer och intervjuer.Resultatet visar på en delad bild, där utförda tester potentiellt kan ses ifrågasätta delar av intervjuresultatet och befintlig litteratur. Utifrån resultatet kan en del konstateranden göras om i vilka användningsfall data virtualization inte passar, samt ge en bild av när det kan vara ett alternativ. Data virtualization bör ses som en utbyggnad av ett data warehouse som möjliggör sammansättning, transformering och beräkning av data, där datastrukturer kan ändras när som helst. En organisation som anammar denna flexiblare lösning måste dock vara beredda på rejält höjda svarstider för att utvinna data. / Data warehouse has for a long time been, and still is, an important asset for organizations to store data for analysis. In the last decade, an exponential increase in data has taken place, giving organizations increasingly greater opportunities to make data-driven decisions in completely new ways. Nevertheless, in many cases, it also puts pressure on organizations to use data as an asset to react and take advantage of opportunities in a harder business climate, or even to maintain competitiveness. In order to enable organizations to be able to react in time, flexibility requirements are imposed on the techniques used to handle data for analysis. The traditional best practices for data warehouse is predicted to soon be out of date. Organizations need to find new ways to quickly change and adapt to the needs of the market. Many organizations currently have a traditional data warehouse, and this study examines how well data virtualization can help increase flexibility by being added as a complement. This is examined through the question:How can data virtualization complement and improve a traditional data warehouse?To answer this question, a literature analysis, and a case study followed by an implementation is carried out, in which the data collection consists primarily of tests performed on the implementation result, observations and interviews.The result shows a divided picture, where performed tests can potentially be seen as questioning parts of the interview results and existing literature. Based on the result, some findings can be made about in which use-cases data virtualization does not fit, and gives a picture of when it can be an alternative. Data virtualization should be seen as an extension of a data warehouse that enables the federation, transformation and computation of data, where data structures can be changed at any time. However, an organization that embraces this more flexible solution must be prepared for substantially increased response times in data extraction.

Made available in DSpace on 2017-07-21T14:19:30Z (GMT). No. of bitstreams: 1 Luiz Pedro Petroski.pdf: 3583708 bytes, checksum: cb0543041adedd80936d37a0c95d78ba (MD5) Previous issue date: 2017-03-06 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The aim of this work is to present a proposal of integration between Precision Agriculture, DataWarehouse / OLAP and GIS. The integration should use extensible and open components, agricultural modeling for decision support, geographical data support, communication interface between components, extension of existing GIS and Data Warehouse solutions. As a result of the integration, an open and extensible architecture was defined, with a spatial agricultural data warehouse modeling. In this way the technologies and tools are open and allow the implementation and extension of its functionalities to adapt to the agricultural scenario of decision. In order to perform the integration, the data were obtained from a farm in the city of Piraí do Sul/PR, which uses proprietary software for data management. Data was exported to the SHAPEFILE format, and through the process performed by the ETL tool, was extracted, transformed and loaded into the analytical database. Also as a source of political boundaries data of rural regions of Brazil, data from the IBGE were used. The database was modeled and implemented by PostgreSQL DBMS with the extension PostiGIS to support spatial data. To provide the OLAP query service, was used the Geomondrian server. The application was extended from the Geonode project, where it was implemented Analytic functionalities, and the interface between the application and the OLAP was performed by the Mandoline API and the OLAP4J library. And finally the interface was implemented through javascript libraries for creating charts, tables and maps. As principal result, an architecture was obtained for Data Warehouse integration, OLAP operations, agricultural and spatial data, as well as ETL process definition and the user interface. / O objetivo desta dissertação é apresentar uma proposta de integração entre agricultura de precisão, Data Warehouse/OLAP e SIG. A integração deve utilizar componentes abertos e extensíveis, modelagem agrícola para suporte a decisão, suporte a dados geográficos, interface de comunicação entre os componentes e a extensão de soluções existentes de SIG e Data Warehouse. Como resultado da integração foi definido uma arquitetura aberta e extensível, integrada, com uma modelagem de Data Warehouse agrícola espacial, que permite o suporte a tomada de decisão para o planejamento e gestão do manejo das práticas da agricultura de precisão. Desta forma as tecnologias e ferramentas utilizadas são abertas e permitem a implementação e extensão de suas funcionalidades para adequar ao cenário agrícola de tomada de decisão. Para realizar a integração foi utilizado os dados oriundos de uma fazenda localizada em Piraí do Sul/PR, a qual utiliza um software proprietário para o gerenciamento de dados. Os dados foram exportados para o formato SHAPEFILE, e através do processo realizado pela ferramenta de ETL, foram extraídos, transformados e carregados para a base de dados analítica. Também como fonte de dados sobre as fronteiras políticas das regiões rurais do Brasil, foi utilizado dados do IBGE. A base de dados analítica foi modelada e implementada em um SGBD PostgreSQL com a extensão PostiGIS para suportar os dados geográficos. Para prover o serviço de consultas OLAP, foi utilizado o servidor Geomondrian. A aplicação foi estendida do projeto Geonode, onde foi implementado as funcionalidades analíticas, e a interface entre a aplicação e o servidor OLAP, foi realizada pela API Mandoline e a biblioteca OLAP4J. E por fim a interface foi implementada por meio de bibliotecas javascript para a criação de gráficos, tabelas e mapas. Como principal resultado, obteve-se uma arquitetura para integração de datawarehouse, operações OLAP, dados espaciais e agricultura, bem como definição do processo de ETL e a interface com o usuário.

Este trabalho trata da especificação, desenvolvimento e utilização do Sistema de Apoio à Gestão de Utilidades e Energia - SAGUE, um sistema concebido para auxiliar na análise de dados coletados de sistemas de utilidades como ar comprimido, vapor, sistemas de bombeamento, sistemas para condicionamento ambiental e outros, integrados com medições de energia e variáveis climáticas. O SAGUE foi desenvolvido segundo conceitos presentes em sistemas de apoio à decisão como Data Warehouse e OLAP - Online Analytical Processing - com o intuito de transformar os dados oriundos de medições em informações que orientem diretamente as ações de conservação e uso racional de energia. As principais características destes sistemas, que influenciaram na especificação e desenvolvimento do SAGUE, são tratadas neste trabalho. Além disso, este texto aborda a gestão energética e os sistemas de gerenciamento de energia visando apresentar o ambiente que motivou o desenvolvimento do SAGUE. Neste contexto, é apresentado o Sistema de Gerenciamento de Energia Elétrica - SISGEN, um sistema de informação para suporte à gestão de energia elétrica e de contratos de fornecimento, cujos dados coletados podem ser analisados através do SAGUE. A aplicação do SAGUE é tratada na forma de um estudo de caso no qual se analisa a correlação existente entre o consumo de energia elétrica da CUASO - Cidade Universitária Armando de Sales Oliveira, obtido através do SISGEN, e as medições de temperatura ambiente, fornecidas pelo IAG - Instituto de Astronomia, Geofísica e Ciências Atmosféricas da USP. / This work deals with specification, development and utilization of the Support System for Utility and Energy Management - SAGUE, a system created to assist in analysis of data collected from utilities systems as compressed air, vapor, water pumping systems, environmental conditioning systems and others, integrated with energy consumption and climatic measurements. The development of SAGUE was based on concepts and methodologies from Decision Support System as Data Warehouse and OLAP - Online Analytical Processing - in order to transform data measurements in information that guide the actions for energy conservation and rational utilization. The main characteristics of Data Warehouse and OLAP tools that influenced in the specifications and development of SAGUE are described in this work. In addition, this text deals with power management and energy management systems in order to present the environment that motivated the SAGUE development. Within this context, it is presented the Electrical Energy Management System - SISGEN, a system for energy management support, whose electrical measurements can be analyzed by SAGUE. The SAGUE utilization is presented in a case study that discusses the relation between electrical energy consumption of CUASO - Cidade Universitária Armando de Sales Oliveira, obtained throughout SISGEN, and the local temperature measurements supplied by IAG - Institute of Astronomic and Atmospheric Science of USP.

Este trabalho teve por objetivo o desenvolvimento de uma proposta de um modelo de sistema de apoio à decisão em vendas e sua aplicação. O levantamento sobre o perfil das vendas no mercado corporativo - de empresas-para-empresas, as técnicas de vendas, informações necessárias para a realização de uma venda eficiente, tal qual o controle das ações e resultados dos vendedores com a ajuda de relatórios, tudo isso aliado às tecnologias de data warehouse, data mart, OLAP foram essenciais na elaboração de uma proposta de modelo genérico e sua implantação. Esse modelo genérico foi aplicado levando-se em conta uma editora de listas e guias telefônicos hipotética, e foi construído buscando-se suprir os profissionais de vendas com informações que poderão melhorar a efetividade de suas vendas e dar-lhes maior conhecimento sobre seus produtos, clientes, usuários de listas e o mercado como um todo, além de suprir os gerentes de uma ferramenta rápida e confiável de auxílio à análise e coordenação dos esforços de vendas. A possibilidade de visualização rápida, confiável e personalizada das diversas informações permitidas por esse sistema, tal qual o êxito em responder às perguntas de pesquisas apresentadas no trabalho, comprova que essa aplicação poderá ser útil à empresa e em específico aos profissionais de vendas e gerentes tomadores de decisão. / The objective of this study was a development of a decision support system\'s application for sales. Relevant information about business markets and business buying behavior, principles of selling and evaluation models for sales representatives, all of this supported by data warehouse, data mart and OLAP technologies was important to create a generic DSS model as well your application. This generic model was created due to match some information needs of sales professionals from a hypothetic publishing company (yellow page). This system and the information generated by it would improve the effectiveness of sales professionals (sales reps), giving them more information and knowledge about your product, market, customers, users, and offering to sales managers as well decision makers a reliable, fast and interactive tool for sales effort\'s analysis and monitoring. A fast, interactive, reliable and customized visualization of information - characteristics of this system, as well your effectiveness of answering questions presented in the beginning of this study reinforce the utility and applicability of this model in order to satisfy sales professionals, managers and publishing companies information needs.

A evolução pela qual passou o chão-de-fábrica no último século transformou-o numa área estratégica para as empresas, por meio da qual é possível atender e satisfazer as necessidades dos seus clientes. Esse novo chão-de-fábrica gera hoje uma grande quantidade de dados nos controles do seu processo produtivo, os quais, em muitos casos, após seu uso imediato ou de curto prazo, acabam descartados ou armazenados inadequadamente, impossibilitando ou dificultando seu acesso. Esses dados, no entanto, podem vir a ter uma importante utilidade como matéria-prima para a geração de informações úteis à gestão do negócio. Aliado à necessidade que as empresas hoje têm de possuir um adequado sistema de medição de desempenho, é possível obter, a partir dos dados históricos do chão-de-fábrica, um bom conjunto de indicadores de desempenho para a área. Para isso, esses dados precisam ser modelados em sistemas especialmente projetados para esta função. Esses sistemas vêm sendo tratados como sistemas de apoio à decisão (SAD) ou Business Intelligence (BI). Como solução para os problemas acima, foi feita então uma revisão sobre os temas: sistemas de informação, ERP, sistemas de medição de desempenho, qualidade da informação, SAD/BI, bem como uma revisão sobre os trabalhos científicos relacionados ao tema da tese. Uma vez tendo sido esses conceitos consolidados, partiu-se para o desenvolvimento de um modelo dimensional de BI que se utilizou das ferramentas de Data Warehouse, On Line Analytical Processing (OLAP) e Data Mining. O software utilizado foi o Analysis Services, pertencente ao banco de dados Microsoft SQL Server 2000. Em seguida, o modelo foi testado com dados reais de uma empresa do ramo metal-mecânico, tratada aqui como “empresa A". Por meio do modelo e dos dados reais, uma série de análises foram realizadas com o intuito de mostrar a contribuição, capacidade, flexibilidade e facilidade de uso do modelo, atingindo o objetivo proposto / The shop floor evolution in the last century has transformed it in a strategic area for the companies, through which is possible to reach and to satisfy the customers needs. This new shop floor generates today a great amount of data by the productive process controls, the ones which, in many cases, after its immediate use or in a short period, are discarded or stored inadequately, disabling or making impossible its access. These data, however, can come to have an important use as raw material for the production of useful information to the business administration. Together to the need that the companies have today to possess an appropriated performance measure system, it is possible to obtain, from the historical shop floor data, a good performance indicators group for the area. For that, these data must be modeled by systems specifically designed for this purpose. These systems have been treated as decision support systems (DSS) or Business Intelligence (BI). As solution for the problems above, it was made a review over the following themes: information systems, ERP, performance measure system, information quality, DSS/BI, as well as a review about the scientific works related to this thesis theme. Once consolidated these concepts, started the development of a BI dimensional model, that used Data Warehouse tools, On Line Analytical Processing (OLAP) and Data Mining. It was used the Analysis Services software, belonged to the Microsoft SQL Server 2000 database. In the following, the model was tested with real data from a metal-mechanic company branch, called here as “company A". Through the model and of the real data, a series of analyses was accomplished with the intention of showing the model contribution, capacity, flexibility and use easiness, reaching the proposed objective