Um Data Warehouse (DW) é um banco de dados centralizado, orientado por assunto, integrado, não volátil e histórico, criado com o objetivo de dar apoio ao processo de tomada de decisão e que estrutura os dados em uma arquitetura analítica bastante distinta da arquitetura relacional utilizada nos bancos de dados transacionais. Construir um DW é um projeto de engenharia bastante complexo pois envolve muitas tecnologias e muitas pessoas, de diferentes equipes, em um grande esforço conjunto para construir esta base central de informações corporativas. O processo tradicional de construção de um DW não utiliza conceitos ágeis e, pelo escopo de desenvolvimento ser grande, pode levar muito tempo até que funcionalidades sejam entregues aos clientes. Os métodos ágeis de engenharia de software são muito usados como uma alternativa aos métodos tradicionais de desenvolvimento e têm diferenciais que trazem muito valor a projetos grandes pois, além de buscar desenvolver versões funcionais em prazos curtos, defendem que todos os sistemas têm a constante necessidade de se adaptar a mudanças. Neste trabalho são aplicadas práticas ágeis no processo tradicional de engenharia de DW para que o desenvolvimento seja realizado em ciclos iterativos curtos, tornando possível o desenvolvimento rápido e evolutivo de um DW com entregas constantes de novas funcionalidades. A contínua evolução deste complexo ambiente analítico é apoiada por conceitos de banco de dados evolutivos e também por fundamentos de métodos ágeis. / A data warehouse (DW) is a central database, subject-oriented, integrated, nonvolatile, and time-variant collection of data in support of management\'s decision making process and that summarize the data in an analytic architecture quite different from the relational one, used in transactional databases. Building a DW is a complex engineering project because it involves many technologies and many people, from different teams, in a huge corporative effort to build a central database with corporative data. The traditional engineering process to build a DW does not use agile concepts and, as its scope is quite big, it might takes a long time until the customer can use its features. Agile methods of software engineering are commonly used as an alternative to the traditional methods and they have some differentials that lead a lot of value to big projects, as the continuous attempt to develop short releases in short periods of time, or the belief that every system needs to be continuously adapted to the changes on its environment. This work applies agile practices in the traditional DW engineering method, so that the development can be done in short iterative cycles, making possible a fast and evolutive DW project, with frequent delivering of new functionalities. The continuous evolution of this complex analytical environment is supported by evolutive database concepts and also for agile methods foundations.

Using common subexpressions to speed up a set of queries is a well known and long studied problem. However, due to the isolation requirement, operating a database in the classic transactional way does not offer many applications to exploit the benefits of simultaneously computing a set of queries. In the opposite, many applications can be identified in the context of data warehousing, e. g. optimizing the incremental maintenance process of multiple dependent materialized views or the generation of application specific data marts. In the paper we discuss the problem whether it is always advisable to generate the most complete common predecessor for a given set of queries or to restrict a predecessor to a subset of all possible base tables. As we will see, this question cannot be answered without having knowledge about the cardinality of queries after aggregation. However, if we can rely on this information, we can come up with an optimal predecessor for a common set of queries.

Made available in DSpace on 2016-06-02T19:06:04Z (GMT). No. of bitstreams: 1 5138.pdf: 2676227 bytes, checksum: 72ab4695bfe8833d7d34d1e803a6ec9a (MD5) Previous issue date: 2012-12-13 / Financiadora de Estudos e Projetos / The growing concern with the support of the decision-making process has made companies to search technologies that support their decisions. The technology most widely used presently is the Data Warehouse (DW), which allows storing data so it is possible to produce useful and reliable information to assist in strategic decisions. Combining the concepts of Spatial Data Warehouse (SDW), that allows geometry storage and managing, and Temporal Data Warehouse (TDW), which allows storing data changes that occur in the real-world, a research topic known as Spatio-Temporal Data Warehouse (STDW) has emerged. STDW are suitable for the treatment of geometries that change over time. These technologies, combined with the steady growth volume of data, show the necessity of index structures to improve the performance of analytical query processing with spatial predicates and also with geometries that may vary over time. In this sense, this work focused on proposing an index for STDW called Spatio-Temporal Bitmap Index, or STB-index. The proposed index was designed to processing drill-down and roll-up queries considering the existence of predefined spatial hierarchies and with spatial attributes that can vary its position and shape over time. The validation of STB-index was performed by conducting experimental tests using a DWET created from synthetic data. Tests evaluated the elapsed time and the number of disk accesses to construct the index, the amount of storage space of the index and the elapsed time and the number of disk accesses for query processing. Results were compared with query processing using database management system resources and STBindex improved the query performance by 98.12% up to 99.22% in response time compared to materialized views. / A crescente preocupação com o suporte ao processo de tomada de decisão estratégica fez com que as empresas buscassem tecnologias que apoiassem as suas decisões. A tecnologia mais utilizada atualmente é a de Data Warehouse (DW), que permite armazenar dados de forma que seja possível produzir informação útil e confiável para auxiliar na tomada de decisão estratégica. Aliando-se os conceitos de Data Warehouse Espacial (DWE), que permite o armazenamento e o gerenciamento de geometrias, e de Data Warehouse Temporal (DWT), que possibilita representar as mudanças nos dados que ocorrem no mundo real, surgiu o tema de pesquisa conhecido por Data Warehouse Espaço-Temporal (DWET), que é próprio para o tratamento de geometrias que se alteram ao longo do tempo. Essas tecnologias, aliadas ao constante crescimento no volume de dados armazenados, evidenciam a necessidade de estruturas de indexação que melhorem o desempenho do processamento de consultas analíticas com predicados espaciais e com variação das geometrias no tempo. Nesse sentido, este trabalho se concentrou na proposta de um índice para DWET denominado Spatio- Temporal Bitmap Index, ou STB-index. O índice proposto foi projetado para o processamento de consultas do tipo drill-down e roll-up considerando a existência de hierarquias espaciais predefinidas, sendo que os atributos espaciais podem variar sua posição e sua forma ao longo do tempo. A validação do STB-index ocorreu por meio da realização de testes experimentais utilizando um DWET criado a partir de dados sintéticos. Os testes avaliaram o tempo e o número de acessos a disco para a construção do índice, a quantidade de espaço para armazenamento do índice e o tempo e número de acessos a disco para o processamento de consultas analíticas. Os resultados obtidos foram comparados com o processamento de consultas utilizando os recursos disponíveis dos sistemas gerenciadores de banco de dados, sendo que o STB-index apresentou um ganho de desempenho entre 98,12% e 99,22% no tempo de resposta das consultas se comparado ao uso de visões materializadas.

Made available in DSpace on 2016-06-02T19:06:18Z (GMT). No. of bitstreams: 1 6327.pdf: 10668384 bytes, checksum: 806ac414d43596c366d93b4bfc0febe0 (MD5) Previous issue date: 2014-10-09 / Universidade Federal de Minas Gerais / A data warehouse is a solution for organizing and storing multidimensional data related to decision-making processes in companies, generating a historical, highly voluminous, subject-oriented and nonvolatile database. A geographic data warehouse (GDW) additio¬nally to the conventional data storage (i.e. numeric and alphanumeric data), stores spatial data as attributes in dimension tables or as measures in fact tables, storing data represented by geometries. Points, lines and polygons are examples of spatial data types. While spatial data currently stored in GDWs are crisp, i.e., they have exact location in the space, strict interiors and well-defined boundaries, geographic applications have required the storage of vague spatial data, which have inaccurate location, inexact interiors or uncertain bounda¬ries. This Master s research aims at incorporating vague spatial data to GDWs. More speci¬fically, we propose and implement a new abstract data type (ADT) called VagueGeometry to represent vague spatial data in the Spatial Database Management System (SDBMS) Post- greSQL/PostGIS. The proposal of the ADT VagueGeometry encompasses the issue of phy¬sical storage for vague spatial data, which are complex and can have several disjoint parts. It also focuses on definitions of operations to handle vague spatial objects, such as vague topological predicates and its operators. Experimental evaluations were conducted in order to assess the performance of the ADT VagueGeometry in comparison to available solutions, such as implementation of vague topological predicates utilizing existing operations of the PostGIS. The proposed ADT VagueGeometry shown reductions in query processing with vague topological predicates from 81.63% to 90.34% in spatial databases and reductions from 92.46% a 95.20% in GDW environments. This Master s project, therefore, advances in the state of art in GDWs to study this gap in the literature. Additionally, fuzzy models to represent vague spatial data was also studied, and as a result, a preliminary proposal of a ADT, called as FuzzyGeometry, was also developed. / Um data warehouse é uma solução para a organização e o armazenamento de dados mul-tidimensionais relacionados a tomada de decisão estratégica em empresas, constituindo um banco de dados histórico, volumoso, orientado ao assunto e não volátil. Um data warehouse geográfico (DWG) adicionalmente ao armazenamento de dados convencionais (tais como dados numéricos e alfanuméricos), armazena dados espaciais como atributos em tabelas de dimensão ou como medidas em tabelas de fatos, ou seja, armazena dados representados por meio de geometrias. Pontos, linhas e polígonos são exemplos de dados espaciais armazena¬dos. Enquanto estes dados armazenados atualmente em DWGs sao crisp, ou seja, possuem localização, interiores e fronteiras bem definidas, aplicações geográficas tem demandado o armazenamento de dados espaciais vagos, os quais possuem localização, interiores ou fronteiras incertas. Esta pesquisa de mestrado visa incorporar dados espaciais vagos em DWGs. Mais especificamente, foi proposto e implementado um novo tipo abstrato de dados (TAD), denominado VagueGeometry, para representar dados espaciais vagos no Sistema Gerenciador de Banco de Dados (SGBD) PostgreSQL com a extensão espacial PostGIS. A proposta do TAD VagueGeometry engloba a proposta de uma forma de armazenamento interna para os dados espaciais vagos, os quais são complexos e podem possuir diversas partes disjuntas. Isso também inclui a definição de operações para manipular objetos espa¬ciais vagos, tais como os relacionamentos topológicos vagos e seus operadores. Avaliações experimentais foram conduzidas para medir o desempenho do TAD VagueGeometry frente a soluções existentes, tal como a implementação de predicados topológicos vagos reuti¬lizando operações existentes do PostGIS. A proposta do TAD VagueGeometry apresentou reduções no tempo de processamento de predicados topológicos vagos de 81,63% a 90,34% em bancos de dados espaciais e reduções de 92,46% a 95,20% em ambientes de DWG. Este trabalho, portanto, avança no estado da arte em DWGs de forma a preencher essa lacuna existente na literatura. Adicionalmente, modelos fuzzy para representação dos dados espa¬ciais vagos também foram estudados e uma proposta preliminar de um TAD, denominado FuzzyGeometry, também foi desenvolvida.

ITC/USA 2006 Conference Proceedings / The Forty-Second Annual International Telemetering Conference and Technical Exhibition / October 23-26, 2006 / Town and Country Resort & Convention Center, San Diego, California / This paper is a follow on to a paper presented at the 2005 International Telemetry Conference by Dr. Samuel Harley et. al., titled Data, Information, and Knowledge Management. This paper will describe new techniques and provide further detail into the inner workings of the VISION (Versatile Information System – Integrated, Online) Engineering Performance Data Mart.

Testing in data warehousing has traditionally been done in large chunks at the end of development projects. This has often led to costly bug fixes because fixing bugs that are found late in the development process is generally a very time consuming task. In some cases, there is not enough time to fix these bugs because of narrow project deadlines. This can have major consequences for organizations because business decisions often relies on their data warehouse to provide accurate statistics and data. This study examines a department of a major Swedish agency that recently adopted agile methods to overcome some of the shortcomings associated with traditional data warehouse development. The effects of agile methods on data warehouse testing are examined, as well as the challenges that are needed to overcome for them to be successful. We also touch upon consequences of poor test design and what implications incorrect data that are delivered from a data warehouse can have both internally and externally. In conclusion, the study have found that adopting agile methods have led to test activities being carried out more often, more efficiently and with better results than in the past. In addition, product owners have been continuously involved in the development process through frequent acceptance tests. For agile methods to be successful in data warehouse testing, we also concluded that they need the support of tools, system environments and attitudes both among developers and product owners. / Nej

At a certain point of its life cycle, each data warehouse gets into a state in which the length of the ETL processing starts slowly approaching the acceptable limit. Even the slightest lapse means a hardly erasable time lag and the data supplies to users are increasingly delayed. Before the situation becomes more problematic, we need to react. This diploma thesis deals with the possible solutions of this problem- the ETL performance optimization. The main aim of the thesis is to propose the set of recommendations for the ETL process optimization and its presentation based on practical real world examples. While going through this thesis, the readers get inside the running of the real ETL optimization project. They learn how to proceed during its particular periods, what to avoid and how to reduce the risk level as much as possible. Moreover, the thesis mentions the prevention of the ETL performance loss and discusses the critical factors of the effective ETL process design. Although the proposed methods are described in a general perspective, the thesis is mainly focused on Oracle's database, which is its certain limitation. Also hardware optimization is not a part of the text. First chapters of the thesis describe the problem from the theoretical point of view, which is important for the correct understanding of the main content and the existing literature concerning this problematic is included here as well. Next sections describe the proposed methods and recommendations for the optimization of the ETL processes including tests and project results evaluation. They are mainly focused on the ETL process synchronization and the SQL code optimization areas. All the methods are presented of examples of the real project implemented by the author.

A gestão do desempenho organizacional tem assumido grande importância nos últimos anos. O surgimento de diversas metodologias de medição, as experiências de remodelagem de sistemas de medição em empresas e o aumento da produção científica mostram esse fato. Ao mesmo tempo, com o avanço das tecnologias de informação, diversos sistemas computacionais, oferecidos por empresas de informática e consultoria, se propõem a dar suporte à medição do desempenho organizacional. Observa-se porém que a taxa de falhas e insatisfação com o uso de sistemas de medição de desempenho, por parte dos executivos e gerentes, é alta. Assim, nesse trabalho são pesquisadas diversas propostas de sistemas de medição de desempenho, envolvendo arquiteturas, conceitos e ferramentas de tecnologia da informação (como os conceitos relacionados ao uso do Data Warehouse) e são especificados critérios para a análise, comparação e aquisição de sistemas. Para a realização desse trabalho é feita uma ampla revisão bibliográfica, a partir da qual são levantados conceitos e uma listagem de características desses tipos de sistemas e são realizados estudos com empresas clientes e fornecedoras de soluções de informática para o suporte ao processo de medição de desempenho, validando a listagem de critérios levantada e as análises realizadas. Assim, este é uma contribuição para o uso mais eficaz e eficiente da tecnologia da informação no processo de medição de desempenho. / Organizational performance management is nowadays a very important issue. Several methodologies of measurement, the re-shaping of processes and systems of measurement in the companies and the rising of literature on this issue show this fact. At the same time, with the development of information technology, several performance measurement systems, built for consultant and IT companies, are sold as supporting the process of organizational performance measurement. But the dissatisfaction on its use by managers is high. Thus, in this work, theoretical frameworks, experiences on the use of performance measurement systems and proposals on architectures, concepts and tools of IT are reviewed and criteria to analysis, comparison and acquisition of those systems are proposed. To the elaboration of this proposal, also different systems were availed and users necessities and preferences were raised. The proposal consists on a general framework for the classification of the systems on its four basic functions: collect, analysis, communication and learning; and the detailing of its functions on specific criteria to a more detailed analysis or comparison of systems on its functions. Then, this is a contribution for a more efficiently use of IT on the support of organizational performance measurement.

A freqüência nas mudanças no ambiente empresarial exige que as empresas tenham uma elevada capacidade de adaptação. Neste sentido, é fundamental que mecanismos para avaliar suas ações e operações tenham totais condições de análise objetiva da situação atual e futura da empresa. É dentro deste enfoque, que os indicadores de desempenho se tornam instrumentos eficazes para estas análises e avaliações. A partir dessa constatação, este trabalho trata do desenvolvimento de indicadores de desempenho para as operações de produção de uma empresa de manufatura inserida no contexto de uma cadeia de suprimentos. O conjunto de indicadores de desempenho foi desenvolvido para o cenário da cadeia de suprimentos de moto redutores criado para o projeto IPROS. Como características fundamentais destacam-se o ambiente de sistemas de gestão, onde o Data Warehouse é utilizado como ferramenta principal e o ambiente de cadeia de suprimentos onde os indicadores foram focados tanto no desempenho dos processos internos de uma empresa elo da cadeia, quanto no relacionamento desse elo com a cadeia de suprimentos. É também proposto um estudo de caso que analisa uma empresa representativa da cadeia de suprimentos que está sendo estudada. / The frequent changes in the management environment demand that the companies must have a high capacity of adaptation. In this way, it is fundamental that mechanisms to measure the actions and operations have conditions to analyze the current and future situation of the company. In these analyses, the performance measures became good tools to analyze these evaluations. Following this argument, this work discusses the development of performance measures to the operations of one manufacturing company in a supply chain environment. The performance measures were developed in a scenario of a company that produces gearbox, and this scenario was called IPROS project. As fundamental characteristics of this scenario, the use of a system called Data Warehouse, as the main tool for process the informations, and the supply chain environment, where performance measures was focused in the internal processes of one company and the relationship between this company with all the supply chain. This work also presents a case study that discusses the performance measures of a representative company.

Embora o conceito de Data Warehouse (doravante abreviado DW), em suas várias formas, continue atraindo interesse, muitos projetos de DW não estão gerando os benefícios esperados e muitos estão provando ser excessivamente caro de desenvolver e manter. O presente trabalho visa organizar os conceitos de DW através de uma revisão bibliográfica, discutindo seu real benefício e também de como perceber este benefício a um custo que é aceitável ao empreendimento. Em particular são analisadas metodologias que servirão de embasamento para a proposta de uma metodologia de projeto de DW, que será aplicada a um estudo de caso real para a Cia Zaffari, levando em conta critérios que são encontrados atualmente no desenvolvimento de um Data Warehouse, um subconjunto das quais será tratado no trabalho de dissertação. / Although the concept of Data Warehouse (DW), in its various forms, still attracting interest, many DW projects are not generating the benefits expected and many are proving to be too expensive to develop and to keep. This work organizes the concepts of DW through a literature review, discussing its real benefit and how to realize this benefit at a cost that is acceptable to the company. In particular methods are discussed to serve as a foundation for proposing a design methodology for DW, which will be applied to a real case study for the CIA Zaffari, taking into account criteria that are currently found in developing a data warehouse, a subset of which will be treated in the dissertation.