Orientador: Prof. Dr. Márcio Katsumi Oikawa / Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Ciência da Computação, 2015. / Integração de dados heterogêneos e seu uso para ferramentas de análise é um problema cuja complexidade aumenta muito com bancos de dados de grandes volumes. No Brasil, há um conjunto grande de informações públicas que pode ser usadas para análise em diversos setores. Apesar disso, a heterogeneidade de formatos e a distribuição difusa dos dados dificulta sua utilização de forma mais produtiva. O atual tratamento dos dados é realizado internamente às instituições, de maneira que os dados, embora públicos, mantém uma difícil estratégia de integração para a maior parte da população, que normalmente conta com recursos limitados de computação, além de conhecimentos básicos de Informática. Este projeto propõe a criação de um ambiente composto por servidor, banco de dados, bibliotecas e ferramentas visuais de dados. Além da integração de fontes de dados heterogêneas e de grande volume, a saída visual dos dados propõe uma forma de facilitar a análise dos dados para usuários finais, permitindo que possam ter maior capacidade de utilização das informações públicas. Neste trabalho, são ilustradas as técnicas usadas no contexto de dados eleitorais, integrando fontes de dados de diferentes instituições na produção de modelos visuais que facilitam a análise dessa informação e a tomada de decisões. / Heterogeneous database integration and its usage to support software analysis tools is a problem whose complexity decisively grows for the big data volumes. In Brazil, there is a great set of public information available to analysis. However, its format heterogeneity and diffuse distribution hamper more effective data analysis. The current data treatment occurs inside the institutions, so that the information is not available to the majority of the population, usually with limited computer resources and basic knowledge of Computer Science. This project proposes the creation of an environment integrating server, databases, libraries, and visual tools for public data analysis. In addition to the heterogeneity integration of big data volumes, the visual interface offers an easy way to data analysis by final users, allowing them to make use of the public information. In this work, it was illustrated the techniques using electoral data, integrating data sources from many different institutions. Furthermore, these visual models support data analysis and decision-making processes.

La personnalisation vise à recueillir les intérêts, les préférences, les usages, les contraintes, le contexte, etc. souvent considérés comme faisant partie de ce que l'on appelle ''profil utilisateur'' pour ensuite les intégrer dans un système et les exploiter afin de permettre à l'utilisateur d'accéder rapidement aux informations les plus pertinentes pour lui. Par ailleurs, au sein d'une organisation, différents acteurs sont amenés à prendre des décisions à différents niveaux de responsabilité et ont donc besoin de réaliser des analyses à partir de l'entrepôt de données pour supporter la prise de décision. Ainsi, dans le contexte de cette communauté d'utilisateurs de l'entrepôt de données, la notion de collaboration émerge. Il est alors intéressant de combiner les concepts de personnalisation et de collaboration pour approcher au mieux les besoins des utilisateurs en leur recommandant des analyses en ligne pertinentes. L'objectif de ce mémoire est de proposer une approche collaborative pour l'OLAP, impliquant plusieurs utilisateurs, dirigée par un processus de personnalisation intégré aux systèmes décisionnels afin de pouvoir aider l'utilisateur final dans son processus d'analyse en ligne. Qu'il s'agisse de personnalisation du modèle d'entrepôt, de recommandation de requêtes décisionnelles ou de recommandation de chemins de navigation au sein des cubes de données, l'utilisateur a besoin d'un système décisionnel efficace qui l'aide dans sa démarche d'analyse en ligne. La finalité est de fournir à l'utilisateur des réponses pertinentes proches de ses besoins pour qu'il puisse mieux appréhender ses prises de décision. Nous nous sommes intéressés dans cette thèse à trois problèmes relevant de la prise en compte de l'utilisateur au sein des entrepôts de données et de l'OLAP. Nos contributions s'appuient sur la combinaison de techniques issues de la fouille de données avec les entrepôts et OLAP. Notre première contribution est une approche qui consiste à personnaliser les hiérarchies de dimensions afin d'obtenir des axes d'analyse nouveaux sémantiquement plus riches pouvant aider l'utilisateur à réaliser de nouvelles analyses non prévues par le modèle de l'entrepôt initial. En effet, nous relâchons la contrainte du modèle fixe de l'entrepôt, ce qui permet à l'utilisateur de créer de nouveaux axes d'analyse pertinents en tenant compte à la fois de ses contraintes et des connaissances enfouies dans les données entreposées. Notre approche repose sur une méthode d'apprentissage non-supervisé, le k-means contraint, capable de créer de nouveaux regroupements intéressants des données entreposées pouvant constituer un nouveau niveau de hiérarchie permettant de réaliser de nouvelles requêtes décisionnelles. L'intérêt est alors de pouvoir exploiter ces nouveaux niveaux de hiérarchie pour que les autres utilisateurs appartenant à la même communauté d'utilisateurs puissent en tirer profit, dans l'esprit d'un système collaboratif dans lequel chacun apporte sa pierre à l'édifice. Notre deuxième contribution est une approche interactive pour aider l'utilisateur à formuler de nouvelles requêtes décisionnelles pour construire des cubes OLAP pertinents en s'appuyant sur ses requêtes décisionnelles passées, ce qui lui permet d'anticiper sur ses besoins d'analyse futurs. Cette approche repose sur l'extraction des motifs fréquents à partir d'une charge de requêtes associée à un ou à un ensemble d'utilisateurs appartenant à la même communauté d'acteurs d'une organisation. Notre intuition est que la pertinence d'une requête décisionnelle est fortement corrélée avec la fréquence d'utilisation par l'utilisateur (ou un ensemble d'utilisateurs) des attributs associés à l'ensemble de ses (leurs) requêtes précédentes. Notre approche de formulation de requêtes (...) / The objective of this thesis is to provide a collaborative approach to the OLAP involving several users, led by an integrated personalization process in decision-making systems in order to help the end user in their analysis process. Whether personalizing the warehouse model, recommending decision queries or recommending navigation paths within the data cubes, the user need an efficient decision-making system that assist him. We were interested in three issues falling within data warehouse and OLAP personalization offering three major contributions. Our contributions are based on a combination of datamining techniques with data warehouses and OLAP technology. Our first contribution is an approach about personalizing dimension hierarchies to obtain new analytical axes semantically richer for the user that can help him to realize new analyzes not provided by the original data warehouse model. Indeed, we relax the constraint of the fixed model of the data warehouse which allows the user to create new relevant analysis axes taking into account both his/her constraints and his/her requirements. Our approach is based on an unsupervised learning method, the constrained k-means. Our goal is then to recommend these new hierarchy levels to other users of the same user community, in the spirit of a collaborative system in which each individual brings his contribution. The second contribution is an interactive approach to help the user to formulate new decision queries to build relevant OLAP cubes based on its past decision queries, allowing it to anticipate its future analysis needs. This approach is based on the extraction of frequent itemsets from a query load associated with one or a set of users belonging to the same actors in a community organization. Our intuition is that the relevance of a decision query is strongly correlated to the usage frequency of the corresponding attributes within a given workload of a user (or group of users). Indeed, our approach of decision queries formulation is a collaborative approach because it allows the user to formulate relevant queries, step by step, from the most commonly used attributes by all actors of the user community. Our third contribution is a navigation paths recommendation approach within OLAP cubes. Users are often left to themselves and are not guided in their navigation process. To overcome this problem, we develop a user-centered approach that suggests the user navigation guidance. Indeed, we guide the user to go to the most interesting facts in OLAP cubes telling him the most relevant navigation paths for him. This approach is based on Markov chains that predict the next analysis query from the only current query. This work is part of a collaborative approach because transition probabilities from one query to another in the cuboids lattice (OLAP cube) is calculated by taking into account all analysis queries of all users belonging to the same community. To validate our proposals, we present a support system user-centered decision which comes in two subsystems: (1) content personalization and (2) recommendation of decision queries and navigation paths. We also conducted experiments that showed the effectiveness of our analysis online user centered approaches using quality measures such as recall and precision.

Made available in DSpace on 2014-06-12T15:58:51Z (GMT). No. of bitstreams: 2 arquivo4735_1.pdf: 1533660 bytes, checksum: aa67a9072a7931fd4026194587808e0f (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2003 / Os Sistemas de Informação têm evoluído naturalmente, impulsionados pelo aumento do volume de dados tratado e armazenado, pela disponibilidade de novas e mais baratas tecnologias para manipulação dos dados e por demandas mais complexas por informação e conhecimento, originadas do usuário. Este, por sua vez, teve o seu perfil expandido: se antes era preponderantemente de nível operacional, hoje apresenta com maior freqüência o nível de gerência e executivo, o que exige uma visão progressivamente mais ampla e corporativa do negócio. Diante deste cenário, tecnologias para o tratamento da informação foram desenvolvidas para o atendimento às novas demandas, especialmente voltadas para a modelagem do negócio sob uma nova ótica a dimensional e a recuperação de informações e conhecimento diretamente pelo usuário final. No centro das novas tecnologias está o Data Warehouse, grande repositório integrador dos dados corporativos do negócio. Os esquemas atualmente existentes para a modelagem dimensional de Data Warehouse em SGBDs relacionais estrela e, sua derivação, flocos de neve são simples o suficiente para proporcionar a compreensão do modelo pelo usuário final e para possibilitar um excelente desempenho no processamento de consultas. No entanto, não atacam diretamente questões que consideramos importantes: a) permitir que o usuário final realize, sem a intervenção do projetista de banco de dados, a concepção da modelagem de seu negócio; b) permitir que o usuário final diretamente implemente as modificações requeridas na modelagem dimensional decorrentes da alteração do negócio ou das alterações de sua visão do negócio e; c) poder ser genérico a fim de permitir que qualquer modelagem dimensional realizada possa ser implementada sobre os mesmos projetos lógico e físico de bancos de dados relacionais. Para atender a estas questões propusemos neste trabalho um esquema para modelagem dimensional implementada em SGBD relacional genérico que

Made available in DSpace on 2014-06-12T16:00:34Z (GMT). No. of bitstreams: 2 arquivo6689_1.pdf: 1440653 bytes, checksum: 8e110d032301a3d0e89392806c78a317 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2007 / Sistemas de integração de dados oferecem acesso uniforme a informações distribuídas em fontes autônomas e heterogêneas, através de um esquema integrado que compõe uma visão integrada das fontes. Normalmente, duas abordagens podem ser usadas na construção de sistemas de integração de dados, onde cada uma segue uma arquitetura de implementação: as abordagens virtual e materializada. Na abordagem virtual, implementada pela arquitetura de mediadores, as informações são recuperadas sob demanda diretamente das fontes de dados. Por outro lado, na abordagem materializada (warehousing), implementada pela arquitetura de data warehouse, as informações relevantes são recuperadas com antecedência, integradas e armazenadas em um repositório central, comumente chamado de data warehouse, de forma que uma consulta é avaliada diretamente nesse repositório. O sistema de integração de dados Integra, em desenvolvimento pelo Centro de Informática da UFPE, combina recursos de ambas as abordagens, com suporte ao processamento de consultas virtuais e materializadas. O Integra foi desenvolvido usando a arquitetura de mediadores (abordagem virtual) com recursos de materialização (abordagem materializada), compondo uma abordagem híbrida de integração de dados. A abordagem híbrida é proposta como uma forma de otimizar a performance do sistema de integração, uma vez que a inserção de mecanismos de materialização funciona como um mecanismo otimizador no processamento de consultas, além de aumentar a disponibilidade do sistema, principalmente se for feita uma seleção criteriosa dos dados que serão materializados. O objetivo principal deste trabalho é desenvolver e implementar os processos de materialização de dados e de manutenção desses dados materializados, no contexto da proposta definida pelo sistema Integra. A estratégia de materialização é baseada na seleção parcial de dados, mediante análise de critérios de qualidade e custo, refletindo as características das fontes e das consultas. Para tal, o processo de materialização ainda conta com o desenvolvimento de métodos para estimar os critérios. Na arquitetura do sistema Integra, o módulo responsável pela materialização e manutenção dos dados materializados é o Gerenciador do Data Warehouse. Sendo assim, este trabalho visa, também, o desenvolvimento (funcionalidades) e implementação desse módulo.

Made available in DSpace on 2014-06-12T16:00:38Z (GMT). No. of bitstreams: 2 arquivo6832_1.pdf: 3440193 bytes, checksum: 4aa3694aae58b9a326bebb39ef410111 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2011 / Atualmente, empresas que prestam serviços de TI (Tecnologia da Informação) enfrentam desafios na entrega e no suporte de serviços para atender aos níveis contratados, garantindo a efetividade dos seus serviços e assim, atingir as expectativas dos seus clientes. Neste contexto, o Gerenciamento de Serviços de TI é uma abordagem de grande relevância, com foco na entrega e no suporte de serviços. Para dar suporte ao Gerenciamento de Serviços de TI, a biblioteca ITIL (Information Technology Infrastructure Library) propõe um conjunto consistente e coerente de melhores práticas, associadas a cada um dos processos de Gerenciamento de Serviços de TI. Entre estes processos, destaca-se o Gerenciamento de Problemas. Tal processo possui grande importância para a efetividade dos serviços, uma vez que objetiva prevenir problemas, erradicar a recorrência de incidentes e minimizar o impacto dos incidentes que não podem ser evitados. Incidente é qualquer evento não planejado que cause a interrupção ou redução do nível de serviço contratado por um cliente. Problema é a causa desconhecida de um ou mais incidentes. Cada incidente ocorrido motiva a abertura de um registro de incidente, onde o próprio usuário ou o atendente da Central de Serviços (Service Desk) fornecerá informações para o tratamento do incidente pelas equipes responsáveis. Tal procedimento está eventualmente sujeito a desvios na sua correta identificação, podendo produzir informações imprecisas ou inadequadas. Isto pode comprometer a qualidade dos dados disponibilizados para o processo de Gerenciamento de Problemas, prejudicando o tempo de investigação e a prevenção de novos incidentes. Assim o objetivo deste trabalho é propor uma metodologia que ofereça suporte ao processo de Gerenciamento de Problemas em empresas que prestam serviços de TI, visando minimizar os efeitos de eventuais incorreções na categorização de incidentes, e assim contribuir para a redução no tempo de investigação e a diminuição do impacto de problemas recorrentes no negócio. Para aplicar a metodologia proposta, é especificada a Ferramenta de Análise de Problemas e Incidentes FAPI. Esta ferramenta permite analisar problemas e incidentes e gerar um arquivo que, por meio de análises estatísticas, permita investigar possíveis desvios na categorização destes incidentes

CoordenaÃÃo de AperfeiÃoamento de Pessoal de NÃvel Superior / Com o aumento do nÃmero de dispositivos mÃveis equipados com serviÃos de localizaÃÃo geogrÃfica, tem se tornado cada vez mais economicamente e tecnicamente possÃvel capturar os percursos (i.e. trajetÃrias) dos objetos mÃveis. Muitas aplicaÃÃes interessantes tÃm sido desenvolvida com intuito de explorar anÃlises de trajetÃrias de objetos mÃveis. Por exemplo, em sistemas de gerenciamento de veÃculos de entrega, pode ser realizado tanto o monitoramento dos veÃculos quanto anÃlises para apoio a decisÃes estratÃgicas. De modo geral, as trajetÃrias podem ser analisadas em duas perspectivas: tempo real e histÃrica. AlÃm disso, aplicaÃÃes de trajetÃrias compartilham uma necessidade em comum que à o registro mais estruturado do movimento. Isso permite manipular trajetÃrias como objetos de primeira classe e adicionar qualquer semÃntica requerida pela aplicaÃÃo e, tambÃm, a criaÃÃo de mÃtodos robustos e eficientes para agregar conjuntos de trajetÃrias de forma a permitir a realizaÃÃo de anÃlises complexas. Este trabalho estende um trabalho anterior na modelagem conceitual de trajetÃrias pela generalizaÃÃo da ideia de paradas e movimentos e pela definiÃÃo de um conjunto de funÃÃes de agregaÃÃo para trajetÃrias. Neste trabalho à proposto, ainda, duas abordagens por modelagem, ambas baseadas em meta-esquemas, para elaboraÃÃo de esquemas de trajetÃrias para ambiente transacional e multidimensional. Para demonstrar e provar nossas contribuiÃÃes apresentamos um caso de estudo real sobre trajetÃrias de caminhÃes de entrega. Os resultados experimentais demonstram que as abordagens de modelagem oferecem a flexibilidade necessÃria para lidar com a complexidade da semÃntica das trajetÃrias em anÃlises de tempo real e histÃrica.

Over the past two decades organizations have made considerable investment in implementing data warehousing and business intelligence to improve business performance through facts-based decision-making. Although many of these organizations reap the rewards of their investments, others find that realizing the full value proposition is elusive. While the literature is rich with studies regarding data warehousing and business intelligence, much of the existing research focused on the initial experiences of adoption and implementation, and few yielded empirical data that reflected post-implementation conditions that lead to mature capabilities and improved business performance. Sited at the Defense Intelligence Agency where data warehousing and business intelligence capabilities have been in place for 10 years, this study investigated the perceived influences of data warehousing and business intelligence maturity on organizational performance through the perceptions of end users and senior leaders. This study employed mixed methods to examine the linkages between organizational support, information technology capabilities, practices, use, and organizational performance. Using survey responses from end users (N = 29 respondents), the researcher employed linear regressions, and mediation analyses to test hypotheses and assess correlations among maturity variables and their effect on organizational performance. Conversely, the qualitative phase included semi-structured interviews with six senior leaders to understand their perceptions of existing data warehousing and business intelligence capabilities. The quantitative results and qualitative findings indicated significant correlations between the perceptions of organizational support, information technology capabilities, and use in predicting organizational performance. The discoveries resulting from this research represent an original contribution to the body of knowledge by providing empirical data to aid in advancing the scholarship and practice of the data warehousing and business intelligence maturity phenomenon.

Syfte med detta arbete är att undersöka huruvida avkastningsberäkning för en datalagerinvestering bör göras, hur det kan göras och om det görs. Vidare avses att undersöka om generella kalkylmetoder kan användas av företag, oavsett storlek, som avser att starta datalagerinvesteringsprojekt. Datalagerteknologin har ännu en hög utvecklingstakt och detta medför ofta höga utvecklingskostnader i samband med investeringar inom datalager. Undersökningen baseras på en kombinerad dokumentstudie och enkätundersökning. Dokumentstudien belyser den problematik vilken förknippas med problemområdet. Enkätundersökningen fokuseras mot olika större organisationer såsom banker, post och dagligvaruhandeln, vilka idag använder sig av datalager. De tillfrågas om huruvida avkastningsberäkning görs i deras organisation och, i så fall, hur den utförs. Analysen och resultatet tyder på att problemområdet inte har en enkel lösning och att någon typ av avkastningsberäkning bör användas. Svårigheterna ligger i att värdera de potentiella fördelar som ett datalager kan generera.

Ett datalager är ett beslutstödssystem som integrerar stora mängder data från interna och externa källor. Dessutom är datalagret subjektorienterat, vilket innebär att det är organsierat kring ett antal betydelsefulla affärsdomäner som företaget lagrar data om. Många menar att det börjar bli allt viktigare för företag att söka information utanför verksamheten. Detta kan göras genom att de externa affärsdomänerna skannas av på information. Syftet med detta arbete är att ta reda på i vilken utsträckning i nuläget som organisationer lagrar data om affärsdomäner i sitt datalager. För att ta reda på detta har företag som använder datalager kontaktats och intervjuats. Resultatet visar att företag lagrar data om externa affärsdomäner, fast i ganska liten utsträckning. Däremot visar resultatet att intresset för att lagra information om dessa externa affärsdomäner håller på att öka bland företag.

Companies today experience problems with poor data quality in their systems. Because of the enormous amount of data in companies, the data has to be of good quality if companies want to take advantage of it. Since the purpose with a data warehouse is to gather information from several databases for decision support, it is absolutely vital that data is of good quality. There exists several ways of determining or classifying data quality in databases. In this work the data quality management in a large Swedish company's data warehouse is examined, through a case study, using a framework specialized for data warehouses. The quality of data is examined from syntactic, semantic and pragmatic point of view. The results of the examination is then compared with a similar case study previously conducted in order to find any differences and similarities.