Data analysis techniques can be useful in decision-making processes, when patterns of interest can indicate trends in specific domains. Such trends might support evaluation, definition of alternatives, or prediction of events. Currently, datasets have increased in size and complexity, posing challenges to modern hardware resources. In the case of large datasets that can be represented as graphs, issues of visualization and scalable processing are of current concern. Distributed frameworks are commonly used to deal with this data, but the deployment and the management of computational clusters can be complex, demanding technical and financial resources that can be prohibitive in several scenarios. Therefore, it is desirable to design efficient techniques for processing and visualization of large scale graphs that optimize hardware resources in a single computational node. In this course of action, we developed a visualization technique named StructMatrix to find interesting insights on real-life graphs. In addition, we proposed a graph processing framework M-Flash that used a novel, bimodal block processing strategy (BBP) to boost computation speed by minimizing I/O cost. Our results show that our visualization technique allows an efficient and interactive exploration of big graphs and our framework MFlash significantly outperformed all state-of-the-art approaches based on secondary memory. Our contributions have been validated in peer-review events demonstrating the potential of our finding in fostering the analytical possibilities related to large-graph data domains. / Técnicas de análise de dados podem ser úteis em processos de tomada de decisão, quando padrões de interesse indicam tendências em domínios específicos. Tais tendências podem auxiliar a avaliação, a definição de alternativas ou a predição de eventos. Atualmente, os conjuntos de dados têm aumentado em tamanho e complexidade, impondo desafios para recursos modernos de hardware. No caso de grandes conjuntos de dados que podem ser representados como grafos, aspectos de visualização e processamento escalável têm despertado interesse. Arcabouços distribuídos são comumente usados para lidar com esses dados, mas a implantação e o gerenciamento de clusters computacionais podem ser complexos, exigindo recursos técnicos e financeiros que podem ser proibitivos em vários cenários. Portanto é desejável conceber técnicas eficazes para o processamento e visualização de grafos em larga escala que otimizam recursos de hardware em um único nó computacional. Desse modo, este trabalho apresenta uma técnica de visualização chamada StructMatrix para identificar relacionamentos estruturais em grafos reais. Adicionalmente, foi proposta uma estratégia de processamento bimodal em blocos, denominada Bimodal Block Processing (BBP), que minimiza o custo de I/O para melhorar o desempenho do processamento. Essa estratégia foi incorporada a um arcabouço de processamento de grafos denominado M-Flash e desenvolvido durante a realização deste trabalho.Foram conduzidos experimentos a fim de avaliar as técnicas propostas. Os resultados mostraram que a técnica de visualização StructMatrix permitiu uma exploração eficiente e interativa de grandes grafos. Além disso, a avaliação do arcabouço M-Flash apresentou ganhos significativos sobre todas as abordagens baseadas em memória secundária do estado da arte. Ambas as contribuições foram validadas em eventos de revisão por pares, demonstrando o potencial analítico deste trabalho em domínios associados a grafos em larga escala.

Os efeitos dos dados defeituosos sobre os resultados dos processos analíticos são notórios. Aprimorar a qualidade dos dados exige estabelecer alternativas a partir de vários métodos, técnicas e procedimentos disponíveis. O processo de Avaliação da Qualidade dos Dados - pAQD - provê relevantes insumos na definição da alternativa mais adequada por meio do mapeamento dos defeitos nos dados. Relevantes abordagens computacionais apoiam esse processo. Tais abordagens utilizam métodos quantitativos ou baseados em asserções que usualmente restringem o papel humano a interpretação dos seus resultados. Porém, o pAQD depende do conhecimento do contexto dos dados visto que é impossível confirmar ou refutar a presença de defeitos baseado exclusivamente nos dados. Logo, a supervisão humana é essencial para esse processo. Sistemas de visualização pertencem a uma classe de abordagens supervisionadas que podem tornar visíveis as estruturas dos defeitos nos dados. Apesar do considerável conhecimento sobre o projeto desses sistemas, pouco existe para o domínio da avaliação visual da qualidade dos dados. Isto posto, este trabalho apresenta duas contribuições. A primeira reporta uma taxonomia que descreve os defeitos relacionados aos critérios de qualidade da acuracidade, completude e consistência para dados estruturados e atemporais. Essa taxonomia seguiu uma metodologia que proporcionou a cobertura sistemática e a descrição aprimorada dos defeitos em relação ao estado-da-arte das taxonomias. A segunda contribuição reporta relacionamentos entre propriedades-defeitos que estabelecem que certas propriedades visuais-interativas são mais adequadas para a avaliação visual de certos defeitos em dadas resoluções de dados. Revelados por um estudo de caso múltiplo e exploratório, esses relacionamentos oferecem indicações que reduzem a subjetividade durante o projeto de sistemas de visualização de apoio a avaliação visual da qualidade dos dados. / The effects of poor data quality on the reliability of the outcomes of analytical processes are notorious. Improving data quality requires alternatives that combine procedures, methods, techniques and technologies. The Data Quality Assessment process - DQAp - provides relevant and practical inputs for choosing the most suitable alternative through a data defects mapping. Relevant computational approaches support this process. Such approaches apply quantitative or assertions-based methods that usually limit the human interpretation of their outcomes. However, the DQAp process strongly depends on data context knowledge since it is impossible to confirm or refute a defect based only on data. Hence, human supervision is essential throughout this process. Visualization systems belong to a class of supervised approaches that can make visible data defect structures. Despite their considerable design knowledge encodings, there is little support design to data quality visual assessment. Therefore, this work reports two contributions. The first reports a taxonomy that organizes a detailed description of defects on structured and timeless data related to the quality criteria of accuracy, completeness and consistency. This taxonomy followed a methodology which enabled a systematic coverage of data defects and an improved description of data defects in regard to state-of-art literature. The second contribution reports a set of property-defect relationships that establishes that certain visual and interactive properties are more suitable for visual assessment of certain data defects in a given data resolution. Revealed by an exploratory and multiple study case, these relationships provides implications that reduce the subjectivity in the visualization systems design for data quality visual assessment.

Submitted by camilla martins (camillasmmartins@gmail.com) on 2016-12-14T13:26:55Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_UtilizacaoambientesVirtuais.pdf: 11134238 bytes, checksum: 638c5cbd3470238d7a6d9033fdbe3cf0 (MD5) / Rejected by Edisangela Bastos (edisangela@ufpa.br), reason: on 2016-12-15T12:29:09Z (GMT) / Submitted by camilla martins (camillasmmartins@gmail.com) on 2016-12-20T14:04:22Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_UtilizacaoAmbientesVirtuais.pdf: 11134238 bytes, checksum: 638c5cbd3470238d7a6d9033fdbe3cf0 (MD5) / Approved for entry into archive by Edisangela Bastos (edisangela@ufpa.br) on 2016-12-21T13:31:53Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_UtilizacaoAmbientesVirtuais.pdf: 11134238 bytes, checksum: 638c5cbd3470238d7a6d9033fdbe3cf0 (MD5) / Made available in DSpace on 2016-12-21T13:31:53Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Dissertacao_UtilizacaoAmbientesVirtuais.pdf: 11134238 bytes, checksum: 638c5cbd3470238d7a6d9033fdbe3cf0 (MD5) Previous issue date: 2005-01-14 / Atualmente graças ao exponencial processo evolutivo dos equipamentos de hardware, principalmente os relacionados ao armazenamento de dados, é possível armazenar enormes quantidades de dados, de todos os tipos possíveis, em uma base centralizada e/ou distribuída. Há alguns anos atrás pouco se sabia o que fazer com tamanha quantidade de dados armazenados, nos dias atuais já se sabe que a organização que melhor dominar as informações provenientes do meio é que mais chance terá de ser bem sucedida. Baseado nas premissas citadas é necessário que os responsáveis pela tomada de decisão utilizem ferramentas de visualização de informação para auxiliar no processo decisório, fazendo com que o mesmo se torne mais confiável, rápido, intuitivo e preciso. A visualização de informação utiliza técnicas de apresentação de dados com o objetivo de torná-los mais perceptíveis e intuitivos para o usuário, entretanto quando há a necessidade de apresentar grandes quantidades de dados, a visualização fica prejudicada por vários motivos. Para solucionar este problema de visualização, a utilização da Realidade Virtual (RV) se torna bastante útil devido à possibilidade que esta interface proporciona tal como interação e navegabilidade, características que tornam a visualização mais produtiva e interessante. Contudo, normalmente a tomada de decisão não é feita por uma única pessoa, e as ferramentas em sua grande maioria são monousuárias, prejudicando a tomada de decisão, principalmente se as pessoas estiverem distantes umas das outras. Com um ambiente colaborativo de visualização de dados, é possível discutir sobre a mesma visão de dados diminuindo o tempo e equívocos desnecessários para a tomada de decisão. Este trabalho tem por objetivo projetar e implementar uma ferramenta de visualização de informação em um ambiente virtual tridimensional colaborativo para auxiliar o usuário na tomada de decisão descentralizada. Para tanto, foi utilizado no desenvolvimento desta ferramenta característica das áreas de Banco de Dados, Visualização de Informação e Ambientes Virtuais Colaborativos. / Now thanks to the exponential evolutionary process of the hardware equipments, mainly the related to storage of data, it is possible to store enormous amounts of data, of all possible types, in a centralized base and/or distributed. There are some a little years ago was known what to do with such amount of stored data, in the days you act is known already that the organization that best to dominate the coming information of the is half that more chance will have to be well happened. Based on the mentioned premises is necessary that the responsible for the take of decision use tools of information visualization to aid in the ruling process, doing with that the same if turns more reliable, fast, intuitive and accurate. The information visualization uses techniques of data presentation with the objective of turning them more perceptible and intuitive for the user, however when there is need to present great amounts of data, the visualization is prejudiced for several reasons. To resolve this visualization problem, the use of the Virtual Reality (VR) if it turns essential due to the possibility that this interface provides just as interaction and navigability, characteristics that turn the most productive and interesting visualization. However, usually the ruling of decision is not made by a single person, and the tools in his great majority are mono-users, harming the ruling decision, mainly if the people are distant some of the other ones. With a collaborative environment of data visualization, it is possible to discuss on the same vision of data decreasing the time and unnecessary misunderstandings to the ruling decision. This work has for aim project and implementation a tool of information visualization in an environment three-dimensional virtual collaborative to aid the user in the ruling decentralized decision. Therefore it was used in the development of this characteristic tool of the areas of Database, Information Visualization and Collaborative Virtual Environments.

CNPq; CAPES; / Cinquenta por cento da população mundial vive em cidades, e a expectativa para 2050 é de que essa porcentagem chegue a 70% (WHO, 2014). As cidades consomem 75% dos recursos naturais e de energia do mundo, e geram 80% dos gases-estufa responsáveis pelo efeito estufa; considerando que, ocupam apenas 2% do território mundial (Signori, 2008). As cidades são também o palco de grande parte dos problemas ambientais globais (Gomes, 2009), e é no contexto urbano onde a dimensão social, econômica e ambiental convergem mais intensamente (European Commission, 2007). Esse crescimento populacional, tem influências sociais, econômicas e ambientais que representam um grande desafio para o desenvolvimento sustentável do planejamento urbano. Os conceitos de sistemas de informação geográfica, cidades inteligentes, dados abertos, algoritmos de clusterização e visualização de dados, permitem entender diversas questões em relação a atividade urbana nas cidades. Em particular, se torna importante a variável “onde”: onde existe tráfego e quais são os horários mais frequentes; onde é necessário realizar modelagem de espera residencial, comercial e industrial de acordo com o crescimento populacional para o plano de uso da terra; quais são os tipos de negócios que mais cresceram em cada bairro e qual é a relação entre eles. Para este fim, esta dissertação apresenta um sistema web-mobile que permite entender o crescimento espaço-temporal e econômico dos alvarás de restaurantes dos bairros Centro, Batel e Tatuquara da cidade de Curitiba nas últimas três décadas (1980 até 2015), realizando clusterização e visualização de uma grande quantidade de dados abertos georreferenciados. Em termos de resultados alcançados destacam-se: 1) capacidade de resolver problemas computacionais de sobreposição de pontos sobre um mapa, 2) capacidade de entender o crescimento econômico dos alvarás e qual é a relação entre as diversas categorias e entre os bairros, 3) tempo de execução inferior a 3 segundos para 99% das consultas espaciais executadas, 4) 80,8% dos usuários em fase de avaliação consideram que a solução proposta permite uma melhor identificação e visualização de dados georreferenciados, e 5) possibilita a integração de novas fontes e tipos de dados. / Fifty percent of the world's population live in cities, and the expectation until 2050 is that it reaches 70% (WHO, 2014). Cities consume 75% of the world's natural resources and energy, and generate 80% of greenhouse gases responsible for the greenhouse effect, considering that they occupy only 2% of the world's territory (Signori, 2008). Cities are also the scene of most of the global environmental problems (Gomes, 2009), and it is in the urban context where the social, economic and environmental dimension converge more intensely (European Commission, 2007). This population growth has social, economic and environmental influences that represent a great challenge for the sustainable development of urban planning. The concepts of geographic information systems, smart cities, open data, clustering and data visualization algorithms allow us to understand several questions regarding urban activity in cities, especially, understand the variable "where" things happen. For example: where there is traffic and what time is the most frequent, where it is necessary to perform residential, commercial, industrial standby modeling according to population growth for the land use plan, what are the types of businesses that grew the most in each neighborhood and what is the relationship between them. For this purpose, the following thesis presents a web-mobile system that allows us to understand the spatiotemporal and economic growth of the restaurant licenses of districts Centro, Batel and Tatuquara of Curitiba for the last three decades, performing clustering and visualization of a large amount of open georeferenced data. In terms of achieved results, we can highlight: 1) ability to solve computational problems of overlapping points representing business on a map, 2) ability to understand the economic growth of restaurants licences and what is the relationship between different categories and between districts, 3) execution time less than 3 seconds for 99% of the spatial queries executed, 4) 80.8% of users in evaluation phase consider that the proposed solution allows a better identification and visualization of georeferenced data, and 5) it allows the integration of new sources and types of data.

CAPES / Esta dissertação aborda como profissionais do jornalismo, através das práticas do cotidiano, se apropriam de artefatos e tecnologias computacionais para trabalhar com Jornalismo Guiado por Dados e, especificamente, com visualizações de dados. Para isso, considera-se que é no cotidiano que as tecnologias são apropriadas por quem as usa, e que este uso leva as tecnologias a uma estabilização, na qual elas deixam de ser percebidas como um elemento estranho. Os modos de uso dos artefatos também são considerados enquanto elementos construtores de identidades. O objeto principal da pesquisa são seis profissionais que fazem uso de artefatos e técnicas do Jornalismo Guiado por Dados no seu dia a dia. Através de entrevistas e observações, foram levantadas algumas maneiras através das quais as práticas e apropriações de tecnologias constroem as identidades de quem faz uso delas e levam os artefatos à estabilização. A análise das práticas do cotidiano colaboraria para uma visão menos instrumentalista no desenho de artefatos e também no ensino de técnicas, legitimando assim os modos de uso de cada pessoa. Para entender essas práticas do cotidiano, são apresentados os conceitos de “táticas” e “estratégias” com o objetivo de situar as relações de poder do cotidiano e como as pessoas podem subvertê-las, e conceitos dos estudos em Ciência, Tecnologia e Sociedade como SCOT – construção social da tecnologia – e códigos técnicos, para analisar os processos que levam à estabilização de uma tecnologia. Relacionando esses conceitos com o jornalismo, é analisada a conotação de neutralidade dos grandes conjuntos de dados e comparando-a com a ideia de neutralidade da tecnologia. O Jornalismo Guiado por Dados é então relacionado a algumas taxonomias de gêneros e formatos jornalísticos, e é apresentado um breve histórico do uso do computador no jornalismo, para situá-lo dentro do jornalismo de modo geral e nas identidades jornalísticas que são construídas através das tecnologias consumidas no cotidiano. Por sua vez, é apresentado como os produtos jornalísticos derivados de grandes bases de dados propõem outro tipo de relação entre o jornalismo e o público, especificamente através da visualização de dados. São consideradas as possibilidades da visualização como forma de explorar e/ou comunicar grandes conjuntos de dados, assim como formas de leituras que elas propiciam. São descritos alguns processos para produzir visualizações de dados e mostrados exemplos de visualizações usadas no jornalismo, além de descrições de ferramentas de software usadas no Jornalismo Guiado por Dados. Como conclusão principal, defende-se que a legitimação das táticas, assim como uma visão menos instrumentalista e determinista do computar e de outras tecnologias, colaboraria para que mais pessoas se aproveitem dos recursos do Jornalismo Guiado por Dados e das visualizações. / This dissertation looks at how journalism professionals, through everyday practices, appropriate artifacts and computational technologies to work with Data-Driven Journalism and, specifically, with data visualization. For this, we considered that it is in everyday life that technologies are appropriated for those who make use of them, and that this use leads technologies to a closure or stabilization, in which they are no longer perceived as a foreign element. We also consider the way people make use of artifacts as elements that construct identities. The main study subjects are six professionals that make use of artifacts and techniques related to Data-Driven Journalism in their everyday life. Through interviews and observations, we collected some ways through which people appropriate technology, and thus takes them to stabilization and build identities. The analysis of everyday practices would collaborate to a less instrumentalist approach in artifact design and technique teaching, thus legitimating the ways each person makes use of technologies. For a better understanding of those everyday practices, the concepts of "tactics" and "strategies" are introduced, in order to situate the everyday power relations and how people can subvert them, as well as concepts from the Science, Technology and Society studies – STS –, such as SCOT – social construction of technology – and technical codes, in order to analyze the processes that lead to the closure of technology. Relating these concepts to journalism, the neutral connotation of large data sets is analyzed and compared to the idea of technology neutrality. Data-Driven Journalism is then related to some taxonomies of journalistic genres and formats, and a brief history of computer use in journalism is presented to situate it within journalism and how journalism’s identities are constructed through technology consumed in daily life. In turn, is presented how journalistic products derived from large databases propose another type of relationship between journalism and the public, specifically through data visualization. We describe some possibilities of visualization as a way to explore and/or communicate large data sets, as well as some different ways of reading they provide. We also describe some processes and tools for producing data visualization in journalism, as well as some software tools used in Data-Driven Journalism. The major conclusion of this study is that legitimating tactics, as well as a less instrumentalist and determinist approach to computing and other technologies, would help more people in making use of the artifacts and techniques of Data-Driven Journalism and data visualization.

Os efeitos dos dados defeituosos sobre os resultados dos processos analíticos são notórios. Aprimorar a qualidade dos dados exige estabelecer alternativas a partir de vários métodos, técnicas e procedimentos disponíveis. O processo de Avaliação da Qualidade dos Dados - pAQD - provê relevantes insumos na definição da alternativa mais adequada por meio do mapeamento dos defeitos nos dados. Relevantes abordagens computacionais apoiam esse processo. Tais abordagens utilizam métodos quantitativos ou baseados em asserções que usualmente restringem o papel humano a interpretação dos seus resultados. Porém, o pAQD depende do conhecimento do contexto dos dados visto que é impossível confirmar ou refutar a presença de defeitos baseado exclusivamente nos dados. Logo, a supervisão humana é essencial para esse processo. Sistemas de visualização pertencem a uma classe de abordagens supervisionadas que podem tornar visíveis as estruturas dos defeitos nos dados. Apesar do considerável conhecimento sobre o projeto desses sistemas, pouco existe para o domínio da avaliação visual da qualidade dos dados. Isto posto, este trabalho apresenta duas contribuições. A primeira reporta uma taxonomia que descreve os defeitos relacionados aos critérios de qualidade da acuracidade, completude e consistência para dados estruturados e atemporais. Essa taxonomia seguiu uma metodologia que proporcionou a cobertura sistemática e a descrição aprimorada dos defeitos em relação ao estado-da-arte das taxonomias. A segunda contribuição reporta relacionamentos entre propriedades-defeitos que estabelecem que certas propriedades visuais-interativas são mais adequadas para a avaliação visual de certos defeitos em dadas resoluções de dados. Revelados por um estudo de caso múltiplo e exploratório, esses relacionamentos oferecem indicações que reduzem a subjetividade durante o projeto de sistemas de visualização de apoio a avaliação visual da qualidade dos dados. / The effects of poor data quality on the reliability of the outcomes of analytical processes are notorious. Improving data quality requires alternatives that combine procedures, methods, techniques and technologies. The Data Quality Assessment process - DQAp - provides relevant and practical inputs for choosing the most suitable alternative through a data defects mapping. Relevant computational approaches support this process. Such approaches apply quantitative or assertions-based methods that usually limit the human interpretation of their outcomes. However, the DQAp process strongly depends on data context knowledge since it is impossible to confirm or refute a defect based only on data. Hence, human supervision is essential throughout this process. Visualization systems belong to a class of supervised approaches that can make visible data defect structures. Despite their considerable design knowledge encodings, there is little support design to data quality visual assessment. Therefore, this work reports two contributions. The first reports a taxonomy that organizes a detailed description of defects on structured and timeless data related to the quality criteria of accuracy, completeness and consistency. This taxonomy followed a methodology which enabled a systematic coverage of data defects and an improved description of data defects in regard to state-of-art literature. The second contribution reports a set of property-defect relationships that establishes that certain visual and interactive properties are more suitable for visual assessment of certain data defects in a given data resolution. Revealed by an exploratory and multiple study case, these relationships provides implications that reduce the subjectivity in the visualization systems design for data quality visual assessment.