1 |
A New Method and Python Toolkit for General Access to Spatiotemporal N-Dimensional Raster DataHales, Riley Chad 29 March 2021 (has links)
Scientific datasets from global-scale scientific models and remote sensing instruments are becoming available at greater spatial and temporal resolutions with shorter lag times. These data are frequently gridded measurements spanning two or three spatial dimensions, the time dimension, and often several data dimensions which vary by the specific dataset. These data are useful in many modeling and analysis applications across the geosciences. Unlike vector spatial datasets, raster spatial datasets lack widely adopted conventions in file formats, data organization, and dissemination mechanisms. Raster datasets are often saved using the Network Common Data Format (NetCDF), Gridded Binary (GRIB), Hierarchical Data Format (HDF), or Geographic Tagged Image File Format (GeoTIFF) file formats. Several of these are entirely or partially incompatible with common GIS software which introduces additional complexity in extracting values from these datasets. We present a method and companion Python package as a general-purpose tool for extracting time series subsets from these files using various spatial geometries. This method and tool enable efficient access to multidimensional data regardless of the format of the data. This research builds on existing file formats and software rather than suggesting new alternatives. We also present an analysis of optimizations and performance.
|
2 |
Delikvence mládeže a její hodnotové souvislosti / Juvenile delinquency and its moral aspectsPrůšová, Barbora January 2014 (has links)
This thesis is focused on analysis of youth delinquency in terms of Per-Olof H. Wikström's Situational Action Theory or rather modelling data relating to this area of research International Self-Report Delinquency Study 3. The main aim of the thesis is to introduce and evaluate this theoretical-empirical model for the explanation of youth delinquency. The work is split into three main parts - theoretical, methodological and empirical. First one consists of the definition of basic concepts and show Wikström' s 'situational action theory applied to the delinquency topic. In methodological part there is a description of ISRD-3 survey, basic indicators of sample and data collection methods used. And then there is an explanation how operationalization of individual explanatory variables in the model was done. Empirical part is dedicated to multidimensional analysis of data and evaluation of this concept. The results demonstrate the success of the analytical model and its application as a default theory in the examination of youth delinquency.
|
3 |
Delikvence mládeže a její hodnotové souvislosti / Juvenile delinquency and its moral aspectsPrůšová, Barbora January 2014 (has links)
This thesis is focused on analysis of youth delinquency in terms of Per-Olof H. Wikström's Situational Action Theory or rather modelling data relating to this area of research International Self-Report Delinquency Study 3. The main aim of the thesis is to introduce and evaluate this theoretical-empirical model for the explanation of youth delinquency. The work is split into three main parts - theoretical, methodological and empirical. First one consists of the definition of basic concepts and show Wikström' s 'situational action theory applied to the delinquency topic. In methodological part there is a description of ISRD-3 survey, basic indicators of sample and data collection methods used. In empirical part is an explanation how operationalization of individual explanatory variables in the model was done. This part is also dedicated to multidimensional analysis of data and evaluation of this concept. The results demonstrate the success of the analytical model and its application as a default theory in the examination of youth delinquency. Key words: youth delinquency, Situational Action Theory, multidimensional data analysis
|
4 |
Explanatory visualization of multidimensional prejections / Visualização explanatória de projeções multidimensionaisMartins, Rafael Messias 11 March 2016 (has links)
Visual analytics tools play an important role in the scenario of big data solutions, combining data analysis and interactive visualization techniques in effective ways to support the incremental exploration of large data collections from a wide range of domains. One particular challenge for visual analytics is the analysis of multidimensional datasets, which consist of many observations, each being described by a large number of dimensions, or attributes. Finding and understanding data-related patterns present in such spaces, such as trends, correlations, groups of related observations, and outliers, is hard. Dimensionality reduction methods, or projections, can be used to construct low (two or three) dimensional representations of high-dimensional datasets. The resulting representation can then be used as a proxy for the visual interpretation of the high-dimensional space to efficiently and effectively support the above-mentioned data analysis tasks. Projections have important advantages over other visualization techniques for multidimensional data, such as visual scalability, high degree of robustness to noise and low computational complexity. However, a major obstacle to the effective practical usage of projections relates to their difficult interpretation. Two main types of interpretation challenges for projections are studied in this thesis. First, while projection techniques aim to preserve the so-called structure of the original dataset in the final produced layout, and effectively achieve the proxy effect mentioned earlier, they may introduce a certain amount of errors that influence the interpretation of their results. However, it is hard to convey to users where such errors occur in the projection, how large they are, and which specific data-interpretation aspects they affect. Secondly, interpreting the visual patterns that appear in the projection space is far from trivial, beyond the projections ability to show groups of similar observations. In particular, it is hard to explain these patterns in terms of the meaning of the original data dimensions. In this thesis we focus on the design and development of novel visual explanatory techniques to address the two interpretation challenges of multidimensional projections outlined above. We propose several methods to quantify, classify, and visually represent several types of projection errors, and how their explicit depiction helps interpreting data patterns. Next we show how projections can be visually explained in terms of the highdimensional data attributes, both in a global and a local way. Our proposals are designed to be easily added, and used with, any projection technique, and in any application context using such techniques. Their added value is demonstrated by presenting several exploration scenarios involving various types of multidimensional datasets, ranging from measurements, scientific simulations, software quality metrics, software system structure, and networks. / Ferramentas de análise visual desempenham um papel importante no cenário de soluções para grandes volumes de dados (big data), combinando análise de dados e técnicas interativas de visualização de forma eficaz para apoiar a exploração incremental de coleções de dados em diversos domínios. Um desafio importante em análise visual é a exploração de conjuntos de dados multidimensionais, que consistem em muitas observações, sendo cada uma descrita por um grande número de dimensões, ou atributos. Encontrar e compreender os padrões presentes em tais espaços, tais como tendências, correlações, grupos de observações relacionadas e valores extremos, é difícil. Técnicas de redução de dimensionalidade ou projeções são utilizadas para construir, a partir de conjuntos de dados multidimensionais, representações de duas ou três dimensões que podem então ser utilizadas com substitutas do espaço original para sua interpretação visual, apoiando de forma eficiente as tarefas de análise de dados acima mencionadas. Projeções apresentam vantagens importantes sobre outras técnicas de visualização para dados multidimensionais, tais como escalabilidade visual, resistência a ruídos e baixa complexidade computacional. No entanto, um grande obstáculo para o uso prático de projeções vem da sua difícil interpretação. Dois principais tipos de desafios de interpretação de projeções são estudados nesta tese. Em primeiro lugar, mesmo que as técnicas de projeção tenham como objetivo preservar, na representação final, a estrutura do conjunto de dados original, elas podem introduzir uma certa quantidade de erros que influenciam a interpretação dos seus resultados. No entanto, é difícil transmitir aos usuários onde tais erros ocorrem na projeção, quão severos eles são e que aspectos específicos da interpretação dos dados eles afetam. Em segundo lugar, interpretar os padrões visuais que aparecem em uma projeção, além da percepção de grupos de observações semelhantes, está longe de ser trivial. Em particular, é difícil explicar tais padrões em termos do significado das dimensões dos dados originais. O trabalho desenvolvido nesta tese concentra-se no projeto e desenvolvimento de novas técnicas visuais explicativas para lidar com os dois desafios de interpretação de projeções multidimensionais descritos acima. São propostos alguns métodos para quantificar, classificar e representar visualmente diversos tipos de erros de projeção, e é descrito como essas representações explícitas ajudam na interpretação dos padrões dos dados. Além disso, também são propostas técnicas visuais para explicar projeções em termos dos atributos dos dados multidimensionais, tanto de forma global quanto local. As propostas apresentadas foram concebidas para serem facilmente incorporadas e usadas com qualquer técnica de projeção e em qualquer contexto de aplicação. As contribuições são demonstradas pela apresentação de vários cenários de exploração, envolvendo vários tipos de conjuntos de dados multidimensionais, desde medições e simulações científicas até métricas de qualidade de software, estruturas de sistema de software e redes.
|
5 |
Mapas auto - organizáveis de kohonen(SOM) aplicados na avaliação dos parâmetros da qualidade da água / Self - organizing maps of Kohonen (SOM) applied in the evaluation of parameters of water qualityAffonso, Gustavo Souza 16 August 2011 (has links)
A atual crescente necessidade de análise de coleções de dados cada vez mais complexas e extensas, nas diversas áreas da investigação científica, tem permitido o desenvolvimento de novas ferramentas para a melhoria da percepção de informações que nem sempre são explícitas e visíveis. Estudos de ferramentas matemáticas que propiciem o destaque de algumas destas informações, ou que inteligentemente reconheçam padrões associados aos diferentes conjuntos de dados, têm demonstrado resultados promissores. No entanto, o sucesso da escolha da metodologia apropriada para a análise dos dados, está vinculado a vários fatores como: a tecnologia disponível para a prospecção destes dados, a adequada coleta e seleção das amostras, e principalmente, a capacidade do pesquisador em interagir com a nova tecnologia de exploração. No presente projeto, é proposta uma metodologia de análise multidimensional dos dados de unidades de gerenciamento de recursos hídricos UGRHIs, localizadas no estado de São Paulo, por meio das redes neurais SOM (Mapas Auto-Organizáveis). Estes mapas são utilizados para estudar e visualizar possíveis correlações entre as diversas variáveis deste banco de dados relativas à análise de compostos inorgânicos e parâmetros físico químicos referentes à qualidade da água nestas unidades. / The current increasingly need for data analysis on larger and more complex data collections, in many different areas of scientific research, has induced the development of new tools for the perception improvement of information that not always is explicit and visible at first. Studies of mathematical tools which could enable the highlight of some of this information, or should intelligently recognize patterns associated with these different data collection, have been showing promising results. However, the success of the choice of the appropriate analysis method is associated with several factors: the available technology for this data exploration, the correct gathering and selection of samples, and mainly, the researcher ability to interact with the new exploration technology. In this project we propose a methodology for analyzing multidimensional data from Water Resources Management Units (WRMUs), which are located in São Paulo state, through Self - Organizing Maps (SOM) neural networks. These maps are used to study and visualize possible correlations between the different variables existent in this database, which are derived from analysis of inorganic and physical - chemical parameters related to WRMUs water quality
|
6 |
Mapas auto - organizáveis de kohonen(SOM) aplicados na avaliação dos parâmetros da qualidade da água / Self - organizing maps of Kohonen (SOM) applied in the evaluation of parameters of water qualityGustavo Souza Affonso 16 August 2011 (has links)
A atual crescente necessidade de análise de coleções de dados cada vez mais complexas e extensas, nas diversas áreas da investigação científica, tem permitido o desenvolvimento de novas ferramentas para a melhoria da percepção de informações que nem sempre são explícitas e visíveis. Estudos de ferramentas matemáticas que propiciem o destaque de algumas destas informações, ou que inteligentemente reconheçam padrões associados aos diferentes conjuntos de dados, têm demonstrado resultados promissores. No entanto, o sucesso da escolha da metodologia apropriada para a análise dos dados, está vinculado a vários fatores como: a tecnologia disponível para a prospecção destes dados, a adequada coleta e seleção das amostras, e principalmente, a capacidade do pesquisador em interagir com a nova tecnologia de exploração. No presente projeto, é proposta uma metodologia de análise multidimensional dos dados de unidades de gerenciamento de recursos hídricos UGRHIs, localizadas no estado de São Paulo, por meio das redes neurais SOM (Mapas Auto-Organizáveis). Estes mapas são utilizados para estudar e visualizar possíveis correlações entre as diversas variáveis deste banco de dados relativas à análise de compostos inorgânicos e parâmetros físico químicos referentes à qualidade da água nestas unidades. / The current increasingly need for data analysis on larger and more complex data collections, in many different areas of scientific research, has induced the development of new tools for the perception improvement of information that not always is explicit and visible at first. Studies of mathematical tools which could enable the highlight of some of this information, or should intelligently recognize patterns associated with these different data collection, have been showing promising results. However, the success of the choice of the appropriate analysis method is associated with several factors: the available technology for this data exploration, the correct gathering and selection of samples, and mainly, the researcher ability to interact with the new exploration technology. In this project we propose a methodology for analyzing multidimensional data from Water Resources Management Units (WRMUs), which are located in São Paulo state, through Self - Organizing Maps (SOM) neural networks. These maps are used to study and visualize possible correlations between the different variables existent in this database, which are derived from analysis of inorganic and physical - chemical parameters related to WRMUs water quality
|
7 |
Visualizing multidimensional data similarities: improvements and applications / Visualizando similaridades em dados multidimensionais: melhorias e aplicaçõesSilva, Renato Rodrigues Oliveira da 05 December 2016 (has links)
Multidimensional datasetsare increasingly more prominent and important in data science and many application domains. Such datasets typically consist of a large set of observations, or data points, each which is described by several measurements, or dimensions. During the design of techniques and tools to process such datasets, a key component is to gather insights into their structure and patterns, a goal which is targeted by multidimensional visualization methods. Structures and patterns of high-dimensional data can be described, at a core level, by the notion of similarity of observations. Hence, to visualize such patterns, we need effective and efficient ways to depict similarity relations between a large number of observations, each having a potentially large number of dimensions. Within the realm of multidimensional visualization methods, two classes of techniques exist projections and similarity trees which effectively capture similarity patterns and also scale well to the number of observations and dimensions of the data. However, while such techniques show similarity patterns, understanding and interpreting these patterns in terms of the original data dimensions is still hard. This thesis addresses the development of visual explanatory techniques for the easy interpretation of similarity patterns present in multidimensional projections and similarity trees, by several contributions. First, we proposemethodsthat make the computation of similarity treesefficient for large datasets, and also allow their visual explanation on a multiscale, or several levels of detail. We also propose ways to construct simplified representations of similarity trees, thereby extending their visual scalability even further. Secondly, we propose methods for the visual explanation of multidimensional projections in terms of automatically detected groups of related observations which are also automatically annotated in terms of their similarity in the high-dimensional data space. We show next how these explanatory mechanismscan be adapted to handle both static and time-dependent multidimensional datasets. Our proposed techniques are designed to be easy to use, work nearly automatically, handle any typesof quantitativemultidimensional datasets and multidimensional projection techniques, and are demonstrated on a variety of real-world large datasets obtained from image collections, text archives, scientific measurements, and software engineeering. / Conjuntos de dados multidimensionais são cada vez mais proeminentes e importantes em data science e muitos domínios de aplicação. Esses conjuntos de dados são tipicamente constituídos de um grande número de observações, ou objetos, cada qual descrito por várias medidas, ou dimensões. Durante o projeto de técnicas e ferramentas para processar tais dados, um dos focos principais é prover meios para análise e levantamento de hipóteses a partir das principais estruturas e padrões. Esse objetivo é perseguido por métodos de visualização multidimensional. Estruturas e padrões em dados multidimensionais podem ser descritos, em linhas gerais, pela noção de similaridade das observações. Portanto, para visualizar esses padrões, precisamos de meios efetivos e eficientes para retratar relações de similaridade dentre um grande número de observações, que potencialmente possuem um grande número de dimensões cada. No contexto dos métodos de visualização multidimensional, existem duas categorias de técnicas projeções e árvores de similaridade que efetivamente capturam padrões de similaridade e oferecem boa escalabilidade, tanto para o número de observações e quanto de dimensões. No entanto, embora essas técnicas exibam padrões de similaridade, o entendimento e interpretação desses padrões, em termos das dimensões originais dos dados, ainda é difícil. O trabalho desenvolvido nessa tese visa o desenvolvimento de técnicas explicativas para a fácil interpretação de padrões de similaridade presentes em projeções multidimensionais e árvores de similaridade. Primeiro, propomos métodos que possibilitam a computação eficiente de árvores de similaridade para grandes conjuntos de dados, e também a sua explicação visual em multiescala, ou seja, em vários níveis de detalhe. Também propomos modos de construir representações simplificadas de árvores de similaridade, e desse modo estender ainda mais a sua escalabilidade visual. Segundo, propomos métodos para explicar visualmente projeções multidimensionais em termos de grupos de observações relacionadas, detectadas e anotadas automaticamente para explicitar aspectos de sua similaridade no espaço de alta dimensionalidade. Mostramos em seguida como esses mecanismos explicativos podem ser adaptados para lidar com dados de natureza estática e dependentes no tempo. Nossas técnicas sã construídas visando fácil utilização, funcionamento semi automático, aplicação em quaisquer tipos de dados multidimensionais quantitativos e quaisquer técnicas de projeção multidimensional. Demonstramos a sua utilização em uma variedade de conjuntos de dados reais, obtidos a partir de coleções de imagens, arquivos textuais, medições científicas e de engenharia de software.
|
8 |
Implementation Of X-tree With 3d Spatial Index And Fuzzy Secondary IndexKeskin, Sinan 01 December 2010 (has links) (PDF)
Multidimensional datasets are getting more extensively used in Geographic
Information Systems (GIS) applications in recent years. Due to large volume of these
datasets efficient querying becomes a significant problem. For this purpose, before
creating index structure with these enormous datasets, choosing an efficient index
structure is an urgent necessity.
The aim of this thesis is to develop an efficient, flexible and extendible index
structure which comprises 3D spatial data in primary index and fuzzy attributes in
secondary index. These primary and secondary indexes are handled in a coupled
structure. Firstly, a 3D spatial primary index is built by using X-tree structure, and
then a fuzzy secondary index is overlaid over the X-tree structure. The coupled
structure is shown more efficient on a certain class of queries than uncoupled index
structures comprising 3D spatial data in primary index and fuzzy attributes in
secondary index separately. In uncoupled index structure, we provided 3D spatial
primary index by using X-tree index structure and fuzzy secondary index by using
BPlusTree index structure.
|
9 |
Atgalinio klaidos sklidimo neuroninio tinklo realizavimo problemos ir taikymai / Realization and application of the error back propagation type neural networkVerbylaitė, Laura 24 September 2008 (has links)
Šiame magistriniame darbe išanalizuota dirbtinių neuroninių tinklų teorija. Detaliai išnagrinėtas atgalinio klaidos sklidimo algoritmas. Pagal jį parašytos programos: C++ kalba ir Matlab sistemoje su siūlomais neuroninių tinklų konstravimo įrankiais. Lyginant programas atlikti tyrimai su irisų ir vyno atpažinimo duomenimis. Tyrimo metu ištirti ir paanalizuoti daugiasluoksniai neuroniniai tinklai su paslėptais vienu ir dviem sluoksniais. / This paper offers a profound research the theory of artificial neural network. It gives a deep analysis of error back propagation and provides error back propagation program written in C++ language and Matlab system with relevant neural network construction tools. To compare both programs I carried out research of wines recognition data and irises data. Analyzed feedforward neural network with hidden one and two layers.
|
10 |
LLE algoritmo taikymas daugiamačiams duomenims vizualizuoti / Application of LLE algorithm for visualization of multidimensional dataBaltrušaitis, Vytautas 30 June 2009 (has links)
Šiame darbe buvo tiriama LLE algoritmo darbo kokybės priklausomybė nuo vienintelio tam įtakos turinčio parametro, tai taško kaimynų naudojamų skaičiavimams skaičiaus k. Taip pat buvo tiriamas keturių topologijos išlaikymo įverčių: Spirmano koeficiento, liekamosios dispersijos, DS paklaidos ir Prokrusto analizės tinkamumas LLE algoritmo darbo rezultatų kokybės įvertinimui, ir galimybė panaudojant juos parinkti geriausias taško kaimynų naudojamų skaičiavimuose skaičiaus k reikšmes, ar reikšmių intervalus. Tyrimai atlikti naudojant MATLAB 7.1programinę terpę. / The paper Application of LLE algorithm for visualization of multidimensional data deals with locally linear embedding (LLE) algorithm's quality of work dependence on number of nearest neighbors k used in calculations. In it four topology preservation measures: Spearman coefficient, residual variance, MDS errors and Procrustes analysis have also been tested. Their suitability for the algorithm’s quality of work assessment, and the possibility of using them to select the best number or ranges of values of nearest neighbors k used in calculations. Investigations were carried out using MATLAB 7.1 software.
|
Page generated in 0.1204 seconds