The aim of this master thesis was to gather and analyze the real-world XQuery programs. The data gathering process is performed using the crawler. The thesis contains analysis of different crawlers and the most suitable crawler was chosen. The crawler was modified, so that it did not overload servers, gathered the right data and was able to pause. Before the data gathering we analyzed where to start gathering and how long should it took. When the data was gathered, they needed to be cleaned and validated. The subjects of the analyses were use of the XQuery language and occurrences of XQuery grammar symbols. Combination of the XML representation of XQuery programs and XPath expressions for querying this representation was used to perform these analyses. XQConveror was used to create this XML representation. The main contributions of this thesis are the gathered data and the first real-world XQuery programs analysis.

The aim of this thesis was to gather and analyze the real-world XQuery programs. The data gathering process is usually performed using the crawler. Part of the thesis was to analyze different crawlers and to choose the most suitable one. The crawler was then modified, so it would not overload servers, gather the right data and be able to pause. Before main gathering two problems had to be solved - where to start the gathering and how long it will take. After the data were gathered, they were cleaned, corrected and validated. The subject of the analysis was usage of the XQuery language and its grammar symbols. We also analyzed the XML documents used by XQuery programs and outputs from the XQuery programs. The main contribution of this thesis is the amount of the gathered data (in comparison with other sources), as well as gathering XML documents which are being queried, using Analyzer for analyzing the real-world XQuery programs and running this real-world XQuery programs over gathered XML documents.

<p>U stvarnom životu većina informacija dolazi kao neprecizne ili<br />nepotpune vrednosti.&nbsp; XML tehnologija je napravila veliki<br />napredak u oblasti skladi&scaron;tenja i prenosa podataka.&nbsp; Doktorska<br />disertacija defini&scaron;e fazi XML sintaksu koja kombinuje neodređenosti<br />u vrednostima XML-a i neodređenosti u strukturi XML dokumenata.<br />Takođe, rad pro&scaron;iruje standardnu XQuery upitnu sintaksu fazi<br />elementima i uvodi prioritete i pragove zadovoljenja pomoću<br />GPFCSP-a. Za razliku od drugih radova koji se fokusiraju na<br />postavljanje teorija i definisanje sintaksi, rad posebnu pažnju<br />posvećuje praktičnoj upotrebi definisanih sintaksi. Za potrebe<br />istraživanja razvijen je softverski paket koji omogućava rad kako sa<br />standardnim, tako i sa fazi XML, XSD i DTD dokumentima, kao i<br />postavljanje i izvr&scaron;avanje prioritizovanih fazi XQuery upita. Alat je<br />testiran nad primerima iz prakse.</p> / <p>In real life, as opposed to virtual, most information comes in the<br />form of imprecise or incomplete values. XML&nbsp; technology has<br />made great progress in the field of storage and data transfer.<br />This doctoral dissertation&nbsp; developed XML extension which<br />combines&nbsp; indefiniteness in the values of XML and<br />indefiniteness in the structure of XML into a single fuzzy XML<br />extension. Furthermore,&nbsp; dissertation&nbsp; expands XQuery syntax<br />with fuzzy values and&nbsp; includes priorities and thresholds in<br />fuzzy XQuery extension using&nbsp; GPFCSP for the first time.<br />Unlike other papers that focus on setting up theories and<br />defining syntax, in this&nbsp; dissertation, special attention&nbsp; is turned<br />to their practical use. A tool for working with XML, XSD and<br />DTD documents and prioritized fuzzy XQuery extension<br />queries has been developed. The tool has been tested on<br />practical examples.</p>

Durant cette dernière décennie, la diffusion du format XML pour représenter les données générées par et échangées sur le Web a été accompagnée par la mise en œuvre de nombreux moteurs d’évaluation de requêtes et de mises à jour XQuery. Parmi ces moteurs, les systèmes « mémoire centrale » (Main-memory Systems) jouent un rôle très important dans de nombreuses applications. La gestion et l’intégration de ces systèmes dans des environnements de programmation sont très faciles. Cependant, ces systèmes ont des problèmes de passage à l’échelle puisqu’ils requièrent le chargement complet des documents en mémoire centrale avant traitement.Cette thèse présente une technique de partitionnement des documents XML qui permet aux moteurs « mémoire principale » d’évaluer des expressions XQuery (requêtes et mises à jour) pour des documents de très grandes tailles. Cette méthode de partitionnement s’applique à une classe de requêtes et mises à jour pertinentes et fréquentes, dites requêtes et mises à jour itératives.Cette thèse propose une technique d'analyse statique pour reconnaître les expressions « itératives ». Cette analyse statique est basée sur l’extraction de chemins à partir de l'expression XQuery, sans utilisation d'information supplémentaire sur le schéma. Des algorithmes sont spécifiés, utilisant les chemins extraits par l’étape précédente, pour partitionner les documents en entrée en plusieurs parties, de sorte que la requête ou la mise à jour peut être évaluée sur chaque partie séparément afin de calculer le résultat final par simple concaténation des résultats obtenus pour chaque partie. Ces algorithmes sont mis en œuvre en « streaming » et leur efficacité est validée expérimentalement.En plus, cette méthode de partitionnement est caractérisée également par le fait qu'elle peut être facilement implémentée en utilisant le paradigme MapReduce, permettant ainsi d'évaluer une requête ou une mise à jour en parallèle sur les données partitionnées. / With the widespread diffusion of XML as a format for representing data generated and exchanged over the Web, main query and update engines have been designed and implemented in the last decade. A kind of engines that are playing a crucial role in many applications are « main-memory » systems, which distinguish for the fact that they are easy to manage and to integrate in a programming environment. On the other hand, main-memory systems have scalability issues, as they load the entire document in main-memory before processing. This Thesis presents an XML partitioning technique that allows main-memory engines to process a class of XQuery expressions (queries and updates), that we dub « iterative », on arbitrarily large input documents. We provide a static analysis technique to recognize these expressions. The static analysis is based on paths extracted from the expression and does not need additional schema information. We provide algorithms using path information for partitioning the input documents, so that the query or update can be separately evaluated on each part in order to compute the final result. These algorithms admit a streaming implementation, whose effectiveness is experimentally validated. Besides enabling scalability, our approach is also characterized by the fact that it is easily implementable into a MapReduce framework, thus enabling parallel query/update evaluation on the partitioned data.

Konstanz, Univ., Diplomarb., 2005.

Made available in DSpace on 2014-06-12T15:53:43Z (GMT). No. of bitstreams: 2 arquivo1926_1.pdf: 4513686 bytes, checksum: 82857a9d1fda0d1383f9eae7c1258c95 (MD5) license.txt: 1748 bytes, checksum: 8a4605be74aa9ea9d79846c1fba20a33 (MD5) Previous issue date: 2009 / XML tornou-se o padrão de fato para troca de informações entre diversas fontes de dados e aplicações. Assim, sistemas de gerenciamento de bancos de dados XML nativos (SGBD XML nativos) têm se tornado peça fundamental na infra-estrutura de empresas que lidam com tal diversidade de fontes de dados e aplicações. Gestores do mundo corporativo estão sempre precisando de informações sobre seus negócios, para que possam tomar decisões de forma rápida e eficiente. Entretanto, as interfaces gráficas disponíveis para recuperar estas informações não demonstram preocupação com esta classe de usuários, disponibilizando apenas interfaces textuais que os obrigam a ter conhecimento nas linguagens de consulta para XML, mais especificamente a XQuery. Visando contribuir para a melhoria desta situação, este trabalho apresenta a ViXQueL, que é uma ferramenta web de abstração para acesso aos SGBD XML nativos, permitindo que usuários não especialistas recuperem informações de bases de dados sem conhecimento na linguagem de consulta XQuery. Esta abstração foi alcançada por meio de uma interface gráfica para criação de consultas visuais, que por sua vez são transformadas em consultas textuais na linguagem XQuery. Devido à extensividade e complexidade, o protótipo desenvolvido permite a criação de consultas que representam um subconjunto da XQuery. Para a primeira versão da ferramenta foram considerados e avaliados diversos SGBD XML nativos, sendo escolhido o Sedna, por sua completude de funcionalidades, além de ser open source. Com o intuito de formalizar o processo de transformação da ferramenta, foram utilizados conceitos de MDA na definição e implementação do processo de geração do código XQuery. Dois metamodelos foram especificados em Ecore, que é a implementação de metamodelagem do Eclipse Modeling Framework (EMF), para representar as consultas visuais e as consultas textuais. Além disso, foram implementados dois scripts, na linguagem Kermeta, para realizar as transformações necessárias entre instâncias destes metamodelos

Data query operations inside programming languages presently perform their functions through the use of domain-specific, declarative expressions and by way of course-grain, API library calls. These methods of operation are practiced by relational databases as well as semistructured XML data stores. Layers of translation, which are necessary to transform data and instructions from the domain of programming languages to data query systems, negtatively effect the performance of data query operations. Skuery resolves this impedance by adopting XML as a native data type with a native representation (SXML). Likewise, query operations are defined in a general purpose programming language (Scheme in this case) not in an external data query environment. Skuery increases programmer productivity by abstracting layers of translation and unifying computational and data query operations under the auspices of a general purpose programming language.

Durant cette derni��re d��cennie, la diffusion du format XML pour repr��senter les donn��es g��n��r��es par et ��chang��es sur le Web a ��t�� accompagn��e par la mise en ��uvre de nombreux moteurs d'��valuation de requ��tes et de mises �� jour XQuery. Parmi ces moteurs, les syst��mes " m��moire centrale " (Main-memory Systems) jouent un r��le tr��s important dans de nombreuses applications. La gestion et l'int��gration de ces syst��mes dans des environnements de programmation sont tr��s faciles. Cependant, ces syst��mes ont des probl��mes de passage �� l'��chelle puisqu'ils requi��rent le chargement complet des documents en m��moire centrale avant traitement.Cette th��se pr��sente une technique de partitionnement des documents XML qui permet aux moteurs " m��moire principale " d'��valuer des expressions XQuery (requ��tes et mises �� jour) pour des documents de tr��s grandes tailles. Cette m��thode de partitionnement s'applique �� une classe de requ��tes et mises �� jour pertinentes et fr��quentes, dites requ��tes et mises �� jour it��ratives.Cette th��se propose une technique d'analyse statique pour reconna��tre les expressions " it��ratives ". Cette analyse statique est bas��e sur l'extraction de chemins �� partir de l'expression XQuery, sans utilisation d'information suppl��mentaire sur le sch��ma. Des algorithmes sont sp��cifi��s, utilisant les chemins extraits par l'��tape pr��c��dente, pour partitionner les documents en entr��e en plusieurs parties, de sorte que la requ��te ou la mise �� jour peut ��tre ��valu��e sur chaque partie s��par��ment afin de calculer le r��sultat final par simple concat��nation des r��sultats obtenus pour chaque partie. Ces algorithmes sont mis en ��uvre en " streaming " et leur efficacit�� est valid��e exp��rimentalement.En plus, cette m��thode de partitionnement est caract��ris��e ��galement par le fait qu'elle peut ��tre facilement impl��ment��e en utilisant le paradigme MapReduce, permettant ainsi d'��valuer une requ��te ou une mise �� jour en parall��le sur les donn��es partitionn��es.

Durant cette dernière décennie, la diffusion du format XML pour représenter les données générées par et échangées sur le Web a été accompagnée par la mise en œuvre de nombreux moteurs d'évaluation de requêtes et de mises à jour XQuery. Parmi ces moteurs, les systèmes " mémoire centrale " (Main-memory Systems) jouent un rôle très important dans de nombreuses applications. La gestion et l'intégration de ces systèmes dans des environnements de programmation sont très faciles. Cependant, ces systèmes ont des problèmes de passage à l'échelle puisqu'ils requièrent le chargement complet des documents en mémoire centrale avant traitement.Cette thèse présente une technique de partitionnement des documents XML qui permet aux moteurs " mémoire principale " d'évaluer des expressions XQuery (requêtes et mises à jour) pour des documents de très grandes tailles. Cette méthode de partitionnement s'applique à une classe de requêtes et mises à jour pertinentes et fréquentes, dites requêtes et mises à jour itératives.Cette thèse propose une technique d'analyse statique pour reconnaître les expressions " itératives ". Cette analyse statique est basée sur l'extraction de chemins à partir de l'expression XQuery, sans utilisation d'information supplémentaire sur le schéma. Des algorithmes sont spécifiés, utilisant les chemins extraits par l'étape précédente, pour partitionner les documents en entrée en plusieurs parties, de sorte que la requête ou la mise à jour peut être évaluée sur chaque partie séparément afin de calculer le résultat final par simple concaténation des résultats obtenus pour chaque partie. Ces algorithmes sont mis en œuvre en " streaming " et leur efficacité est validée expérimentalement.En plus, cette méthode de partitionnement est caractérisée également par le fait qu'elle peut être facilement implémentée en utilisant le paradigme MapReduce, permettant ainsi d'évaluer une requête ou une mise à jour en parallèle sur les données partitionnées.

Darbe nagrinėjama plačiausiai praktikoje paplitusiems duomenų šaltiniams – reliacinėms duomenų bazėms ir XML dokumentams – skirtų užklausų kalbų - SQL, XQuery ir XPath - užklausų struktūra ir savybės. Remiantis analizės rezultatais, sudarytas bendrinis užklausų modelis, kurio paskirtis – padėti formuoti vartotojų užklausas nepriklausomai nuo to, kokiomis technologijomis realizuoti duomenų šaltiniai. Sukurto modelio praktinio taikomumo galimybėms pademonstruoti pateikta juo paremta paieškos sistemos kūrimo metodika. / The thesis presents the analysis of SQL, XQuery and XPath query languages that are intended for the most widely used data sources, namely relational databases and XML documents. Based on the results of the analysis, a generic query model has been developed. The model should serve to help compose user queries without the context of a specific data source implementation technology. The applicability of the model in practice is demonstrated by creating methods for search system development, based on this model.