[pt] Esta dissertação descreve uma ferramenta para teste e avaliação de algoritmos de alinhamento de esquemas a partir da criação de um conjunto de esquemas conceituais, populados com dados. A ferramenta, simplesmente chamada de Bench, possibilita a importação de qualquer conjunto de dados com um esquema conceitual bem definido e oferece facilidades para gerar variações deste esquema através de transformações que refletem alternativas de projeto comumente encontradas. Estas transformações de fato definem alinhamentos de referência entre o esquema original e suas variantes. O Bench permite ainda calcular o desempenho de um algoritmo de alinhamento de esquemas submetido para testes, comparando os alinhamentos de referência com os alinhamentos encontrados pelo algoritmo em teste. / [en] This dissertation describes a tool for generate benchmark data to test schema matching algorithms based on the creation of a set of conceptual schemas, populated with data. The tool, simply called Bench, allows importing any data set with a well-defined conceptual schema and offers facilities to generate variations of the schema through transformations that reflect structural alternatives found in typical conceptual modeling. Such transformations in fact define reference alignments between the original schema and its variations. Bench also permits evaluating the performance of the schema matching algorithm submitted for testing by comparing the reference alignments with those the algorithm under testing is able to find.

[pt] Os sistemas de busca textual fornecem aos usuários uma alternativa amigável para acessar datasets RDF (Resource Description Framework). A avaliação de desempenho de tais sistemas requer benchmarks adequados, consistindo de datasets RDF, consultas e respectivas respostas esperadas. No entanto, os benchmarks disponíveis geralmente possuem poucas consultas e respostas incompletas, principalmente porque são construídos manualmente com a ajuda de especialistas. A contribuição central desta tese é um método para construir benchmarks automaticamente, com um maior número de consultas e com respostas mais completas. O método proposto aplica-se tanto a consultas baseadas em palavras-chave quanto em linguagem natural e possui duas partes: geração de consultas e geração de respostas. A geração de consultas seleciona um conjunto de entidades relevantes, chamadas de indutores, e, para cada uma, heurísticas orientam o processo de extração de consultas relacionadas. A geração de respostas recebe as consultas produzidas no passo anterior e computa geradores de solução (SG), subgrafos do dataset original contendo diferentes respostas às consultas. Heurísticas também orientam a construção dos SGs evitando o desperdiço de recursos computacionais na geração de respostas irrelevantes. / [en] Text search systems provide users with a friendly alternative to access Resource Description Framework (RDF) datasets. The performance evaluation of such systems requires adequate benchmarks, consisting of RDF datasets, text queries, and respective expected answers. However, available benchmarks often have small sets of queries and incomplete sets of answers, mainly because they are manually constructed with the help of experts. The central contribution of this thesis is a method for building benchmarks automatically, with larger sets of queries and more complete answers. The proposed method works for both keyword and natural language queries and has two steps: query generation and answer generation. The query generation step selects a set of relevant entities, called inducers, and, for each one, heuristics guide the process of extracting related queries. The answer generation step takes the queries and computes solution generators (SG), subgraphs of the original dataset containing different answers to the queries. Heuristics also guide the construction of SGs, avoiding the waste of computational resources in generating irrelevant answers.