Existe uma necessidade latente de pesquisar, filtrar e manipular informações disponíveis em diversos formatos irregulares, entre elas as informações distribuídas na WWW (World Wide Web). Esses tipos de dados são semi-estruturados, pois não possuem uma estrutura explícita e regular, o que dificulta sua manipulação. Este trabalho apresenta como proposta o projeto de uma ferramenta para realizar a extração semântica e semi-automática de dados semi-estruturados. O usuário especifica, através de uma interface visual, um exemplo da estrutura hierárquica do documento e de seu relacionamento com os conceitos da ontologia, gerando uma gramática descritiva da estrutura implícita do mesmo. A partir dessa gramática, a ferramenta realiza a extração dos próximos documentos de forma automática, reestruturando o resultado em um formato regular de dados, neste caso, XML (eXtensible Markup Language). Além da conceituação do método de extração, são apresentados os experimentos realizados com o protótipo da ferramenta, bem como, os resultados obtidos nestes experimentos. Para a construção desta ferramenta, são analisadas características de outros métodos que constituem o estado da arte em extração de dados semi-estruturados.

Este trabalho descreve a especificação e implementação do protótipo Assistente de Feedback que ajuda os usuários a ajustarem os parâmetros do serviço de filtragem de mensagens vindas do correio eletrônico de sistemas como o Direto. O Assistente de Feedback é instalado no computador do usuário do Direto para monitorar suas preferências representadas pelas ações aplicadas nas mensagens do correio eletrônico. O trabalho apresenta, ainda, uma revisão bibliográfica sobre os conceitos gerais de probabilidades, redes Bayesianas e classificadores. Procura-se descrever as características gerais dos classificadores, em especial o Naive Bayes, sua lógica e seu desempenho comparado a outros classificadores. São abordados, também, conceitos relacionados ao modelo de perfil de usuário e o ambiente Direto. O Naive Bayes torna-se atraente para ser utilizado no Assistente de Feedback por apresentar bom desempenho sobre os demais classificadores e por ser eficiente na predição, quando os atributos são independentes entre si. O Assistente de Feedback utiliza um classificador Naive Bayes para predizer as preferências por intermédio das ações do usuário. Utiliza, também, pesos que representarão a satisfação do usuário para os termos extraídos do corpo da mensagem. Esses pesos são associados às ações do usuário para estimar os termos mais interessantes e menos interessantes, pelo valor de suas médias finais. Quando o usuário desejar alterar os filtros de mensagens do Direto, ele solicita ao Assistente de Feedback sugestões para possíveis exclusões dos termos menos interessantes e as possíveis inclusões dos termos mais interessantes. O protótipo é testado utilizando dois métodos de avaliação para medir o grau de precisão e o desempenho do Assistente de Feedback. Os resultados obtidos na avaliação de precisão apresentam valores satisfatórios, considerando o uso de cinco classes pelo classificador do Assistente de Feedback. Os resultados dos testes de desempenho permitem observar que, se forem utilizadas máquinas com configurações mais atualizadas, os usuários conseguirão receber sugestões com tempo de respostas mais toleráveis.

Extração de dados é o processo utilizado para obter e estruturar informações disponibilizaadas em documentos semi-estruturados (ex.: páginas da Web). A importâmncia da extrtação de dados vem do fato que, uma vez extraídos, os dados podem ser armazenados e manipulados em uma forma estruturada. Dentre as abordagens existentes para extração de dados, existe a abordagem de extração baseada em ontologias. Nesta abordagem, ontologias são preciamente criadas para descrever um domínio de interesse, gerando um modelo conceitual enriquecido com informações necessárias para extração de dados das fontes semi-estruturadas. A ontologia é utilizada como guia ara um programa (¨parser¨) que executa a extração de dados dos documentos ou páginas fornecidos como enetrada. Oprocesso de criação da ontologia não é uma tarefa trtivial e requer um cuidado trabalho ee análise dos documentos ou páginas fontes dos dados. Este trabalho é feito manualmente por usuários especialistas no domínio de interesse da ontologia. Entretanto, em algumas situações os dados que se desejam extrair estão modelados em bancos de dados relacionais. Neste caso, o modelo realcional do banco de dados por ser utilizado para constrtução do modelo conceitual na ontologia. As instâncias dos dados armazenados neste mesmo banco podem ajudar a gerar as informações sobre conteúdo e formato dos dados a serem extraídos. Estas informações sobre conteúdo e formato de dados, na ontologia, são representadas por expressões regulares e estão inseridas nos chamados "data frames". O objetivo deste trabalho é apresentar um método para criação semi-automática de ontologias de extração a partir das informações em um banco de dados já existente. O processo é baseado na engenharia reversa do modelo relacional para o modelo conceitual da ontologia combinada com a análise das instâncias dos dados para geração das expressões regulares nos "data frames".

Visibilidade Web é a área de estudo das medidas de visibilidade de organizações, termos ou documentos na web, sendo um dos campos de pesquisa da ciência de Webmetria. Neste trabalho, uma fórmula para o cálculo de visibilidade na web é proposta, baseando-se na visão proporcionada por diferentes motores de busca. O resultado final é um indicador de Visibilidade Web para universidades. São apresentados e analisados rankings de universidades do mundo todo encontrados na web, tais como o ARWU, o WR e o THE. Tais rankings trabalham com indicadores compostos, mas abordam a questão da visibilidade na rede de maneiras diferentes. Também são discutidos alguns trabalhos recentes no campo de Visibilidade Web. O indicador elaborado baseia-se na classificação do site oficial da universidade nos buscadores como meio de pontuar a visibilidade, valendo-se de metabusca. Um método de fusão de rankings é utilizado para a pontuação. Siglas de universidades brasileiras foram submetidas ao cálculo de visibilidade e classificadas, mostrando uma aplicação da fórmula no mundo real. Dois rankings foram construídos, um deles apontando falhas no método proposto e o segundo contornando o problema encontrado, apresentando uma classificação justa, coerente com a realidade e com outros rankings de universidades brasileiras. A principal contribuição do trabalho é a definição de um indicador de visibilidade na web que mostra como são classificadas as instituições através dos principais pontos de entrada da rede: os motores de busca. / Web Visibility is the area of study of visibility measures of organizations, terms or documents on the web, one of the fields of the Webmetrics science. In this work, a formula for the calculation of visibility on the web is proposed, based on the vision provided by different search engines. The result is an indicator of Web Visibility for universities. In related works section are presented and analyzed rankings of universities around the world from the web, such as ARWU, WR and THE. Such rankings work with composite indicators, but address the issue of visibility on the network in different ways. Also are covered some resent works in the field of Web Visibility. The indicator developed is based on the classification of the universities’ official website in search engines as a means of scoring the visibility, using a metasearch engine. A method of rankings fusion is used for the scoring process. Acronyms of Brazilian universities were subjected to the calculation of visibility and classified, showing an application of the formula in the real world. Two rankings were built, one of them pointing out flaws in the proposed method and another solving the problem encountered with a fair rating, consistent with reality and with other rankings of universities. The main contribution of this work is a Web Visibility indicator that shows how the institutions are classified by the main entry points of the network: the search engines.

Agências de fomento à pesquisa, centros de pesquisas, universidades e a comunidade científica de uma forma geral buscam incessantemente pelo aperfeiçoamento e aumento da qualidade da produção científica de seus pesquisadores. Logo, faz-se necessário que sejam providas ferramentas e métodos eficazes para obtenção de avaliações coerentes. Vários métodos têm sido propostos ao longo dos anos e diferentes formas de avaliação vêm sendo empregadas em órgãos reguladores, como a agência brasileira de pós-graduação CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), todavia algumas questões ainda foram pouco exploradas. Com o advento do índice h (hindex) de Hirsch, que une fundamentalmente quantidade com qualidade, pois avalia um conjunto de artigos de acordo com sua distribuição de citações, uma série de estudos com as mais variadas estatísticas têm sido propostos. Contudo, não há na literatura atual, por exemplo, uma expressão analítica para distribuição de índices h de um grupo de pesquisadores, nem a verificação da existência de universalidade desta distribuição para diferentes grupos e bases de dados. Este trabalho aborda, num primeiro momento, um estudo sobre a distribuição de índice h e de citações em três áreas científicas distintas: física, biologia e ciência da computação, que possuem diferentes práticas de publicações e métodos de pesquisa. O trabalho ainda propõe uma nova métrica para construção de rankings baseado no índice h sucessivo de segunda ordem, por nós denominada s-index, o qual torna possível a comparação entre grupos de pesquisadores de tamanhos diferentes, assim proporcionando, por exemplo, uma comparação em termos de produtividade de grupos com grande quantidade de pesquisadores e grupos menores, mas que ainda assim reflita seus potenciais de produção. Por fim, é realizado estudo da correlação entre o s-index desenvolvido no trabalho e a classificação de cursos de mestrado e doutorado recomendados e reconhecidos realizada pela CAPES, usando dados de pesquisadores de programas de pós-graduação em física e biologia. As abordagens apresentadas podem ser usadas na classificação de grupos de pesquisadores, a partir de uma visão quantitativa, tentando eliminar, assim, métodos qualitativos de avaliação de difícil generalização e replicação. / Research financing agencies, research centers, universities and the scientific community are frequently seeking for improvement and enhancement on the quality of researchers’ work. Therefore, it is necessary to provide optimized tools and methods to get consistent evaluations. Several methods have been proposed over the years and different forms of evaluation are used by agencies such as Coordination for the Improvement of Higher Level Personnel (Capes), although some issues have been overlooked. With the invention of the h-index (Hirsch), that binds quantity with quality by measuring a set of papers according to their citation distribution, many studies have been considered with several different statistical methods. In the current literature, it is not found an analytical expression for h-index distribution over a researchers’ group, nor the proof of universality in this kind of distribution for different groups and databases. This master thesis discusses primarily a study about h-index distribution and citations in three distinct scientific fields: physics, biology and computer science, which has different publication and research practices. Also, it is proposed a novel metric for ranking based on successive h-index, named as s-index, which makes possible to compare researchers’ groups with different sizes, providing for example, a comparison in terms of productivity on higher and smaller groups of researchers, reflecting their skills on scientific production. A correlation study is conducted in order to compare the s-index, developed in this thesis, with the classification of post-graduation courses performed by Capes, using data from postgraduation researchers in physics and biology. The approaches presented can be used to classify researchers’ groups through a quantitative view, by eliminating some qualitative evaluations that are hardly generalizable and replicable.

Extração de dados é o processo utilizado para obter e estruturar informações disponibilizaadas em documentos semi-estruturados (ex.: páginas da Web). A importâmncia da extrtação de dados vem do fato que, uma vez extraídos, os dados podem ser armazenados e manipulados em uma forma estruturada. Dentre as abordagens existentes para extração de dados, existe a abordagem de extração baseada em ontologias. Nesta abordagem, ontologias são preciamente criadas para descrever um domínio de interesse, gerando um modelo conceitual enriquecido com informações necessárias para extração de dados das fontes semi-estruturadas. A ontologia é utilizada como guia ara um programa (¨parser¨) que executa a extração de dados dos documentos ou páginas fornecidos como enetrada. Oprocesso de criação da ontologia não é uma tarefa trtivial e requer um cuidado trabalho ee análise dos documentos ou páginas fontes dos dados. Este trabalho é feito manualmente por usuários especialistas no domínio de interesse da ontologia. Entretanto, em algumas situações os dados que se desejam extrair estão modelados em bancos de dados relacionais. Neste caso, o modelo realcional do banco de dados por ser utilizado para constrtução do modelo conceitual na ontologia. As instâncias dos dados armazenados neste mesmo banco podem ajudar a gerar as informações sobre conteúdo e formato dos dados a serem extraídos. Estas informações sobre conteúdo e formato de dados, na ontologia, são representadas por expressões regulares e estão inseridas nos chamados "data frames". O objetivo deste trabalho é apresentar um método para criação semi-automática de ontologias de extração a partir das informações em um banco de dados já existente. O processo é baseado na engenharia reversa do modelo relacional para o modelo conceitual da ontologia combinada com a análise das instâncias dos dados para geração das expressões regulares nos "data frames".

A deduplicação consiste na tarefa de identificar quais objetos (registros, documentos, textos, etc.) são potencialmente os mesmos em uma base de dados (ou em um conjunto de bases de dados). A identificação de dados duplicados depende da intervenção do usuário, principalmente para a criação de um conjunto contendo pares duplicados e não duplicados. Tais informações são usadas para ajudar na identificação de outros possíveis pares duplicados presentes na base de dados. Em geral, quando a deduplicação é estendida para grandes conjuntos de dados, a eficiência e a qualidade das duplicatas dependem diretamente do “ajuste” de um usuário especialista. Nesse cenário, a configuração das principais etapas da deduplicação (etapas de blocagem e classificação) demandam que o usuário seja responsável pela tarefa pouco intuitiva de definir valores de limiares e, em alguns casos, fornecer pares manualmente rotulados. Desse modo, o processo de calibração exige que o usuário detenha um conhecimento prévio sobre as características específicas da base de dados e os detalhes do funcionamento do método de deduplicação. O objetivo principal desta tese é tratar do problema da configuração da deduplicação de grandes bases de dados, de modo a reduzir o esforço do usuário. O usuário deve ser somente requisitado para rotular um conjunto reduzido de pares automaticamente selecionados. Para isso, é proposta uma metodologia, chamada FS-Dedup, que incorpora algoritmos do estado da arte da deduplicação para permitir o processamento de grandes volumes de dados e adiciona um conjunto de estratégias com intuito de possibilitar a definição dos parâmetros do deduplicador, removendo os detalhes de configuração da responsabilidade do usuário. A metodologia pode ser vista como uma camada capaz de identificar as informações requisitadas pelo deduplicador (principalmente valores de limiares) a partir de um conjunto de pares rotulados pelo usuário. A tese propõe também uma abordagem que trata do problema da seleção dos pares informativos para a criação de um conjunto de treinamento reduzido. O desafio maior é selecionar um conjunto reduzido de pares suficientemente informativo para possibilitar a configuração da deduplicação com uma alta eficácia. Para isso, são incorporadas estratégias para reduzir o volume de pares candidatos a um algoritmo de aprendizagem ativa. Tal abordagem é integrada à metodologia FS-Dedup para possibilitar a remoção da intervenção especialista nas principais etapas da deduplicação. Por fim, um conjunto exaustivo de experimentos é executado com objetivo de validar as ideias propostas. Especificamente, são demonstrados os promissores resultados alcançados nos experimentos em bases de dados reais e sintéticas, com intuito de reduzir o número de pares manualmente rotulados, sem causar perdas na qualidade da deduplicação. / Deduplication is the task of identifying which objects (e.g., records, texts, documents, etc.) are potentially the same in a given dataset (or datasets). It usually requires user intervention in several stages of the process, mainly to ensure that pairs representing matchings and non-matchings can be determined. This information can be used to help detect other potential duplicate records. When deduplication is applied to very large datasets, the matching quality depends on expert users. The expert users are requested to define threshold values and produce a training set. This intervention requires user knowledge of the noise level of the data and a particular approach to deduplication so that it can be applied to configure the most important stages of the process (e.g. blocking and classification). The main aim of this thesis is to provide solutions to help in tuning the deduplication process in large datasets with a reduced effort from the user, who is only required to label an automatically selected subset of pairs. To achieve this, we propose a methodology, called FS-Dedup, which incorporates state-of-the-art algorithms in its deduplication core to address high performance issues. Following this, a set of strategies is proposed to assist in setting its parameters, and removing most of the detailed configuration concerns from the user. The methodology proposed can be regarded as a layer that is able to identify the specific information requested in the deduplication approach (mainly, threshold values) through pairs that are manually labeled by the user. Moreover, this thesis proposed an approach which would enable to select an informative set of pairs to produce a reduced training set. The main challenge here is how to select a “representative” set of pairs to configure the deduplication with high matching quality. In this context, the proposed approach incorporates an active learning method with strategies that allow the deduplication to be carried out on large datasets. This approach is integrated with the FS-Dedup methodology to avoid the need for a definition of threshold values in the most important deduplication stages. Finally, exhaustive experiments using both synthetic and real datasets have been conducted to validate the ideas outlined in this thesis. In particular, we demonstrate the ability of our approach to reduce the user effort without degrading the matching quality.

Os motores de busca utilizam o WebGraph formado pelas páginas e seus links para atribuir reputação às páginas Web. Essa reputação é utilizada para montar o ranking de resultados retornados ao usuário. No entanto, novas versões de páginas com uma boa reputação acabam por distribuir os votos de reputação entre todas as versões, trazendo prejuízo à página original e também as suas versões. O objetivo deste trabalho é especificar novos escores que considerem todas as versões de uma página Web para atribuir reputação para as mesmas. Para atingir esse objetivo, foram propostos quatro escores que utilizam a detecção de versões para atribuir uma reputação mais homogênea às páginas que são versões de um mesmo documento. Os quatro escores propostos podem ser classificados em duas categorias: os que realizam mudanças estruturais no WebGraph (VersionRank e VersionPageRank) e os que realizam operações aritméticas sobre os escores obtidos pelo algoritmo de PageRank (VersionSumRank e VersionAverageRank). Os experimentos demonstram que o VersionRank tem desempenho 26,55% superior ao PageRank para consultas navegacionais sobre a WBR03 em termos de MRR, e em termos de P@10, o VersionRank tem um ganho de 9,84% para consultas informacionais da WBR99. Já o escore VersionAverageRank, apresentou melhores resultados na métrica P@10 para consultas informacionais na WBR99 e WBR03. Na WBR99, os ganhos foram de 6,74% sobre o PageRank. Na WBR03, para consultas informacionais aleatórias o escore VersionAverageRank obteve um ganho de 35,29% em relação ao PageRank. / Search engines use WebGraph formed by the pages and their links to assign reputation to Web pages. This reputation is used for ranking show for the user. However, new versions of pages with a good reputation distribute your votes of reputation among all versions, damaging the reputation of original page and also their versions. The objective of this work is to specify the new scores to consider all versions of a Web page to assign reputation to them. To achieve this goal, four scores were proposed using the version detection to assign a more homogeneous reputation to the pages that are versions of the same document. The four scores proposed can be classified into two categories: those who perform structural changes in WebGraph (VersionRank and VersionPageRank) and those who performs arithmetic operations on the scores obtained by the PageRank algorithm (VersionSumRank and VersionAverageRank). The experiments show that the performance VersionRank is 26.55% higher than the PageRank for navigational queries on WBR03 in terms of MRR, and in terms of P@10, the VersionRank has a gain of 9.84% for the WBR99 informational queries. The score VersionAverageRank showed better results in the metric P@10 for WBR99 and WBR03 information queries. In WBR99, it had a gain of 6.74% compared to PageRank. In WBR03 for random informational queries, VersionAverageRank showed an increase of 35.29% compared to PageRank.

Embora o conceito de Data Warehouse (doravante abreviado DW), em suas várias formas, continue atraindo interesse, muitos projetos de DW não estão gerando os benefícios esperados e muitos estão provando ser excessivamente caro de desenvolver e manter. O presente trabalho visa organizar os conceitos de DW através de uma revisão bibliográfica, discutindo seu real benefício e também de como perceber este benefício a um custo que é aceitável ao empreendimento. Em particular são analisadas metodologias que servirão de embasamento para a proposta de uma metodologia de projeto de DW, que será aplicada a um estudo de caso real para a Cia Zaffari, levando em conta critérios que são encontrados atualmente no desenvolvimento de um Data Warehouse, um subconjunto das quais será tratado no trabalho de dissertação. / Although the concept of Data Warehouse (DW), in its various forms, still attracting interest, many DW projects are not generating the benefits expected and many are proving to be too expensive to develop and to keep. This work organizes the concepts of DW through a literature review, discussing its real benefit and how to realize this benefit at a cost that is acceptable to the company. In particular methods are discussed to serve as a foundation for proposing a design methodology for DW, which will be applied to a real case study for the CIA Zaffari, taking into account criteria that are currently found in developing a data warehouse, a subset of which will be treated in the dissertation.

Com a finalidade de facilitar a manipulação de documentos pelos usuários e aplicações, foram desenvolvidas no decorrer do tempo diversas formas para classificar e organizar esses documentos, incluindo a criação de diferentes mecanismos pertinentes a formatos de arquivos, os chamados sistemas de tipos de arquivos. É possível perceber nesse esforço uma crescente preocupação com a correta identificação dos arquivos e com a obtenção de maiores informações sobre seu conteúdo. Afinal, com esse conhecimento as aplicações e ambientes gráficos dos sistemas operacionais podem adicionar novas funcionalidades na manipulação de documentos e arquivos em geral. Neste trabalho se propõe um novo modelo e arquitetura para sistemas de tipos de arquivos. O modelo se baseia em um grafo de tipos representando relações hierárquicas e um índice de metadados de arquivos, usados em conjunto por funcionalidades que são disponibilizadas através de uma API. A construção do grafo de tipos, que desempenha papel central no modelo proposto, envolveu o estudo dos tipos de arquivos registrados nos principais sistemas operacionais, os tipos definidos pelo IANA (Internet Assigned Numbers Authority) e outros tipos comumente utilizados, com a finalidade de selecionálos e interrelacioná-los em uma hierarquia. A arquitetura proposta para o sistema de tipos é um middleware que oferece os serviços abstraindo operações de baixo nível específicos do sistema operacional. O modelo e arquitetura apresentados neste trabalho beneficia principalmente softwares que trabalham intensamente com arquivos, como IDEs (Integrated Development Environment) e ambientes gráficos. / Several strategies to classify and organize documents by users and applications has being developed in order to facilitate its manipulation, including creation of different mechanisms related to file formats, known as file type systems. It is possible to notice in these works an increasing concern about file identification correctness and obtaining further information regarding its contents as well. This knowledge allow application and graphical environments of operating systems adding new functionalities on manipulation of documents and files. The present work proposes a new model and architecture to file type systems. The model is based on a file type graph representing hierarchical relationships and an index of file metadata. Both are used by functionalities provided through an API. To build the graph of file types, central piece on the proposed model, it was necessary to study file types registered on the most imporant operating systems, types defined by IANA and other types commonly used. The goal is to collect file types and interlink them in a hierarchy. The proposed architecture for the file type system is a middleware which provides services hiding native operating systems low level operations. The model and architecture presented in this work is specially useful to softwares that handle files intensely, like IDEs (Integrated Development Environment) and graphical environments.