Muitas informações disponíveis na Web estão armazenadas em bancos de dados on-line e são acessíveis somente após um usuário enviar uma consulta por meio de uma interface de busca. Essas informações estão localizadas em uma parte da Web conhecida como Web Oculta ou Web Profunda e, geralmente, são inacessíveis por máquinas de busca tradicionais. Uma vez que a forma de acessar os dados na Web Oculta se dá por intermédio de submissões de consultas, muitos trabalhos têm focado em como preencher automaticamente campos de formulários. Esta tese apresenta uma metodologia para o preenchimento de formulários na Web Oculta. Além disso, descreve uma categorização das técnicas de preenchimento de formulários existentes no estado da arte de coleta na Web Oculta, produzindo uma análise comparativa entre elas. A solução proposta descreve um método automático para seleção de valores para campos de formulários combinando heurísticas e técnicas de aprendizagem de máquina. Experimentos foram realizados em formulários reais da Web, de vários domínios, e os resultados indicam que a abordagem proposta apresenta desempenho comparável aos obtidos pelas técnicas do estado da arte, sendo inclusive significativamente diferente com base em avaliação estatística. / A large portion of the information on the Web is stored inside online databases. Such information is accessible only after the users submit a query through a search interface. TheWeb portion in which that information is located is called HiddenWeb or DeepWeb, and generally this part is inaccessible by traditional search engines crawlers. Since the only way to access the Hidden Web pages is through the query submissions, many works have focused on how to fill in form fields automatically, aiming at enhancing the amount of distinct information hidden behind Web forms. This thesis presents an automatic solution to value selection for fields in Web forms. The solution combines heuristics and machine learning techniques for improving the selection of values. Furthermore, this proposal also describes a categorization of form filling techniques and a comparative analysis between works in the state of the art. Experiments were conducted on real Web sites and the results indicated that our approach significantly outperforms a baseline method in terms of coverage without additional computational cost.

A maioria dos artigos científicos estão disponíveis no formato PDF. Este padrão permite a geracão de metadados que são inclusos dentro do documento. Porém, muitos autores não definem esta informação, fazendo esse recurso inseguro ou incompleto. Este fato tem motivado pesquisa que busca extrair metadados automaticamente. A extração automática de metadados foi classificada como uma das tarefas mais desafiadoras na área de engenharia de documentos. Este trabalho propõe Artic, um método para extração de metadados de artigos científicos que aplica um modelo probabilístico em duas camadas baseado em Conditional Random Fields. A primeira camada visa identificar as secões principais com possíveis metadados. Já a segunda camada identifica, para cada secão, o metadado correspondente. Dado um PDF contendo um artigo científico, Artic extrai título, nome dos autores, emails, afiliações e informações sobre a conferência onde o paper foi publicado. Os experimentos usaram 100 artigos de conferências variadas. Os resultados superaram a solução estado-da-arte usada como baseline, atingindo uma precisão acima de 99%. / Most scientific articles are available in PDF format. The PDF standard allows the generation of metadata that is included within the document. However, many authors do not define this information, making this feature unreliable or incomplete. This fact has been motivating research which aims to extract metadata automatically. Automatic metadata extraction has been identified as one of the most challenging tasks in document engineering. This work proposes Artic, a method for metadata extraction from scientific papers which employs a two-layer probabilistic framework based on Conditional Random Fields. The first layer aims at identifying the main sections with metadata information, and the second layer finds, for each section, the corresponding metadata. Given a PDF file containing a scientific paper, Artic extracts the title, author names, emails, affiliations, and venue information. We report on experiments using 100 real papers from a variety of publishers. Our results outperformed the state-of-the-art system used as the baseline, achieving a precision of over 99%.

Dentre as diversas operações que podem ser realizadas com composições musicais, representadas através de uma notação, está a avaliação de similaridade melódica, utilizada principalmente na busca e recuperação dessas obras. O presente trabalho apresenta o método de avaliação de similaridade melódica denominado Correspondência de Monofonia Contida (CMC), focado na operação de busca de composições. Também estão descritos os detalhes de implementação de uma ferramenta para busca de tablaturas textuais da web utilizando o método proposto. A análise dos experimentos realizados demonstrou que o método CMC consegue localizar composições específicas em dois terços das consultas (69,44%), conseguindo colocar o resultado esperado, em média, na 11ª posição de ranqueamento. / Among the various operations that can be performed with musical compositions, represented through a notation, is the evaluation of melodic similarity mainly for search and retrieval of these works. This paper presents the method of evaluation of melodic similarity named Monophonic Contained Matching, focused on the search of compositions. Also describes the implementation details of a tool to search textual tabs in web using the proposed method. The analysis of the experiments demonstrated that the CMC method can locate specific compositions in two-thirds of queries (69.44%), managing to place the expected result on average in the 11th ranking position.

A identificação de perfis de autoria visa classificar os textos com base nas escolhas estilísticas de seus autores. A ideia é descobrir as características dos autores dos textos. Esta tarefa tem uma importância crescente em análise forense, segurança e marketing. Neste trabalho, nos concentramos em descobrir a idade e o gênero dos autores de blogs. Com este objetivo em mente, analisamos um grande número de atributos - que variam de recuperação de informação até análise de sentimento. Esta dissertação relata a utilidade desses atributos. Uma avaliação experimental em um corpus com mais de 236K posts de blogs mostrou que um classificador usando os atributos explorados aqui supera o estado-da arte. Mais importante ainda, as experiências mostram que os atributos oriundos de recuperação de informação propostos neste trabalho são os mais discriminativos e produzem as melhores previsões. / Authorship analysis aims at classifying texts based on the stylistic choices of their authors. The idea is to discover characteristics of the authors of the texts. This task has a growing importance in forensics, security, and marketing. In this work, we focus on discovering age and gender from blog authors. With this goal in mind, we analyzed a large number of features – ranging from Information Retrieval to Sentiment Analysis. This paper reports on the usefulness of these features. Experiments on a corpus of over 236K blogs show that a classifier using the features explored here have outperformed the stateof- the art. More importantly, the experiments show that the Information Retrieval features proposed in our work are the most discriminative and yield the best class predictions.

Com o crescimento da demanda por aplicações orientadas a serviços, a complexidade da gestão de mudanças em serviços aumenta cada vez mais. Nesse contexto, provedores de portfólios de serviços têm como objetivo a minimização do impacto de tais mudanças para os seus clientes. Os trabalhos existentes abordam essencialmente a mudança sob o viés técnico, lidando com técnicas de versionamento e determinação de compatibilidade. No entanto, os provedores possuem dilemas de decisão que vão além dos aspectos técnicos, abrangendo o impacto na perspectiva de negócios, considerando clientes afetados, receitas, custos, violações de SLA, entre outros. Este trabalho faz parte de um framework voltado para a análise da evolução de serviços considerando a perspectiva de uso dos mesmos. O presente trabalho propõe o uso de técnicas de Business Intelligence e Data Warehousing para apoiar a tomada de decisões orientadas a negócios na gestão do ciclo de vida de serviços. Em tal contexto, considera-se o cenário de portfólio de serviços e mudanças profundas, abrangendo cadeias de serviços e clientes diretos/indiretos. Este trabalho identifica e analisa requisitos de decisão, juntamente com indicadores financeiros e de uso relacionados à provisão de serviços. Um data warehouse é modelado para prover uma visão unificada e integrada de tais indicadores, de acordo com diferentes perspectivas de análise. Uma arquitetura para a extração, transformação e carga dos dados também é apresentada com a proposição de alternativas para lidar com a integração e heterogeneidade das fontes de dados. Através de um estudo de caso inspirado em um cenário real, demonstra-se como a análise do impacto é analisada através da abordagem proposta. / With the growing demand for service-oriented applications, the complexity of service change management is increasing. In this context, service providers aim at the minimal impact of changes to its clients. Existing work essentially addresses change decisions from a technical perspective, with versioning techniques and compatibility assessments. However, providers have decisional dilemmas that go beyond the technical aspects, addressing the business impact in terms of clients affected, revenues, costs, SLA penalties, among others. This work integrates a framework addressing the service evolution analysis based on service usage perspective. We propose the use of Business Intelligence and Data Warehousing techniques to support business-oriented decisions on the service life-cycle management. Our approach covers service portfolios and the deep change context, i.e. services consumed in large scale and direct/indirect clients. This work is centered on the identification and analysis of decisional requirements and financial and usage indicators related to the service provision business. A data warehouse is modeled to provide a unified and integrated view of these indicators, according to different analysis perspectives. An architecture to extract, transform and loading data also is presented, proposing alternatives to lead with the integration and the heterogeneity of the data sources. Through a case study inspired by a real world scenario, we demonstrate how change impact is analyzed according our approach.

Durante o ciclo de vida de um web service, diversas mudanças são feitas na sua interface, eventualmente causando incompatibilidades em relação aos seus clientes e ocasionando a quebra de suas aplicações. Os provedores precisam tomar decisões sobre mudanças em seus serviços frequentemente, muitas vezes sem um bom entendimento a respeito do efeito destas mudanças sobre seus clientes. Os trabalhos e ferramentas existentes não fornecem ao provedor um conhecimento adequado a respeito do uso real das funcionalidades da interface de um serviço, considerando os diferentes tipos de consumidores, o que impossibilita avaliar o impacto das mudanças. Este trabalho apresenta um framework para a descoberta de perfis de uso de serviços web, os quais constituem um modelo descritivo dos padrões de uso dos diferentes grupos de clientes do serviço, com relação ao uso das funcionalidades em sua interface. O framework auxilia no processo de descoberta de conhecimento através de tarefas semiautomáticas e parametrizáveis para a preparação e análise de dados de uso, minimizando a necessidade de intervenção do usuário. O framework engloba o monitoramento de interações de web services, a carga de dados de uso pré-processados em uma base de dados unificada, e a geração de perfis de uso. Técnicas de mineração de dados são utilizadas para agrupar clientes de acordo com seus padrões de uso de funcionalidades, e esses grupos são utilizados na construção de perfis de uso de serviços. Todo o processo é configurado através de parâmetros, permitindo que o usuário determine o nível de detalhe das informações sobre o uso incluídas nos perfis e os critérios para avaliar a similaridade entre clientes. A proposta é validada por meio de experimentos com dados sintéticos, simulados de acordo com características esperadas no comportamento de clientes de um serviço real. Os resultados dos experimentos demonstram que o framework proposto permite a descoberta de perfis de uso de serviço úteis, e fornecem evidências a respeito da parametrização adequada do framework. / During the life cycle of a web service, several changes are made in its interface, which possibly are incompatible with regard to current usage and may break client applications. Providers must make decisions about changes on their services, most often without insight on the effect these changes will have over their customers. Existing research and tools fail to input provider with proper knowledge about the actual usage of the service interface’s features, considering the distinct types of customers, making it impossible to assess the actual impact of changes. This work presents a framework for the discovery of web service usage profiles, which constitute a descriptive model of the usage patterns found in distinct groups of clients, concerning the usage of service interface features. The framework supports a user in the process of knowledge discovery over service usage data through semi-automatic and configurable tasks, which assist the preparation and analysis of usage data with the minimum user intervention possible. The framework performs the monitoring of web services interactions, loads pre-processed usage data into a unified database, and supports the generation of usage profiles. Data mining techniques are used to group clients according to their usage patterns of features, and these groups are used to build service usage profiles. The entire process is configured via parameters, which allows the user to determine the level of detail of the usage information included in the profiles, and the criteria for evaluating the similarity between client applications. The proposal is validated through experiments with synthetic data, simulated according to features expected in the use of a real service. The experimental results demonstrate that the proposed framework allows the discovery of useful service usage profiles, and provide evidences about the proper parameterization of the framework.

Metadados bibliográficos duplicados são registros que correspondem a referências bibliográficas semanticamente equivalentes, ou seja, que descrevem a mesma publicação. Identificar metadados bibliográficos duplicados em uma ou mais bibliotecas digitais é uma tarefa essencial para garantir a qualidade de alguns serviços como busca, navegação e recomendação de conteúdo. Embora diversos padrões de metadados tenham sido propostos, eles não resolvem totalmente os problemas de interoperabilidade porque mesmo que exista um mapeamento entre diferentes esquemas de metadados, podem existir variações na representação do conteúdo. Grande parte dos trabalhos propostos para identificar duplicatas aplica uma ou mais funções sobre o conteúdo de determinados campos no intuito de captar a similaridade entre os registros. Entretanto, é necessário escolher um limiar que defina se dois registros são suficientemente similares para serem considerados semanticamente equivalentes ou duplicados. Trabalhos mais recentes tratam a deduplicação de registros como um problema de classificação de dados, em que um modelo preditivo é treinado para estimar a que objeto do mundo real um registro faz referência. O objetivo principal desta tese é o desenvolvimento de um método efetivo e automático para identificar metadados bibliográficos duplicados, combinando o aprendizado de múltiplos classificadores supervisionados, sem a necessidade de intervenção humana na definição de limiares de similaridade. Sobre o conjunto de treinamento são aplicadas funções de similaridade desenvolvidas especificamente para o contexto de bibliotecas digitais e com baixo custo computacional. Os escores produzidos pelas funções são utilizados para treinar múltiplos modelos de classificação heterogêneos, ou seja, a partir de algoritmos de diversos tipos: baseados em árvores, regras, redes neurais artificiais e probabilísticos. Os classificadores aprendidos são combinados através da estratégia de empilhamento visando potencializar o resultado da deduplicação a partir do conhecimento heterogêneo adquirido individualmente pelos algoritmo de aprendizagem. O modelo de classificação final é aplicado aos pares candidatos ao casamento retornados por uma estratégia de blocagem de dois níveis bastante eficiente. A solução proposta é baseada na hipótese de que o empilhamento de classificadores supervisionados pode aumentar a qualidade da deduplicação quando comparado a outras estratégias de combinação. A avaliação experimental mostra que a hipótese foi confirmada quando o método proposto é comparado com a escolha do melhor classificador e com o voto da maioria. Ainda são analisados o impacto da diversidade dos classificadores no resultado do empilhamento e os casos de falha do método proposto. / Duplicated bibliographic metadata are semantically equivalent records, i.e., references that describe the same publication. Identifying duplicated bibliographic metadata in one or more digital libraries is an essential task to ensure the quality of some services such as search, navigation, and content recommendation. Although many metadata standards have been proposed, they do not completely solve interoperability problems because even if there is a mapping between different metadata schemas, there may be variations in the content representation. Most of work proposed to identify duplicated records uses one or more functions on some fields in order to capture the similarity between the records. However, we need to choose a threshold that defines whether two records are sufficiently similar to be considered semantically equivalent or duplicated. Recent studies deal with record deduplication as a data classification problem, in which a predictive model is trained to estimate the real-world object to which a record refers. The main goal of this thesis is the development of an effective and automatic method to identify duplicated bibliographic metadata, combining multiple supervised classifiers, without any human intervention in the setting of similarity thresholds. We have applied on the training set cheap similarity functions specifically designed for the context of digital libraries. The scores returned by these functions are used to train multiple and heterogeneous classification models, i.e., using learning algorithms based on trees, rules, artificial neural networks and probabilistic models. The learned classifiers are combined by stacked generalization strategy to improve the deduplication result through heterogeneous knowledge acquired by each learning algorithm. The final model is applied to pairs of records that are candidate to matching. These pairs are defined by an efficient two phase blocking strategy. The proposed solution is based on the hypothesis that stacking supervised classifiers can improve the quality of deduplication when compared to other combination strategies. The experimental evaluation shows that the hypothesis has been confirmed by comparing the proposed method to selecting the best classifier or the majority vote technique. We also have analyzed the impact of classifiers diversity on the stacking results and the cases for which the proposed method fails.

Um dos problemas da extração de dados na web é a remoção de ruído existente nas páginas. Esta tarefa busca identificar todos os elementos não informativos em meio ao conteúdo, como por exemplo cabeçalhos, menus ou propagandas. A presença de ruído pode prejudicar seriamente o desempenho de motores de busca e tarefas de mineração de dados na web. Este trabalho aborda o problema da descoberta de ruído em páginas da web oculta, a parte da web que é acessível apenas através do preenchimento de formulários. No processamento da web oculta, a extração de dados geralmente é precedida por uma etapa de inserção de dados, na qual os formulários que dão acesso às páginas ocultas são automaticamente ou semi-automaticamente preenchidos. Durante esta fase, são coleta- dos dados do domínio em questão, como os rótulos e valores dos campos. A proposta deste trabalho é agregar este tipo de dados com informações sintáticas dos elementos que compõem a página. É mostrado empiricamente que esta combinação atinge resultados melhores que uma abordagem baseada apenas em informações sintáticas. / One of the problems of data extraction from web pages is the identification of noise in pages. This task aims at identifying non-informative elements in pages, such as headers, menus, or advertisement. The presence of noise may hinder the performance of search engines and web mining tasks. In this paper we tackle the problem of discovering noise in web pages found in the hidden web, i.e., that part of the web that is only accessible by filling web forms. In hidden web processing, data extraction is usually preceeded by a form filling step, in which the query forms that give access to the hidden web pages are automatically or semi-automatically filled. During form filling relevant data about the queried domain are collected, as field names and field values. Our proposal combines this type of data with syntactic information about the nodes that compose the page. We show empirically that this combination achieves better results than an approach that is based solely on syntactic information. Keywords:

A Wikipédia é uma enciclopédia pública composta por milhões de artigos editados diariamente por uma comunidade de autores de diferentes regiões do mundo. Os artigos que constituem a Wikipédia possuem um tipo de link chamado de Cross-language Link que relaciona artigos correspondentes em idiomas diferentes. O objetivo principal dessa estrutura é permitir a navegação dos usuários por diferentes versões de um mesmo artigo em busca da informação desejada. Além disso, por permitir a obtenção de corpora comparáveis, os Cross-language Links são extremamente importantes para aplicações que trabalham com tradução automática e recuperação de informações multilíngues. Visto que os Cross-language Links são inseridos manualmente pelos autores dos artigos, quando o autor não reconhece o seu correspondente em determinado idioma ocorre uma situação de Cross-language Links ausente. Sendo assim, é importante o desenvolvimento de uma abordagem que realize a descoberta de Cross-language Links entre artigos que são correspondentes, porém, não estão conectados por esse tipo link. Nesta dissertação, é apresentado o CLLFinder, uma abordagem para a descoberta de Cross-language Links ausentes. A nossa abordagem utiliza o relacionamento entre as categorias e a indexação e consulta do conteúdo dos artigos para realizar a seleção do conjunto de candidatos. Para a identificação do artigo correspondente, são utilizados atributos que exploram a transitividade de Cross-language Links entre outros idiomas bem como características textuais dos artigos. Os resultados demonstram a criação de um conjunto de candidatos com 84,3% de presença do artigo correspondente, superando o trabalho utilizado como baseline. A avaliação experimental com mais de dois milhões de pares de artigos aponta uma precisão de 99,2% e uma revocação geral de 78,9%, superando, também, o baseline. Uma inspeção manual dos resultados do CLLFinder aplicado em um cenário real indica que 73,6% dos novos Cross-language Links sugeridos pela nossa abordagem eram de fato correspondentes. / Wikipedia is a public encyclopedia composed of millions of articles written daily by volunteer authors from different regions of the world. The articles contain links called Cross-language Links which relate corresponding articles across different languages. This feature is extremely useful for applications that work with automatic translation and multilingual information retrieval as it allows the assembly of comparable corpora. Since these links are created manually, in many occasions, the authors fail to do so. Thus, it is important to have a mechanism that automatically creates such links. This has been motivating the development of techniques to identify missing cross-language links. In this work, we present CLLFinder, an approach for finding missing cross-language links. The approach makes use of the links between categories and an index of the content of the articles to select candidates. In order to identify corresponding articles, the method uses the transitivity between existing cross-language links in other languages as well as textual features extracted from the articles. Experiments on over two million pairs of articles from the English and Portuguese Wikipedias show that our approach has a recall of 78.9% and a precision of 99.2%, outperforming the baseline system.A manual inspection of the results of CLLFinder applied to a real situation indicates that our approach was able to identify the Cross-language Link correctly 73.6% of the time.

Campus universitários são ambientes compostos de recursos e pessoas que utilizam os tais. Um dos principais recursos utilizados pela comunidade de um campus são os objetos de aprendizagem. Tais objetos existem de maneira abundante, espalhados no ambiente ou concentrados em um único local. Entretanto, a abundancia desses objetos faz com que uma pessoa sinta-se cognitivamente cansada ao ter que analisar vários objetos e selecionar apenas alguns. Esse cansaço cognitivo acaba levando a pessoa a escolher um conjunto de objetos de aprendizagem que não satisfarão suas necessidades e interesses da melhor maneira possível. A computação evoluiu de grandes mainframes a pequenos computadores espalhados em um ambiente. Hoje é possível a existência de ambientes pervasivos, onde os recursos computacionais estão sempre presentes e agindo de forma invisível ao usuário. Tais ambientes tornam possível o acompanhamento das atividades do usuário, provendo informações contextuais que podem ser utilizadas para ajudar a seleção dos melhores recursos (ex. objetos de aprendizagem, restaurantes, salas de aula) à determinada pessoa. A localização é uma informação contextual de grande importância na seleção de tais recursos. Tal informação pode ser facilmente obtida através do sinal de GPS do dispositivo móvel de um usuário e utilizada em conjunto com os interesses do usuário para recomendar os recursos próximos que melhor atenderão ao mesmo. Neste contexto este trabalho descreve uma abordagem para recomendar objetos de aprendizagem físicos ou virtuais que estejam relacionados aos prédios próximos a atual localização do usuário. Para executar tal tarefa é descrito um sistema de recomendação que utiliza a informação de localização, obtida através do dispositivo móvel do usuário, combinada à informações do perfil do usuário, dos objetos de aprendizagem relacionados aos prédios e informações tecnológicas do dispositivo para instanciar um modelo ontológico de contexto. Após instanciado o modelo são utilizadas regras semânticas, escritas em forma de antecedente e consequente, que fazem uma correspondência entre os interesses do usuário e o domínio de conhecimento do objeto de aprendizagem para filtrar os objetos próximos ao usuário. De posse desses objetos recomendados o sistema os apresenta em uma interface adaptativa que mostra a localização tanto dos objetos quanto do usuário. Para validar a abordagem apresentada é desenvolvido um estudo de caso onde as regras semânticas de recomendação são executadas sobre o modelo ontológico desenvolvido. O resultado gerado por tais regras é um conjunto de pares (usuário, objeto de aprendizagem recomendado) e prova a validade da abordagem. / University campus are environments composed of resources and people who use them. One of the main resources used by a campus community are learning objects. Such objects are abundantly even scattered in the environment or concentrated in one location. However the abundance of such objects makes a person feel cognitively tired when having to analyze various objects and select just a few of them. This cognitive fatigue eventually leads the person to choose a set of learning objects that do not meet their needs and interests in the best possible way. Computing has evolved from large mainframe to small computers scattered in an environment. Today it is possible the existence of pervasive environments where computational resources are always present and acting in a manner invisible to the user. Such environments make it possible to monitor user activities, providing contextual information that can be used to help select the best resources (e.g. learning objects, restaurants, classrooms) to a particular person. The location is a contextual information of great importance in the selection of such resources. Such information can be easily obtained through the GPS signal from a mobile device and used with the user’s interests to recommend the nearby resources that best attend his needs and interests. In this context, this work describes an approach to recommend physical or virtual learning objects that are related to buildings near the user’s current location. To accomplish such a task we described a recommender system that uses the location information, obtained through the user's mobile device, combined with information from the user’s profile, learning objects related to buildings and technological information from the device to instantiate an ontological context model. Once the model is instantiated we used semantic rules, written in the form of antecedent and consequent, to make a match between the user’s interests and the knowledge domain of the learning object in order filter the user’s nearby objects. With such recommended objects, the system presents them in an adaptive interface that shows both the object and the user location. To validate the presented approach we developed a case study where the recommendation semantic rules are executed on the developed ontological model. The income generated by such rules is a set of pairs (user, recommended learning object) and proves the validity of the approach.