[pt] A seguinte dissertação tem como objetivo explorar a Mineração de Textos através de um estudo amplo e completo do que atualmente é considerado estado da arte. Esta nova área, considerada por muitos como uma evolução natural da Mineração de Dados, é bastante interdisciplinar e vem obtendo importantes colaborações de estudiosos e pesquisadores de diversas naturezas, como Lingüística, Computação, Estatística e Inteligência Artificial. Entretanto, muito se discute sobre como deve ser um processo completo de investigação textual, de forma a tirar máximo proveito das técnicas adotadas nas mais variadas abordagens. Desta forma, através de um encadeamento sistemático de procedimentos, pode-se chegar a uma conclusão do que seria a metodologia ideal para a Mineração de Textos, conforme já se chegou para a de Dados. O presente trabalho explora um modelo de processo, do início ao fim, que sugere as seguintes etapas: coleta de dados, pré-processamento textual, indexação, mineração e análise. Este sequenciamento é uma tendência encontrada em trabalhos recentes, sendo minuciosamente discutido nos capítulos desta dissertação. Finalmente, a fim de se obter enriquecimento prático, foi desenvolvido um sistema de Mineração de Textos que possibilitou a apresentação de resultados reais, obtidos a partir da aplicação de algoritmos em documentos de natureza geral. / [en] The following essay is intended to explore the area of Text Mining, through an extensive and comprehensive study of what is currently considered state of the art. This new area, considered by many as a natural evolution of the Data Mining, is quite interdisciplinary. Several scholars and researchers from fields like linguistics and computing, for instance, have contributed for its development. Nevertheless, much has been discussed on how complete dossier of textual investigation must be carried out, in order to take maximum advantage of the techniques adopted in various approaches. Thus, through a systematic sequence of procedures, one can come to a conclusion of what would be the ideal method for the Mining of documents, as one has come about Data. This work explores a model of process which suggests the following steps: collecting data, textual preprocessing, indexing, mining and analysis. This sequence is a tendency followed in some recent works and it is thoroughly discussed in the chapters to come. Finally, in order to obtain a practical enrichment, one developed a system of Mining of documents with which became possible the presentation of results, obtained from the application of algorithms in documents of a general nature.

[pt] Neste trabalho estuda-se a resolução de problemas de otimização e síntese de consultas para recuperação de informações de bancos de dados bibliográficos, através da sua formulação como problemas de programação matemática em variáveis 0-1. Primeiramente é estudado o problema de programação hiperbólica, para o qual foram desenvolvidos algoritmos de complexidade linear. O segundo problema estudado trata de uma extensão do anterior, sendo chamado neste texto de problema de soma hiperbólica. Para este problema são desenvolvidas heurísticas dos tipos simulated annealing e steepest ascent mildest descent (tabu search), além de algoritmos exatos do tipo pesquisa arborescente. Todos os métodos descritos acima foram implementados e são apresentados resultados numéricos. Quanto à otimização de consultas, foram estudados dois problemas básicos: consultas periódicas e síntese de novas, que são formulados como problemas de programação hiperbólica e soma hiperbólica, respectivamente. Foram feitas aplicações considerando-se um banco de dados do Centro de Informações Nucleares da CNEN (Comissão Nacional de Energia Nuclear). / [en] In this work we study the solution of problems arising in the field of queries optimization in information retrieval from classical databases, through their formulation as mathematical problems in 0-1 variables. The first problem studied is the hyperbolic programming problem in 0-1 variables, for which we developed exact linear-time algorithms. The second problem studied is an extension of the former, here named as hyperbolic sum problem. For this problem we developed simulated annealing and steepest ascent-mildest descent (tabu search) heuristics, as well as exact branch-and-bound algorithms. All these methods were implemented and numerical results are presented. Concerning the problem of queries optimization, two basic problems were studied: periodical query and synthesis of new queries, which are formulated respectively as an hyperbolic programming problem and an hyperbolic sum problem. We have also done applications involving these problems, considering real data gathered from a database of Center of Nuclear Information from CNEN (Brazilian National Comission of Nucler Energy)

[pt] Dentro do processo de publicação de dados na Web recomenda-se interligar os dados entre diferentes fontes, através de recursos similares que descrevam um domínio em comum. No entanto, com o crescimento do número dos conjuntos de dados publicados na Web de Dados, as tarefas de descoberta e seleção de dados tornam-se cada vez mais complexas. Além disso, a natureza distribuída e interconectada dos dados, fazem com que a sua análise e entendimento sejam muito demorados. Neste sentido, este trabalho visa oferecer uma arquitetura Web para a identificação de fontes de dados em RDF, com o objetivo de prover melhorias nos processos de publicação, interconex ão, e exploração de dados na Linked Open Data. Para tal, nossa abordagem utiliza o modelo de MapReduce sobre o paradigma de computa ção nas nuvens. Assim, podemos efetuar buscas paralelas por palavraschave sobre um índice de dados semânticos existente na Web. Estas buscas permitem identificar fontes candidatas para ligar os dados. Por meio desta abordagem, foi possível integrar diferentes ferramentas da web semântica em um processo de busca para descobrir fontes de dados relevantes, e relacionar tópicos de interesse denidos pelo usuário. Para atingir nosso objetivo foi necessária a indexação e análise de texto para aperfeiçoar a busca de recursos na Linked Open Data. Para mostrar a ecácia de nossa abordagem foi desenvolvido um estudo de caso, utilizando um subconjunto de dados de uma fonte na Linked Open Data, através do seu serviço SPARQL endpoint. Os resultados do nosso trabalho revelam que a geração de estatísticas sobre os dados da fonte é, de fato, um grande diferencial no processo de busca. Estas estatísticas ajudam ao usuário no processo de escolha de indivíduos. Um processo especializado de extração de palavras-chave é aplicado para cada indivíduo com o objetivo de gerar diferentes buscas sobre o índice semântico. Mostramos a escalabilidade de nosso processo de recomendação de fontes RDF através de diferentes amostras de indivíduos. / [en] In the Web publishing process of data it is recommended to link the data from different sources using similar resources that describe a domain in common. However, the growing number of published data sets on the Web have made the data discovery and data selection tasks become increasingly complex. Moreover, the distributed and interconnected nature of the data causes the understanding and analysis to become too prolonged. In this context, this work aims to provide a Web architecture for identifying RDF data sources with the goal of improving the publishing, interconnection, and data exploration processes within the Linked Open Data. Our approach utilizes the MapReduce computing model on top of the cloud computing paradigm. In this manner, we are able to make parallel keyword searches over existing semantic data indexes available on the web. This will allow to identify candidate sources to link the data. Through this approach, it was possible to integrate different semantic web tools and relevant data sources in a search process, and also to relate topics of interest denied by the user. In order to achieve our objectives it was necessary to index and analyze text to improve the search of resources in the Linked Open Data. To show the effectiveness of our approach we developed a case study using a subset of data from a source in the Linked Open Data through its SPARQL endpoint service. The results of our work reveal that the generation and usage of data source s statistics do make a great difference within the search process. These statistics help the user within the choosing individuals process. Furthermore, a specialized keyword extraction process is run for each individual in order to create different search processes using the semantic index. We show the scalability of our RDF recommendation process by sampling several individuals.

[pt] Esta dissertação apresenta um estudo sobre a utilização de Mineração de Textos no processo de coleta inteligente de dados na Web. O método mais comum de obtenção de dados na Web consiste na utilização de web crawlers. Web crawlers são softwares que, uma vez alimentados por um conjunto inicial de URLs (sementes), iniciam o procedimento metódico de visitar um site, armazenálo em disco e extrair deste os hyperlinks que serão utilizados para as próximas visitas. Entretanto, buscar conteúdo desta forma na Web é uma tarefa exaustiva e custosa. Um processo de coleta inteligente de dados na Web, mais do que coletar e armazenar qualquer documento web acessível, analisa as opções de crawling disponíveis para encontrar links que, provavelmente, fornecerão conteúdo de alta relevância a um tópico definido a priori. Na abordagem de coleta de dados inteligente proposta neste trabalho, tópicos são definidos, não por palavras chaves, mas, pelo uso de documentos textuais como exemplos. Em seguida, técnicas de pré-processamento utilizadas em Mineração de Textos, entre elas o uso de um dicionário thesaurus, analisam semanticamente o documento apresentado como exemplo. Baseado nesta análise, o web crawler construído será guiado em busca do seu objetivo: recuperar informação relevante sobre o documento. A partir de sementes ou realizando uma consulta automática nas máquinas de buscas disponíveis, o crawler analisa, igualmente como na etapa anterior, todo documento recuperado na Web. Então, é executado um processo de comparação entre cada documento recuperado e o documento exemplo. Depois de obtido o nível de similaridade entre ambos, os hyperlinks do documento recuperado são analisados, empilhados e, futuramente, serão desempilhados de acordo seus respectivos e prováveis níveis de importância. Ao final do processo de coleta de dados, outra técnica de Mineração de Textos é aplicada, objetivando selecionar os documentos mais representativos daquela coleção de textos: a Clusterização de Documentos. A implementação de uma ferramenta que contempla as heurísticas pesquisadas permitiu obter resultados práticos, tornando possível avaliar o desempenho das técnicas desenvolvidas e comparar os resultados obtidos com outras formas de recuperação de dados na Web. Com este trabalho, mostrou-se que o emprego de Mineração de Textos é um caminho a ser explorado no processo de recuperação de informação relevante na Web. / [en] This dissertation presents a study about the application of Text Mining as part of the intelligent Web crawling process. The most usual way of gathering data in Web consists of the utilization of web crawlers. Web crawlers are softwares that, once provided with an initial set of URLs (seeds), start the methodical proceeding of visiting a site, store it in disk and extract its hyperlinks that will be used for the next visits. But seeking for content in this way is an expensive and exhausting task. An intelligent web crawling process, more than collecting and storing any web document available, analyses its available crawling possibilities for finding links that, probably, will provide high relevant content to a topic defined a priori. In the approach suggested in this work, topics are not defined by words, but rather by the employment of text documents as examples. Next, pre-processing techniques used in Text Mining, including the use of a Thesaurus, analyze semantically the document submitted as example. Based on this analysis, the web crawler thus constructed will be guided toward its objective: retrieve relevant information to the document. Starting from seeds or querying through available search engines, the crawler analyzes, exactly as in the previous step, every document retrieved in Web. the similarity level between them is obtained, the retrieved document`s hyperlinks are analysed, queued and, later, will be dequeued according to each one`s probable degree of importance. By the end of the gathering data process, another Text Mining technique is applied, with the propose of selecting the most representative document among the collected texts: Document Clustering. The implementation of a tool incorporating all the researched heuristics allowed to achieve results, making possible to evaluate the performance of the developed techniques and compare all obtained results with others means of retrieving data in Web. The present work shows that the use of Text Mining is a track worthy to be exploited in the process of retrieving relevant information in Web.

[pt] Sistemas de recomendação têm sido amplamente utilizados pelos grandes portais na Web, em decorrência do aumento do volume de dados disponíveis na Web. Tais sistemas são basicamente utilizados para sugerir informações relevantes para os seus usuários. Esta dissertação apresenta um sistema de recomendação de segundo nível para auxiliar equipes de jornalistas de portais de notícias no processo de recomendação de notícias relacionadas para os usuários do portal. O sistema é chamado de segundo nível pois apresenta recomendações aos jornalistas para que, por sua vez, geram recomendações aos usuários do portal. O modelo seguido pelo sistema consiste na recomendação de notícias relacionadas com base em características extraídas do próprio texto da notícia original. As características extraídas permitem a criação de consultas contra um banco de dados de notícias anteriormente publicadas. O resultado de uma consulta é uma lista de notícias candidatas à recomendação, ordenada pela similaridade com a notícia original e pela data de publicação, que o editor da notícia original manualmente processa para gerar a lista final de notícias relacionadas. / [en] Recommendation systems are widely used by major Web portals due to the increase in the volume of data available on the Web. Such systems are basically used to suggest information relevant to their users. This dissertation presents a second-level recommendation system, which aims at assisting the team of journalists of a news Web portal in the process of recommending related news for the users of the Web portal. The system is called second level since it creates recommendations to the journalists Who, in turn, generate recommendations to the users. The system follows a model based on features extracted from the text itself. The extracted features permit creating queries against a news database. The query result is a list of candidate news, sorted by score and date of publication, which the news editor manually processes to generate the final list of related news.

[pt] Nos últimos anos, temos assistido um enorme crescimento de dados multimídia na Web. Novas tecnologias de menor custo e maior largura de banda têm permitido que a Web evolua para um formato multimídia. No entanto, a falta de ferramentas que podem tornar o formato multimídia disponível na Web nos levou a um conjunto de dados não-pesquisável e não indexável da Web, também conhecido como Deep Web. Desta forma, esta dissertação aborda o problema de como publicar conteúdo de áudio e vídeo na Web. Apresentamos uma ferramenta e uma nova abordagem que facilita a indexação e recuperação dos objetos com a ajuda das maquinas de busca tradicionais. A ferramenta gera automaticamente páginas Web estáticas que descrevem o conteúdo dos objetos e organizar esse conteúdo para facilitar a localização de segmentos do áudio ou vídeo que correspondem às descrições. As páginas Web estáticas podem ser traduzidos para outras línguas para atingir outras populações de usuários. Um processo de anotação também é realizado para incorporar dados legíveis pelas máquinas nas páginas Web. A dissertação também apresenta um experimento completo, publicando objetos de aprendizagem baseados em áudio e vídeo para avaliar a eficácia da abordagem. / [en] In recent years, we witnessed a huge growth of multimedia data on the Web. New lower-cost technologies and greater bandwidth allowed the Web to evolve into a multimedia format. However, the lack of tools that can make multimedia format easily accessible on the Web led us to a non-searchable and non-indexable data of the Web, also known as Deep Web. In line with these observations, this dissertation addresses the problem of how to publish audio and video content on the Web. We present a tool and a novel approach that facilitates the indexing and retrieval of the objects with the help of traditional search engines. The tool automatically generates static Web pages that describe the content of the objects and organize this content to facilitate locating segments of the audio or video which correspond to the descriptions. The static Web pages can be translated to others languages to reach other user populations. An annotation process is also performed to embed machine-readable data into the Web pages. The dissertation also presents an in-depth experiment, publishing learning objects based on audio and video, to assess the efficacy of the technique.

[pt] A busca orientada a idéia é um novo paradigma para mecanismos de busca em acervos compostos por arquivos de texto. Esse paradigma visa resolver um problema comum aos mecanismos de busca: exigir que o usuário preveja as palavras contidas nos documentos que possam conter a informação que procura, impossibilitando-o, assim, de se concentrar diretamente na informação desejada. Buscando solucionar esse problema, são propostas as bases lingüísticas para o desenvolvimento de um modelo teórico preliminar que acrescente dados semânticos aos arquivos de texto. Nesse modelo, a informação semântica de um texto é representada através do que se chamou de estrutura de conceitos. O principal intuito das estruturas de conceitos é representar de uma mesma maneira frases que expressem o mesmo significado, ou seja, as paráfrases apresentam a mesma estrutura de conceitos. Serão expostos nesta dissertação os primeiros elementos do modelo em suas partes semântica, sintática e textual, além da integração entre as mesmas. A dissertação apresenta ainda um estudo de caso a fim de exemplificar o desenvolvimento de uma aplicação para busca de arquivos de texto em que essa tecnologia seria usada. / [en] The idea-oriented search is a new pattern for search engines whose databases are composed by text files. This pattern sets out to solve a usual problem for search engines: demanding that users foresee which words are contained in the desired document, keeping them from focusing on the information they are indeed seeking. To solve this problem, the linguistic bases for the development of a theoretical model that can add semantical data to the text files are laid down. In this model, the semantical information of a text is represented by what has been referred to as structure of concepts. The main goal of the structure of concepts is to give one single representation to sentences that express the same meaning. Thus, paraphrases present the same structure of concepts. In this dissertation, the first elements of this model are exposed in its semantical, syntactic and textual parts. Also present are the integration of these elements. A small case study is presented as well, with the intention of illustrating the development of an application for text files databases search engines in which this technology is used.

[pt] O presente trabalho apresenta os resultados que obtivemos com a aplicação de grande número de modelos e algoritmos em um determinado conjunto de experimentos de agrupamento de texto. O objetivo de tais testes é determinar quais são as melhores abordagens para processar as grandes massas de informação geradas pelas crescentes demandas de data quality em diversos setores da economia. O processo de deduplicação foi acelerado pela divisão dos conjuntos de dados em subconjuntos de itens similares. No melhor cenário possível, cada subconjunto tem em si todas as ocorrências duplicadas de cada registro, o que leva o nível de erro na formação de cada grupo a zero. Todavia, foi determinada uma taxa de tolerância intrínseca de 5 porcento após o agrupamento. Os experimentos mostram que o tempo de processamento é significativamente menor e a taxa de acerto é de até 98,92 porcento. A melhor relação entre acurácia e desempenho é obtida pela aplicação do algoritmo K-Means com um modelo baseado em trigramas. / [en] This document reports our findings on a set of text clusterig experiments, where a wide variety of models and algorithms were applied. The objective of these experiments is to investigate which are the most feasible strategies to process large amounts of information in face of the growing demands on data quality in many fields. The process of deduplication was accelerated through the division of the data set into individual subsets of similar items. In the best case scenario, each subset must contain all duplicates of each produced register, mitigating to zero the cluster s errors. It is established, although, a tolerance of 5 percent after the clustering process. The experiments show that the processing time is significantly lower, showing a 98,92 percent precision. The best accuracy/performance relation is achieved with the K-Means Algorithm using a trigram based model.

[pt] Interfaces desenvolvidas sem o atendimento aos requisitos de usabilidade levam a uma performance deficiente e a uma redução da qualidade da interação do usuário com um aplicativo. Dessa forma, pretendeu-se investigar quais os principais fatores que colaboram para a satisfação do usuário desse tipo de sistemas. O nível de usabilidade de uma interface é melhorado ao se considerar a satisfação do usuário, em uma abordagem que valorize a experiência de uso do produto. Foram analisadas interfaces de sistemas para recuperação de informação em acervos de bibliotecas universitárias federais brasileiras. Com o objetivo de colaborar para a melhoria da qualidade da interação do usuário de interfaces para sistemas de recuperação de informação bibliográfica na web, foi necessário selecionar duas interfaces para recuperação de informação na web; aplicar questionário de satisfação de usuário; realizar entrevistas qualitativas com profissionais; desenvolver um protótipo semi-funcional; realizar grupo de foco para avaliar o protótipo; aplicar questionário de satisfação de usuário com o protótipo; gerar recomendações para o projeto de interfaces de sistemas de recuperação de informação bibliográficas em bibliotecas on-line. Os resultados mostraram que as especificações de interface configuradas no protótipo apresentaram graus elevados de satisfação em praticamente todos os itens avaliados, o que permite dizer que possui bom nível de usabilidade ao atender positivamente aos três aspectos da usabilidade: efetividade, eficiência e satisfação. / [en] Interfaces development process conducted with no attendance to usability requirements leads to a poor performance and to a reduction in the quality of user interaction with a software. From this point was intented to investigate wich was the main factores that colaborate for the user satisfaction. It was assumed that the satisfaction level is improved when the satisfaction is considered by a approach that puts value on the product experience of use. Two interfaces for information retrieval on university libraries catalog was evaluated. The main goal was to colaborate to the improvement of the user interaction with web based bibliographical information retrieval systems. The secondary goals was: select two interfaces to be evaluated; to apply questionaire for user satisfaction; to conduct qualitative interviews; to develop a semi- functional prototype; to to evaluate the prototype by focus group and user satistaction questionaire; to compile recommendations for bibliographical information retrieval systems interface of on-line libraries. The results show that the interface especifications configured on the prototype has improved the user satisfaction. The results also show that the three usability aspects - effectiveness, efficiency and satisfaction - was achieved.

[pt] A adoção de abordagems de desenvolvimento orientada a agentes de software traz inúmeros benefícios, tais como o suporte à análise, ao projeto e a implementação de sistemas de software. Postulamos que um ambiente de desenvolvimento robusto para a construção de sistemas orientados a agentes de software será reforçado por meio de métodos avançados de reuso. O reuso na engenharia de software leva à redução de custos e tempo envolvidos no desenvolvimento dos projetos. Além disso, promove melhorias relacionadas à adatação a diferentes exigências e necessidades dos engenheiros de software, melhorando qualidade dos sistemas desenvolvidos. No entanto, a pesquisa relacionada ao reuso de agentes ainda é escassa. Consequentemente, o problema da organização e do armazenamento de artefatos orientados a agentes ainda não atende as necessidades dos engenheiros de software. Portanto, o processo de recuperação de agentes ainda é um importante desafio a ser superado na engenharia de software orientada a agentes. Neste contexto, esta dissertação propõe uma metodologia e um protótipo de repositório baseado em tecnologias da web semântica que suportam estratégias de reuso, fundamentais ao processo de desenvolvimento de sistemas orientados a agentes. A metodologia proposta inclui (i) um meta-modelo flexível para representar os agentes e as suas características comuns e variáveis. Tais características são modeladas por meio de uma ontologia e um modelo de características (em inglês feature model), (ii) uma taxonomia específica de domínio para classificar os agentes de acordo com o seu domínio de aplicação, (iii) uma taxonomia para classificar os diferentes tipos de agentes, (iv) um serviço de subscrição (RSS) para anunciar a atualização dos agentes associados a categorias específicas, (v) um sistema de recomendação, apoiado por a ontologia e as taxonomias propostas, que permite aos usuários descobrir agentes reutilizáveis inter-relacionados, e (vi) métodos avançados de busca e navegação. Finalmente, avaliamos o repositório construído. O resultado da nossa avaliação mostra que o método proposto promove uma melhoria em relação à relevância da recuperação dos artefatos orientados a agentes. / [en] The adoption of a software agent-oriented development approach brings a number of benefits such as the support of analyses, design and implementation of software systems. We posit that a robust development environment for the construction of agent-oriented software systems will be enhanced by advanced reuse methods. Reuse in software engineering leads to the reduction of cost and time involved for developing projects, improvement of software quality, and easy adaptation to different requirements and needs of software engineers. However, research addressing agent reuse is meager and does not tackle the problem of organizing and storing agent-oriented artifacts according to the software engineers needs. Therefore, the agent retrieval process turns into an important challenge to be overcome in agent-oriented software engineering. In this context, this thesis proposes a methodology and a repository prototype based on semantic web technologies that supports reuse for developing agent systems. The proposed methodology includes (i) a flexible meta-model for representing the agents and their common and variable features, which are represented by means of ontology and feature model, (ii) a domain-specific taxonomy to classify agents according their application domain, (iii) a taxonomy to classify the different behaviors of agents, (iv) a subscription service, RSS, to announce updates to the agents that are associated to specific categories, (v) a recommendation system, supported by the ontology and the taxonomies, that allows end-users to discover reusable interrelated agents and learn new information or agents as needed, and (vi) enhanced search and browsing methods for agents. Finally, we evaluate the constructed repository. The outcome of this evaluation shows that the proposed reuse method is an improvement in terms of the relevance of retrieved agent-oriented artifacts.