[pt] Esta dissertação apresenta um estudo sobre a utilização de Mineração de Textos no processo de coleta inteligente de dados na Web. O método mais comum de obtenção de dados na Web consiste na utilização de web crawlers. Web crawlers são softwares que, uma vez alimentados por um conjunto inicial de URLs (sementes), iniciam o procedimento metódico de visitar um site, armazenálo em disco e extrair deste os hyperlinks que serão utilizados para as próximas visitas. Entretanto, buscar conteúdo desta forma na Web é uma tarefa exaustiva e custosa. Um processo de coleta inteligente de dados na Web, mais do que coletar e armazenar qualquer documento web acessível, analisa as opções de crawling disponíveis para encontrar links que, provavelmente, fornecerão conteúdo de alta relevância a um tópico definido a priori. Na abordagem de coleta de dados inteligente proposta neste trabalho, tópicos são definidos, não por palavras chaves, mas, pelo uso de documentos textuais como exemplos. Em seguida, técnicas de pré-processamento utilizadas em Mineração de Textos, entre elas o uso de um dicionário thesaurus, analisam semanticamente o documento apresentado como exemplo. Baseado nesta análise, o web crawler construído será guiado em busca do seu objetivo: recuperar informação relevante sobre o documento. A partir de sementes ou realizando uma consulta automática nas máquinas de buscas disponíveis, o crawler analisa, igualmente como na etapa anterior, todo documento recuperado na Web. Então, é executado um processo de comparação entre cada documento recuperado e o documento exemplo. Depois de obtido o nível de similaridade entre ambos, os hyperlinks do documento recuperado são analisados, empilhados e, futuramente, serão desempilhados de acordo seus respectivos e prováveis níveis de importância. Ao final do processo de coleta de dados, outra técnica de Mineração de Textos é aplicada, objetivando selecionar os documentos mais representativos daquela coleção de textos: a Clusterização de Documentos. A implementação de uma ferramenta que contempla as heurísticas pesquisadas permitiu obter resultados práticos, tornando possível avaliar o desempenho das técnicas desenvolvidas e comparar os resultados obtidos com outras formas de recuperação de dados na Web. Com este trabalho, mostrou-se que o emprego de Mineração de Textos é um caminho a ser explorado no processo de recuperação de informação relevante na Web. / [en] This dissertation presents a study about the application of Text Mining as part of the intelligent Web crawling process. The most usual way of gathering data in Web consists of the utilization of web crawlers. Web crawlers are softwares that, once provided with an initial set of URLs (seeds), start the methodical proceeding of visiting a site, store it in disk and extract its hyperlinks that will be used for the next visits. But seeking for content in this way is an expensive and exhausting task. An intelligent web crawling process, more than collecting and storing any web document available, analyses its available crawling possibilities for finding links that, probably, will provide high relevant content to a topic defined a priori. In the approach suggested in this work, topics are not defined by words, but rather by the employment of text documents as examples. Next, pre-processing techniques used in Text Mining, including the use of a Thesaurus, analyze semantically the document submitted as example. Based on this analysis, the web crawler thus constructed will be guided toward its objective: retrieve relevant information to the document. Starting from seeds or querying through available search engines, the crawler analyzes, exactly as in the previous step, every document retrieved in Web. the similarity level between them is obtained, the retrieved document`s hyperlinks are analysed, queued and, later, will be dequeued according to each one`s probable degree of importance. By the end of the gathering data process, another Text Mining technique is applied, with the propose of selecting the most representative document among the collected texts: Document Clustering. The implementation of a tool incorporating all the researched heuristics allowed to achieve results, making possible to evaluate the performance of the developed techniques and compare all obtained results with others means of retrieving data in Web. The present work shows that the use of Text Mining is a track worthy to be exploited in the process of retrieving relevant information in Web.

[pt] Redes de sensores sem fio (WSN) são uma importante alternativa na coleta de dados em diversas situações, tais como no monitoramento de grandes áreas ou áreas que apresentem perigo. A recuperação de dados de WSNs é uma importante atividade que pode obter melhores resultados com o uso de veículos aéreos não tripulados (UAV) como, por exemplo, em relação ao aumento da quantidade de dados coletados e diminuição do tempo entre a coleta dos dados e seu uso. Em particular, áreas tomadas por desastres podem ficar sem recursos de comunicação e com grande risco residual para humanos, momento no qual uma WSN pode ser rapidamente lançada por via aérea e atuar na coleta de dados relevantes até que medidas pertinentes e dedicadas possam ser colocadas em ação. Estudos apresentam abordagens no uso de UAVs para coleta dos dados de WSN, focando principalmente na otimização do caminho a ser percorrido por um único UAV e se baseando em uma comunicação de longo alcance sempre disponível, não explorando a possibilidade da utilização de diversos UAVs ou à limitação do alcance da comunicação. Neste trabalho apresentamos o DADCA, uma abordagem distribuída escalável capaz de coordenadar grupos de UAVs na coleta de dados de WSN sob restrições de alcance de comunicação, sem fazer uso de técnicas de otimização. Resultados indicam que a quantidade de dados coletados pelo DADCA é semelhante ou superior, em até 1 porcento, a abordagens de otimização de caminhos percorridos por UAVs. O atraso no recebimento de mensagens de sensores é até 46 porcento menor do que outras abordagens e o processamento necessário a bordo de UAVs é no mínimo menor do que 75 porcento do que aqueles que utilizam algoritmos baseados em otimização. Os resultados apresentados indicam que o DADCA é capaz de igualar e até superar outras abordagens apresentadas, agregando vantagens de uma abordagem distribuída. / [en] Wireless sensor networks (WSNs) are an important means of collecting data in a variety of situations, such as monitoring large or hazardous areas. The retrieval of WSN data can yield better results with the use of unmanned aerial vehicles (UAVs), for example, concerning the increase in the amount of collected data and decrease in the time between the collection and use of the data. In particular, disaster areas may be left without communication resources and with great residual risk to humans, at which point a WSN can be quickly launched by air to collect relevant data until other measures can be put in place. Some studies present approaches to the use of UAVs for the collection of WSN data, focusing mainly on optimizing the path to be covered by a single UAV and relying on long-range communication that is always available; these studies do not explore the possibility of using several UAVs or the limitations on the range of communication. This work describes DADCA, a distributed scalable approach capable of coordinating groups of UAVs in WSN data collection with restricted communication range and without the use of optimization techniques. The results show that the amount of data collected by DADCA is similar or superior, by up to 1 percent, to path optimization approaches. In the proposed approach, the delay in receiving sensor messages is up to 46 percent shorter than in other approaches, and the required processing onboard UAVs can reach less than 75 percent of those using optimization-based algorithms. The results indicate that the DADCA can match and even surpass other approaches presented, while also adding the advantages of a distributed approach.

[pt] Pesquisas são pervasivas no mundo moderno e seu uso vai de medidas de satisfação de consumidores ao rastreamento de tendências econômicas globais. No centro do processo de pesquisa está a coleta de dados que é, usualmente, assistida por computador. O desenvolvimento de software destinado à coleta de dados em pesquisas envolve a codificação de questionários que variam de simples sequências de questões abertas à questionários complexos nos quais validações, cálculo de dados derivados, gatilhos para garantia de consistência e objetos de interesse criados dinamicamente são a regra. A especificação do questionário é parte dos metadados da pesquisa e é um fator chave na garantia da qualidade dos dados coletados e dos resultados atingidos por uma pesquisa. São os metadados da pesquisa que estabelecem a maior parte dos requisitos para os sistemas de suporte a pesquisas, incluindo requisitos para o software de coleta de dados. À medida que a pesquisa é planejada e executada, esses requisitos devem ser compreendidos, comunicados, codificados e implantados, numa sequência de atividades que demanda técnicas adequadas para que a pesquisa seja eficaz e efetiva. A Engenharia Orientada a Modelos (Model Driven Engineering) propõe estratégias que visam alcançar esse objetivo. Neste contexto, esta dissertação propõe o uso de Linguagens de Domínio Específico (Domain-specific Languages - DSLs) para modelar questionários, apresenta um protótipo e avalia DSLs como uma técnica para diminuir a distância entre especialistas de domínio e desenvolvedores de software, incentivar o reuso, eliminar a redundância e minimizar o retrabalho. / [en] Surveys are pervasive in the modern world with its usage ranging from the field of customer satisfaction measurement to global economic trends tracking. At the core of survey processes is data collection which is, usually, computer aided. The development of data collection software involves the codification of questionnaires which vary from simple straightforward questions to complex questionnaires in which validations, derived data calculus, triggers used to guarantee consistency and dynamically created objects of interest are the rule. The questionnaire specification is part of what is called survey metadata and is a key factor for collected data and survey quality. Survey metadata establishes most of the requirements for survey support systems including data collection software. As the survey process is executed, those requirements need to be translated, coded and deployed in a sequence of activities that demands strategies for being efficient and effective. Model Driven Engineering enters this picture with the concept of software crafted directly from models. In this context, this dissertation proposes the usage of a Domain Specific Language (DSL) for modeling questionnaires, presents a prototype and evaluates DSL as a strategy to reduce the gap between survey domain experts and software developers, improve reuse, eliminate redundancy and minimize rework.

[pt] O uso de robôs de busca para coletar informações para um determinado contexto sempre foi um problema desafiante e tem crescido substancialmente nos últimos anos. Por exemplo, robôs de busca podem ser utilizados para capturar dados de redes sociais profissionais. Em particular, tais redes permitem estudar as trajetórias profissionais dos egressos de uma universidade, e responder diversas perguntas, como por exemplo: Quanto tempo um ex-aluno da PUC-Rio leva para chegar a um cargo de relevância? No entanto, um problema de natureza comum a este cenário é a impossibilidade de coletar informações devido a sistemas de autenticação, impedindo um robô de busca de acessar determinadas páginas e conteúdos. Esta dissertação aborda uma solução para capturar dados, que contorna o problema de autenticação e automatiza o processo de coleta de dados. A solução proposta coleta dados de perfis de usuários de uma rede social profissional para armazenamento em banco de dados e posterior análise. A dissertação contempla ainda a possibilidade de adicionar diversas outras fontes de dados dando ênfase a uma estrutura de armazém de dados. / [en] The use of search bots to collect information for a given context has grown substantially in recent years. For example, search bots may be used to capture data from professional social networks. In particular, such social networks facilitate studying the professional trajectory of the alumni of a given university, and answer several questions such as: How long does a former student of PUC-Rio take to arrive at a management position? However, a common problem in this scenario is the inability to collect information due to authentication systems, preventing a search robot from accessing certain pages and content. This dissertation addresses a solution to capture data, which circumvents the authentication problem and automates the data collection process. The proposed solution collects data from user profiles for later database storage and analysis. The dissertation also contemplates the possibility of adding several other sources of data giving emphasis to a data warehouse structure.