In the past decade, the amount of scientific data collected and generated by scientists has grown dramatically. This growth has intensified an existing problem: in large archives consisting of datasets stored in many files, formats and locations, how can scientists find data relevant to their research interests? We approach this problem in a new way: by adapting Information Retrieval techniques, developed for searching text documents, into the world of (primarily numeric) scientific data. We propose an approach that uses a blend of automated and curated methods to extract metadata from large repositories of scientific data. We then perform searches over this metadata, returning results ranked by similarity to the search criteria. We present a model of this approach, and describe a specific implementation thereof performed at an ocean-observatory data archive and now running in production. Our prototype implements scanners that extract metadata from datasets that contain different kinds of environmental observations, and a search engine with a candidate similarity measure for comparing a set of search terms to the extracted metadata. We evaluate the utility of the prototype by performing two user studies; these studies show that the approach resonates with users, and that our proposed similarity measure performs well when analyzed using standard Information Retrieval evaluation methods. We performed performance tests to explore how continued archive growth will affect our goal of interactive response, developed and applied techniques that mitigate the effects of that growth, and show that the techniques are effective. Lastly, we describe some of the research needed to extend this initial work into a true "Google for data".

Ao longo de suas vidas funcionais junto à Universidade de São Paulo (USP), pesquisadores e professores atuam nos campos da docência e da investigação científica, acumulando também cargos de gestão. Tais atividades geram um rico manancial documental mantido em seus gabinetes e laboratórios. Todavia, o que ocorre com esta documentação quando deixam de integrar os quadros acadêmicos? A pesquisa busca responder a tal questão. Reconhecendo a relevância e o potencial informativo destes arquivos, repositórios não apenas da memória individual de seus titulares, mas também da própria universidade e, por extensão, da vida científica brasileira, e em face das diversas ações de preservação de arquivos desenvolvidas, sem obedecer a diretrizes comuns ou a um programa regular, pelas faculdades e institutos da USP, nossa intenção é mapear a existência de tais núcleos documentais nos seus diferentes campi e caracterizar as condições em que são preservados e consultados. O resultado a ser alcançado assume duplo caráter: o de um guia, nos moldes preconizados pela literatura arquivística quanto à elaboração de instrumentos de pesquisa, e o de um diagnóstico das circunstâncias de aquisição, custódia e tratamento técnico a que foram submetidos os documentos. O trabalho deverá subsidiar, a curto e médio prazo, a formulação de uma política memorial compatível com a importância da Universidade de São Paulo / Over their functional life at the University of São Paulo (USP), researchers and professors work on the fields of teaching and scientific investigation, also mounting up management positions. These activities generate a rich source of documents usually kept in their offices and laboratories. However, what happens to such documentation when they leave the academic staff? This study aims to answer this question. By recognizing the relevance and the informational potential of such archives repositories of not only the individual memory of their creators, but also of the university itself and, by extension, of Brazilian scientific life , and by facing the various operations of archives preservation developed by USP colleges and institutes without following common guidelines or frameworks, our purpose is to map the existence of such documentation in the different campuses of the University of São Paulo, characterizing their conditions of access and preservation. The result to be achieved is double-­faced: on the one side, we aim to elaborate a guide, adopting the framework of the archival literature on finding aids elaboration; on the other side, we aim to diagnose the circumstances of acquisition, custody and treatment to which the documents were submitted. This study should provide subsidies for the creation, in short and medium term, of a memorial policy compatible with the importance of the University of São Paulo

Ao longo de suas vidas funcionais junto à Universidade de São Paulo (USP), pesquisadores e professores atuam nos campos da docência e da investigação científica, acumulando também cargos de gestão. Tais atividades geram um rico manancial documental mantido em seus gabinetes e laboratórios. Todavia, o que ocorre com esta documentação quando deixam de integrar os quadros acadêmicos? A pesquisa busca responder a tal questão. Reconhecendo a relevância e o potencial informativo destes arquivos, repositórios não apenas da memória individual de seus titulares, mas também da própria universidade e, por extensão, da vida científica brasileira, e em face das diversas ações de preservação de arquivos desenvolvidas, sem obedecer a diretrizes comuns ou a um programa regular, pelas faculdades e institutos da USP, nossa intenção é mapear a existência de tais núcleos documentais nos seus diferentes campi e caracterizar as condições em que são preservados e consultados. O resultado a ser alcançado assume duplo caráter: o de um guia, nos moldes preconizados pela literatura arquivística quanto à elaboração de instrumentos de pesquisa, e o de um diagnóstico das circunstâncias de aquisição, custódia e tratamento técnico a que foram submetidos os documentos. O trabalho deverá subsidiar, a curto e médio prazo, a formulação de uma política memorial compatível com a importância da Universidade de São Paulo / Over their functional life at the University of São Paulo (USP), researchers and professors work on the fields of teaching and scientific investigation, also mounting up management positions. These activities generate a rich source of documents usually kept in their offices and laboratories. However, what happens to such documentation when they leave the academic staff? This study aims to answer this question. By recognizing the relevance and the informational potential of such archives repositories of not only the individual memory of their creators, but also of the university itself and, by extension, of Brazilian scientific life , and by facing the various operations of archives preservation developed by USP colleges and institutes without following common guidelines or frameworks, our purpose is to map the existence of such documentation in the different campuses of the University of São Paulo, characterizing their conditions of access and preservation. The result to be achieved is double-­faced: on the one side, we aim to elaborate a guide, adopting the framework of the archival literature on finding aids elaboration; on the other side, we aim to diagnose the circumstances of acquisition, custody and treatment to which the documents were submitted. This study should provide subsidies for the creation, in short and medium term, of a memorial policy compatible with the importance of the University of São Paulo

O objetivo da tese é estudar a relação que cientistas mantêm com os documentos produzidos nos laboratórios científicos e tecnológicos, visando buscar elementos que contribuam para a elaboração de um programa de preservação de arquivos de C&T. A metodologia utilizada foi a de aplicação de questionário, por meio de entrevista, aos responsáveis pelos laboratórios dos institutos de pesquisa do Ministério da Ciência e Tecnologia no Rio de Janeiro. O primeiro capítulo apresenta conceitos básicos e algumas iniciativas do governo na área da preservação documental. O segundo capítulo analisa os limites entre o pessoal e o institucional nos documentos gerados pelos laboratórios, verificando que são tênues e mal definidos. O terceiro capítulo explora os limites entre o público e o privado na documentação oriunda das etapas intermediárias de um processo de pesquisa, verificando que o destino desta documentação é incerto. O último capítulo se dedica a explorar a opinião dos cientistas sobre a importância da preservação dos documentos para a memória científica, verificando que há pouca reflexão sobre o tema. Ao final de cada capítulo são apresentadas as conclusões das análises, bem como são apontadas contribuições para um programa de preservação de documentos de arquivos de ciência e tecnologia. / The aim of this thesis is to study the relationship between scientists and the records produced by scientific and technological laboratories, with the objective of searching elements as to contribute for the elaboration of a preservation program for SciTech archives. The methodology used was the application of a questionnaire as part of an interview, to the professional responsible for the laboratory within research institutes of the Ministry of Science and Technology in Rio de Janeiro. The first chapter presents basic concepts and some initiatives from the government on the area of preservation of records. The second chapter analyses the frontiers between personal and institutional records produced by the laboratories, verifying that they are fragile and poorly defined. The third one explores the boundaries between public and private in the records derived from the intermediary\'s steps of a research process, verifying that their destiny is uncertain. The last chapter is dedicated to explore the opinion of scientists about the importance of the records\' preservation for the scientific memory, verifying that there is very little reflection about this subject. At the end of each chapter, there are conclusions about the analysis, as well as some contributions for a preservation program of science and technology archives.

O objetivo da tese é estudar a relação que cientistas mantêm com os documentos produzidos nos laboratórios científicos e tecnológicos, visando buscar elementos que contribuam para a elaboração de um programa de preservação de arquivos de C&T. A metodologia utilizada foi a de aplicação de questionário, por meio de entrevista, aos responsáveis pelos laboratórios dos institutos de pesquisa do Ministério da Ciência e Tecnologia no Rio de Janeiro. O primeiro capítulo apresenta conceitos básicos e algumas iniciativas do governo na área da preservação documental. O segundo capítulo analisa os limites entre o pessoal e o institucional nos documentos gerados pelos laboratórios, verificando que são tênues e mal definidos. O terceiro capítulo explora os limites entre o público e o privado na documentação oriunda das etapas intermediárias de um processo de pesquisa, verificando que o destino desta documentação é incerto. O último capítulo se dedica a explorar a opinião dos cientistas sobre a importância da preservação dos documentos para a memória científica, verificando que há pouca reflexão sobre o tema. Ao final de cada capítulo são apresentadas as conclusões das análises, bem como são apontadas contribuições para um programa de preservação de documentos de arquivos de ciência e tecnologia. / The aim of this thesis is to study the relationship between scientists and the records produced by scientific and technological laboratories, with the objective of searching elements as to contribute for the elaboration of a preservation program for SciTech archives. The methodology used was the application of a questionnaire as part of an interview, to the professional responsible for the laboratory within research institutes of the Ministry of Science and Technology in Rio de Janeiro. The first chapter presents basic concepts and some initiatives from the government on the area of preservation of records. The second chapter analyses the frontiers between personal and institutional records produced by the laboratories, verifying that they are fragile and poorly defined. The third one explores the boundaries between public and private in the records derived from the intermediary\'s steps of a research process, verifying that their destiny is uncertain. The last chapter is dedicated to explore the opinion of scientists about the importance of the records\' preservation for the scientific memory, verifying that there is very little reflection about this subject. At the end of each chapter, there are conclusions about the analysis, as well as some contributions for a preservation program of science and technology archives.