A pesquisa apresenta um panorama atualizado dos Estudos Métricos da Informação (EMI) desenvolvidos nos variados campos da ciência nos últimos 50 anos. Partiu-se do pressuposto que não se pode confundir crescimento quantitativo da produção científica e tecnológica com o crescimento cognitivo da ciência e que os EMI são utilizados como instrumento de quantificação da produção, mas não são suficientes para o processo de avaliação sistêmica da ciência. Trabalhou-se com a hipótese de que os EMI não se configuram como objeto de pesquisa da Ciência da Informação, da mesma forma que não se discute sobre o conhecimento produzido por estes estudos para a avaliação da ciência. A carência de estudos nesta perspectiva explicita o uso dos instrumentos dissociados da reflexão sobre o potencial e os limites dos EMI para a avaliação da ciência o que contribui, de um lado para superestimar o uso de resultados descontextualizados e de outro para subestimar seu potencial teórico e metodológico na avaliação da ciência. Tem caráter exploratório e de abordagem quali-quantitativa. Foram aplicados de maneira integrada procedimentos de análises bibliométricas e cientométricas, análise de conteúdo dos documentos, além de análises de citação. O corpus de análise foi constituído de 5.748 trabalhos publicados sobre os EMI em diferentes áreas do conhecimento, indexados na base de dados Web of Science e a análise dos trabalhos incluiu a identificação dos seus objetos teóricos e empíricos, métodos e metodologias utilizados e contribuições para a qualificação do processo de avaliação da ciência de modo sistêmico. Resultados confirmam a supremacia de estudos sobremaneira descritivos decorrentes de pesquisas quantitativas. Identificou-se forte predominância histórica e produtiva em número de trabalhos publicados em uma variedade de países com produção relacionada a temática. As temáticas são decorrentes das demandas que comportam diferentes aspectos das áreas de conhecimento, configurando, portanto, dispersão quanto aos assuntos pesquisados. Não foi identificado o estágio de amadurecimento alcançado pelos EMI nas áreas em que são aplicados e confirmou-se a prática de estudos com base matemática e estatística, mas sem a preocupação com a avaliação do próprio instrumento ou do processo de avaliação. Apesar das notáveis aplicações desses estudos, a pesquisa não revelou contribuições sinificativas dos EMI na Ciência da Informação para melhor qualificar os processos de avaliação da produção científica e tecnológica no interior das áreas. / The study presents an up-to-date overview of Metric Studies of Information developed in the various fields of science over the last 50 years. It starts out with the assumption that quantitative growth in scientific and technological production cannot be confused with scientific cognitive growth and that Metric Studies of Information may be used as a tool for quantifying production, but are inadequate for the process of systematic scientific evaluation. The hypothesis adopted was that Metric Studies of Information do not represent an object of research in Information Science, in the same way that knowledge generated by these studies is not discussed in terms of scientific evaluation. From this perspective, the lack of studies explains the use of dissociated instruments of consideration concerning the potential and limitations of Metric Studies of Information for the evaluation of science, which contributes on the one hand to overestimating the use of out-of-context results and on the other hand to underestimating its theoretical and methodological potential in the evaluation of science. This study is exploratory in nature and represents an approach which is both qualitative and quantitative. The following procedures were applied in an integrated fashion: bibliometric and scientometric analysis, the analysis of document content and of citations. The corpus for the analysis consisted of 5,748 published works on Metric Studies of Information in different areas of knowledge, indexed in the Web of Science database, and an analysis of the works included the identification of their theoretical and empirical objectives, the methods and methodologies employed and contributions to the characterization of the process of scientific evaluation, in a systematic way. The results confirm a prepotency of descriptive studies arising from quantitative research. A significant historically productive predominance was identified in a number of works published in a host of different countries with production related to this topic. The themes have resulted from demands that include different aspects of the areas of knowledge, thus constituting a scattering of subjects researched. The level of maturity attained by Metric Studies of Information in the areas in which they are applied was not identified, and the practice of mathematically and statistically-based studies was confirmed, without too much concern about the evaluation of the instrument itself or the process of evaluation. Despite some noteworthy applications of these studies, the research did not reveal any significant contributions made by Metric Studies of Information in the field of Information Science capable of providing a better characterization of the processes for evaluating scientific and technological production within these areas.

A pesquisa apresenta um panorama atualizado dos Estudos Métricos da Informação (EMI) desenvolvidos nos variados campos da ciência nos últimos 50 anos. Partiu-se do pressuposto que não se pode confundir crescimento quantitativo da produção científica e tecnológica com o crescimento cognitivo da ciência e que os EMI são utilizados como instrumento de quantificação da produção, mas não são suficientes para o processo de avaliação sistêmica da ciência. Trabalhou-se com a hipótese de que os EMI não se configuram como objeto de pesquisa da Ciência da Informação, da mesma forma que não se discute sobre o conhecimento produzido por estes estudos para a avaliação da ciência. A carência de estudos nesta perspectiva explicita o uso dos instrumentos dissociados da reflexão sobre o potencial e os limites dos EMI para a avaliação da ciência o que contribui, de um lado para superestimar o uso de resultados descontextualizados e de outro para subestimar seu potencial teórico e metodológico na avaliação da ciência. Tem caráter exploratório e de abordagem quali-quantitativa. Foram aplicados de maneira integrada procedimentos de análises bibliométricas e cientométricas, análise de conteúdo dos documentos, além de análises de citação. O corpus de análise foi constituído de 5.748 trabalhos publicados sobre os EMI em diferentes áreas do conhecimento, indexados na base de dados Web of Science e a análise dos trabalhos incluiu a identificação dos seus objetos teóricos e empíricos, métodos e metodologias utilizados e contribuições para a qualificação do processo de avaliação da ciência de modo sistêmico. Resultados confirmam a supremacia de estudos sobremaneira descritivos decorrentes de pesquisas quantitativas. Identificou-se forte predominância histórica e produtiva em número de trabalhos publicados em uma variedade de países com produção relacionada a temática. As temáticas são decorrentes das demandas que comportam diferentes aspectos das áreas de conhecimento, configurando, portanto, dispersão quanto aos assuntos pesquisados. Não foi identificado o estágio de amadurecimento alcançado pelos EMI nas áreas em que são aplicados e confirmou-se a prática de estudos com base matemática e estatística, mas sem a preocupação com a avaliação do próprio instrumento ou do processo de avaliação. Apesar das notáveis aplicações desses estudos, a pesquisa não revelou contribuições sinificativas dos EMI na Ciência da Informação para melhor qualificar os processos de avaliação da produção científica e tecnológica no interior das áreas. / The study presents an up-to-date overview of Metric Studies of Information developed in the various fields of science over the last 50 years. It starts out with the assumption that quantitative growth in scientific and technological production cannot be confused with scientific cognitive growth and that Metric Studies of Information may be used as a tool for quantifying production, but are inadequate for the process of systematic scientific evaluation. The hypothesis adopted was that Metric Studies of Information do not represent an object of research in Information Science, in the same way that knowledge generated by these studies is not discussed in terms of scientific evaluation. From this perspective, the lack of studies explains the use of dissociated instruments of consideration concerning the potential and limitations of Metric Studies of Information for the evaluation of science, which contributes on the one hand to overestimating the use of out-of-context results and on the other hand to underestimating its theoretical and methodological potential in the evaluation of science. This study is exploratory in nature and represents an approach which is both qualitative and quantitative. The following procedures were applied in an integrated fashion: bibliometric and scientometric analysis, the analysis of document content and of citations. The corpus for the analysis consisted of 5,748 published works on Metric Studies of Information in different areas of knowledge, indexed in the Web of Science database, and an analysis of the works included the identification of their theoretical and empirical objectives, the methods and methodologies employed and contributions to the characterization of the process of scientific evaluation, in a systematic way. The results confirm a prepotency of descriptive studies arising from quantitative research. A significant historically productive predominance was identified in a number of works published in a host of different countries with production related to this topic. The themes have resulted from demands that include different aspects of the areas of knowledge, thus constituting a scattering of subjects researched. The level of maturity attained by Metric Studies of Information in the areas in which they are applied was not identified, and the practice of mathematically and statistically-based studies was confirmed, without too much concern about the evaluation of the instrument itself or the process of evaluation. Despite some noteworthy applications of these studies, the research did not reveal any significant contributions made by Metric Studies of Information in the field of Information Science capable of providing a better characterization of the processes for evaluating scientific and technological production within these areas.

As organizações públicas não vêm recebendo a mesma atenção que o setor privado quando se trata de avaliação institucional, fato que tem gerado perda de eficácia e distanciamento da sociedade. Este trabalho apresenta uma formulação conceitual preliminar, com o intuito de propor um processo de avaliação institucional para a Divisão de Confiabilidade Metrológica Aeroespacial, organização militar pertencente ao Instituto de Fomento e Coordenação Industrial e subordinada ao Departamento de Ciência e Tecnologia Aeroespacial do Comando da Aeronáutica. A Divisão de Confiabilidade Metrológica Aeroespacial é uma entidade pública responsável pelo gerenciamento de várias atividades no âmbito do Sistema de Metrologia Aeroespacial, entre as quais se destacam a normalização metrológica, a coordenação de programas interlaboratoriais e o aperfeiçoamento dos recursos humanos voltados à atividade metrológica na Aeronáutica brasileira. Este trabalho é baseado em revisão teórica e está sendo discutido no nível gerencial da organização para futura utilização. O processo de avaliação ora proposto engloba não somente uma sugestão de modelo conceitual de avaliação, como também a identificação inicial dos atuais fatores críticos de sucesso e dos indicadores de desempenho considerados mais adequados para a organização em foco. / Public organizations have not received the same attention as the private ones, concerning institutional evaluation, which generates loss of effectiveness and estrangement of the society. This work presents an authors preliminary formulation to propose a process of institutional evaluation for the Aerospace Metrological Reliability Division (a military organization pertaining to the Industrial Fostering and Coordination Institute), subordinated to the Department of Aerospace Science and Technology, which belongs to the Brazilian Aeronautical Command. Aerospace Metrological Reliability Division is a public entity, responsible for managing and coordinating several activities related to the Aerospace Metrology System, among which stands out for its metrological standardization processes, interlaboratory comparison programs and human resources improvement, related to calibration and test activities in the Brazilian Air Force. This work is based on theoretical revision and it is being currently discussed in the managerial level of the organization to be used in the near future. The evaluation process proposed includes not only a suggested conceptual evaluation model, but also the identification of current Critical Success Factors and more adjusted Performance Indicators for the Organization on focus.

Avaliar o rendimento da atividade científica e seu impacto na sociedade, com a finalidade primordial de adequar a distribuição dos recursos destinados à atividade de investigação e desenvolvimento, é um ponto indispensável na gestão e planejamento científico de qualquer instituição, instância de governo ou país para conseguir uma rentabilidade máxima nos investimentos neste campo. Este trabalho analisou o \"Estado da Arte\" no campo da Economia da Saúde no Brasil, através da pesquisa de publicações brasileiras e de publicações sobre temas brasileiros neste campo, no período de 1989 a 1998. Para tal utilizou-se a bibliometria como instrumento de análise para medir a atividade científica no campo da economia da saúde. O conhecimento organizado da literatura disponível em economia da saúde é muito importante, pois evidenciou além dos temas mais estudados pelos pesquisadores desta área, quais instituições e autores estão envolvidos com esta atividade. Para os países em desenvolvimento, onde a escassez de recursos é mais aguda, a utilização das técnicas de análise desenvolvidas pela ciência econômica, serve para subsidiar as decisões no campo da política de saúde. Embora tenham ocorrido oscilações durante o período de dez anos estudados, a aparente tendência de crescimento desse campo entre os anos de 1989 e 1995, que talvez se explique pela dificuldade do financiamento do Sistema Único de Saúde, posto que este é um dos temas que mais se destaca dentre as matérias de interesse dos pesquisadores desta área, parece ter decrescido e no ano de 1998 volta para níveis de produção quase idênticos aos de 1989. / The necessity of the evaluation of Science and Technology activities and its impact have been looked as objective strategies which aim to allocate resources conveniently on research and development. This is the essential point to manage and plan scientific activities at organisations. This work has studied the \"state of art\" in health economics in Brazil, during the past ten years. In order to carry out this proposition we have used bibliometric assessments to measure scientific activities in the field of health economics. The organised knowledge of available literature is useful because health economics aims to equip policy-makers, planners and managers with a set of analytical tools based on economic principles. Health economics is becoming increasingly influential in decisions about financing health services, and how limited budgets should be allocated to improve health. It was found that there is an apparent trend in the overall growth in literature about health economics. Perhaps, the difficulties on financing the Unified Health System can explain this trend, because this is the favourite issue of the researcher. The scientific outcome in this field grows up from 1992 to 1995, thence decreasing until 1998.

Avaliar o rendimento da atividade científica e seu impacto na sociedade, com a finalidade primordial de adequar a distribuição dos recursos destinados à atividade de investigação e desenvolvimento, é um ponto indispensável na gestão e planejamento científico de qualquer instituição, instância de governo ou país para conseguir uma rentabilidade máxima nos investimentos neste campo. Este trabalho analisou o \"Estado da Arte\" no campo da Economia da Saúde no Brasil, através da pesquisa de publicações brasileiras e de publicações sobre temas brasileiros neste campo, no período de 1989 a 1998. Para tal utilizou-se a bibliometria como instrumento de análise para medir a atividade científica no campo da economia da saúde. O conhecimento organizado da literatura disponível em economia da saúde é muito importante, pois evidenciou além dos temas mais estudados pelos pesquisadores desta área, quais instituições e autores estão envolvidos com esta atividade. Para os países em desenvolvimento, onde a escassez de recursos é mais aguda, a utilização das técnicas de análise desenvolvidas pela ciência econômica, serve para subsidiar as decisões no campo da política de saúde. Embora tenham ocorrido oscilações durante o período de dez anos estudados, a aparente tendência de crescimento desse campo entre os anos de 1989 e 1995, que talvez se explique pela dificuldade do financiamento do Sistema Único de Saúde, posto que este é um dos temas que mais se destaca dentre as matérias de interesse dos pesquisadores desta área, parece ter decrescido e no ano de 1998 volta para níveis de produção quase idênticos aos de 1989. / The necessity of the evaluation of Science and Technology activities and its impact have been looked as objective strategies which aim to allocate resources conveniently on research and development. This is the essential point to manage and plan scientific activities at organisations. This work has studied the \"state of art\" in health economics in Brazil, during the past ten years. In order to carry out this proposition we have used bibliometric assessments to measure scientific activities in the field of health economics. The organised knowledge of available literature is useful because health economics aims to equip policy-makers, planners and managers with a set of analytical tools based on economic principles. Health economics is becoming increasingly influential in decisions about financing health services, and how limited budgets should be allocated to improve health. It was found that there is an apparent trend in the overall growth in literature about health economics. Perhaps, the difficulties on financing the Unified Health System can explain this trend, because this is the favourite issue of the researcher. The scientific outcome in this field grows up from 1992 to 1995, thence decreasing until 1998.

Submitted by Valdinei Souza (neisouza@hotmail.com) on 2016-11-01T19:54:08Z No. of bitstreams: 1 Sérgio Franklin - Tese.pdf: 3307961 bytes, checksum: 2610b37c0e02490ec91167da89b041aa (MD5) / Approved for entry into archive by Urania Araujo (urania@ufba.br) on 2016-11-21T21:17:44Z (GMT) No. of bitstreams: 1 Sérgio Franklin - Tese.pdf: 3307961 bytes, checksum: 2610b37c0e02490ec91167da89b041aa (MD5) / Made available in DSpace on 2016-11-21T21:17:44Z (GMT). No. of bitstreams: 1 Sérgio Franklin - Tese.pdf: 3307961 bytes, checksum: 2610b37c0e02490ec91167da89b041aa (MD5) / A pesquisa aborda a percepção de uma comunidade científica sobre o sistema de revisão por pares, frente ao impacto que as tecnologias eletrônicas trazem ao sistema tradicional, visto que elas imprimem rapidez à comunicação, publicação e disseminação da informação científica. Nas últimas décadas, registra-se uma tendência em direção à chamada “revisão por pares aberta” (open peer review), fortemente impulsionada pela facilidade e pelo poder das tecnologias e pelos anseios da sociedade científica e em geral por sistemas mais transparentes e mais justos. Neste percurso, têm destaque os atores envolvidos no sistema e sua importância para a credibilidade dos periódicos científicos e para o desenvolvimento da ciência, agora com novas feições, que se denomina de ciência aberta. O objetivo da tese é analisar e compreender a percepção da comunidade científica sobre o sistema de revisão por pares de periódicos científicos. A estratégia metodológica epistêmica utilizada fundamenta-se nos pressupostos da sociologia da ciência e quanto à tipologia da pesquisa, é classificada como um estudo exploratório-descritivo, numa abordagem combinada de natureza qualitativa e quantitativa. Quanto aos aspectos quantitativos, a coleta de dados empíricos envolve o método survey e para os qualitativos adota a análise de conteúdo para tratamento dos dados das questões de natureza aberta, por meio de técnica infométrica (infometrics). A população foi composta por nove universidades brasileiras, da esfera federal, que mantém programa de pós-graduação na área de medicina. Para seleção dos programas utilizou se como ponto de corte aqueles avaliados pela CAPES com nota maior ou igual a 5, totalizando 14 programas As unidades de pesquisas são representadas por 365 professores. Os resultados apontam para uma insatisfação geral com o sistema de revisão por pares, pela comunidade estudada. O nível de preferência pelo modelo duplo-cego como o mais eficaz identificado contradiz a literatura estudada que indica o modelo simples-cego como o mais adotado na área de medicina. Apresenta uma percepção unânime de que o objetivo da revisão é melhorar a qualidade dos artigos publicados. Revela que interesses econômicos se constituem em obstáculos à transparência e credibilidade do sistema. Mostra que as tecnologias eletrônicas podem contribuir com a melhoria do sistema, por meio de software para controle de plágio, agilidade dos processos de revisão, servindo como um catalisador na abertura do sistema. Aponta que a maioria dos investigados se compraz em revisar artigos, mas que há uma falta de revisores dispostos a revisar, o que compromete a sustentabilidade do sistema. Há um nível de percepção elevado de que existe ausência de orientações e de treinamento de como revisar e que essas ações melhorariam o sistema de revisão por pare. O conjunto de dados indica que o estudo feito na área de medicina, em relação à literatura, no geral, acompanha as tendências internacionais. A partir dos resultados, podem-se vislumbrar novas pesquisas visto que se trata de um tempo em transformação paradigmática,abrangendo a comunidade da Ciência da Informação. / ABSTRACT The research addresses the perception of a scientific community about the peer review system under the contribution of the electronic technologies brought to the traditional system, since they improve the effectiveness of communication, publication and dissemination of scientific information. In the last decades, it is noted a trend towards so-called "open peer review" boosted by the facility and power of technology and the yearnings of the scientific society, and in general, for more transparent and fairer systems.. In this way, it has highlighted the actors involved in the system and its importance for the credibility of scientific journals and the development of science, now with new features, which is called open science. The aim of this thesis is to analyze and understand the perception of a scientific community on the peer review system of scientific journals. The epistemic methodological approach is based on the assumptions of the sociology of science and as to the typology, the research is classified as an exploratory and descriptive study, on a combined approach of qualitative and quantitative aspects . As for the quantitative aspects, the empirical data collection involves the survey method and the qualitative adopts content analysis for data processing of the open issues through infometrics technique. The population consisted of nine Brazilian Federal universities, which keeps graduate programs in medicine. For selection of programs used to as the cutoff point those evaluated by CAPES with highest score or equal to 5, totaling 14 programs Research units are represented by 365 teachers. The results point to a general dissatisfaction with the peer review system by the community studied. The level of preference for double-blind model as the most effective that was identified, contradicts the studied literature that indicate single-blind model as the most widely adopted in medicine area. It presents a unanimous perception that the review goal is to improve the quality of published articles. It reveals that economic interests constitute obstacles to the transparency and credibility of the system. It shows that electronic technologies can contribute to the improvement of the system through software to control plagiarism, the speed revision processes, and acting as a catalyst in the system opening. It points out that the majority investigated delight in review articles, but there is a lack of reviewers willing to review, which compromises the system's sustainability. There is a high level of perception that considers that there is a lack of guidelines and training on how to review and that these actions if adopted could improve the review system. The data set indicates that the study in medicine, in relation to literature, in general, follows international trends. From the results, we can envision new research as it is a time of paradigmatic transformation, including the community of Information Science.