Diversos indicadores bibliométricos têm sido empregados na avaliação de desempenho de pesquisadores, universidades e países. Indicadores de impacto, calculados a partir das citações recebidas pelos artigos, têm sido objeto de muitos estudos constantes da pesquisa documentária. Dessa maneira, almeja-se apontar possíveis formas de adequação da análise do impacto de revistas brasileiras com vistas ao aprimoramento dos critérios de avaliação de produção científica no Brasil. Objetivos. A pesquisa foi conduzida de acordo com três objetivos: (1) Verificar se o uso exclusivo de indicadores internacionais deixa a política científica brasileira fora do contexto de sua realidade local, e se o acesso às revistas indexadas nas bases do ISI (Thomson Scientific) tem se justificado pelo uso ? o acesso gratuito aos textos completos é oferecido à comunidade científica pela Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior). (2) Investigar se a base SciELO pode oferecer indicadores de impacto da produção científica brasileira com vistas ao aprimoramento da avaliação científica nacional. (3) Buscar propor metodologias de indicadores mais adequadas à realidade da ciência brasileira. Metodologia. Foi conduzido um estudo exploratório quantitativo, baseados em características qualitativas e quantitativas de revistas científicas provenientes de três fontes: revistas classificadas pela Avaliação Qualis (triênio 2001/2003), revistas do Portal de Periódicos da Capes e revistas indexadas na base SciELO (Scientific Electronic Library). Uma comparação do impacto nacional e internacional de um conjunto de revistas brasileiras indexadas na base SciELO foi realizada a partir das citações recebidas pelas revistas em cada contexto (base SciELO e as bases do ISI). Uma metodologia de análise de revistas foi apresentada aplicando-se técnicas de análise estatística multivariada a um conjunto de 42 indicadores. Resultados. A análise da Avaliação Qualis mostrou que os critérios definidos favorecem principalmente a publicação em revistas internacionais e fazem uso do Fator de Impacto do ISI. O Impacto Pós-Portal, como foi denominado, indicou um efeito positivo, notado pelo aumento da média de citações recebidas na SciELO, por aproximadamente 70% das revistas da amostra (Ciências da Vida), após o ano de publicação no Portal. A comparação do impacto nacional versus internacional das revistas SciELO mostrou que revistas indexadas também no ISI são citadas com mais freqüência naquela base, além de receberem aproximadamente 72% das citações de revistas ISI de autores estrangeiros e terem os artigos em colaboração (nacional e internacional) mais citados que aqueles em autoria única. Em relação às revistas publicadas somente na SciELO, verificou-se que são citadas em quantidades similares naquela base e nas bases do ISI, recebem 68% das citações de revistas ISI de autores estrangeiros e têm seus artigos de autoria única mais citados, seguidos daqueles em colaboração nacional. A análise multivariada dos indicadores das revistas SciELO permitiu a identificação de diferentes grupos de revistas, discriminados de acordo com as diferentes práticas de comunicação científica. Conclusões. A adequação dos critérios utilizados na avaliação da produção científica nacional pode ser conseguida considerando-se indicadores de impacto mensurados a partir de citações provenientes das revistas nacionais, definindo critérios que valorizem a publicação em revistas nacionais de qualidade reconhecida, o que permitirá a publicação de trabalhos importantes na língua portuguesa, e estimulará o processo de melhoria de qualidade das revistas nacionais. / Many bibliometric indicators have been used to evaluate the scientific performance of researchers, universities and countries. Impact indicators, measured from citations to articles, have been addressed in many studies in the literature. The present study aimed to put forward possible forms of analysis adequacy to Brazilian scientific journals, to improve the scientific production evaluation criteria in the Brazilian framework. Objectives. The research was conducted in agreement with three objectives: (1) To verify if the exclusive use of international indicators leaves the Brazilian scientific policy out of context of its local reality, and if the ISI (Thomson Scientific) indexed journals usage has been justified ? the access of which in full article texts has been offered gratuitous to the scientific community by Capes (Coordination for the Improvement of High Education Personnel). (2) To investigate if SciELO (Scientific Electronic Library)-indexed Brazilian scientific production could provide impact indicators to appropriately contribute to the national science evaluation. (3) To find more indicators and new methodologies for science assessment in the context of the Brazilian science reality. Methodology. An exploratory quantitative study was conducted, based on qualitative and quantitative characteristics of scientific journals from three sources: journals classified by Qualis Assessment (years 2001/2002/2003), journals of the ?Portal de Periódicos da Capes? and SciELO journals. A comparison between the national and international impact of a set of Brazilian SciELO journals was conducted based on citations received from journals in each database (SciELO and ISI). A methodology of journal analysis was presented applying the multivariate statistical analysis technique to a set of 42 indicators. Results. The analysis of Qualis Assessment showed that the defined criteria favor mainly the publications in international journals by using ISI Impact Factor. The comparison of the annual average of citations received in SciELO by a sample of journals, before and after the availability in it, showed a positive effect, noticed by an increase to 70% of the journals (Life Sciences). The comparison of the national impact versus international impact of SciELO journals showed that those indexed also on ISI are cited more frequently; in the whole sample, SciELO journals received approximately 72% of ISI?s citations from international authors; had the articles in collaboration (national and international) cited more often than those with single authorship. It was noticed that journals indexed only in SciELO, are cited in similar numbers in both databases; received 68% of ISI?s citations from international authors and have articles with single authorship cited more frequently, followed by those with national collaboration. The multivariate analysis of SciELO journals indicators allowed the identification of different groups of journals, separated according to different practices of scientific communication. Conclusions. The criteria adequacy used in the evaluation of the national scientific production can be met considering impact indicators measured by citations on national journals. Criteria should be defined that value the publication in national journals with renown quality. This will allow the publication of important articles in Portuguese, and will encourage the process of national journals quality improvement.
| Identifer | oai:union.ndltd.org:IBICT/oai:teses.usp.br:tde-11052007-091052 |
| Date | 30 November 2006 |
| Creators | Rogério Mugnaini |
| Contributors | Dinah Apparecida de Mello Aguiar Poblacion, Elias Sanz Casado, Daisy Pires Noronha, Luc Marie Quoniam, Lea Maria Leme Strini Velho |
| Publisher | Universidade de São Paulo, Ciência da Informação, USP, BR |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | English |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/doctoralThesis |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da USP, instname:Universidade de São Paulo, instacron:USP |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.0029 seconds